Пристрій для керування за допомогою жестів

Реферат: Винахід належить до області безконтактної взаємодії користувача з комп'ютеризованими пристроями. Пристрій для керування за допомогою жестів містить корпус, в який вмонтовані блок обробки та прийому/передачі інформації від датчиків на комп'ютеризований пристрій, джерело живлення та щонайменше один акселерометр, причому пристрій виконаний з можливістю підключення до комп'ютеризованого пристрою з використанням безпровідних засобів. Згідно з винаходом, пристрій виконаний в вигляді браслета для одягання його на зап'ястя щонайменше однієї руки. У корпус із виведенням чутливих частин на поверхню внутрішнього обода браслета вмонтовано щонайменше один датчик електроміографії і/або щонайменше один рефлекторний інфрачервоний датчик. Блок обробки та прийому/передачі інформації з або на комп'ютеризований пристрій виконаний в вигляді процесора або мікроконтролера, який з'єднаний із зазначеними датчиками, причому в корпусі браслета розміщений модуль безпровідних прийому/передачі даних з або на комп'ютеризований пристрій. Пристрій забезпечує спрощення роботи з комп'ютеризованими приладами та розширює його функціональні можливості і область застосування. UA 105864 C2 (12) UA 105864 C2 UA 105864 C2 5 10 15 20 25 30 35 40 45 50 55 60 Винахід належить до області безконтактної взаємодії користувача з комп'ютеризованими пристроями та може бути використана для захвату рухів та розпізнавання жестів з метою керування та взаємодії людини з електронними пристроями (комп'ютерами, смартфонами, планшетними ПК тощо). Відомий 3D-сенсор для виконання способу управління пристроєм за допомогою жестів (Патент РФ № 2455676, МПК G06F3/00, опубл. 10.07.2012 p.), який включає в себе обчислювальний блок, ІЧ-проектор та ІЧ-камеру, в якому ІЧ-проектор і ІЧ-камера з'єднані з локальною шиною обчислювального блока, а обчислювальний блок налаштований для створення ІЧ-проектором модульованого підсвічування, аналізу зображення, отриманого з ІЧкамери, обчислення умовної лінії погляду користувача, обчислення сенсорної області, на яку спрямована умовна лінія погляду користувача, розпізнавання жесту користувача і видачі команди для керованого пристрою. Даний пристрій має вузьку сферу використання, що пояснюється досить малим вибором команд для управління пристроями за допомогою жестів. Відомий пристрій введення та виведення інформації (Патент України № 46906, МПК G06F3/00, G09G5/00, опубл. 11.01.2010, Бюл. № 1, 2010 p.), що містить корпус, виконаний у формі двох еластичних рукавичок з багатошарового тонкого еластичного матеріалу для надягання на руки, та електронний блок, що містить в єдиному корпусі блок обробки та передачі введеної інформації на комп'ютер, контролер дисплея, а також джерела електроживлення. На частини зовнішніх поверхонь рукавичок, що відповідають відносно рівним ділянкам поверхні кисті руки, нанесено шар гнучкого органічного світлодіодного матеріалу для відображення графічної інформації. У тіло рукавичок вмонтовані численні контактні датчики, що реагують на дотик, які виконані у вигляді сенсорних мембран тиску та розташовані під тими самими поверхнями, на які нанесено шар гнучкого органічного світлодіодного матеріалу, утворюючи в цілому сенсорний екран на поверхні рукавичок із ділянками для натискання або ковзання, що є імітованими клавішами або іншими елементами маніпуляторів, наприклад колеса миші. Пристрій має додаткові мікродатчики - акселерометри - або датчики відстані. Даний пристрій є досить складним у виготовленні. Крім того, суміщення на ньому функцій введення та виведення інформації у різній формі створює складності у використанні. Дане технічне рішення вибране як прототип. В основу винаходу поставлена задача вдосконалення пристрою для керування за допомогою жестів, в якому за рахунок виконання пристрою в вигляді браслета для одягання його на зап'ястя кожної руки, у корпус якого із виведенням чутливих частин на поверхню внутрішнього обода кожного браслета додатково вмонтовано щонайменше один датчик електроміографії і/або щонайменше один рефлекторний інфрачервоний датчик, забезпечується управління комп'ютеризованим пристроєм за допомогою жестів рук, на які надітий даний пристрій, що спрощує роботу з комп'ютеризованими приладами та розширює його функціональні можливості і область застосування. Поставлена задача вирішується тим, що в запропонованому пристрої для керування за допомогою жестів, що містить корпус, в який вмонтовані блок обробки та прийому/передачі інформації від датчиків на комп'ютеризований пристрій, джерело живлення та щонайменше один акселерометр, причому пристрій виконаний з можливістю підключення до комп'ютеризованого пристрою з використанням безпровідних засобів, згідно з винаходом, пристрій виконаний в вигляді браслета для одягання його на зап'ястя щонайменше однієї руки, у корпус із виведенням чутливих частин на поверхню внутрішнього обода браслета вмонтовано щонайменше один датчик електроміографії і/або щонайменше один рефлекторний інфрачервоний датчик, блок обробки та прийому/передачі інформації з або на комп'ютеризований пристрій виконаний в вигляді процесора або мікроконтролера, який з'єднаний із зазначеними датчиками, причому в корпусі браслета розміщений модуль безпровідних прийому/передачі даних з або на комп'ютеризований пристрій. Крім того, в корпус браслета додатково вмонтовано щонайменше один датчик-гіроскоп, який з'єднаний з процесором. Крім того, в корпус браслета додатково вмонтовано щонайменше один датчик магнітного поля, який з'єднаний з процесором. Крім того, в корпус браслета додатково вмонтовано щонайменше один барометричний датчик, який з'єднаний з процесором. Крім того, в корпус браслета із виведенням чутливих частин на поверхню обода браслета додатково вмонтовано щонайменше один інфрачервоний датчик температури, який з'єднаний з процесором. Крім того, в корпус браслета додатково вмонтовано щонайменше один радіо/ультразвуковий далекомір, який з'єднаний з процесором. 1 UA 105864 C2 5 10 15 20 25 30 35 40 45 50 55 Крім того, на корпус браслета додатково вмонтовано засоби введення/виведення інформації для управління пристроєм. Виконання запропонованого пристрою керування у вигляді браслетів для одягання на зап'ястя рук забезпечує зручне управління комп'ютеризованим пристроєм за допомогою жестів рук, на які надітий даний пристрій, в порівнянні з відомими аналогами. Додаткове вмонтування в пристрій щонайменше одного датчика електроміографії використовується для отримання та аналізу інформації про рух пальців рук або кистей за рахунок вимірювання величини скорочення м'язових волокон в області зап'ястя і передачі даної інформації в блок обробки та прийому/передачі інформації, який за допомогою спеціальних алгоритмів обробляє цю інформацію та передає на комп'ютеризований пристрій. Додаткове вмонтування в пристрій щонайменше одного рефлекторного інфрачервоного датчика використовується для отримання та аналізу інформації про рух пальців рук або кистей за рахунок зміни величини відбитого інфрачервоного випромінювання в моменти скорочення м'язів і рухів сухожиль в області зап'ястя і передачі даної інформації в блок обробки та прийому/передачі інформації, який за допомогою спеціальних алгоритмів обробляє цю інформацію та передає на комп'ютеризований пристрій. Винахід пояснюється кресленнями, де на Фіг. 1 зображено запропонований пристрій, який знаходиться на зап'ястях рук, на Фіг. 2 - зовнішній вигляд пристрою (один браслет), а на Фіг. 3 блок-схему пристрою (для одного браслета). Запропонований пристрій для керування за допомогою жестів (див. Фіг. 1-3) виконаний у вигляді браслета для одягання на зап'ястя рук. Кожний браслет містить корпус 1, в який вмонтовано процесор (мікроконтролер) 2, джерело живлення 3 з акумулятором 4 та модуль безпровідних прийому/передачі даних 5 на комп'ютеризований пристрій (не показаний), акселерометри 6, датчики-гіроскопи 7, датчики магнітного поля 8, барометричні датчики 9, радіо/ультразвукові далекоміри 10. Також, у корпус 1 із виведенням чутливих частин на поверхню обода браслета вмонтовано інфрачервоні датчики температури 11, а рефлекторні інфрачервоні датчики 12 та датчики електроміографії 13 вмонтовано в корпус 1 із виведенням чутливих частин на внутрішню поверхню обода кожного з браслетів. На корпус 1 кожного браслета додатково вмонтовано засоби введення/виведення інформації 14 для управління запропонованим пристроєм. Дані засоби можуть бути виконані у вигляді дисплея з підтримкою сенсорного вводу. Процесор (мікроконтролер) 2, який є в корпусі 1, зв'язаний з акселерометрами 6, датчикамигіроскопами 7, датчиками магнітного поля 8, барометричними датчиками 9, радіо/ультразвуковими далекомірами 10, інфрачервоними датчиками температури 11, рефлекторними інфрачервоними датчиками 12, датчиками електроміографії 13 та з модулем безпровідних прийому/передачі даних 5 і засобами введення/виведення інформації 14. Запропонований пристрій використовується наступним чином. Користувач надіває пристрій на зап'ястя (по браслету на кожну руку) та вмикає пристрій (кожен з браслетів) кнопкою вмикання (не показана). Після подачі живлення від джерела живлення 3, пристрій стає доступним для додавання його в мережах передачі даних, наприклад, в мережі Інтернет, для з'єднання з комп'ютеризованим пристроєм-приймачем (наприклад, з комп'ютером, з планшетним ПК, з смартфоном, з телевізором та іншими). Як правило, дана операція відбувається шляхом додавання запропонованого пристрою в список підключених до комп'ютеризованого пристрою за допомогою можливостей його операційної системи. При цьому, підключений пристрій керування може сприйматися пристроєм-приймачем (комп'ютеризованим пристроєм) по-різному, в залежності від настройки пристрою керування, наприклад, як бездротовий маніпулятор - комп'ютерна миша, бездротовий джойстик або будьякий інший прилад з ряду стандартних для операційної системи, або ж як такий, що вимагає установки власних драйверів. Далі пристрій керування може використовуватися як стандартний пристрій введення/виведення, або ж як пристрій керування для певного програмного забезпечення. Наприклад, даний пристрій керування використовують у системі автоматизованого проектування. За допомогою пристрою, користувач може переміщувати тривимірні моделі та обертати їх у просторі більш інтуїтивно, ніж при використанні традиційних засобів вводу, як, наприклад, комп'ютерна миша. Для обертання моделі користувачеві достатньо зробити обертальний рух рукою, для переміщення моделі, також достатньо зробити певний рух у бік переміщення тощо. Як інший приклад можна розглянути роботу пристрою із мультимедійними програмами. Так, для перегляду фотокарток, користувач може робити махальний рух у просторі для переключення на наступну фотокартку. Така поведінка системи трохи нагадує роботу із 2 UA 105864 C2 5 10 15 20 25 30 35 40 45 50 55 60 сенсорними екранами, однак у цьому випадку рухи можна робити на відстані від пристрою приймача. Сам процес роботи пристрою керування з пристроєм-приймачем (комп'ютеризованим пристроєм) полягає в обміні пакетами даних по безпровідному зв'язку. При роботі пристрою керування відбувається обробка даних датчиків 6, 7, 8, 9, 10, 11, 12 та 13 за допомогою процесора 2 пристрою керування і відправлення їх в пристрій-приймач в необхідному нормалізованому вигляді, тобто або у вигляді протоколу роботи комп'ютерної миші, якщо запропонований пристрій використовується замість миші, або у вигляді координат вершин і ребер сіткової моделі, що повторює положення рук, або в іншому вигляді, необхідному для пристрою приймача. Обробка даних датчиків 6, 7, 8, 9, 10, 11, 12 та 13 відбувається наступним чином. Процесор 2 пристрою керування опитує датчики 6, 7, 8, 9, 10, 11, 12 та 13, зв'язок з якими здійснюється реалізацією спільного для процесора 2 і конкретного типу датчика цифрового протоколу або ж обробкою аналогових сигналів з датчиків 6, 7, 8, 9, 10, 11, 12 та 13, якщо датчики 6, 7, 8, 9, 10, 11, 12 та 13 надають саме аналогові сигнали, і подальшим переведенням аналогових сигналів у цифрові за допомогою аналого-цифрових перетворювачів, вбудованих в процесор 2, або ж є окремими пристроями, підключеними до процесора 2 з використанням загальних цифрових протоколів. Також в зв'язці між датчиками і аналого-цифровим перетворювачем може бути встановлений операційний підсилювач (не показаний) при необхідності первинного посилення сигналу. Датчики, такі як, акселерометри 6, датчики-гіроскопи 7, датчики магнітного поля (компаси) 8, барометричні датчики 9, радіо/ультразвукові далекоміри 10, які розташовані усередині корпусу 1 пристрою керування, використовуються для визначення положення зап'ясть в просторі. При цьому використовуються як абсолютні величини, тобто кути повороту кожного браслета щодо магнітного поля і центра земного тяжіння, так і відносні, тобто різниця висот між браслетами, виходячи з показань атмосферних тисків на кожному з браслетів, відстані між браслетами (у разі застосування двох браслетів). Вимірювані величини отримують спільним аналізом показань вище перерахованих датчиків за допомогою алгоритмів, які виконуються процесором 2. Щодо певного положення зап'ясть відбувається визначення нахилу кистей і пальців рук. Для цього використовуються датчики електроміографії 13 і/або рефлекторні інфрачервоні датчики 12, розташовані усередині корпусу пристрою керування з виводом назовні корпуса 1 з боку внутрішнього обода браслета (до руки) чутливих елементів датчиків. Дані датчики реагують на рухи пальців і кистей рук щодо зап'ясть, що полягає у зміні величин напруг або опорів в залежності від конструкції датчиків. Також для більш точного визначення нахилу долонь можуть використовуватися інфрачервоні датчики температури 11 і/або радіо/ультразвукові далекоміри 10, розташовані по ободу браслета. Принцип використання даних датчиків виглядає наступним чином: при згинанні долоні вниз, як приклад, інфрачервоний датчик температури 11, розташований на нижній частині обода браслета буде детектувати відповідне збільшення температури від об'єкта (долоні), що наближається, в той час як інші датчики будуть показувати температуру навколишнього середовища. Однак існує вірогідність попадання в область видимості датчиків випадкових об'єктів, здатних призвести до помилкових спрацьовувань, через що слід використовувати дані датчики спільно з датчиками електроміографії 13 і/або рефлекторними інфрачервоними датчиками 12, аналізуючи загальні дані на процесорі 2 браслета. Прийняті, оброблені і нормалізовані показники датчиків процесором 2 даного пристрою надходять в модуль безпровідних прийому/передачі даних 5, а звідки надсилаються на пристрій-приймач (комп'ютеризований пристрій). Пристрій-приймач обробляє дані, що надійшли, і реалізує необхідні дії в залежності від настройки пристрою керування і виконаного на пристрої приймача програмного забезпечення: переміщує курсор миші, виконує навігацію всередині операційної системи, розпізнає символи на основі жестів для набору тексту, переміщує і повертає віртуальні об'єкти (тривимірні моделі) в просторі або виробляє будь-які інші дії передбачені програмним забезпеченням пристрою-приймача. Також пристрій керування може бути оснащено пристроєм введення-виведення інформації 14 для управління режимами пристрою, отримання інформації про стан заряду, або іншої інформації. Як пристрій введення-виведення може бути використаний дисплей з підтримкою сенсорного введення. Запропонований пристрій керування може бути використано як електронний перекладач мови жестів у звук. У такому випадку людина, що володіє мовою жестів, надягає браслети та вмикає спеціальне програмне забезпечення на комп'ютеризованому пристрої, який виступає пристроєм-приймачем. Людина здійснює жести, що відповідають певним фразам та/або 3 UA 105864 C2 5 10 словам, або здійснює рухи, що відповідають азбуці жестів. Спеціалізоване програмне забезпечення на пристрої-приймачі розпізнає жест, знаходить у базі жестів найбільш відповідне до жесту слово або фразу, або букву і, якщо поріг достовірності було пройдено, виводить фразу, слово або букву на екран пристрою приймача та виводить звук через динамік пристрою приймача. Таким чином, людина, що не володіє мовою жестів, чує певні слова та фрази, показані жестами. Пристрій, що заявляється, може бути виготовлений відомими в електронній промисловості способами з використанням відомих засобів та може бути застосований для захвату та розпізнавання жестів з метою керування та взаємодії людини з комп'ютеризованими пристроями (комп'ютерами, смартфонами, планшетними ПК тощо). ФОРМУЛА ВИНАХОДУ 15 20 25 30 35 1. Пристрій для керування за допомогою жестів, що містить корпус, в який вмонтовані блок обробки та прийому/передачі інформації від датчиків на комп'ютеризований пристрій, джерело живлення та щонайменше один акселерометр, причому пристрій виконаний з можливістю підключення до комп'ютеризованого пристрою з використанням безпровідних засобів, який відрізняється тим, що пристрій виконаний в вигляді браслета для одягання його на зап'ястя щонайменше однієї руки, у корпус із виведенням чутливих частин на поверхню внутрішнього обода браслета вмонтовано щонайменше один датчик електроміографії і/або щонайменше один рефлекторний інфрачервоний датчик, блок обробки та прийому/передачі інформації з або на комп'ютеризований пристрій виконаний в вигляді процесора або мікроконтролера, який з'єднаний із зазначеними датчиками, причому в корпусі браслета розміщений модуль безпровідних прийому/передачі даних з або на комп'ютеризований пристрій. 2. Пристрій за п. 1, який відрізняється тим, що в корпус браслета додатково вмонтований щонайменше один датчик-гіроскоп, який з'єднаний з процесором. 3. Пристрій за п. 1, який відрізняється тим, що в корпус браслета додатково вмонтований щонайменше один датчик магнітного поля, який з'єднаний з процесором. 4. Пристрій за п. 1, який відрізняється тим, що в корпус браслета додатково вмонтований щонайменше один барометричний датчик, який з'єднаний з процесором. 5. Пристрій за п. 1, який відрізняється тим, що в корпус браслета із виведенням чутливих частин на поверхню обода браслета додатково вмонтований щонайменше один інфрачервоний датчик температури, який з'єднаний з процесором. 6. Пристрій за п. 1, який відрізняється тим, що в корпус браслета додатково вмонтований щонайменше один радіо/ультразвуковий далекомір, який з'єднаний з процесором. 7. Пристрій за п. 1, який відрізняється тим, що на корпус браслета додатково вмонтовано засоби введення/виведення інформації для управління пристроєм. 4 UA 105864 C2 5 UA 105864 C2 6 UA 105864 C2 Комп’ютерна верстка О. Рябко Державна служба інтелектуальної власності України, вул. Урицького, 45, м. Київ, МСП, 03680, Україна ДП “Український інститут промислової власності”, вул. Глазунова, 1, м. Київ – 42, 01601 7