Система enable talk (інейбл толк)

Реферат: Система Enable Talk (Інейбл Толк) складається з рукавичок, обладнаних датчиками, які збирають дані про рухи користувача, що відображають елементи жестової мови, і програмного забезпечення (що встановлено на обчислювальному пристрої, який допускає виконання реалізації програмного забезпечення), яке здійснює розпізнавання вхідних даних, причому виконана з можливістю реалізувати збір та аналіз даних не тільки про стан елементів руки, а й про стан всієї руки в просторі, що є необхідною умовою розпізнавання жестової мови. UA 86748 U (12) UA 86748 U UA 86748 U 5 10 15 20 25 30 35 40 45 50 55 60 Система Enable Talk (Інейбл Толк) належить до галузі електроніки, зокрема до систем збору даних про рухи рук, а також їх інтерпретації. Може бути використана як засіб управління маніпуляторами шляхом формування опису руху в деякій знаковій системі. Найпоширенішим методом спілкування між глухонімими і особами, які чують, є мова жестів, інтерпретувати яку здатний не кожен. Крім цього мови жестів розрізняються особливостями, зумовленими мовним середовищем, діалектом, введенням спеціальних технологічних позначень. В умовах швидкого поновлення словникового запасу, викликаного технічним прогресом, також необхідно при інтерпретації враховувати можливість додавання наборів жестів, що створює додаткові труднощі при спілкуванні. Саме для вирішення цих проблем комунікації призначена Система Enable Talk (Система Інейбл Толк). В даний час існує декілька пристроїв, що дозволяють здійснювати зняття даних про розташування руки і пальців, а також для їх подальшої інтерпретації. Аналогами корисної моделі є VPL Data Glove, P5 Glove, CyberGlove, AcccleGlove. Наведемо основні відмінні особливості даних пристроїв відносно пропонованої системи. VPL Data Glove, U.S. Pat. No. 4,542,291 (Thomas G. Zimmerman. Optical flex sensor [Electronic resource]: access mode http://www.google.com/patents/US4542291), заснована на фіксації згинання руки за допомогою оптоволоконних сенсорів, розташованих на рукавичці. Передача даних здійснюється дротовим способом, при цьому в першій модифікації розташування руки в просторі не фіксується. На її основі була створена Р5 Glove (Virtual Realities, Ltd. [Electronic resource]: access mode// http://www.vrealities.com/P5.html), яка здійснює позиціювання за допомогою інфрачервоних датчиків, що фіксують відстань до базової станції. Заявлена точність ± 0,6 см при розташуванні від станції на відстані 60 см. При цьому зв'язок рукавички з базовою станцією здійснюється, в тому числі, за допомогою спеціальних проводів. Однак заявлена точність не завжди витримується, а також відсутнє програмне забезпечення, здатне інтерпретувати рухи руки в якусь знакову систему, що застосовується, наприклад глухонімими. Також серед недоліків системи слід відзначити її непридатність для мобільного застосування. Вимірювання даних про становище руки за допомогою акселерометрів застосовується в аналогу рукавичці Acceleglove (AnthroTronix. [Electronic resource]: access mode// http://www.anthrotronix.com/?option=com_content&view=article&id=115&Itemid=149). Кількість акселерометрів дозволяє позиціонувати не лише руку, але і розташування пальців щодо руки. Дані передаються за допомогою системи проводів. Основними недоліками є недостатньо точне визначення положення руки в просторі при демонстрації жестів, відсутність програмного забезпечення для інтерпретації жестів у знакову систему, а також мобільного рішення. Ще одним аналогом є CyberGlove (Lawrence Miller, Mark Schelbert, Faisal M. Yazadi Motion capture data glove [Electronic resource]: access mode//http://www.google.com/patents/US20120025945), в якій дані надходять від багатьох датчиків, розташованих на рукавичці. Однак, всі ці датчики збирають дані лише про стан пальців, долоні і кисті, що лише дозволяє позиціонувати елементи руки відносно один одного. У CyberGlove також реалізований модуль бездротової передачі даних за допомогою WiFi і Bluetooth. Найближчим аналогом є рукавичка CyberGlove. Однак, на відміну від CyberGlove, Система Enable Talk (Система Інейбл Толк) реалізує збір та аналіз даних не тільки про становище елементів руки відносно один одного, а й про становище всієї руки в просторі, що є необхідною умовою розпізнавання жестової мови. Система Enable Talk (Система Інейбл Толк) є не тільки апаратним, але і програмним рішенням, представляючи можливість інтерпретувати дані, що надходять в знакову систему (жсстова мова), на відміну від CyberGlove. Також слід зазначити, що Система Enable Talk (Система Інейбл Толк) адаптована для роботи мобільними пристроями (такими як смартфон, планшет, тощо), що значно розширює можливості для її застосування, а відповідно і цінність для користувача. Технічною задачею є створення корисної моделі для людей з обмеженими можливостями слуху та мовлення, що є системою для забезпечення комунікації. Суттєвими ознаками, достатніми для досягнення технічного результату, який забезпечує корисна модель є: 1) датчикозмістовна частина системи, що забезпечує збір даних про становище руки в просторі і позиціонування пальців щодо долоні; 2) програмне забезпечення, що дозволяє аналізувати та інтерпретувати отримані дані в задану знакову систему. 1 UA 86748 U 5 10 15 20 25 30 35 40 45 50 55 Технічним результатом є удосконалення пристрою для полегшення спілкування осіб, які страждають від проблем зі слухом і мовленням та отримання комунікації (Системи Enable Talk (Системи Інейбл Толк)) для людей з обмеженими можливостями слуху та мовлення та звичайними людьми. На фіг. 1 представлено концептуальний склад Системи Enable Talk (Системи Інейбл Толк), де: 1 - набір реєструючих датчиків, закріплених на об'єкті зняття сигналу (гіроскоп, акселерометр, компас, датчики згинання), 2 - спосіб передачі даних (радіосигнал (wi-fi, bluetooth), IRDA, та інші провідники цифрових сигналів (оптоволоконний кабель, мідний та інші), 3 - обчислювальний пристрій, що допускає виконання реалізації програмного забезпечення, яке здійснює розпізнання вхідних даних (персональний комп'ютер, мобільний телефон, планшет); 4 - пристрій виведення результатів розпізнавання (динамік, дисплей пристрою, принтер). На фіг. 2 представлено фізичну реалізацію концепції Системи Enable Talk (Системи Інейбл Толк), де: 1 - пристрій, що містить датчики зняття параметрів руху руки і засіб передачі даннях (рукавички, браслет з напальчниками, браслет), 2 - потік даних від датчиків, 3 - пристрій, що здійснює розпізнавання (мобільний телефон, смартфон, ноутбук, планшет, пк), 4 - результати розпізнавання, 5 - пристрої виводу (динамік, дисплей, принтер). На фіг. 3 представлено апаратну схему Системи Enable Talk (Системи Інейбл Толк), де:1 датчик згинання 1; 2 - датчик згинання N; 3 - необов'язкові підсилювачі; 4 - підсилювач І; 5 підсилювач N; 6 - мультиплексор 1; 7 - мультиплексом М; 8 - необов'язкові дільники напруги; 9 дільник напруги 1; 10 - дільник напруги М; 11 - АЦП 1; 12 - АЦП М; 13 - АДІІ К; 14 - контролер; 15 - цифровий інтерфейс (12С, SPI, 1-wire, USART і т.п.), 16-бездротовий інтерфейс (Радіо, Bluetoth, WiFi, IrDa і т.п.), 17 - підсилювач, 18 - аналоговий сигнал, 19 - цифровий протокол, 20 мобільний пристрій, 21 - мікрочипи, 22 - акселерометр, 23 - гіроскоп, 24 - компас. На фіг. 4 представлено пристрій печатки Системи Enable Talk (Системи Інейбл Толк), де: 1 датчики контакту подушечок пальців; 2 - датчики згинання; 3 - датчики контакту; 4 - контролер. На фіг. 5 представлено функціональну схему розпізнавання части програмного забезпечення Системи Enable Talk (Системи Інейбл Толк), де: 1 - початок, 2 - завантаження бібліотеки шаблонів і основних налаштувань, 3 - режим розпізнавання, 4 - з підстроюванням під диктора; 5 - повторення користувачем коригувальних жестів, 6 - корегування параметрів розпізнавання, 7 - розпізнавання та вивід знакової інтерпретації жестів, які поступають, 8 режим визначення положення руки, 9 - потоковий вивід інформації про розміщення руки, 10 режим навчання, 11 - ввід декількох екземплярів та наступна обробка окремих жестів, які навчають, 12 - закінчення роботи, 13 - кінець. На фіг. 6 представлено функціональну схему етапу розпізнавання Системи Enable Talk (Системи Інейбл Толк), де: 1 - початок, 2 - потокова фільтрація вхідних даних, 3 - Тн = 0, 4 суттєва зміна положення руки продовж часу Тп, 5 - буферизація даних, 6 - розпізнавання буферу даних за час Тн - поточний момент часу, 7 - вивід результатів, 8 - очистка буфера, 9 - Тн = поточний час, 10 - закінчення роботи, 11 - кінець. Для отримання технічного результату, який досягнуто у Системі Enable Talk (Системі Інейбл Толк) та який дозволяє здійснювати комунікацію між людьми з проблемами слуху та мовлення та звичайними людьми, є необхідним створення програмного та апаратного забезпечення. Система Enable Talk (Система Інейбл Толк) складається з рукавичок, обладнаних датчиками, які збирають дані про рухи користувача, що відображають елементи жестової мови, і програмного забезпечення, встановленого на обчислювальному пристрої, який допускає виконання реалізації програмного забезпечення, що здійснює розпізнавання вхідних даних. При розпізнаванні даних, які надійшли від рукавички, можливі наступні режими роботи: - розпізнавання жестів в деякій заданій знаковій системі (з підстроюванням під диктора і без); - визначення положення (відносні координати центра рукавички) і розташування (положення пальців щодо рукавички); - навчання системи новим жестам з метою подальшого їх розпізнавання. При розпізнаванні жестів здійснюється потокова обробка даних з метою визначення, до якого знаку може бути віднесена та чи інша послідовність зміни положення руки, з урахуванням даних про згинання і розгинання пальців. У разі, якщо вибрано режим розпізнавання з підстроюванням під диктора, здійснюється за допомогою введення пропонованих користувачеві Системи Enable Talk (Системи Інейбл Толк) набору жестів з метою визначення характерних жестикуляційних особливостей (як наприклад максимальний розмах рук при жестикуляції, темп, діапазони згинання пальців і т. п.). 2 UA 86748 U 5 10 15 20 25 30 35 40 45 50 55 60 При визначенні положення рукавички здійснюється виведення деякої об'ємної моделі рукавички з метою демонстрації змін координат. У цьому випадку підстроювання під диктора може бути використано тільки для більш точного визначення координат і для усунення шумів, пов'язаних з індивідуальними параметрами скорочення м'язів у стані спокою і при переміщенні. У режимі навчання новим жестам здійснюється демонстрація користувачем Системи Enable Talk (Системи Інейбл Толк) послідовності прикладів одного і того ж навчального жесту з метою формування блоком розпізнавання Системи Enable Talk (Системи Інейбл Толк) шаблону пропонованого жесту. При цьому відбувається перенавчання системи в цілому, так як введений жест впливає на розпізнавання знаків, введених в базовій бібліотеці жестів, оскільки новий жест може містити значні блоки, дублюючі фрагменти інших жестів. Основним джерелом даних є набір датчиків, які здійснюють зняття даних про становище руки. Як такі датчики можуть використовуватися гіроскоп, акселерометр, датчики згинання і т.п. Залежно від типу об'єкта, що містить зазначені датчики, їх кількість і розміщення можуть змінюватись, що не впливає на концептуальну схему системи, але зумовлює якість і точність розпізнавання при наявності надлишкової інформації, наприклад від декількох акселерометрів. У проекті Enable Talk (Інейбл Толк) не вказується кількість і розміщення цих датчиків, оскільки постійно створюються нові зразки, що мають тенденції поліпшення, здешевлення, зменшення рівню шуму і дають більшу точність вимірювання. Отримана інформація, в залежності від реалізації Системи Enable Talk (Системи Інейбл Толк), передається засобами зв'язку в обчислювальний пристрій, що здійснює обробку даних з метою розпізнавання. У базовому варіанті як такий спосіб передачі даних є bluetooth, що, однак, не є обов'язковим у зв'язку з варіативності пристрою, що здійснює розпізнавання даних, які надходять від рукавички. Дійсно, в залежності від того, чи здійснюється обробка за допомогою телефону, оснащеного bluetooth, або ноутбука, який оснащений вбудованим приймачем wi-fi, простіше змінити канал, який здійснює передачу даних, ніж змінювати приймаючий пристрій, що дозволяє розширити види пристроїв, що здійснюють розпізнавання жестів. Інформація, що надходить на пристрій, який використовується для розпізнавання, обробляється з метою розпізнавання здійснених змін у положенні руки. Результатом такого розпізнавання є як текстова інтерпретація жесту в деякій знаковій системі, так і опис змін положення і розташування руки з метою використання цієї інформації для подальшої обробки та передачі керуючих впливів деякому третьому об'єкту. Результат розпізнавання може бути відображений за допомогою деякого пристрою виводу (динаміка, дисплея і т.п.) як у вигляді деякого тексту, так і у вигляді координат положення руки і додаткової інформації, яка описує зміни розташування руки, що, надалі, використовується третім пристроєм для передачі керуючих впливів. Апаратна схема рукавички Системи Enable Talk (Системи Інейбл Толк) представлена наступним чином. Вхідні дані від датчиків згинання передаються в підсилювачі, кожен з яких збільшує діапазон вихідних сигналів при необхідності (при використанні датчиків з недостатньо сильним сигналом). Для передачі отриманих даних далі використовуються мультиплексори, які дозволяють передавати сигнали по меншій кількості каналів. Для фільтрації шумів можуть використовуватися подільники напруги. Отримані таким чином дані надходять на вхід в АЦП. Паралельно з даними, отриманими від датчиків згинання, для визначення положення руки в просторі використовуються дані, що генеруються акселерометрами, гіроскопом і компасом, що проходять через підсилювач на АЦП у разі використання аналогових сигналів, або через відповідний цифровий інтерфейс (12С, або SPI, або 1-wire, або USART, і т.д.) у разі використання цифрових протоколів. На контролері здійснюється консолідація даних, що надходять у пакети, які потім передаються на мобільний пристрій за допомогою каналів зв'язку. При цьому як датчики, що використовуються в рукавичці Системи Enable Talk (Системи Інейбл Толк), можуть використовуватися як нижченаведені приклади датчиків, так і їх аналоги. • LSM303DLH-3-и осьовий цифровий акселерометр (з діапазоном вимірювання ± 8g), 3х осьовий цифровий магнітометр (з діапазоном вимірювання ± 8,1 Ге). • LSM330DL-3-и осьовий цифровий акселерометр (з діапазоном вимірювання ± 16g), 3х осьовий цифровий гіроскоп (з діапазоном вимірювання ± 2000° / с). • Flex Sensor 2.2"- датчик згинання із змінним опором (з діапазоном вимірювання від 25000 Ом до 125000 Ом). Функціональна схема роботи програмного забезпечення, в частині, що стосується розпізнавання, навчання та фіксації положення печатки передбачена наступним чином. При запуску режиму розпізнавання здійснюється завантаження базової бібліотеки знакової системи, яка залежить від мовної бази країни, в якому використовується пристрій; особливостей 3 UA 86748 U 5 10 15 20 25 30 35 40 жестів, застосовуваних у рамках вибраної знакової системи. При фіксації положення руки, як така базова бібліотека може служити наприклад рух, відповідне перевертання об'єкта, умовні позначення закінчення роботи з програмою і т.п. Після завантаження користувач вибирає, в якому режимі буде здійснена подальша робота програми, так як кожний з режимів характеризується різними етапами і не може бути об'єднаний. У разі вибору режиму розпізнавання, користувач, який керується необхідністю одержувати більш точну інтерпретацію жестів, може попередньо провести коригування параметрів системи шляхом демонстрації запропонованих йому жестів для виявлення основних характеристик суб'єкта, що здійснює подальшу роботу з Системою Enable Talk (Системою Інейбл Толк). Після автоматичного коректування даних диктора (людини, жести якого розпізнаються), подальша робота здійснюється у вигляді потокової обробки даних, що надходять від датчиків рукавички, з подальшим розпізнаванням. При цьому користувач може в довільний момент зупинити роботу з додатком, або повернутися до блока вибору режиму роботи у разі, якщо виявив жест, якого немає в базовій бібліотеці вибраної знакової системи, з метою навчання системи новому жесту і його подальшому іменуванню. У режимі визначення положення руки користувач може як отримувати інформацію тільки про координати руки, так і, при виборі відповідної знакової системи, координати з інформацією, яка супроводжує щодо демонстрації набору жестів з вибраної бібліотеки. У режимі навчання новому жесту користувачеві необхідно кілька разів продемонструвати один і той же навчальний жест, що викликано особливістю Системи Enable Talk (Системи Інейбл Толк), а також варіативністю жесту при подальшій реалізації в режимі розпізнавання. Знову введений жест буде додано до бібліотеки користувача, але буде прив'язаний до тієї базової знаковій системі, яку він вибрав на початку роботи. Це пов'язано з тим, що при розпізнаванні враховуються різні і схожі особливості жестів, виявлення яких можливо тільки при знанні набору жестів, з якими здійснюється порівняння. Концептуальна суть розпізнання блока системи представлена таким чином. При потоковому отриманні даних від датчиків рукавички, здійснюється фільтрація даних, яка не залежить від введеного жесту, і призначена для усунення перешкод, які викликані особливостями перетворення аналогового сигналу в дискретний; шумів, викликаних природними коливаннями руки та іншими перешкодами. Подальша обробка здійснюється потоково, тобто в кожен момент часу для розпізнавання використовується інформація, накопичена в буфері від останнього часу паузи. У даній схемі Тн є параметром системи розпізнавання і визначає, в упродовж якої мінімальної кількості часу положення руки не повинно змінюватися (з урахуванням шумів), щоб було зафіксовано стан "спокою", що є роздільником жестів. У разі, якщо було зафіксовано стан спокою, здійснюється розпізнавання буфера обміну шляхом співставлення даних, отриманих від датчиків з шаблонами жестів, які занесені до бібліотеки вибраної користувачем знакової системи. Після розпізнавання даних, які занесені в буфер обміну, буфер очищується з встановленням мітки початку обробки даних на час Тн. Після розпізнавання блока буфера обміну користувач має можливість як продовжити роботу в режимі розпізнавання, так і перейти в будь-який інший режим або завершити роботу з додатком. Більш докладний опис Системи Enable Talk (Системи Інейбл Толк), що складається з пристрою, що реєструє рух руки, засобу розпізнавання та інтерпретації отриманих даних, представлено на фігурах 1-6. 45 ФОРМУЛА КОРИСНОЇ МОДЕЛІ 50 Система Enable Talk (Інейбл Толк) складається з рукавичок, обладнаних датчиками, які збирають дані про рухи користувача, що відображають елементи жестової мови, і програмного забезпечення (що встановлено на обчислювальному пристрої, який допускає виконання реалізації програмного забезпечення), яке здійснює розпізнавання вхідних даних, яка відрізняється тим, що виконана з можливістю реалізувати збір та аналіз даних не тільки про стан елементів руки, а й про стан всієї руки в просторі, що є необхідною умовою розпізнавання жестової мови. 4 UA 86748 U 5 UA 86748 U 6 UA 86748 U Комп’ютерна верстка Л. Литвиненко Державна служба інтелектуальної власності України, вул. Урицького, 45, м. Київ, МСП, 03680, Україна ДП “Український інститут промислової власності”, вул. Глазунова, 1, м. Київ – 42, 01601 7