Пристрій озвучування жестів

Реферат: UA 78402 U UA 78402 U 5 10 15 20 25 30 35 40 45 50 55 Корисна модель належить до області портативних засобів розпізнання та озвучення жестів та може бути використана для розпізнавання жестів та переведення їх у звуки, базуючись на мові жестів або музичних нотах або будь-яких інших зіставленнях жестів та звуків, що можуть бути задані користувачем. Відомий мобільний переговорний комплекс для глухонімих людей (Патент РФ № 2455700, МПК G09B21/00, опубл. 10.07.2012 p.), що включає мікрофони, пристрої для посилення та ідентифікації сигналів звуку, пристрої формування зображення з метою візуального розпізнавання звуків мови, в якому є мобільний переговорний пристрій, розташований в долоні руки, що включає інфрачервоний приймач, інфрачервоний передавач, синтезатор мови, окуляри, які включають два синхронно працюючих інфрачервоних приймача, розташованих роздільно по одному на правому й лівому завушниках очок, і два синхронно працюючих інфрачервоних передавача, розташованих роздільно по одному на правому й лівому завушниках очок, причому два синхронно працюючих інфрачервоних приймача і передавача очок по інфрачервоних каналах зв'язку взаємодіють з мобільним переговорним пристроєм, і зовнішній акустичний пристрій для відтворення програмно синтезованої мови. Дане технічне рішення має вузьку сферу використання, а саме його призначення обмежується тільки забезпеченням розпізнання та візуалізації звуків мови із застосуванням кольорографічного алфавіту. Найбільш близьким до запропонованої корисної моделі є пристрій введення та виведення інформації (Патент України № 46906, МПК G06F 3/00, G09G 5/00, опубл. 11.01.2010, Бюл. № 1, 2010 p.), що містить корпус, виконаний у формі двох еластичних рукавичок з багатошарового тонкого еластичного матеріалу для надягання на руки, та електронний блок, що містить в єдиному корпусі блок обробки та передачі введеної інформації на комп'ютер, контролер дисплея, а також джерела електроживлення. На частини зовнішніх поверхонь рукавичок, що відповідають відносно рівним ділянкам поверхні кисті руки, нанесено шар гнучкого органічного світлодіодного матеріалу для відображення графічної інформації. У тіло рукавичок вмонтовані численні контактні датчики, що реагують на дотик, які виконані у вигляді сенсорних мембран тиску та розташовані під тими самими поверхнями, на які нанесено шар гнучкого органічного світлодіодного матеріалу, утворюючи в цілому сенсорний екран на поверхні рукавичок із ділянками для натискання або ковзання, що є імітованими клавішами або іншими елементами маніпуляторів, наприклад колеса миші. Пристрій має додаткові мікродатчики - акселерометри або датчики відстані. Даний пристрій призначений тільки для введення та виведення інформації в комп'ютер. Також, його не можливо використовувати для розпізнання жестів з наступним звуковим відтворенням даного жесту. В основу корисної моделі поставлена задача створення пристрою озвучування жестів, в якому за рахунок виконання пристрою у вигляді рукавичок, в які вмонтовано блок розпізнавання жестів, блок синтезування мови та генерації звуків через динамік та вбудовані та/або знімні модулі пам'яті для зберігання інформації про жести та звуки, що синтезуються, досягається розпізнання жестів, які здійснив користувач з пристроєм на руках, та перетворення їх у звук. Поставлена задача вирішується тим, що в запропонованому пристрої озвучення жестів, що містить корпус, виконаний у формі однієї або двох рукавичок для надягання на руки, на поверхні яких є вбудовані контактні датчики, виконані з тонкого еластичного струмопровідного матеріалу, щонайменше один акселерометр, джерело живлення, блок обробки та приймання/передачі інформації, що містить процесор та модуль безпровідного і/або провідного приймання/передачі даних на комп'ютеризований пристрій, в якому згідно з корисною моделлю в корпус кожної рукавички вмонтовано датчики згинання пальців та долонь, які розташовані в природних місцях згинання суглобів, щонайменше один датчик-гіроскоп та щонайменше один датчик магнітного поля, які зв'язані з процесором у блоці обробки та приймання/передачі інформації, причому в пристрій додатково введено блок розпізнавання жестів, блок синтезування мови та генерації звуків з динаміком та вбудовані та/або знімні модулі пам'яті для зберігання інформації про жести та звуки, що синтезуються. Крім того, в корпус кожної рукавички додатково вмонтовано щонайменше один барометричний датчик, який зв'язаний з процесором в блоці обробки та приймання/передачі інформації. Крім того, в корпус кожної рукавички додатково вмонтовано щонайменше один радіо/ультразвуковий далекомір, який зв'язаний з процесором в блоці обробки та приймання/передачі інформації. Крім того, на корпус кожної рукавички додатково вмонтовано засоби введення/виведення інформації для управління роботою пристрою. 1 UA 78402 U 5 10 15 20 25 30 35 40 45 50 55 60 Корисна модель пояснюється кресленнями, де на Фіг. 1 пристрій озвучення жестів у формі рукавичок, на Фіг. 2 (вид зверху) та Фіг. 3 (вид знизу) - зовнішній вигляд пристрою без верхнього (захисного) шару, а на Фіг. 4 - схему пристрою (для однієї рукавички). Запропонований пристрій озвучування жестів (див. Фіг. 1-4) містить корпус 1, виконаний у формі однієї або двох рукавичок для надягання на руки. В корпус 1 кожної рукавички вмонтовано джерело живлення 3 з акумулятором 4, блок обробки та приймання/передачі даних 5, який містить процесор 2 та модуль безпровідного і/або провідного приймання/передачі даних 6 на комп'ютеризований пристрій. В корпус 1 вмонтовано акселерометри 7, контактні датчики 8, датчики згинання пальців та долонь 9, які розташовані в природних місцях згинання суглобів, щонайменше один датчик гіроскоп 10, щонайменше один датчик магнітного поля 11, щонайменше один барометричний датчик 16, щонайменше один радіо/ультразвуковий далекомір 17. Контактні датчики 8 виконані з тонкого еластичного струмопровідного матеріалу. На корпус 1 додатково вмонтовано засоби введення/виведення інформації 18 для управління запропонованим пристроєм. Дані засоби можуть бути виконані у вигляді дисплею з підтримкою сенсорного вводу. Процесор 2, який є у блоці 5, що вмонтовано в корпус 1, зв'язаний з акселерометрами 7, контактними датчиками 8, датчиками згинання 9, датчиками-гіроскопами 10, датчиками магнітного поля 11, барометричними датчиками 16, радіо/ультразвуковими далекомірами 17, з модулем безпровідних або провідних прийому/передачі даних 6 і засобами введення/виведення інформації для управління роботою пристрою 18. Модуль безпровідної та/або провідних прийому/передачі даних 6 може бути забезпечений USB портом для з'єднання з комп'ютеризованим пристроєм. В корпус 1 пристрою додатково введено блок розпізнавання жестів 12, блок синтезування мови та генерації звуків 13 з динаміком 14 та вбудовані та/або знімні модулі пам'яті 15 для зберігання інформації про жести та звуки, що синтезуються. Запропонований пристрій використовують наступним чином. Користувач надіває пристрій на одну та/або дві руки та вмикає пристрій. Після подачі живлення від джерела живлення 3 пристрій може працювати у двох режимах, які обираються користувачем за допомогою засобів введення/виведення інформації для управління роботою пристрою 18. У першому режимі здійснюється розпізнавання жестів на переведення їх у звук, в другому режимі - навчання пристрою новим жестам та звукам або перенавчання вже існуючих жестів. В другому режимі пристрій озвучування жестів може приєднуватися до комп'ютера або іншого комп'ютеризованого пристрою безпровідним або провідним способом з'єднання. У цьому випадку стає необхідним використання спеціалізованого програмного забезпечення на комп'ютері або іншому комп'ютеризованому пристрої. Під час роботи пристрою озвучування жестів в першому режимі відбувається обробка даних датчиків 7, 8, 9, 10, 11, 16 та 17 за допомогою процесора 2 пристрою озвучування жестів і відправлення їх у блок розпізнавання жестів 12. Під час обробки дані фільтруються та нормалізуються. У блоці розпізнавання жестів 12 реалізується один з алгоритмів розпізнавання, наприклад, базований на штучних нейронних мережах, що апаратно та/або програмно реалізовано у блоці розпізнавання жестів 12. Інформація про розпізнаний жест (наприклад слово, що відповідає даному жесту відповідно мові жестів для глухонімих) передається в блок синтезування мови та генерації звуків 13, де здійснюється синтезування даного слова у звук і далі виводиться дане звучання через динамік 14. В загальному випадку робота блока синтезування мови та генерації звуків 13 складається у відтворенні заздалегідь зроблених аудіозаписів, що зберігаються у пам'яті пристрою 15, відповідно то розпізнаних слів та/або символів чи нот. Також блок синтезування мови та генерації звуків 13 може реалізовувати додаткові алгоритми по аналізу синтактичної та/або морфологічної будови розпізнаних фраз, задля більш лаконічного перекладу жестів у звукову мову. Під час роботи пристрою озвучування жестів в другому режимі прийняті, оброблені і нормалізовані показникидатчиків процесором 2 даного пристрою надходять в модуль передачі даних 6, звідки надсилаються на комп'ютеризований пристрій, де за допомогою спеціального програмного забезпечення показники обробляються і відправляються назад до пристрою озвучування жестів, де зберігаються в модулях пам'яті 15. Під час обробки сигналів на комп'ютеризованому пристрої відбувається налаштування показників відповідності нормалізованих даних датчиків та позначень жестів, що потрібно розпізнати. Так, якщо, розпізнавання у блоці 12 базується на штучних нейронних мережах, то у другому режимі користувач може проводити навчання штучної нейронної мережі пристрою за допомоги комп'ютеризованого пристрою. 2 UA 78402 U 5 10 15 20 25 30 35 40 45 50 55 60 Обробка даних датчиків 7, 8, 9, 10, 11, 16 та 17 відбувається наступним чином. Процесор 2 пристрою озвучування жестів надсилає запити та отримує дані (сигнали) від датчиків 7, 8, 9, 10, 11, 16 та 17, зв'язок з якими здійснюється реалізацією спільного для процесора 2 і конкретного типу датчика цифрового протоколу або ж обробкою аналогових сигналів з датчиків 7, 8, 9, 10, 11, 16 та 17, якщо датчики 7, 8, 9, 10, 11, 16 та 17 надають саме аналогові сигнали, і подальшим переведенням аналогових сигналів у цифрові за допомогою аналого-цифрових перетворювачів, вбудованих в процесор 2, або ж є окремими пристроями, підключеними до процесора 2 з використанням загальних цифрових протоколів. Також в зв'язці між вказаними датчиками і аналого-цифровим перетворювачем може бути встановлений операційний підсилювач (не показаний) при необхідності первісного посилення сигналу. Датчики, такі як, акселерометри 7, датчики-гіроскопи 10, датчики магнітного поля (компаси) 11, барометричні датчики 16, радіо/ультразвукові далекоміри 17, які розташовані усередині корпусу блока обробки та передачі інформації 5, який розташований в корпусі пристрою озвучення жестів 1, використовуються для визначення положення долонь в просторі. При цьому використовуються як абсолютні величини, тобто кути повороту кожної рукавички щодо магнітного поля і центра земного тяжіння, так і відносні, тобто різниця висот між рукавичками, виходячи з показань атмосферних тисків на кожній з рукавичок, відстані між рукавичками (у разі застосування двох рукавичок). Вимірювані величини отримують спільним аналізом показань вище перерахованих датчиків за допомогою алгоритмів, які виконуються процесором 2. Відносно положення долонь відбувається визначення згинання пальців рук та долонь. Для цього використовуються контактні датчики 8 та датчики згинання 9, розташовані у корпусі 1 пристрою озвучення жестів. Контактні датчики 8 виконані у вигляді тонкого еластичного струмопровідного матеріалу, причому на частині датчиків присутній високий або низький логічний рівень, що при доторканні до протилежних датчиків, які з'єднані із процесором 2, провокує детектування процесором 2 зміни логічного рівня на них, що свою чергу свідчить про певне торкання пальців до долоні або до інших пальців. Датчики згинання 9 встановлено в корпусі пристрою озвучення жестів 1 в природних місцях згинання суглобів, що дає змогу визначити кути згинання суглобів пальців та долонь. Датчики згинання 9 реагують на змінення кута свого згинання шляхом змінення свого електричного опору, що дає змогу визначити значення кута згинання датчиків 9 процесором 2, із використанням аналого-цифрових перетворювачів, які вбудовані у процесор 2 та/або являють собою окремий елемент (не показані). Як правило, між аналого-цифровим перетворювачем та датчиком згинання 9 встановлюють операційний посилювач, для посилення сигналу (не показаний). Також пристрій озвучення жестів може бути оснащено засобом введення-виведення інформації 18 для управління режимами пристрою, отримання інформації про стан заряду, або іншої інформації. Як засіб введення-виведення 18 може бути використаний дисплей з підтримкою сенсорного введення. Корисна модель, що заявляється, може бути виготовлена відомими в електронній промисловості способами з використанням відомих засобів, та може бути застосована для розпізнавання жестів та переведення їх у звуки, базуючись на мові жестів, музичних нотах, будь-яких інших зіставленнях жестів та звуків, що можуть бути задані користувачем. ФОРМУЛА КОРИСНОЇ МОДЕЛІ 1. Пристрій озвучення жестів, що містить корпус, виконаний у формі однієї або двох рукавичок для надягання на руки, на поверхні яких є вбудовані контактні датчики, виконані з тонкого еластичного струмопровідного матеріалу, щонайменше один акселерометр, джерело живлення, блок обробки та приймання/передачі інформації, що містить процесор та модуль безпровідного і/або провідного приймання/передачі даних на комп'ютеризований пристрій, який відрізняється тим, що в корпус кожної рукавички вмонтовано датчики згинання пальців та долонь, які розташовані в природних місцях згинання суглобів, щонайменше один датчик гіроскоп та щонайменше один датчик магнітного поля, які зв'язані з процесором у блоці обробки та приймання/передачі інформації, причому в пристрій додатково введено блок розпізнавання жестів, блок синтезування мови та генерації звуків з динаміком та вбудовані та/або знімні модулі пам'яті для зберігання інформації про жести та звуки, що синтезуються. 2. Пристрій за п. 1, який відрізняється тим, що в корпус кожної рукавички додатково вмонтовано щонайменше один барометричний датчик, який зв'язаний з процесором в блоці обробки та приймання/передачі інформації. 3 UA 78402 U 5 3. Пристрій за п. 1, який відрізняється тим, що в корпус кожної рукавички додатково вмонтовано щонайменше один радіо/ультразвуковий далекомір, який зв'язаний з процесором в блоці обробки та приймання/передачі інформації. 4. Пристрій за пп. 1-3, який відрізняється тим, що на корпус кожної рукавички додатково вмонтовано засоби введення/виведення інформації для управління роботою пристрою. 4 UA 78402 U 5 UA 78402 U Комп’ютерна верстка І. Скворцова Державна служба інтелектуальної власності України, вул. Урицького, 45, м. Київ, МСП, 03680, Україна ДП “Український інститут промислової власності”, вул. Глазунова, 1, м. Київ – 42, 01601 6