Спосіб розпізнавання дактилем української жестової мови

Реферат: Спосіб розпізнавання дактилем української жестової мови полягає в обробці зображень з відеопотоку в реальному часі з подальшим пошуком областей, які відповідають контуру долоні людини, аналізі геометричних характеристик контуру долоні, представленні їх у стандартизованій формі, побудові числових векторів ознак та матричних представників аналізованих об'єктів, пошуку розв'язку шляхом порівняння побудованих векторів ознак з еталонними значеннями, що отримані на етапі навчання системи розпізнавання. На кожному етапі алгоритму множину можливих розв'язків послідовно звужують шляхом відкидання лише тих дактилем, які з високою імовірністю не є розв'язками. На заключному етапі для порівняння матричних представників об'єктів використовується відстань відповідності на основі занурення у слушний підпростір у просторі ознак. UA 116385 U (12) UA 116385 U UA 116385 U 5 10 15 20 25 30 35 40 45 50 55 60 Корисна модель належить до області інформаційних технологій для прийняття інтелектуальних рішень, зокрема для розпізнавання дактилем української жестової мови. Відомий аналог "Обробник зображень, що включає систему розпізнавання жестів на основі порівняння характеристик контуру, який відображає позицію долоні на зображенні" [№ патенту US 2015262362(A1) 2015-09-17]. Система обробки зображень включає обробник зображень, який має схему обробки зображення та зв'язану з ним пам'ять. Обробник зображень налаштований на реалізацію системи розпізнавання жестів, яка включає модуль класифікації контурів. Модуль класифікації контурів відповідає за пошук позицій долоні на ізольованих ділянках двох зображень з метою виділення контурів долоні та обрахунку векторів ознак цих контурів, визначення схожості двох зображень на основі отриманих векторів ознак та інформації щодо точок, які характеризують ізольовані області. Недоліком вказаного аналога є відсутність перевірки наявності порожніх областей в середині контуру. Система розпізнавання є строго залежною від положення, кута нахилу записуючого пристрою та ракурсу демонстрації жесту. При побудові векторів ознак використовуються абсолютні величини, тому система розпізнавання залежить від віддаленості долоні від записуючого пристрою. Відомий аналог "Обробник зображень, що включає систему розпізнавання жестів на основі пошуку та відслідковування положення пальців на зображенні" [№ патенту US 2015253864(A1) 2015-09-10]. Система розпізнавання включає пошук положення пальців на зображенні долоні та модуль слідкування, який шукає область зображення, що включає долонь, будує контур долоні, використовує характеристики контуру з метою визначення положення пальців та здійснює слідкування за зміною положення пальців на послідовності зображень, включаючи поточне. Недоліком вказаного аналога є те, що при демонстрації жестів часто виникає ситуація, коли пальці притиснуті до долоні, наприклад коли позиція руки відповідає кулаку. В таких випадках контур долоні не дає інформації щодо положення окремих пальців і запропонований підхід втрачає свою ефективність. При роботі системи розпізнавання виникає ситуація, коли знайдене положення лише для кількох пальців. В цьому разі виникає не тривіальна задача визначення, положення яких саме пальців знайдено. Найближчий аналог до способу, який пропонується, "Розпізнавання жестової мови в динаміці" [№ патенту US 2015253864(A1) 2015-09-10]. Дана система призначена для розпізнавання символів та цифр індійської жестової мови з бази даних в реальному часі. Розпізнавання реалізується з використанням характеристик долоні, отриманих з її зображення. Визначення орієнтації долоні дозволяє працювати з її характеристиками незалежно від ракурсу. Запропонований алгоритм як результат може повертати повідомлення "немає жесту", "хибний жест" або "погане освітлення". Система розпізнавання дозволяє додавати нові жести в режимі реального часу. Недоліком вказаного аналога є те, що використання інформації щодо положення пальців на зображенні не дає стабільного результату роботи системи розпізнавання через те, що в залежності від конфігурації пальців часто виникає ситуація, коли положення окремих або навіть всіх пальців визначити неможливо. Також пропонується використати абсолютні величини, наприклад, довжину дефекту або периметр контуру, що негативно впливає на робастність системи розпізнавання. Метод опорних векторів, який є частиною запропонованого алгоритму, загалом призначений для розв'язування задач з двома класами. Крім цього він є залежним від якості навчальної вибірки. Запропоновані вектори ознак не враховують можливість демонстрації жестів у різних ракурсах (допустимих за правилами демонстрації елементів жестової мови). В основу корисної моделі поставлено задачу розробити ефективний спосіб розпізнавання дактилем у випадку, коли контур долоні не має дефектів і інформація щодо положення окремих пальців на зображенні не може бути отримана; розробити підхід до підвищення робастності системи розпізнавання; врахувати різні варіанти демонстрації дактилем, зокрем, під різним ракурсом; розробити алгоритм розпізнавання, в якому мінімізована кількість помилок другого роду, тобто випадків, коли дактилема була розпізнана хибно. Поставлена задача вирішується наступним чином. У способі розпізнавання дактилем української жестової мови, що полягає в обробці зображень з відеопотоку в реальному часі з подальшим пошуком областей, які відповідають контуру долоні людини, аналізі геометричних характеристик контуру долоні, представленні їх у стандартизованій формі, побудові числових векторів ознак та матричних представників аналізованих об'єктів, пошуку розв'язку шляхом порівняння побудованих векторів ознак з еталонними значеннями, що отримані на етапі навчання системи розпізнавання, згідно з корисною моделлю, на кожному етапі алгоритму множина можливих розв'язків послідовно звужується шляхом відкидання лише тих дактилем, які з високою імовірністю не є розв'язками, а на заключному етапі для порівняння матричних 1 UA 116385 U 5 10 15 20 25 30 35 40 45 50 55 60 представників об'єктів використовується відстань відповідності на основі занурення у слушний підпростір у просторі ознак, що дає можливість отримати остаточний розв'язок, якщо множина можливих розв'язків складається з більш ніж одного елемента, або перевірити правильність розв'язку, якщо він вже отриманий на попередніх етапах. Запропоновано багатоетапний алгоритм розпізнавання дактилем української жестової мови на основі послідовного звуження множини можливих розв'язків, на кожному кроці якого виключаються лише ті дактилеми, які з дуже високою імовірністю не є розв'язками. Запропоновані підходи до стандартизації зображення жесту, зокрема, його масштабування, та представлення структури дефекту у стандартизованій формі. Для підвищення робастності системи розпізнавання пропонується використати низку відносних величин. На етапі навчання системи розпізнавання пропонується розбиття дактилем на 5 класів за кількістю значущих дефектів, при чому класи є такими, що можуть перетинатися, що дозволяє врахувати різні варіанти демонстрації дактилем. Для випадку, коли значущих дефектів не знайдено, або для остаточної перевірки отриманого результату розпізнавання пропонується використати матричні представники об'єктів. Для обчислення ступеня схожості двох матриць пропонується використати відстань відповідності на основі занурення у слушний підпростір (чи гіперплощину) у просторі ознак. Суть корисної моделі полягає в тому, що на першому етапі вирішення задачі розпізнавання нерухомих дактилем української жестової мови полягає у захопленні зображення з веб-камери чи іншого записуючого пристрою з подальшим пошуком та виділенням на отриманому зображенні долоні та її контуру. Інформація про положення долоні на зображенні представляється спеціальним чином: у вигляді замкненого контуру, що представляє формалізований опис долоні. Контур, в свою чергу, зберігається у вигляді послідовності точок, кожна з яких задається певними координатами, обчисленими відносно лівого верхнього кута вхідного зображення. Важлива для розпізнавання інформація міститься, зокрема, в так званих "дефектах" геометричних характеристиках, що дозволяють ідентифікувати жест і характеризують взаємне розташування контуру долоні та опуклої оболонки побудованої навколо цього контуру. Так, на фіг. 2 дефекти представлені "криволінійними трикутниками" з ділянками ламаної опуклої оболонки контуру як основами. Фіг. 2 представляє чотири дефекти, для яких кружечками виділені початок, кінець та найглибша точка. Запропонована фільтрація дефектів на значущі та незначущі, що дозволяє залишити у розгляді лише ті з них, які несуть в собі важливу для розпізнавання інформацію. Серед основних характеристик дефектів можна виділити наступні: - довжина частини опуклої оболонки, що є основою дефекту; - висота дефекту, тобто довжина перпендикуляра, опущеного з найглибшої точки на опуклу оболонку; - кількість точок контуру, які потрапили у межі дефекту;- відносні величини, що базуються на перших трьох пунктах; - представлення структури дефекту у стандартизованій формі з використанням ланцюгів Фрімена; - взаємне розташування дефектів: кут нахилу основи поточного дефекту відносно основи попереднього. Пропонується розбиття множини знаків дактильної мови жестів за кількістю значущих дефектів на 5 класів. Класи є такими що можуть перетинатися. При формуванні навчальної вибірки для кожної літери зберігається певна кількість зображень, що відповідають різним ракурсам демонстрації відповідного дактиля. Саме на базі цих зображень і обчислюються "матричні" вектори ознак, допустимі інтервали для характеристик дефектів та інших важливих для розпізнавання величин, зокрема Ни моментів, враховується положення центра мас контуру та проводиться індикація наявності порожніх областей в середині контуру. Момент зображення це деяке зважене середнє інтенсивності пікселів на зображенні. В свою чергу Hu моменти є інваріантними до зміни довжини, масштабування та повороту. Зауважимо, що на дефектний опис долоні впливають певні умови фіксації зображення, зокрема кут нахилу записуючого пристрою до долоні, положення руки, ракурс демонстрації жесту загалом. Зважаючи на це, деякі літери можуть описуватись різними наборами дефектів, та, відповідно, бути віднесені одночасно до кількох класів. Дефекти є дуже потужним засобом аналізу, але їх можливості не є достатніми для побудови системи розпізнавання з високими показниками ефективності, адже можуть мати місце наступні ситуації: - жест не має дефектів; - жест має дефекти, але після всіх пов'язаних з дефектами етапів розпізнавання множина можливих розв'язків складається з кількох елементів. 2 UA 116385 U 5 10 15 20 25 30 35 40 45 50 55 У випадку, коли отримано єдиний розв'язок є необхідність переконатися чи не є знайдений розв'язок хибним. Тому актуальним є безпосередньо аналіз зображення жесту. Крім опуклої оболонки навколо зображення жесту може бути побудований мінімальний охоплюючий прямокутник - це прямокутник мінімального розміру, в який можна вписати контур жесту. Отримавши його координати, можна вирізати з зображення ту частину, яка відповідає цьому прямокутнику та конвертувати її у матрицю. Пропонується спосіб формування векторів ознак у матричній формі, зокрема побудова "матричного" вектора ознак на базі згаданих матриць. Мінімальні охоплюючі прямокутники мають динамічний розмір, тому актуальною є проблема їх стандартизації. Запропонований підхід, який дозволяє стандартизувати розміри частини зображення, що потрапила у межі мінімального охоплюючого прямокутника, та конвертувати її за певними правилами у матрицю. Саме ця матриця виступає у ролі "матричного" вектора ознак. Пропонуються два підходи, коли обробці підлягає чорно-біле зображення та зображення у градаціях сірого кольору. У першому випадку характеристична матриця є бінарною, а у другому - складається з чисел від 0 до 255, що відповідають насиченості сірого кольору. Блоксхема запропонованого алгоритму розпізнавання знаків дактильної мови жестів зображена на фіг. 1. Основні кроки алгоритму такі: 1) захоплення відео-потоку з записуючого пристрою та отримання поточного зображення (кадру); 2) пошук на отриманому зображенні контуру, що відповідає долоні людини; 3) пошук дефектів контуру долоні та їх сортування на значущі та незначущі; 4) віднесення поточного дактиля до одного з п'яти класів, відповідно до кількості значущих дефектів або їх відсутності; 5) обчислення характеристик значущих дефектів; 6) звуження множини можливих розв'язків шляхом відкидання тих, які не відповідають отриманим для поточного дактиля характеристикам дефектів; 7) обчислення Hu моментів для контуру поточного дактиля та звуження множини можливих розв'язків за їх значеннями; 8) застосування векторів ознак у матричній формі для пошуку чи перевірки остаточного результату розпізнавання. Першим необхідним елементом роботи алгоритму є виділення долоні та її контуру. Наступною складовою обговорюваного алгоритму є виділення та аналіз дефектів. Зокрема, аналіз дефектів включає звуження кількості можливих знаків, представлених зображенням, за кількістю наявних (значущих) дефектів. На наступних етапах послідовно перевіряються всі важливі властивості кожного з дефектів, що вже згадувалися вище, наприклад, структура стандартизованого представлення дефектів, довжина, глибина, відношення довжини до глибини та положення дефектів по відношенню одне до одного. Зауважимо, що на "дефектний" опис долоні впливають певні умови фіксації зображення, зокрема кут нахилу записуючого пристрою до долоні та положення руки. Зважаючи на це, деякі літери можуть описуватись різними наборами дефектів, та, відповідно, можуть бути віднесені одночасно до кількох із згаданих вище класів. Пропонується спосіб, який враховує всі можливі варіанти демонстрації жесту під різними кутами та для різних положень руки. Дефекти є дуже потужним засобом аналізу, але є ситуації коли вони вичерпують свої можливості. Серед таких випадків можна виділити наступні. - жест не має дефектів; - жест має дефекти, але після всіх етапів розпізнавання (пов'язаних з дефектами) однозначний розв'язок знайти не вдалося; - є необхідність перевірити розв'язок, переконатися, чи не є знайдений розв'язок хибним; У таких випадках актуальним є аналіз зображення контуру, зокрема побудова згаданих у другому розділі "матричних" векторів ознак для зображення контуру жесту. Представляється використання концепції кортежних операторів, яка дозволяє перенести властивості псевдообернення із евклідового простору числових векторів у евклідів простір матриць фіксованої розмірності, зокрема в частині побудови ортогональних проекторів ~ ~ підпросторів, породжених набором матриць A1,..., A K  R mn чи тих самих, але центрованих K ~ ~ ~ їхнім середнім A1,..., A K  R mn , A k  A k  A , A  1  Ak . Концепція кортежних операторів K k 1 будується на основі матричних кортежів а довжини Κ, побудованих з матриць однієї розмірності: ,   A1  Ak  , A k  R mn , k  1 K . В прикладних задачах набір A1,..., AK , представляє 3 UA 116385 U навчальну вибірку з "матричних" векторів ознак. Кортежний оператор визначається як лінійний оператор  : RK  R mn , дія якого визначається співвідношенням:  y1    y k A k ,   A1  A k   R mn,K , y      RK .  k 1 y   K ~ ~ ~  A  A Аналогічним чином за кортежем  центрованих матриць визначається 1 k  y  K  5 10  кортежний оператор  . ~ Так само, як і для евклідових просторів числових векторів, лінійний підпростір, породжений набором матриць (навчальної вибірки) співпадає з підпростором можливих значень відповідного кортежного оператора. Зауважимо, при перенесенні теорії псевдообернення на кортежні оператори транспонування очевидним чином заміняється спряженістю, а білінійні форми, що визначають відстані відповідності записуються за допомогою скалярного добутку в матричних евклідових просторах - "слідового" скалярного добутку. Теорема 1. Спряженим * до оператора  : RK  R mn є лінійний оператор, що діє у  зворотному до  напрямку: * : R mn  RK , і визначається співвідношенням:  T  trA1 X      .  T   trAK X    Доведення. Дійсно, * X  15   trA T X     1  K K  K  T  y, X tr    yk Ak , X    yk Ak , X tr   yk trAk X  y,     ,     T  k 1  k 1  tr k 1   trAK X      що й доводить теорему.  20  Теорема 2. Добуток двох операторів * ,  є лінійний оператор *  : RK  RK , що   задається матрицею, що її ототожнюватимемо із самим оператором, яка визначається співвідношенням: T T  trA1 A1,..., trA1 An      F. ,    T  T  trAn A1,..., trAn An    Зауважимо, що оператор *  : RK  RK з матрицею F є "матричним" оператором між  *   25 евклідовими просторами числових векторів RK . Матриця F цього оператора визначена співвідношенням (1) і є матрицею Грама елементів A1,..., AK матричного кортежу   A1  Ak  , що задає оператор  . Доведення. Дійсно,  T n   n T  n  T  trA1  A i yi   tr  A1 A i yi    trA1 A i yi   T T     i 1   i 1   trA1 A1,..., trA1 A n  y1  i 1   * *        y     y            n  n   T n   T T T T  trAn  A i yi   tr  A n A i yi    trAn A i yi   trAn A1,..., trAn A n  yn      i 1   i 1   i 1        30  T  tr A1 A j y , що й доводить теорему. Сингулярний розклад для матриці F з (1) - це спектральний розклад звичайної симетричної невід'ємно визначеної матриці. Це означає, що задача побудови сингулярного розкладу для кортежного оператора зводиться до класичної задачі сингулярного розкладу для операторів між евклідовими просторами числових векторів. Цей розвозок визначається набором   сингулярностей v i , 2 , i, j  1, r : ортонормованим набором векторів v i  1 , v i  v j , i  j ; i, j  1, r ; i , 1   2  ...  r  0 , що є власними для оператора *  : RK  RK :*  v i  2 v i , i  1 r .   i 4 UA 116385 U v ,  , i  1,r матриці U  R елементами набору сингулярностей U ,   , i  1 r оператора   . , Визначені за сингулярностями Сингулярності двох операторів 5 i 2 i i *  ,  i  mn : Ui  1 ,  v i , i  1 r i є *  * очевидним чином визначають сингулярний  розклад оператора  , як це випливає із розширеної теореми про сингулярний розклад оператора, що діє між двома евклідовими просторами E1 , E 2 (розділ 1). Теорема 3 (SVD - представлення кортежного оператора).   K T   kUk v k . k 1 Варіант 10 2 i розкладу для кортежного оператора. Приймаючи співвідношення Ui  Rmn : Ui  1  v i , i  1 r та його наслідок iUi   vi , i  1 r , , , i маємо   сингулярного K T   kUk v k  k 1 до уваги K T   v k v k . k 1   Теорема 4. Оператори, позначені як P * , P   та визначені співвідношеннями     P *   P     15 r  Uk Uk ,tr , k 1 r r k 1 k 1 T  v k v k ,   v k v k , є ортогональними проекторами PL , PL   на підпростори L , L * можливих значень    *  операторів  , * відповідно:     P*  PL , P    PL   , *  а самі ці підпростори є лінійними оболонками відповідних ортонормованих наборів: L  LU1,..., Ur  , L*  Lv1,..., v r  .  20 Доведення. Доведення проводиться так само, як у випадку лінійних операторів між евклідовими просторами числових векторів: нескладно перевіряється симетричність та ідемпотентність обох операторів. Так само очевидними є твердження про те, що Uk L , v k  L * , отже із  міркувань розмірності L  LU1,..., Ur  , L *  Lv1,..., v r  .     25 Крім цього, як випливає із визначення PL , PL   , останні простори є для них просторами *  можливих значень відповідно. Для завершення доведення залишається зауважити, що підпростір, на який здійснює ортогональне проектування ортогональний проектор, може бути описаний, зокрема, як простір можливих значень для нього.    , P  відповідно: Теорема 5. Оператори Z * , Z   , що є доповненнями до тотожного оператора   30 ортогональних проекторів: P *   X  X  X , Z   E Z *   P *   K   P    є ортогональними проекторами на ядра операторів * ,  відповідно.  Доведення. 35   Доведення випливає із того, що, по-перше, * ,  кожен із операторів Z * , Z   є    симетричним та ідемпотентним. Крім цього вони є ортогональними проекторами на ортогональні доповнення до підпросторів L  LU1,..., Ur  , L*  Lv1,..., v r  , відповідно. А саме   це ортогональні доповнення і є ядрами операторів * ,  , відповідно.  5 UA 116385 U   Теорема 6. Квадрат відстані 2 X,L довільної m  n матриці X до лінійного підпростору  , що є множиною можливих значень кортежного оператора  задається формулою: L         2 X,L  X, Z * X tr  Z * X   2    2 Дійсно,  2 X, L  X L    2 k 1 Доведення. 5 r  X,Uk tr . у розкладі X  XL  XL       , за розкладом Rmn  L  L * .   Очевидним чином X L  Z * X , a отже:       2 X,L  XL 2      Z * X  2 tr              X, Z X .  Z * X, Z * X tr  X, Z * Z * X tr     *  tr Оскільки ортонормований набір Ui , i  1 r є ортонормованим базисом в L  LU1,..., Ur  , а ,  X,Ui tr , i  1,r 10 2 X L   є координатами розкладу X L , за цим ортонормованим базисом, то   r  X, Ui tr . 2 i 1 Залишається зауважити, що за теоремою Піфагора в абстрактному варіанті X 2 2  XL    2 XL   2  XL  X 2  X L , а, отже, 2   X 2  2 k 1 Теорема доведена. 15 r  X,Uk tr .· Теорема 7. Квадрат відстані  2 X, L  довільної m  n матриці X до лінійного підпростору L  LA1,..., AK  , що є лінійною оболонкою набору m  n матриць A1,..., AK , задається формулою         2 X,L    2 X,L  X, Z * X tr  Z * X   20 2  r  X,Uk tr 2 k 1 для кортежного оператора  , породженого кортежем A1,..., AK  :  A1,..., AK  . Доведення. Доведення випливає із того, що підпростори L  LA1,..., AK  та L співпадають між собою.  Теорема 8. Квадрат відстані  2 X,Г a,L  довільної m  n матриці X до гіперплощини      ~ ~ ~ 1 K  Ak , L  L A1,..., AK , Ak  Ak  a , k  1,K , породженої набором m  n матриць K k 1 задається формулою A1,..., AK Г a, L  : a    ~ ~  2 X,Г a, L   X  a, Z * X  a  tr  Z * X  a    25 в якій кортежний оператор ~  35   X  a,Uk tr , r ~ 2 k 1 визначається кортежем ортонормований набір власних матриць оператора Доведення. 30 2 ~ *  ~ ~ A ,..., A  , 1 K a ~ Ui , i  1r , . Доведення очевидним чином випливає з того, що  2 X,Г a, L    2 X  a, L  та попередньої теореми. Використання запропонованого способу вимагає наявності комп'ютера з вбудованою або USB камерою. Користувач повинен знаходитися безпосередньо навпроти камери та показувати дактилеми перед собою. Для отримання максимального результату рекомендується спрямувати камеру таким чином, щоб область демонстрацій жесту була максимально центрована на зображенні. Для експериментів вимагається використовувати рукавичку червоного кольору. Можливим є використання рукавички іншого кольору, але в такому разі система буде вимагати пере налаштування. 6 UA 116385 U За умови дотримання рекомендацій щодо експерименту, система дозволяє ефективно розпізнавати нерухомі дактилеми української жестової мови. Запропонований спосіб розпізнавання може бути застосований не лише до розпізнавання дактилем української жестової мови, але й до розпізнавання об'єктів на зображеннях загалом. 5 ФОРМУЛА КОРИСНОЇ МОДЕЛІ 10 15 20 Спосіб розпізнавання дактилем української жестової мови, що полягає в обробці зображень з відеопотоку в реальному часі з подальшим пошуком областей, які відповідають контуру долоні людини, аналізі геометричних характеристик контуру долоні, представленні їх у стандартизованій формі, побудові числових векторів ознак та матричних представників аналізованих об'єктів, пошуку розв'язку шляхом порівняння побудованих векторів ознак з еталонними значеннями, що отримані на етапі навчання системи розпізнавання, який відрізняється тим, що на кожному етапі алгоритму множину можливих розв'язків послідовно звужують шляхом відкидання лише тих дактилем, які з високою імовірністю не є розв'язками, а на заключному етапі для порівняння матричних представників об'єктів використовується відстань відповідності на основі занурення у слушний підпростір у просторі ознак, що дає можливість отримати остаточний розв'язок, якщо множина можливих розв'язків складається з більш ніж одного елемента, або перевірити правильність розв'язку, якщо він вже отриманий на попередніх етапах. 7 UA 116385 U 8 UA 116385 U Комп’ютерна верстка А. Крижанівський Міністерство економічного розвитку і торгівлі України, вул. М. Грушевського, 12/2, м. Київ, 01008, Україна ДП “Український інститут інтелектуальної власності”, вул. Глазунова, 1, м. Київ – 42, 01601 9