Спосіб комп’ютерного розпізнавання людини за зображенням її обличчя

1. Спосіб комп'ютерного розпізнавання людини за зображенням її обличчя, що полягає у введенні зображення в комп'ютер, масштабуванні зображення, обробці його з виявленням фрагментів й опорних точок зображення, повороті зображення в необхідне положення, почерговому накладенні на оброблене зображення шаблонів, який відрізняється тим, що на введеному в комп'ютер зображенні спочатку знаходять характерні точки обличчя людини, за взаємним розташуванням яких визначають кути нахилу й повороту голови на зображенні, формують об'ємну модель середнього обличчя, масштабують її, накладають модель, повернену відповідно до певних кутів нахилу й повороту голови, на зображення, сполучають всі точки моделі з пікселями вихідного зображення, будують фронтальний вид введеного зображення обличчя й розпізнають людину. 2. Спосіб за пунктом 1, який відрізняється тим, що об'ємну модель середнього обличчя формують заздалегідь. 3. Спосіб за пунктами 1 або 2, який відрізняється тим, що сполучення всіх точок моделі з пікселями вихідного зображення здійснюють зворотним поворотом моделі, на яку попередньо накладають пікселі вихідного зображення. (19) UA (21) a200708249 (22) 19.07.2007 (24) 25.06.2009 (46) 25.06.2009, Бюл.№ 12, 2009 р. (72) АГАРКОВ АНДРІЙ ВІКТОРОВИЧ, МУРИГІН КИРИЛО ВАЛЕРІЙОВИЧ, НЮНЬКІН КОСТЯНТИН МИТРОФАНОВИЧ (73) ІНСТИТУТ ПРОБЛЕМ ШТУЧНОГО ІНТЕЛЕКТУ (56) RU 2090927 C1, 20.09.1997 RU 2093890 C1, 20.10.1997 US 5740266 A, 14.04.1998 Lyons M.J., Budynek J., Plante A., Akamatsu Sh. Classifying Facial Attributes using a 2-D Gabor Wavelet Representation and Discriminant Analyses // Proceedings of the 4 International Conference on Automatic Face and Gesture Recognition. - Grenoble (France). 2000.-P.202-207 Myrugin K. Optimization of Gabor Wavelets for face recognition // Int. Journal on "Information Theories and Applications".-2003.-Vol.10. P.288-293 RU 2250499 C1, 20.04.2005 UA 17473 U, 15.09.2006 US 2005/0180611 A1, 18.08.2005 US 2007/0041644 A1, 22.02.2007 JP 10283472 A, 23.10.1998 EP 1455297 A1, 08.09.2004 US 6301370 B1, 09.10.2001 US 2005/0232461 A1, 20.10.2005 C2 2 (11) 1 3 Також широко застосовуються способи й пристрої для комп'ютерного розпізнавання людини за її обличчям або її фізичними даними у системах несанкціонованого доступу у виробничі приміщення, до баз даних ЕОМ і т.п. (див., наприклад, патенти РФ №№2093890, МПК G06K 9/00, опубл. у 1997p., 2123204, МПК G06K 9/00, опубл. у 1998p., 2123721, МПК G06K 7/14, опубл. у 1998р.). Відомі способи розпізнавання об'єктів, зокрема людини за зображенням її обличчя, є різними (наприклад, за контуром зображення, за виглядом симетрії зображення, за виділенням й аналізом характерних рис обличчя - очей, брів, носа, рота й т.п., з використанням габоровських вейвлет і т.ін.). Відомий спосіб розпізнавання обличчя людини, що включає послідовне накладення масок на контур обличчя людини з метою формування контуру піксельного зображення, у якому після першого накладення маски здійснюють відсікання частини зображення, розташованого поза маскою, й формують перший піксельний контур із частини зображення, що залишилася, а потім створюють нову маску на основі першого піксельного зображення й накладають на неї контур зображення з відсіченою частиною, після чого формують другий контур і нову маску й порівнюють другий контур з першим і т.д. доти, поки число розходжень між контурами не зменшиться до заданого значення (патент US 5740266 А, МПК 6 G 06 К 9/46, виданий 14.04.98). До недоліків цього відомого способу розпізнавання об'єктів, зокрема людини за зображенням її обличчя, варто віднести неможливість використання великої кількості шаблонів, тому що з їхнім збільшенням значно збільшується тривалість процесів розпізнавання, обумовлена необхідністю виконання великої кількості операцій, пов'язаних щораз як з формуванням нових піксельних контурів і нових масок, так і з їхньою обробкою й порівнянням між собою. Відомий також спосіб розпізнавання людини за зображенням її обличчя, заснований на габоровських вейвлетах (див. Lyons M.J., Budynek J., Plante Α., Akamatsu Sh. Classifying Facial Attributes using a 2-D Gabor Wavelet Representation and Discriminant Analyses // Proceedings of the 4 International Conference on Automatic Face and Gesture Recognition. - Grenoble (France). 2000. P.202-207; Myrugin K. Optimization of Gabor Wavelets for face recognition // Int. Journal on "Information Theories and Applications". - 2003. Vol.10. P.288-293), що полягає в об'єднанні підходів, заснованих на еластичному зіставленні графів зображень розпізнаваних облич і використанні фільтрів Габора для визначення локальних властивостей зображення у вузлах графа. Еластичне зіставлення графів, які являють собою вузли, з'єднані ребрами, і структура яких може бути як прямокутною, так і ґрунтуватися на обраних характерних точках обличчя, є одним із напрямів використання кластеризації вихідного образу перед безпосередньо класифікацією, тобто розпізнавання здійснюється частинами, причому міра подібності двох образів представляється зваженою сумою результатів порівняння окремих 87181 4 його частин і зміни їхнього взаємного розташування. У цьому способі використовується конструкція, що поєднує як порівняння властивостей обличчя у вузлах графа, так і геометричні спотворення ребер графа, що відображають припустимі зміни в геометрії обличчя. Граф обличчя, що тестується, генерується за допомогою способу еластичного зіставлення графів і використання як моделей попередньо уведеного набору графів, названого "загальним знанням про обличчя". Розпізнавання здійснюється за допомогою обчислення подібності досліджуваного графа обличчя із графами облич, внесених у базу даних. Використання як ознак у вузлах графа векторів згорток із зображенням функцій Габора різних масштабів і кутів повороту обумовлено їхніми теоретичними властивостями й даними біологічних досліджень, які показали, що форму, схожу на габоровську, має рецепторне поле клітин частини головного мозку тварин і людини, відповідальних за зір. Однак цьому відомому способу властиві такі недоліки, як нерозв'язаність питання визначення вибору масштабів використовуваних габоровських вейвлет, які забезпечували б максимальну ефективність способу й питання компенсації впливу умов висвітлення на результат автоматичної ідентифікації людини за її обличчям. Найбільш близьким до способу розпізнавання людини за зображенням її обличчя, що заявляється, за технічною сутністю й результатом, що досягається, є спосіб комп'ютерного розпізнавання об'єктів (патент РФ №2250499, МПК G06K 9/80, опубл. 20.04.2005p.), який передбачає приведення зображення розпізнаваного об'єкта, що вводиться у комп'ютер, до нормального, стандартного для даного способу виду - зміна масштабу, поворот у необхідне положення, центрування, вписування зображення розпізнаваного об'єкта в прямокутник, наступне почергове накладення на зображення розпізнаваного об'єкта зображень шаблонів, що зберігаються в пам'яті комп'ютера, і фіксування зображення як розпізнаного у випадку тотожних, а значить таких, що мають однаковий контур зображень розпізнаваного об'єкта і шаблона, обробку введеного в комп'ютер зображення розпізнаваного об'єкта з виявленням фрагментів й опорних точок його контуру, а перед вписуванням зображення розпізнаваного об'єкта в прямокутник здійснюють віртуальне охоплення фрагментів й опорних точок його контуру округлою фігурою, всі точки якої потім зближують із точками контуру оброблюваного зображення об'єкта доти, поки одні її точки не збіжаться із точками контуру оброблюваного зображення, а інші її точки не утворять суцільну границю між двома прилеглими точками контуру оброблюваного зображення, замикаючи, таким чином, повністю його контур з одержанням обробленого замкнутого контуру зображення, максимально наближеного до контуру розпізнаваного об'єкта, а після вписування зображення розпізнаваного об'єкта в прямокутник здійснюють очищення інформаційного тла на площі між обробленим контуром зображення й прямокутником, при цьому накла 5 дення шаблонів здійснюють на область зображення розпізнаваного об'єкта, обмежену обробленим замкнутим контуром, а виявлення фрагментів й опорних точок контуру зображення розпізнаваного об'єкта провадять фільтрацією ковзним вікном. Цей відомий спосіб комп'ютерного розпізнавання об'єктів забезпечує можливість прискорення процесу розпізнавання, при якому не вимагається створення великої кількості піксельних зображень і варіювання ними, через застосування в ньому простої операції вписування зображення розпізнаваного об'єкта в прямокутник і приведення зображення об'єкта до нормального, стандартного для даного способу виду, з яким згодом порівнюють шаблони. Однак використання цього відомого способу комп'ютерного розпізнавання об'єктів все-таки приводить до невиправданих витрат часу, оскільки він вимагає додаткових зусиль на очищення інформаційного шуму на площі між обробленим контуром зображення й прямокутником, у який вписане зображення розпізнаваного об'єкта. Крім того, прямокутна фігура не є оптимальною для локалізації контуру, наприклад, обличчя людини. Основним недоліком даного методу є неможливість завдання шаблонів облич розпізнаваних людей у всіх можливих ракурсах, а значить, і виконання розпізнавання облич, що мають довільний ракурс. В основу винаходу покладене завдання оптимізації способу розпізнавання людини за зображенням її обличчя з метою забезпечення можливості використання його при розпізнаванні зображень облич, що мають ракурс, відмінний від фронтального. Технічний результат від використання пропонованого винаходу досягається за рахунок того, що в способі комп'ютерного розпізнавання людини за зображенням її обличчя, який полягає у введенні зображення в комп'ютер, масштабуванні зображення, обробці його з виявленням фрагментів й опорних точок зображення, повороті зображення в необхідне положення, почерговому накладенні на оброблене зображення шаблонів, на введеному в комп'ютер зображенні спочатку знаходять характерні точки обличчя людини (краї очей і рота, перенісся, центр рота й надкозелкові точки), за взаємним розташуванням яких визначають кути нахилу й повороту голови на зображенні, формують об'ємну модель середнього обличчя, масштабують її, накладають модель, повернену відповідно до певних кутів нахилу й повороту голови, на зображення, сполучають всі точки моделі з пікселями вихідного зображення, будують фронтальний вид введеного зображення обличчя і розпізнають людину. При цьому об'ємну модель середнього обличчя формують заздалегідь, а сполучення всіх точок моделі з пікселями вихідного зображення здійснюють зворотним поворотом моделі, на яку попередньо накладають пікселі вихідного зображення. Порівняльний аналіз способу комп'ютерного розпізнавання людини за зображенням її обличчя, що заявляється, й прототипу дає підставу зробити висновок про те, що заявлюваний спосіб характеризується ознаками, тотожних або аналогічних 87181 6 яким у відомого технічного рішення не встановлено. Це дає підставу зробити висновок про відповідність способу, що заявляється, критерію «новизна». При порівнянні технічного рішення, що заявляється, з іншими відомими технічними рішеннями аналогічного призначення не було виявлено технічних рішень із аналогічною або подібною сукупністю відмітних ознак, а також таких, які проявляють подібні властивості, що дає підставу зробити висновок про відповідність комп'ютерного способу розпізнавання людини за зображенням її обличчя, що заявляється, критерію «винахідницький рівень». Запропонований спосіб комп'ютерного розпізнавання людини за зображенням її обличчя здійснюється наступним чином. За допомогою оптичного пристрою, наприклад відеокамери, зображення обличчя розпізнаваної людини вводять у комп'ютер. На введеному зображенні шукають характерні точки обличчя (краї очей і рота, перенісся, центр рота й надкозелкові точки), за взаємним розташуванням яких визначають ракурс голови на введеному зображенні обличчя людини. Характерні точки на зображенні шукають кореляційним пошуком шаблонів цих точок. Для пошуку характерних точок на зображеннях з обличчям довільного розміру вихідні зображення масштабують із кроком 5 2 » 115 , а для , відпрацювання можливих бічних нахилів голови шаблони повертають по годинній стрілці й проти неї на 15 й 30 градусів. Потім за взаємним розташуванням знайдених характерних точок обличчя відомим способом визначають кути нахилу й повороту голови на введеному в комп'ютер зображенні. Відомий спосіб визначення кутів нахилів голови людини на зображеннях полягає: для визначення бічних нахилів - у використанні ліній, що з'єднують зовнішні краї очей, перенісся й центр рота, і визначенні середнього (або середньозваженого) значення кута цих нахилів, а для визначення прямого нахилу голови використовують відношення відстані між переніссям і ротом до відстані між кутами очей, використовуючи при цьому величину й напрямок відносного прогину лінії рота (див. Нюнькін К. Визначення орієнтації голови людини на зображенні // Сьома всеукраїнська міжнар. конф. "Оброблення сигналів і зображень та розпізнавання образів". - Київ. - 2004. - с. 169-172). На оброблене в такий спосіб введене в комп'ютер зображення обличчя накладають заздалегідь сформовану об'ємну модель середнього обличчя, яку масштабують так, щоб відстань між зовнішніми куточками очей у моделі й на зображенні було однаковим. Модель перед накладенням на зображення повертають відповідно до визначених перед цим кутів нахилу й повороту голови на зображенні й зміщають так, щоб середні точки для зовнішніх кутів очей на зображенні й моделі збіглися. Далі виконують трьохетапне масштабування моделі. Спочатку модель масштабують цілком так, щоб зовнішні кути очей моделі й зображення обличчя збіглися. Після такого зага 7 87181 льного масштабування здійснюють вертикальне масштабування таким чином, щоб збіглися центри ліній, що з'єднують кути рота на зображенні й моделі, потім виконують масштабування, щоб підбудувати осьову лінію моделі під зображення, для чого використовують координати центра губ і центраперенісся на зображенні. Для точок моделі, які відповідають точці між бровами, центру перенісся, кінчику носа, масштабування проводять таким чином, щоб точки центра перенісся на моделі й зображенні збіглися (або, принаймні, були якнайближче). Аналогічну операцію проводять і для точок центральної частини рота і в такий спосіб сполучають всі точки моделі з пікселями вихідного зображення. Комп’ютерна верстка М. Ломалова 8 Після цього модель із накладеною на неї текстурою зображення повертають у фронтальне положення й одержують фронтальний вид обличчя, по якому й розпізнають людину. Всі виконувані операції по способу, що заявляється, формалізовані й можуть виконуватися в автоматичному режимі, що дає можливість реалізовувати їх програмно в системах розпізнавання людини за зображенням її обличчя. Критерій «промислова застосовність» підтверджується тим, що спосіб комп'ютерного розпізнавання людини за зображенням її обличчя, що заявляється, з його новими ознаками був успішно випробуваний по розпізнаванню 80 зображень і показав 90-відсотковий результат. Підписне Тираж 28 прим. Міністерство освіти і науки України Державний департамент інтелектуальної власності, вул. Урицького, 45, м. Київ, МСП, 03680, Україна ДП “Український інститут промислової власності”, вул. Глазунова, 1, м. Київ – 42, 01601