Спосіб комп`ютерної ідентифікації особи за зображенням її обличчя

Спосіб комп'ютерної ідентифікації особи за зображенням її обличчя, заснований на пошуку обличчя на зображенні, описі знайденого обличчя за допомогою ознак і розпізнавання цього обличчя C2 2 81514 1 3 81514 Відомий спосіб ідентифікації особи (патент США №6801641), в якому тривимірні зображення облич генеруються із бази 3D форм різних ділянок обличчя. Ці ділянки розглядаються як окремі ознаки обличчя. Кожній формі даної ділянки обличчя відповідає певний код. Індексом або вектором ознак обличчя є послідовність пар . Загальними ознаками пропонованого і відомого способу є використання інформації про рельєф обличчя для збільшення надійності розпізнавання. Ця інформація на відміну від растрового зображення обличчя (звичайний знімок) є інваріантною до умов освітлення та часових змін обличчя людини, і може бути задіяна для зменшення залежності алгоритмів розпізнавання від умов освітлення та повороту обличчя, а також як додаткова інформація про форму окремих його частин. Причиною, що заважає досягти поставленої задачі є те, що просторова реконструкція об'єктів у відомому методі виконується за допомогою лазерних вимірювачів дальності, що на практиці виявляється занадто вартісним методом. Відомий спосіб ідентифікації особи на відеозображеннях (патент США №6301370), в якому еталоном особи в базі даних є узагальнений граф обличчя (face bunch graph), вершини якого відповідають вузлам сітки, що накладається на зображення обличчя. Для кожного з цих вузлів обчислюються ознаки, які є інформативними характеристиками обличчя навколо точки, що відповідає цьому вузлу графа. Такими ознаками є абсолютні значення згорток 32-х двовимірних фільтрів Габора з зображенням. Кожному вузлу цього графа відповідає не один, а значно більше векторів ознак, які відносяться до різних варіантів відповідної частини зображення (наприклад, відкриті очі, заплющені очі, і т.п.). На вхідному зображенні за допомогою еластичного порівняння (elastic bunch graph matching) виконується пошук точок, відповідних вузлам узагальненого графа. Після цього отриманий граф порівнюється з еталонними графами з бази даних. Загальними ознаками пропонованого і відомого способу є попередня швидкодіюча обробка відеозображення з метою локалізації області обличчя людини. Причиною, що заважає досягти поставленої задачі є те, що, як показано в дослідженнях Д.И. Самаля, В.В. Старовойтова "Обнаружение антропометрических точек лица с помощью фильтров Габора" (Мінськ, 2001) та К.В. Муригіна, "Оптимизация габоровских вейвлет для задачи распознавания человека по изображению лица" (Москва, 2003), не всі компоненти векторів ознак на основі фільтрів Габора є достатньо інформативними для точок зображення, і тоді відстань між зображеннями різних людей стає малою, що призводить до помилок розпізнавання. В основу винаходу поставлена задача розробити такий спосіб розпізнавання людських облич, який забезпечив би надійне розпізнавання в умовах зміни освітлення, масштаба, кутів повороту та нахилу голови людини без 4 використання дорогого спеціального обладнання, зокрема лазерних вимірювачів відстані Поставлена задача досягається за допомогою а) пошука обличчя людини на вхідному зображенні та пошука зіниць очей людини в області його обличчя, б) нормалізації зображення обличчя за масштабом та нахилом на основі знайдених координат центрів зіниць очей людини на зображенні, в) нормалізації зображення обличчя за яскравістю та г) обчислення подібностей між цим зображенням та еталонами в базі даних, які відповідають різним кутам повороту обличчя людини і отримані або в процесі обробки вхідних зображень або ж шляхом використання попередньо реконструйованої 3D моделі обличчя людини за стереопарою зображень. Пропонована комп'ютерна технологія розпізнавання людських облич складається з таких етапів: - локалізація обличчя на зображенні; - пошук зіниць очей людини в області обличчя; - нормалізація зображення за масштабом та поворотом таким чином, щоб координати центрів зіниць очей на зображенні мали певні фіксовані значення; - подальша нормалізація цього зображення за яскравістю; - обчислення подібностей між нормалізованим вхідним зображенням та еталонами в базі даних, які отримані або шляхом обробки деяких вхідних зображень або ж шляхом використання попередньо реконструйованої 3D моделі обличчя людини за стереопарою зображень; - прийняття рішення про вхідне зображення на основі обчислених подібностей. Пошук облич на зображенні складається з двох етапів. На першому етапі за допомогою відомих алгоритмів [M.-H. Yang, D. Kriegman, and N. Ahuja, "Detecting Faces in Images: A Surve y," IEEE Trans. on РАМІ, vol. 24, no. 1, pp.34-58, Jan. 2002] визначаються прямокутники, що покривають квазі-фронтальні обличчя на зображенні. На другому етапі положення обличчя уточнюється в межах кожного з попередньо визначених прямокутників. Це уточнення базується на пошуку сукупності ознак обличчя, що описують пару райдужних оболонок очей обличчя, і складається в наступних частин або етапів: 1. Пошук порівняно невеликої кількості точок, кожна з яких може бути центром зіниці ока на знімку. Визначення для кожної точки найбільш підхожого значення радіуса райдужної оболонки з центром у цій точці та деяких інших параметрів. 3. Розглядання всіх сумісних пар визначених точок, тобто таких, які розташовані приблизно на горизонтальній лінії та на певній відстані один від одного. Для кожної з цих пар обчислюється значення її якості. В кінці виконується локалізація обличчя людини на основі вибору пари точок центрів зіниць, яка має максимальне значення якості, що перевищує наперед задане граничне значення. Результатом роботи першого етапу, який виконується у процесі перегляду зображення уздовж його рядків, є координати (х, у) 5 81514 центральної точки та напівдовжина r кожного з горизонтальних відрізків GL(x, y, r)=[(x-r, y), (x+r, y)] на зображенні, що задовольняє наступним основним умовам: а) значення градієнту яскравості зображення на кінцях відрізку перевищують задані граничні значення; б) середня яскравість Bright (x, y, r) пікселів зображення уздовж цього відрізка є достатньо малою, are допустимим значенням радіуса райдужної оболонки ока на знімку. Перший етап виконується швидко, бо організований таким чином, що потребує кількості операцій, яка не залежить від попередніх оцінок радіуса райдужної оболонки ока на знімку. Під час другого етапу виконується уточнення отриманих на першому етапі значень координат центрів та радіусів r райдужних оболонок. Для зіниці ока з центром в точці (х, у) найбільш підхожим вважається значення радіуса райдужної оболонки Гц, яке відповідає найбільшому значенню Grad (х, у, r 0) зміни у радіальному напрямі сумарної інтенсивності на границі лівого [-45°, 60°] та правого [120°, 225°] секторів круга з центром (х, у) та радіусом r0. Загалом розглядаються значення радіуса r, з інтервалу [r-1, r+2] при кількох значеннях координат центру (хt , уt), хt=х±1, уt=у±1. Для кожної з цих трійок (хt, уt, rt) спочатку обчислюються усереднені інтенсивності пікселів зображення ВrL (хt, yt, r t) та ВrR (хt, уt , rt) уздовж границі відповідно лівого та правого секторів круга з центром (хt, уt) та радіусом rt. Після цього знаходяться середні інтенсивності уздовж відповідних секторів круга з радіусом (rt+2), а також значення градієнту Grad (xt, уt , rt)=GradL (хt, уt , rt)+GradR (хt, уt, rt), де GradL (хt, уt, rt)=BrL (хt, уt , rt+2)-BrL (хt, уt, rt), GradR (хt, уt, rt)=BrR (хt , уt, rt+2)-BrR (хt, уt, rt), якщо виконуються такі умови: max (GradL (хt, уt, r t) GradR (хt, уt, r t))>10 min (GradL (хt , уt , rt) Grad R (хt, уt , rt))>0 Остаточно Grad (хt, уt, r0)=Grad (хtc, уtc, rtc) і r0=rtc,vде Grad(хtc, уtc, rtc) - максимальне значення градієнту серед усіх обчислених. Після цього, якщо виконуються певні умови симетрії та однорідності яскравості пікселів у межах райдужної оболонки, показник якості того, що точка t (x, y) є центром райдужної оболонки ока з радіусом r обчислюється за формулою: Sim (t)=Grad (x, у, r)-Bright (x, у, r)*0,25+r (1) В кінці другого етапу виконується скорочення списку точок - кандидатів на центр райдужної оболонки ока. При цьому точка вилучається з переліку, якщо поряд є інша точка з більшим значенням показника (1). На третьому етапі алгоритму розглядаються всі пари (t1, t2) точок, що залишились і задовольняють таким умовам: а) відстань між цими точками є більшою за 4,5*D і меншою за 9*D, де D=(r1+r2); б) |x2-x1|>|y2-y1 |*2,8; c)|r2-r1|£2. Для кожної пари таких точок визначається спільний показник якості SIM (t 1, t 2)=Sim (t1)+Sim (t2)+Sim a (t1, t2) того, що t1 і t2 є центрами райдужних оболонок очей людини на знімку. 6 Значення додаткового показника Sim a (t1, t2) зменшується, якщо кут нахилу лінії, що з'єдн ує ці точки, більше 15°, або ж якщо параметри відповідних райдужних оболонок суттєво відрізняються між собою. В кінці виконується локалізація обличчя людини на основі вибору тієї пари точок - центрів зіниць очей, яка має максимальне значення к спільного показника SIM (t1 , t 2), що перевищує наперед задане граничне значення. Перед порівнянням зображення обличчя людини, що розпізнається, з еталонним зображенням, ці зображення приводяться до стандартизованого вигляду, при якому координати центрів зіниць очей на зображенні мають певні фіксовані значення. Лінія, що з'єднує ці центри, є горизонтальною. Така нормалізація виконується за допомогою операцій повороту й масштабування зображення. Кут повороту зображення обчислюється за формулою: а=-arctan (b y/bx) де b - вектор, що з'єдн ує центри зіниць очей. Коефіцієнт масштабування зображення обчислюється за формулою: eye _ dist t= |b| де eye_dist - фіксована відстань між центрами зіниць очей. З метою зменшення впливу умов освітлення на результат розпізнавання зображення обличчя, це зображення нормалізується за яскравістю за допомогою слідуючих двох методів: 1. метод еквалізації гістограми зображення; 2. метод нормалізації за локальним контрастом. Нормалізація зображення методом еквалізації гістограми є інваріантною до будь-якої монотонної функції від яскравостей пікселів зображення, в тому числі і до будь-якого афінного перетворення яскравості При цьому зберігається впорядкованість пікселів за значеннями їх яскравостей і змінюються тільки самі значення. Якщо на гістограмі вхідного зображення є будь-які піки, вони зберігаються також і на гістограмі нормалізованого зображення, тобто еквалізація не порушує загальну форму гістограми, а тільки певним чином розтягує її уздовж усього інтервалу [0,255]. Алгоритм нормалізації зображення, що використовує нелінійну еквалізацію гістограми, складається із наступних кроків. Спочатку обчислюється гістограма h (j) яскравостей кліток зображення f (x, y): ì1 f ( x, y) = j , h( j) = [f ( x, y), j], [ f ( x, y), j] = í . 0, f ( x, y ) ¹ j î å x, y На другому кроці отримується так звана "кумулятивна" гістограма С (i): i C (i) = å (h( j)) , r j=1 де r - параметр, що визначає ступінь нелінійності. У більшості практичних випадків цей 7 81514 параметр дорівнює 1, але при нормалізації зображень облич краще використовувати r=0,5. На заключному, третьому етапі обчислюються нові значення яскравостей пікселів зображення: C (f (x, y )) fnorm = ( x, y) = × 255 . C (255) Нормалізація на основі обчисленні локального контрасту може бути більш ефективною у порівнянні з попереднім алгоритмом у таких випадках: освітлення не є фронтальним, тобто джерело освітлення розташовано не перед обличчям, а, наприклад, збоку; зображення має малий динамічний діапазон яскравостей, наприклад, при недостатньому або вечірньому освітленні. Локальний контраст Lc (x, y) в пікселі (х, у) визначається як відношення яскравості цього піксела до середньої яскравості зображення у порівняно малому околі: якщо fc ( x, y) £ 1 ìfc ( x, y), ï Lc ( x, y) = í , 1 ï2 - f ( x, y) , якщо fc ( x, y ) £ 1 î c де f ( x, y) fc( x, y ) = . f ( x, y ) Ä K Символом Ä позначено згортку зображення з двовимірним Гаусовим ядром К, дисперсія 8 якого визначає розмір околу, в межах якого виконується усереднення яскравості зображення. Нормалізоване таким чином зображення є інваріантом до певного класу функцій зміни яскравості зображення, що оброблюється. Так, якщо вхідне зображенні має області з постійним градієнтом яскравості, то після виконання нормалізації ці області будуть мати значення Lc (x, y)=1. При подальшому розпізнаванні нормалізоване зображення обличчя порівнюється з нормалізованими еталонними зображеннями в базі даних. Еталонні зображення облич загалом повинні відповідати різним поворотам обличчя у напрямах вліво-вправо та вверх-вниз, тому що нормалізація зображень по таким поворотам не може бути виконана на основі тільки значень координат центрів зіниць очей обличчя людини на зображенні. Ці еталонні зображення отримуються або шляхом обробки деяких вхідних зображень (метод "Моно"), або ж шляхом попереднього відновлення 3D моделі обличчя за стереопарою зображень і послідуючого використання цих 3D моделей для генерування еталонних зображень, що відповідають найбільш поширеним кутам повороту обличчя людини у просторі (метод "Моно3D"). Незалежно від засобу отримання еталонного зображення ступінь його похожості (близькості) з зображенням, що розпізнається, обчислюється слідуючим чином. При розпізнаванні використовуються еталони облич двох типів (Фіг.2, Фіг.3), які складаються відповідно з 3-х і 4-х частин еталонних зображень (Фіг.1), що зберігаються в базі даних. 8 В процесі розпізнавання для кожної складової частини еталона знаходиться її оптимальне положення на вхідному зображенні, при якому відстань між відповідними ділянками зображення та еталона мінімальна. Ця відстань має вигляд суми відстаней між відповідними пікселами зображення та еталона, а відстань між еталоном та зображенням визначається як зважена сума відстаней його складових частин, поділена на сумарну яскравість еталона. Значення відстаней залежать від вибору міри схожості між яскравостями пікселів. Нехай х - вхідне зображення, а е - еталонне. Тоді відстань між х та е за загальноприйнятою Lp - метрикою є такою: 1 æ öp p L p ( x, e ) = ç x ( t) - e (t ) ÷ . ç ÷ è tÎT ø Використовується відстань L1 (x, e), яка дорівнює сумі модулів різниць яскравостей відповідних пікселів зображення та еталона, та модифікована відстань L*1 (x, e), яка дорівнює сумі модулів різниць, що перевищують певний заданий поріг. Саме цю відстань L*1 (x, e) обрано за основу для оцінки подібності між вхідним зображенням та еталоном. Розпізнавання вхідного півтонового зображення організовано в два етапи. Спочатку зображення розпізнається шляхом порівняння з еталонами першого типу. При цьому вхідне зображення і еталони першого типу нормалізуються за яскравістю методом еквалізації гістограми, яка обчислюється за зображенням в цілому. Якщо в результаті першого етапу приймається рішення про відмову від розпізнавання, то зображення розпинається знову шляхом порівняння з еталонами другого типу. При цьому на другому етапі послідовно використовуються два способи нормалізації за яскравістю вхідного зображення та еталонів: методом еквалізації гістограми локально (на відміну від попереднього етапа) по кожній з 4-х частин, та методом обчислення локального контрасту. При цьому відстань між зображенням та еталоном визначається як мінімальне значення з двох відстаней, що відповідають двом різним нормалізаціям. Сумісне використання еталонів згаданих вище двох типів зменшує залежність результатів розпізнавання від умов освітлення і підвищує надійність розпізнавання. Якщо еталонне та вхідне зображення нормалізовані за яскравістю методом еквалізації гістограм, відстань d між прямокутною ділянкою еталона (х1£х£х2, у1£у£ у2) та відповідною ділянкою зображення обчислюється послідовно по стовпчикам за формулою: å x2 d= y2 åå dif (x,y ) , (2) x =x1 y =y1 де (х1, у1) та (х2 , у2) - координати відповідно верхнього лівого та нижнього правого кутів ділянки еталона, 9 81514 ì f ( x, y ) - e( x, y ) + b ( x) ï dif ( x, y ) = í , (3) ï0 î де d - граничне значення різниці яскравостей пікселів; f (x, у) - яскравість вхідного зображення у пікселі (х, у); е (х, у) - яскравість еталона в пікселі (х, у); b (х) - різниця середніх значень яскравостей у стовпці х зображення та еталона. Такий спосіб обчислення відстані зменшує її залежність від нерівномірного освітлення на обличчі, що розпізнається. Після знаходження оптимальних положень трьох складових частин еталона на вхідному зображенні остаточна відстань між вхідним зображенням та еталоном обчислюється наступним чином: dif' ' (x, y) = m in dif (x' , y' ) , де D (x, y) - окіл 3´3 піксела (х, у). Якщо ж еталонне та вхідне зображення нормалізовані за яскравістю методом обчислення локального контрасту, то відстань d між складовими частинами еталона та вхідним зображенням обчислюється послідовно по пікселам, тобто без урахування значень b (х). Критерій прийняття рішення. Нехай (d1, p1), (d2, p2), …, (dN, pN) - набір пар, де diÎR - відстань еталону обличчя людини р i до вхідного зображення, d(1= min di, d (2= min d i, = arg min d i. j ) ) 1£ i£N a = d( 2) - d(1) i¹i1 i ×100 . d(1) Рішення про відмову від розпізнавання приймається, коли d(1) більше деякого порогу q1 (еталон несхожий на вхідне зображення), або коли а менше порогу q2 (два еталона схожі на вхідне зображення). В інших ситуаціях приймається рішення, що на вхідному зображенні присутня людина pj. В методі Моно3D еталоном є 3D модель обличчя людини, яка служить для генерування еталонних зображень, що відповідають різним положенням голови людини в просторі. Цей метод є більш стійким по відношенню до невеликих змін (до 25°) орієнтації голови людини, ніж метод Моно. Для побудови 3D моделі обличчя використовується розроблена технологія просторової автоматичної реконструкції об'єкта за його стереозображенням. Для перевірки алгоритмів була сформована база даних, яка складається з 1600 приблизно фронтальних зображень 80 різних людей: 1) 1200 зображень облич, введених за допомогою відеокамери за різних умов освітлення, у різних приміщеннях та у різний час протягом двох років і 2) 400 зображень із бази даних ORL (http://www.cam-orl.co.uk/facedatabase.html). На цій базі даних зображень облич виконувалось тестування алгоритмів Моно, Моно3D, а також трьох відомих алгоритмів розпізнавання, які базуються на найбільш ефективних модифікаціях метода "власних" облич: аналіз головних 10 компонент (РСА) (Wencty S. Yambor, Analysis of PCA-Based and Fisher Discriminant-Based Image Recognition Algorithms, M.S. Thesis, Technical Report CS-00-103, Computer Science, July 2000), байєсівській класифікатор максимальної правдоподібності (Bayesian ML) та байєсівській класифікатор максимальної апостеріорної імовірності (Bayesian MAP) (David Bolrne, The Bayesian hitrapersonal/Extrapersonal Classifier, Masters Thesis, CSU Computer Science Department, July 2003). У методі Моно3D еталонами виступають 3D моделі, для створення яких використовуються стереопари зображень облич. Через відсутність зовнішніх баз даних таких зображень для тестування алгоритма Моно3D було створено сімнадцять 3D еталонів реальних людських облич. Кожний з цих 3D еталонів використовувався для отримання 11 еталонних зображень, які відповідали невеликим змінам (до 25°) від фронтальної орієнтації голови людини. На відміну від алгоритма Моно3D при тестуванні алгоритма Моно у більшості випадків використовувалось тільки одне еталонне зображення кожної людини. Для тестування алгоритмів РСА, BML, ВМАР використовувалось програмне забезпечення Colorado State University Face Identification Evaluation System (http:\\cs.colostate.edu\evalfacerec), що реалізує ці алгоритми. В Таблиці 1 представлені роботи п'яти вищезазначених алгоритмів розпізнавання на однакових вхідних даних. При цьому параметр q2=0, оскільки в програмному забезпеченні, що реалізує алгоритми РСА, BML і ВМАР, рішення приймається за методом найближчого сусіда, і відмова від розпізнавання не передбачена. В Таблиці 2 наведені результати роботи алгоритмів Моно та Моно3D за різних значеннях параметра q2 і у двох різних режимах. У першому режимі еталон особи, яка розпізнається, є в базі даних. При цьому вірним рішенням є правильне визначення особи перед камерою; помилковим рішенням є прийняття однієї особи за іншу, а відмова від розпізнавання означає, що система не може впізнати людину перед камерою. У другому режимі (тест на відмову у доступі) база даних еталонів не містить еталон тієї особи, зображення якої подається на вхід алгоритму. За таких умов єдиною правильною відповіддю є відмова від розпізнавання, тобто недопущення чужого. Результати тестування алгоритмів розпізна Алгоритм Моно3D Моно-Моно Bayesian ML Bayesian MAP РСА q2 0 0 0 0 0 Вірно, % 97,3 91,6 89,7 76,5 65,0 Тест н Від 11 81514 12 Таблиця 2 Результати тестування методів Моно та Моно3D за різних значень параметра q2 Алгоритм Моно-Моно Моно3D q2 40 50 55 40 50 55 Вірно, % 84,3 81,3 80,3 91,6 91,3 90,0 Тест на ідентифікацію Відмова, % Помилка, % 14,5 1,2 17,7 1,0 19,0 0,7 8,4 0 8,7 0 10,0 0 Як видно з результатів тестування, алгоритм Моно3D забезпечує більшу надійність розпізнавання за обома тестами. При цьому головна частина помилок пов'язана із суттєво різними умовами освітлення еталонного та вхідного зображень та зміною виразу обличчя. Джерело іншої, значно меншої частини помилок (1,1%), лежить у невірному знаходженні обличчя або очей на зображенні. Третє джерело помилок зображення із занадто великими поворотами обличчя. Результати роботи алгоритма Моно є гіршими у порівнянні з Моно3D, але кращими за відомі алгоритми, реалізовані в CSU Face Identification Evaluation System. Результати алгоритма Моно можна покращити, якщо використовувати декілька еталонних зображень замість одного для кожної людини. Ці еталони можуть відрізнятися між собою, наприклад, поворотом голови, виразом обличчя, умовами освітлення тощо. Тест на відмову у доступі Вірно, % Помилка, % 92,0 8,0 94,9 5,1 96,0 4,0 94,3 5,7 97,0 3,0 97,6 2,4