Спосіб знаходження людських облич на зображенні

Спосіб знаходження людських облич на зображенні, в якому формують базу зображень фронтальних облич та базу зображень, на яких відсутні обличчя, з яких формують навчальні та верифікаційні набори позитивних та негативних прикладів, тренують ансамбль сильних класифікаторів, додають до ансамблю сильні класифікатори до тих пір, поки не буде досягнуто заданих значень помилки першого роду та рівня детекції; для ансамблю; тренують сильні класифікатори, додають слабкі класифікатори у сильний класифікатор до тих пір, поки не буде досягнуто заданих значень помилки першого роду та рівня детекції для сильного класифікатора, тренують слабкі класифікатори, додають у сильний класифікатор слабкий класифікатор, який на зваженому наборі навчальних прикладів показав найменшу помилку, формують сильний класифікатор, на верифікаційних наборах перевіряють досягнення помилки першого роду та рівня детекції для сильного класифікатора, негативний навчальний набір наступного класифі U 2 53412 1 3 53412 нахилах голови у діапазоні від -30 до +30 градусів від центральної вісі симетрії. Крім того у випадку змін освітлення чи використання зображені, низької якості характерні точки обличчя при кореляційному порівнянні шаблонів цих точок можуть бути не знайдені, що може призвести до збільшення помилок другого роду. Найбільш близьким до способу, що заявляється, є спосіб знаходження об'єктів на зображенні [Патент US 7099510, М.кл. G06K 9/62, опубл. в 2006 р.], в якому спочатку формують базу зображень облич фронтального вигляду Bface, та базу зображень, на яких відсутні обличчя Bnonfase. Зображення з Bface нормалізують таким чином, щоб очі на зображеннях знаходилися в одних і тих же просторових координатах та формують з них навчальний Р та верифікаційний Vр набори позитивних прикладів. Виділяють з Bnonfase області зображень та формують з них навчальний N та верифікаційний Vn набори негативних прикладів. Зображення у наборах Р, Vp, N, Vn приводять до розміру 24*24 пікселі. Визначають набір прямокутних Хаар-подібних ознак. кожна з яких пов'язана кількістю прямокутників, які входять до її складу та областю зображення на зображенні розміром 24 на 24 пікселі з яким пов'язана ознака. Потім тренують ансамбль сильних класифікаторів (АСК), для чого втановлюють значення помилки першого роду FP_EС, рівень детекції ТР_EC яких при тренуванні має досягнути АСК. Додають до АСК сильні класифікатори до тих пір, поки не будуть досягнуті встановлені FP_EC та ТР_EC. Кожен сильний класифікатор тренують до досягнення встановлених наступним чином. Встановлюють значення помилки першого роду FP, та рівня детекції ТР для кожного сильного класифікатора. Формують навчальну вибірку з набору Р позитивних прикладів та набору N негативних прикладів вигляду (х1, у1), ..., (хn, уn), де х - зображення, у - цільове значення, яке рівне 0 - для негативних прикладів, 1 - для позитивних прикладів. Ініціалізують ваги w1,i=1/2m, 1/2l, для уі=0, 1 відповідно, де m - кількість позитивних прикладів, l – кількість негативних прикладів, а поточний рівень помилки першого poду fpRate=1. Запускають цикл з умовою поки fpRate>FP, де t це поточна ітерація, i - індекс прикладу, j - індекс Хаар-подібної ознаки. Нормалізують ваги прикладів навчальної вибірки: w t,i w t,i n . Для кожної fi обчислюють її w t,k k 1 значення для всіх прикладів навчальної вибірки, використовуючи ваги прикладів визначають оптимальний поріг j та напрямок знаку pj. Формують слабкий класифікатор для кожної Хаар-подібної ознаки за формулою: h j ( x) 1 якщо pjfj (x) pj , j 0, інакше Обчислюють помилку усіх слабких класифікаторів за формулою: ej iwi hj (xi ) yi . У сильний класифікатор додають слабкий класифікатор ht, з 4 найменшою помилкою t . Оновлюють ваги прикладів за формулою: wt 1,i wt,i 1 ei , де ei 0 якt що приклад хi, розпізнаний правильно, ei=1 в інакшому випадку, t 1 1 Формують сильний t класифікатор: T tht ( x) 1 , h( x) , t 1 0,інакше де t log 1 t , (1) 1T 2t 1 t Використовуючи верифікаційний набір позитивних прикладів Vp,. підлаштовують поріг сильного класифікатора, для досягнення заданого рівня детекцій ТР. Обчислюють помилку першого роду fpRate сильного класифікатора на верифікаційному наборі негативних прикладів Vn,. Переходять на наступну ітерацію циклу у випадку виконання умови fpRate>EP, в іншому випадку сильний класифікатор додають у АCК. Переходять до тренування наступного сильного класифікатора. Для формування набору негативних прикладів N наступного сильного класифікатора виділяють з Вnonfase області зображень, приводять до розміру 24 на 24 пікселя формують з них негативні приклади і подають па вхід АСК, приклади, які АСК прийняв за позитивні додають у набір N. За допомогою оптичного пристрою, наприклад відеокамери, зображення на якому присутнє одне чи більше людських облич вводять у комп'ютер. Це зображення перетворюють у інтегральне зображення. За допомогою вікна пошуку, розмір якого спочатку дорівнює 24*24 пікселі, а потім збільшують на коефіцієнт Ms, при зміні масштабу, пересувають по зображенню уздовж його рядків з кроком Кr пікселів, виділяють область зображення, яку подають на вхід АСК. У сильному класифікаторі з допомогою інтегрального зображення нормалізують виділені області та обчислюють значення прямокутних Хаар-подібних ознак у слабких класифікаторах. Згідно формули (1) приймають рішення про перехід до наступного сильного класифікатора у ансамблі у випадку h(x)=1. чи до відхилення поточної області зображення у випадку h(x)=0 і переходу до обробки наступної області зображення виділеної вікном пошуку. У випадку якщо всі сильні класифікатори ансамблю приймуть рішення h(x)=1 область зображення признається за таку, на якій присутнє обличчя. Після проходження вікна пошуку по всьому зображенню у всіх масштабах детектор обличчя виділяє на зображенні декілька детектованих областей. Застосовують правило кластеризації, в якому всю множину детектованих областей розбивають на множини, що не перетинаються. При кластеризації дві детектовані області відносять до одного кластеру, якщо вони перетинаються більше ніж на відсоток . Кластер є кандидатом для створення об'єднаної області, якщо множина детектованих областей у ньому більша порогу . Об'єднану 5 область формують шляхом знаходження середнього арифметичного координат детектованих областей, що входять у кластер. Кожну з об'єднаних областей признають за область обличчя. Недоліком є те, що у відомому способі знаходження об'єктів на зображенні застосовані у якості слабких класифікаторів Хаар-подібні ознаки чутливі до змін освітлення, тому перед знаходженням обличчя потрібно виконувати спеціальну процедуру корекції освітлення зображення. Крім того спосіб знаходження об'єктів на зображенні дозволяє знаходити лише фронтальні обличчя. В основу корисної моделі поставлена задача створення такого способу знаходження людських облич на зображенні, який забезпечить надійне знаходження обличчя, чи декількох облич, в умовах змін освітлення, масштабу та нахилів голови людини без використання дорогою спеціалізованого обладнання для визначення просторових координат обличчя. Поставлена задача досягається тим, що в способі знаходженні людських облич на зображенні, в якому формують базу зображень фронтальних облич та базу зображень, на яких відсутні обличчя, з яких формують навчальні та верифікаційні набори позитивних та негативних прикладів, тренують ансамбль сильних класифікаторів, додають до ансамблю сильні класифікатори до тих пір, поки не буде досягнуто заданих значень помилки першого роду та рівня детекції для ансамблю; тренують сильні класифікатори, додають слабкі класифікатори у сильний класифікатор до тих пір, поки не буде досягнуто заданих значень помилки першого роду та рівня детекції для сильного класифікатора, тренують слабкі класифікатори, додають у сильний класифікатор слабкий класифікатор, який на зваженому наборі навчальних прикладів показав найменшу помилку, формують сильний класифікатор, на верифікаційних наборах перевіряють досягнення помилки першого роду та рівня детекції для сильного класифікатора, негативний навчальний набір наступного класифікатора формують з тих прикладів. отриманих з бази зображень, на яких відсутні обличчя, які попередні сильні класифікатори ансамблю прийняли за обличчя, вводять у комп'ютер зображення, перетворюють його у інтегральне зображення, за допомогою вікна пошуку у різних масштабах і положеннях виділяють області зображення, подають їх на вхід ансамблю сильних класифікаторів, область зображення признають за детектовану область, якщо всі сильні класифікатори ансамблю прийняли область зображення за обличчя кластеризують детектовані області в об'єднані області, кожна з яких признається за область обличчя, використовують шість ансамблів сильних класифікаторів, кожен призначений для знаходження облич на зображенні в певному діапазоні кутів нахилів, тренувальні та верифікаційні набори позитивних прикладів для кожного ансамблю формують шляхом попороту позитивних зображень фронтальних облич на один з базових кутів -22,5 , 22,5 , -45 , 45 , для формування слабких класифікаторів використовують модифікованілокальні бінарні шаблони, остаточний вибір областей облич з об'єднаних 53412 6 областей між діапазонами кутів нахилу здійснюють на основі показника якості, що визначають кількістю детектованих областей в кожній об'єднаній області. На Фіг.1 зображена структура детектора облич, на Фіг.2. наведено п'ять зображень одного й того ж обличчя, кожне з яких використовується у наборі навчальних позитивних прикладів відповідного ансамблю сильних класифікаторів (АСК), на Фіг.3 показаний приклад обчислення значення прямокутного локального бінарного шаблона RECT-LBP, після згортки RECT-LBP з параметрами dx=2, dy=2 з областю р напівтонового зображення, на Фіг.4 показаний приклад областей р, до яких застосовується RECT-LBP з параметрами dx=3, dy=3 на зображенні обличчя, на Фіг.5 наведений алгоритм прийняття рішення АСК щодо присутності на області зображення обличчя, на Фіг.6 наведений алгоритм знаходження детектовапих областей зображення. Спосіб здійснюється наступним чином. Спочатку формують базу зображень облич фронтального вигляду Вfase та базу зображень, на яких відсутні обличчя Вnonfase. Зображення з Bfase нормалізують таким чином, щоб очі на зображеннях знаходилися в одних і тих же просторових координатах, та формують з них навчальний P1 та верифікаційний Vp1 набори позитивних прикладів. Виділяють з Вnonfase області зображень та формують з них навчальний N та верифікаційний Vn, набори негативних прикладів. Потім з набору Р1 формують чотири навчальних набори позитивних прикладів P2-P5, з набору Vp1 формують чотири верифікаційних набори позитивних прикладів Vp2- Vp5. Зображення облич в кожному з наборів Р2-Р5 та Vp2- Vp5 повертають на один з базових кутів -22.5 , 22.5 , -45 , 45 , відносно центру мас зображення. Зображення у наборах Р1 - Р5, Vp1- Vp5, N, Vn, приводять до розміру 24*24 пікселі. Формують набір з n_LBP RECT-LBP ознак, кожна з яких визначена розмірами прямокутників, які входять до її складу та пов'язана з певною областю р, на зображенні розміром 24 на 24 пікселі. Значення RECT-LBP ознаки, після застосування RECT-LBP до області зображення визначається наступним чином: RECT-LBP 8 = s(km kc )2m , де kс - це сума значень інтенси m 1 вностей пікселів центрального прямокутника km (і=0,...,8) сума значень інтенсивностей пікселів сусідніх центральному прямокутників s(x): s(x) 1 якщо x 0 , . Параметри dх та dу кож0, якщо x 0 ної RECT- LBP ознаки визначають розміри центрального та сусідніх центральному прямокутників. Тренують перший ансамбль сильних класифікаторів (ACK1) наступним чином. Встановлюють значення помилки першого роду FР_EC, та рівень детекції ТР_EС. яких при тренуванні має досягнути АСК1. Додають до АСК1 сильні класифікатори поки не будуть досягнуті встановлені FP_EC та ТР_ЕС. Кожен сильний класифікатор тренують наступним чином. Встановлюють значення помил 7 53412 ки першого роду FP та рівня детекції ТР для кожного сильного класифікатора. З наборів P1 - Р5 та N формують навчальну вибірку вигляду (х1, у1), ..., (хn, уn), де х - зображення, у - цільове значення, яке рівне 0 - для негативних прикладів, 1 - для позитивних прикладів. Ініціалізують вати w1,i=1/2m, 1/2l, для уi=0,1 відповідно, де m кількість позитивних прикладів, l - кількість негативних прикладів. Поточний рівень помилки першого роду fpRate=1. Запускають цикл з умовою поки fpRate>FР, де t - це поточна ітерація, i= індекс прикладу, у - індекс RECT-LBP ознаки. Нормалізують ваги зображень навчальної вибір w t,i ки w t,i . Для кожної області зображення р n w t,k k 1 усіх позитивних навчальних прикладів обчислюють RECT-LBР ознаку і формують. масив Lобличчя, виp користовуючи набір негативних прикладів формують Lне _ обличчяМасиви p масив Lобличчя p та Lне _ обличчя складають з n_LBР елементів, кожен p елемент відповідає певній RECT-TBP ознаці. В елементах масиву Lобличчя додаються ваги wt,i p позитивних прикладів, в елементах масиву Lне _ обличчя додаються ваги wt,i негативних прикp ладів. Вага прикладу додається до елементу відповідного масиву, якщо RECT-LBP ознака обчислена в області п відповідає RECT-LBP ознаці елементу. Помилка класифікації області р визначається за формуn _ LBR min( Lобличчя Lне_обличчя . Фор[j], p [j] p лою: p j 1 мують слабкий класифікатор ht(x), використовуючи , p масиви Lобличчя Lне_обличчя області р з мінімальp ною помилкою класифікації t і:, за формулою: 1 Lобличчя Lне_обличчя j] , p [j], p [ Lp[ j] . Оновлюють ваги 0, інакше зображень навчальної вибірки: wt 1,i ei wt,i 1 ei t , де 0 якщо приклад хi, розпізнаний правильно, ei=1 в інакшому випадку, t t 1 Формують сиt льний класифікатор: T tht ( x) 1 , h( x) , t 1 0,інакше де t log 1 t , (2) 1 2t T t 1 Використовуючи верифікаційний набір позитивних прикладів Vp1 підлаштовуюгь поріг сильного класифікатора, для досягнення заданого рівня детекцій ТР. Обчислюють помилку першого роду 8 fpRate сильного класифікатора на верифікаційному наборі негативних прикладів Vn. Переходять на наступну ітерацію циклу у випадку виконання умови fpRate>FP, в інакшому випадку сильний класифікатор додають у ансамбль сильних класифікаторів (АСК1). Переходять до тренування наступного сильного класифікатора АСК1. Для формування набору негативних прикладів N наступного сильного класифікатора виділяють з Вnonfase області зображень, приводять до розміру 24 на 24 пікселя формують з них негативні приклади і подають на вхід АСК1. приклади, які АСК1 прийняв за позитивні додаються у набір N. Кожен з ансамблей сильних класифікаторів АСК2-АСК6. відповідає за знаходження облич певного діапазону кутів нахилу (Фіг.1), тому тренують кожен з АСК2 – АСК6 аналогічно до АСК1, використовуючи для формування навчальних вибірок один з відповідних наборів позитивних прикладів Р1-Р5, та для досягнення заданих рівня помилки першого роду FР_EС та рівня детекції ТР_EС відповідні верифікаційні набори Vp1 - Vp5. За допомогою оптичного пристрою, наприклад відеокамери. зображення на якому присутнє одне чи більше людських облич вводять у комп'ютер. Це зображення перетворюють у інтегральне зображення. Вікно пошуку, розмір якого спочатку дорівнює 24*24 пікселі, а потім збільшується на коефіцієнт Ms, при зміні масштабу, пересувається по зображенню уздовж його рядків з кроком Кr пікселів, та виділяє область зображення, яка подається на вхід АСК1. Якщо всі сильні класифікатори АСК1 згідно формули (2) приймають значення h(x)=1, то область зображення передасться на вхід АСК2. Якщо ж хоча б один сильний класифікатор з АСК1 прийме значення h(x)=0, то детектор облич перейде до опрацювання наступної області вхідного зображення. Якщо хоча б один сильний класифікатор з АСK2-АСК6 приймає значення h(x) 0, то область зображення перейде на вхід наступного АСК, або детектор перейде до опрацювання наступної області зображення якщо поточним АСК був АСК6. Якщо ж всі сильні класифікатори одного з АСК2-АСК6 прийняли значення h(x)=1, то область зображення приймається за детектовану область в діапазоні кутів повороту поточного АСК (Фіг.6). Після проходження вікна пошуку по всьому зображенню у всіх масштабах детектор обличчя для кожного діапазону кутів нахилу виділяє на зображенні декілька детектованих областей. У межах кожного діапазону кутів нахилу застосовується правило кластеризації, в якому уся множина детектованих областей розбивається на множини, що не перетинаються. При кластеризації дві детектовані області відносяться до одного кластеру, якщо вони перетинаються більше ніж на відсоток . Кластер є кандидатом для створення об'єднаної області, якщо множина детектованих областей у ньому більша порогу . Об'єднана область формується шляхом знаходження середнього арифметичного координат детектованих областей, що входять у кластер. Для формування областей облич між усіма діапазонами кутів нахилу використо 9 вується показник якості w, який визначається кількісно детектованих областей, які увійшли в об'єднану область. Якщо об'єднані області різних діапазонів кутів нахилу перетинаються більш ніж на відсотків областю обличчя признається об'єднана 53412 10 область з більшим показником якості. Якщо об'єднані області різних діапазонів кутів нахилу перетинаються менше ніж на відсотків то кожна з об'єднаних областей признається за область обличчя. 11 53412 12 13 Комп’ютерна верстка А. Крижанівський 53412 Підписне 14 Тираж 26 прим. Міністерство освіти і науки України Державний департамент інтелектуальної власності, вул. Урицького, 45, м. Київ, МСП, 03680, Україна ДП “Український інститут промислової власності”, вул. Глазунова, 1, м. Київ – 42, 01601