Спосіб автоматичного відновлення тривимірної поверхні людського обличчя

Реферат: Спосіб автоматичного відновлення тривимірної поверхні людського обличчя за серією фотознімків належить до інформаційних технологій, зокрема до технологій комп'ютерного зору, і може бути використаний як складова частина систем комп'ютерної ідентифікації особи, створення віртуальних акторів тощо. Спосіб заснований на тому, що за серією фотознімків виконується апроксимація тривимірної поверхні обличчя людини, як лінійної комбінації деяких фіксованих поверхонь, а також виконується оцінка ракурсу зйомки та параметрів освітлення обличчя для кожному з фотознімків. Це дозволяє, на відміну від відомих способів, автоматично відновлювати тривимірну поверхню обличчя людини за набором її фотознімків, в тому числі таким, що складається лише з одного знімка. UA 99931 C2 (12) UA 99931 C2 UA 99931 C2 5 10 15 20 25 30 35 40 45 50 55 Спосіб автоматичного відновлення тривимірної поверхні людського обличчя за серією фотознімків належить до інформаційних технологій, зокрема до технологій комп'ютерного зору, і може бути використаний як складова частина систем комп'ютерної ідентифікації особи, створення віртуальних акторів тощо. В комп'ютерній графіці фундаментальною проблемою залишається синтез реалістичних людських облич. Більшість відомих методів вимагають великої кількості ручної роботи або використання дорогих сканерів тривимірної поверхні (Lee et al, "Realistic Modeling for Facial Animations", Proceedings of SIGGRAPH95, pages 55-62, August, 1995). Більш новітні дослідження базуються на використанні так званої генеративної (породжуючої) моделі людського обличчя. Підходи, що застосовують генеративну модель, використовують той факт, що основні характеристики обличчя не надто змінюються від людини до людини. Відомий спосіб відновлення тривимірної поверхні людського обличчя за серією силуетних зображень на основі генеративної моделі обличчя (патент США № 7212664). Спосіб базується на виділенні на зображеннях обличчя так званих силуетів, тобто інваріантних до освітлення контурів, та пошуку оптимальної апроксимуючої поверхні обличчя у вигляді лінійної комбінації деяких фіксованих тривимірних поверхонь. Загальними ознаками пропонованого і відомого способу є використання певного фіксованого набору тривимірних поверхонь людських облич з метою апроксимації довільного обличчя комбінацією облич з цього набору. Причиною, що не дозволяє досягти поставленої задачі, є те, що при виділенні силуетів втрачається велика кількість інформації, яка міститься на вихідному зображенні, і тому якісне відновлення поверхні обличчя вимагає використання великої кількості зображень. Відомий спосіб відновлення тривимірної поверхні людського обличчя за послідовністю фотознімків, у якій кожен наступний знімок мало відрізняється від попереднього (патент США № 7103221). Спосіб базується на відстеженні особливих точок, на основі яких відновлюється ракурс зйомки для кожного із зображень та будується грубе наближення тривимірної поверхні. Далі, на основі інформації про ракурси зйомки, зображення попарно ректифікуються з метою застосування алгоритму стереореконструкції для уточнення тривимірної конфігурації поверхні. Загальними ознаками пропонованого і відомого способу є використання серії зображень для відновлення тривимірної поверхні людського обличчя. Причиною, що не дозволяє досягти поставленої задачі, є те, що відомий метод працює лише з такими серіями зображень, які можуть бути впорядковані таким чином, щоб кожен наступний знімок мало відрізнявся від попереднього, а в ситуації, коли подано лише одне вхідне зображення, взагалі не є застосовним. Відомий спосіб відновлення тривимірної поверхні людського обличчя за двома фотознімками, які мало відрізняються, та двома відеопослідовностями (патент США № 7212656). Спосіб базується на пошуку лінійної комбінації деякого фіксованого набору тривимірних поверхонь, що найкраще узгоджується з інформацією про місцезнаходження певних особливих точок на парі вхідних зображень. Відеопослідовності використовуються для якісного накладання на відновлену поверхню зображення з фотознімків (так званого текстурування поверхні). Загальними ознаками пропонованого і відомого способу є використання зображень та фіксованого набору тривимірних поверхонь для відновлення тривимірної поверхні обличчя. Причиною, що не дозволяє досягти поставленої задачі, є те, що відомий метод працює лише з парою фотознімків, що мало відрізняються, не є застосовним у ситуації, коли подано лише одне вхідне зображення, а також вимагає завдання вручну великої кількості особливих точок. В основу винаходу поставлена задача розробити такий спосіб відновлення тривимірної поверхні обличчя, який би забезпечував якісне відновлення поверхні незалежно від умов освітлення, масштабу та ракурсу зйомки за будь-якою не порожньою серією фотознімків, включаючи серію, що складається з одного знімка. Поставлена задача вирішується за допомогою а) створення генеративної моделі, що складається з взаємно впорядкованих тривимірних поверхонь облич різних людей; б) нормалізації зображень обличчя за масштабом та поворотом у площині зображення на основі інформації про координати центрів зіниць очей, які можуть бути вказані оператором вручну, або отримані за допомогою відомих методів, наприклад ADABOOST (Yoav Freund and Robert E. Schapire. «A decision-theoretic generalization of on- line learning and an application to boosting» //Journal of Computer and System Sciences, no. 55. 1997); 1 UA 99931 C2 5 10 15 20 25 в) підборі таких параметрів повороту, освітлення та форми поверхні обличчя, які найкращим чином апроксимують вхідні зображення. З метою досягнення поставленої задачі використовується генеративна модель обличчя людини, яка містить набір тривимірних поверхонь різних облич, кожна з яких задається у вигляді вектора, що містить просторові координати точок поверхні. На точки поверхонь накладено деяку фіксовану тріангуляцію, яка є однаковою для всіх поверхонь. Текстури (розфарбування) поверхонь не є заданими. Такі поверхні можна отримувати за допомогою стереореконструкції, кодованого освітлення, лазерних далекомірів або будь-яким іншим способом побудови тривимірних поверхонь. Всі вектори мають перебувати у повній відповідності, тобто на кожній позиції в усіх векторах містяться координати семантично ідентичних точок. Тобто, якщо, скажімо, перша компонента вектора, що представляє одну з поверхонь, містить координату кінчика носа, то перша компонента всіх інших векторів також має містити координату саме кінчика носа, а не якої-небудь іншої точки обличчя. Будемо називати такий набір векторів генеративною моделлю тривимірної поверхні людського обличчя. Побудова генеративної моделі виконується один раз. Далі ця модель використовується для відновлення тривимірної моделі обличчя конкретної людини. Генеративна модель тривимірної поверхні обличчя на основі довільного набору поверхонь людських облич будується наступним чином. Кожній точці тріангульованої тривимірної поверхні ставиться у відповідність вектор нормалі, який визначається наступним чином. 1. Спочатку визначається нормаль до кожного з трикутників, як вектор нормалі до площини, у якій лежить цей трикутник: p t   p1t  p3 t   p1t  , nt  2 p2 t   p1t  p3 t   p1t  де t - номер трикутника, p1(t), p2(t) та p3(t) - вершини трикутника г, а символ «×» позначає векторний добуток. 2. Визначається нормаль кожної з вершин тріангуляції як середнє арифметичне нормалей трикутників, що містять цю вершину: i1n t p  kp i , k p  де k(p) - кількість трикутників, що містять точку p, n t i p  - нормаль до i-го трикутника, який містить точку р. 3. Нормаль для кожної з точок, що лежать всередині деякого трикутника визначається як лінійна комбінація нормалей вершин трикутника. Вектор нормалі в кожній точці поверхні можна інтерпретувати як «колір» цієї поверхні. При цьому кожна з компонент вектора нормалі (х, у, z) інтерпретується як інтенсивність одного з кольорових каналів (RGB). На Фіг. 1 зображено фронтальні проекції двох моделей з таким розфарбуванням. Будемо називати такі зображення картами нормалей. Нехай задано дві карти нормалей поверхонь людських облич. Необхідно для кожної точки першого зображення вказати відповідну точку на другому зображенні. Будемо задавати такі відповідності у відносних координатах, які будемо називати зсувами або позначками. Тобто, якщо деякій точці з координатами (х, у) першого зображення відповідає точка з координатами (х + kx, у + kу) на другому зображенні, то зсув у точці (x, y) дорівнює (kx, kу). Штрафом за зсув (kx, kу) в пікселі (x,y) будемо називати величину np 30 35 40 q x, y (k x , k y )  45 50  I1x, y, c   I2 x  k x , y  k y , c  , 3 c 1 де с - номер RGB - каналу, I1 та I2, - відповідно перше та друге зображення. Ситуацію, коли для кожного піксела першого зображення вказано його зсув відносно відповідного піксела другого зображення, будемо називати полем руху або розміткою. На взаємне розташування відповідних пікселів на парі зображень накладаються певні природні обмеження, а саме забороняється сусіднім пікселам «переплутуватись». На Фіг. 2 наведено графічне зображення цих обмежень. Формально такі обмеження можна задати у вигляді штрафу за пару позначок в сусідніх пікселах:  0, якщо k ' x  k x  1, k y  k y '   g x,y,x 1,y k x , k y , k ' x , k ' y   ,  , інакше    2 UA 99931 C2 0, якщо k' y  k y  1 k x  k x '   , g x,y,x,y 1 k x , k y , k' x , k' y   . , інакше  Тепер можна поставити задачу пошуку оптимального поля руху між парою зображень: X1 Y  X Y k *  arg max    q x,y (k x , k y )    g x,y,x 1,y k x , k y , k' x , k' y k  x 1y 1 x 1 y 1  k , X Y 1     g x,y,x,y 1 k x ,k y ,k' x , k' y   x 1y 1  де k - розмітка, Х та У - вертикальний та горизонтальний розміри зображення відповідно. Задача пошуку оптимальної розмітки є обчислювально дуже складною (належить до класу NP-повних задач). На даний час не відомий спосіб точного розв'язку цієї задачі. Але існують методи її наближеного розв'язку. Для експериментальної перевірки ми використали метод TRWS (Kolmogorov V. Convergent Tree-Reweighted Message Passing for Energy Minimization. //IEEE Transactions on Pattern Analysis and Machine Intelligence. Vol. 28, pages 1568-1583, Washington, DC, USA, October 2006). Схему побудови генеративної моделі обличчя подано на Фіг. 3. Нехай, окрім самої генеративної моделі маємо ще серію фотознімків обличчя однієї й тієї ж самої людини. Задача полягає у тому, щоб знайти таку лінійну комбінацію векторів генеративної моделі, яка найбільш схожа на ту поверхню обличчя, що зображена на фотознімках. Нехай маємо набір векторів, кожен з яких задає форму деякої тривимірної поверхні: T 3n S={s1,...,sk}, si=(x1,y1,z1,x2,y2,z2,...,xn,yn,zn)  R . Двовимірні контури губ, очей та брів задаються у вигляді багатокутників. Три багатокутники, що відповідають деяким фіксованим контурам очей, брів та губ будемо записувати у вигляді одного вектора: T 2n f=(x1,y1,x2,y2,...,xn,yn,)  R . Набір таких векторів, що відповідають контурам частин обличчя декількох реальних людей, складає генеративну модель частин обличчя: f={f1,…,fk}, T 2n fi=(x1,y1,x2,y2,...,xn,yn,)  R . Така генеративна модель необхідна для того, аби "вирізати" з тривимірної поверхні частини обличчя, що не є шкірою. Будемо вважати, що обличчя освітлене трьома джерелами направленого освітлення, кожне з яких випромінює освітлення, що відповідає одному з трьох кольорових каналів - червоного, зеленого та синього (далі RGB), а також трьома джерелами розсіяного освітлення, кожне з яких так само відповідає одному з каналів RGB. Це означає, що освітленість поверхні в кожній точці задається формулою Lc(р) = -+bc, c{R, G, В}, (1) де р - деяка точка поверхні, n(р) - вектор нормалі до поверхні в точці р, lc - напрямок джерела освітлення, яке відповідає кольоровому каналу с, bc - інтенсивність розсіяного освітлення в каналі с. Нехай, маємо набір зображень:     5 10 15 20 25 30 35 ~   ~ I  1,..., Il  Ii : X Y C  L , I , ~ ~ X   ,2,..., X Y   ,2,..., Y C   , G,B L  0,1 255 , 1 , 1 , R , ,..., 40 X  R, Y  R . Задача відновлення тривимірної поверхні обличчя полягає в знаходженні такої форми тривимірної поверхні, контурів губ, очей та брів, а також ракурсів зйомки та освітлення поверхні на кожному з фотознімків, які мінімізують функцію: l FI, w, v,r,l,b   i1    Ii x, y, c   Lic Uw,ri , x, y  2 ~ ~ xX yY cC l  Bv,Uw,ri, x, y , (2) 45 де w та v - вектори вагових коефіцієнтів для наборів векторів S та f відповідно, r - набір векторів ri ,i  1 l , які задають ракурс зйомки поверхні на кожному з зображень, l - набір ,... 3 UA 99931 C2 5 10 15 20 25 30 35 40 45 R , ,..., векторів lic , c   , G,B i  1 l , які задають напрямок джерел освітлення поверхні на кожному з зображень для трьох кольорових каналів RGB, b - вектор інтенсивностей розсіяного освітлення, U - оператор зворотного проектування точки на зображенні в точку на моделі, В - індикатор належності точки моделі, яка проектується в координати (х, у) на зображенні, одній з частин обличчя, що не є шкірою (губи, очі, брови). Перевагою пропонованого способу є те, що оптимізація функції (2) при фіксованих значеннях w, v та r виконується аналітично, наприклад за допомогою методу найменших квадратів. Оптимізація по параметрах w, v та r проводиться методом Нелдера-Міда (J.A. N elder and R. Mead, A simplex method for function minimization //Computer Journal, 1965, vol 7, pp. 308313). Схему запропонованого способу наведено на Фіг. 4. Можливість практичної реалізації запропонованого способу доведена експериментально. Експерименти проводились з генеративною моделлю, що містила 6 тривимірних поверхонь різних облич. Тривимірні моделі відновлювались на основі серій, що містили від одного до трьох зображень тієї самої людини, зроблених під різними ракурсами та при різних умовах освітлення. Результати оцінювались візуально. Приклад роботи запропонованого способу відновлення тривимірної поверхні обличчя на основі одного зображення наведено на Фіг. 5, який складається лише з одного знімка. ФОРМУЛА ВИНАХОДУ 1. Спосіб автоматичного відновлення тривимірної поверхні людського обличчя за серією фотознімків зображення обличчя людини, включаючи серію з одного єдиного знімка, з використанням фіксованого набору семантично впорядкованих тривимірних поверхонь, заснований на апроксимації тривимірної поверхні обличчя, зображеного на серії фотознімків, у вигляді лінійної комбінації деякого фіксованого набору тривимірних поверхонь, який відрізняється тим, що попередньо виконують нормалізацію зображень обличчя людини за масштабом та поворотом, далі виконують пошук такої лінійної комбінації тривимірних поверхонь з деякого фіксованого набору, а також такого ракурсу зйомки для кожного з вхідних зображень, які мінімізують цільову функцію. 2. Спосіб за п. 1, який відрізняється тим, що фіксований набір семантично впорядкованих тривимірних поверхонь будують шляхом пошуку відповідних точок на цих поверхнях за допомогою розв'язання серії задач розмітки на парах зображень, що формуються на основі нормалей до відповідних поверхонь. 3. Спосіб за п. 1, який відрізняється тим, що нормалізацію зображень обличчя людини за масштабом та поворотом виконують на основі координат центрів зіниць очей на зображеннях. 4. Спосіб за п. 1, який відрізняється тим, що пошук лінійної комбінації тривимірних поверхонь виконують за допомогою методу Нелдера-Міда. 5. Спосіб за п. 1, який відрізняється тим, що цільову функцію задають наступним чином: для кожного вхідного зображення будують двовимірну ортогональну проекцію поточної оцінки тривимірної поверхні обличчя у відповідності до поточної оцінки ракурсу зйомки даного зображення за умов оптимального освітлення, яке визначається аналітично, обчислюють суму попіксельних різниць кольорів вхідного та побудованого зображень; причому цільова функція є сумою по всіх вхідних зображеннях отриманих таким чином величин. 6. Спосіб за п. 5, який відрізняється тим, що в цільовій функції враховуються лише ті пікселі, в які проектується хоча б одна точка поточної оцінки тривимірної поверхні обличчя. 4 UA 99931 C2 5 UA 99931 C2 6 UA 99931 C2 7 UA 99931 C2 Комп’ютерна верстка M. Мацело Державна служба інтелектуальної власності України, вул. Урицького, 45, м. Київ, МСП, 03680, Україна ДП “Український інститут промислової власності”, вул. Глазунова, 1, м. Київ – 42, 01601 8