Спосіб автоматичного відновлення тривимірної поверхні людського обличчя

1. Спосіб автоматичного відновлення тривимірної поверхні людського обличчя за серією фотознімків, включаючи серію з одного єдиного знімка, з використанням фіксованого набору семантично впорядкованих тривимірних поверхонь, заснований на апроксимації тривимірної поверхні обличчя, зображеного на серії фотознімків, у вигляді лінійної комбінації деякого фіксованого набору тривимірних поверхонь, який відрізняється тим, що виконують нормалізацію зображень обличчя людини за масштабом та поворотом, далі виконують пошук такої лінійної комбінації тривимірних поверхонь з деякого фіксованого набору, а також такого ракурсу зйомки для кожного з вхідних зображень, які мінімізують цільову функцію. 2. Спосіб за п. 1, який відрізняється тим, що фіксований набір семантично впорядкованих тривимірних поверхонь будують шляхом пошуку відпо U 2 55157 1 3 та пошуку оптимальної апроксимуючої поверхні обличчя у вигляді лінійної комбінації деяких фіксованих тривимірних поверхонь. Загальними ознаками пропонованого і відомого способу є використання певного фіксованого набору тривимірних поверхонь людських облич з метою апроксимації довільного обличчя комбінацією облич з цього набору. Причиною, що не дозволяє досягти поставленої задачі є те, що при виділенні силуетів втрачається велика кількість інформації, яка міститься на вихідному зображенні, і тому якісне відновлення поверхні обличчя вимагає використання великої кількості зображень. Відомий спосіб відновлення тривимірної поверхні людського обличчя за послідовністю фотознімків, у якій кожен наступний знімок мало відрізняється від попереднього (патент США № 7103221). Спосіб базується на відстеженні особливих точок, на основі яких відновлюється ракурс зйомки для кожного із зображень та будується грубе наближення тривимірної поверхні. Далі, на основі інформації про ракурси зйомки, зображення попарно ректифікуються з метою застосування алгоритму стереореконструкції для уточнення тривимірної конфігурації поверхні. Загальними ознаками пропонованого і відомого способу є використання серії зображень для відновлення тривимірної поверхні людського обличчя. Причиною, що не дозволяє досягти поставленої задачі є те, що відомий метод працює лише з такими серіями зображень, які можуть бути впорядковані таким чином, щоб кожен наступний знімок мало відрізнявся від попереднього, а в ситуації, коли подано лише одне вхідне зображення взагалі не є застосовним. Відомий спосіб відновлення тривимірної поверхні людського обличчя за двома фотознімками, які мало відрізняються, та двома відеопослідовностями (патент США № 7212656). Спосіб базується на пошуку лінійної комбінації деякого фіксованого набору тривимірних поверхонь, що найкраще узгоджується з інформацією про місцезнаходження певних особливих точок на парі вхідних зображень. Відеопослідовності використовуються для якісного накладання на відновлену поверхню зображення з фотознімків (так званого текстурування поверхні). Загальними ознаками пропонованого і відомого способу є використання зображень та фіксованого набору тривимірних поверхонь для відновлення тривимірної поверхні обличчя. Причиною, що не дозволяє досягти поставленої задачі є те, що відомий метод працює лише з парою фотознімків, що мало відрізняються, не є застосовним у ситуації, коли подано лише одне вхідне зображення, а також вимагає завдання вручну великої кількості особливих точок. В основу моделі поставлена задача розробити такий спосіб відновлення тривимірної поверхні обличчя, який би забезпечував якісне відновлення поверхні незалежно від умов освітлення, масштабу та ракурсу зйомки за будь-якою не порожньою 55157 4 серією фотознімків, включаючи серію, що складається з одного знімку. Поставлена задача досягається за допомогою а) створення генеративної моделі, що складається з взаємно впорядкованих тривимірних поверхонь облич різних людей; б) нормалізації зображень обличчя за масштабом та поворотом у площині зображення на основі інформації про координати центрів зіниць очей, які можуть бути вказані оператором вручну, або отримані за допомогою відомих методів, наприклад ADABOOST (Yoav Freund and Robert E. Schapire. «A decision-theoretic generalization of online learning and an application to boosting» //Journal of Computer and System Sciences, no. 55. 1997); в) підборі таких параметрів повороту, освітлення та форми поверхні обличчя, які найкращим чином апроксимують вхідні зображення. З метою досягнення поставленої задачі використовується генеративна модель обличчя людини, яка містить набір тривимірних поверхонь різних облич, кожна з яких задається у вигляді вектора, що містить просторові координати точок поверхні. На точки поверхонь накладено деяку фіксовану триангуляцію, яка є однаковою для всіх поверхонь. Текстури (розфарбування) поверхонь не є заданими. Такі поверхні можна отримувати за допомогою стерео реконструкції, кодованого освітлення, лазерних далекомірів або будь-яким іншим способом побудови тривимірних поверхонь. Всі вектори мають перебувати у повній відповідності, тобто на кожній позиції в усіх векторах містяться координати семантично ідентичних точок. Тобто, якщо, скажімо, перша компонента вектора, що представляє одну з поверхонь, містить координату кінчика носа, то перша компонента всіх інших векторів також має містити координату саме кінчика носа, а не якої-небудь іншої точки обличчя. Будемо називати такий набір векторів генеративною моделлю тривимірної поверхні людського обличчя. Побудова генеративної моделі виконується один раз. Далі ця модель використовується для відновлення тривимірної моделі обличчя конкретної людини. Генеративна модель тривимірної поверхні обличчя на основі довільного набору поверхонь людських облич будується наступним чином. Кожній точці триангульованої тривимірної поверхні ставиться у відповідність вектор нормалі, який визначається наступним чином. 1. Спочатку визначається нормаль до кожного з трикутників, як вектор нормалі до площини, у якій лежить цей трикутник: p 2 t p1 t p3 t p1 t nt p 2 t p1 t p3 t p1 t , де t - номер трикутника, p1(t), p2(t) та p3(t) - вершини трикутника t, а символ «×» позначає векторний добуток. 2. Визначається нормаль кожної з вершин тріангуляції як середнє арифметичне нормалей трикутників, що містять цю вершину: kp np i 1 nti kp p , 5 55157 де k(p) - кількість трикутників, що містять точку p, n t i p - нормаль до i-го трикутника, який містить точку p. 3. Нормаль для кожної з точок, що лежать всередині деякого трикутника визначається як лінійна комбінація нормалей вершин трикутника. Вектор нормалі в кожній точці поверхні можна інтерпретувати як «колір» цієї поверхні. При цьому кожна з компонент вектора нормалі (х, у, z) інтерпретується як інтенсивність одного з кольорових каналів (RGB). На рис. 1 зображено фронтальні проекції двох моделей з таким розфарбуванням. Будемо називати такі зображення картами нормалей. Нехай задано дві карти нормалей поверхонь людських облич. Необхідно для кожної точки першого зображення вказати відповідну точку на другому зображенні. Будемо задавати такі відповідності у відносних координатах, які будемо називати зсувами або позначками. Тобто, якщо деякій точці з координатами (х, у) першого зображення відповідає точка з координатами (х + kx, у + kу) на другому зображенні, то зсув у точці (х,у) дорівнює (kx, kу). Штрафом за зсув (kx, kу) в пікселі (x,у) будемо називати величину 3 q x , y (k x , k y ) I1 x , y, c I2 x kx , y ky,c c 1 , де с - номер RGB - каналу, I1 та I2 - відповідно перше та друге зображення. Ситуацію, коли для кожного піксела першого зображення вказано його зсув відносно відповідного піксела другого зображення, будемо називати полем руху або розміткою. На взаємне розташування відповідних пікселів на парі зображень накладаються певні природні обмеження, а саме забороняється сусіднім пікселам «переплутуватись». На рис. 2 наведено графічне зображення цих обмежень. Формально такі обмеження можна задати у вигляді штрафу за пару позначок в сусідніх пікселах: g x , y, x 1, y g x , y, x , y 1 0, якщо k 'x k x 1, k y , інакше k x , k y , k 'x , k ' y k x , k y , k 'x , k ' y 0, якщоk'y k y 1, k x , інакше ky' X Y , k X 1 Y q x , y (k x , k y ) x 1y 1 g x , y, x 1, y k x , k y , k'x , k'y x 1y 1 k X Y 1 g x , y, x , y 1 (Kolmogorov V. Convergent Tree-Reweighted Message Passing for Energy Minimization. //IEEE Transactions on Pattern Analysis and Machine Intelligence. Vol. 28, pages 1568-1583, Washington, DC, USA, October 2006). Схему побудови генеративної моделі обличчя подано на рис. 3. Нехай, окрім самої генеративної моделі маємо ще серію фотознімків обличчя однієї й тієї ж самої людини. Задача полягає у тому, щоб знайти таку лінійну комбінацію векторів генеративної моделі, яка найбільш схожа на ту поверхню обличчя, що зображена на фотознімках. Нехай маємо набір векторів, кожен з яких задає форму деякої тривимірної поверхні: S={s1,...,sk}, si=(x1,y1,z1,x2,y2,z2,...,xn,yn,zn)T R3n. Двовимірні контури губ, очей та брів задаються у вигляді многокутників. Три многокутники, що відповідають деяким фіксованим контурам очей, брів та губ будемо записувати у вигляді одного вектора: f=(x1,y1,x2,y2,...,xn,yn,)T R2n. Набір таких векторів, що відповідають контурам частин обличчя декількох реальних людей, складає генеративну модель частин обличчя: f={f1,…,fk}, fi=(x1,y1,x2,y2,...,xn,yn,)T R2n Така генеративна модель необхідна для того, аби "вирізати" з тривимірної поверхні частини обличчя, що не є шкірою. Будемо вважати, що обличчя освітлене трьома джерелами направленого освітлення, кожне з яких випромінює освітлення, що відповідає одному з трьох кольорових каналів - червоного, зеленого та синього (далі RGB), а також трьома джерелами розсіяного освітлення, кожне з яких так само відповідає одному з каналів RGB. Це означає, що освітленість поверхні в кожній точці задається формулою Lc(р) = -+bc, c {R, G, В}, (1) де р – деяка точка поверхні, n(р) – вектор нормалі до поверхні в точці р, lc – напрямок джерела освітлення, яке відповідає кольоровому каналу с, bc – інтенсивність розсіяного освітлення в каналі с. Нехай, маємо набір зображень: ~ I kx ' . Тепер можна поставити задачу пошуку оптимального поля руху між парою зображень: k* arg max 6 k x , k y , k'x , k' y ~ X 1,2,...,X , Y L , ~ 1,2,...,Y , C R, G, B , L 0,1,...,255 , X R, Y R . Задача відновлення тривимірної поверхні обличчя полягає в знаходженні такої форми тривимірної поверхні, контурів губ, очей та брів, а також ракурсів зйомки та освітлення поверхні на кожному з фотознімків, які мінімізують функцію: x 1y 1 , де k - розмітка, X та Y - вертикальний та горизонтальний розміри зображення відповідно. Задача пошуку оптимальної розмітки є обчислювально дуже складною (належить до класу NPповних задач). На даний час не відомий спосіб точного розв'язку цієї задачі. Але існують методи її наближеного розв'язку. Для експериментальної перевірки ми використали метод TRW-S ~ I1,...,Il , Ii : X Y C l F I, w, v, r, l, b Ii x, y, c i 1 ~ ~ x Xy Y l B v, U w, ri , x, y Lic U w , ri , x, y 2 c C , (2) де w та v – вектори вагових коефіцієнтів для наборів векторів S та f відповідно, r – набір вектоr , i 1,...l рів i , які задають ракурс зйомки поверхні 7 на кожному з зображень, l – набір векторів li , c c R , G, B , i 1,...,l , які задають напрямок джерел освітлення поверхні на кожному з зображень для трьох кольорових каналів RGB, b – вектор інтенсивностей розсіяного освітлення, U – оператор зворотного проектування точки на зображенні в точку на моделі, В – індикатор належності точки моделі, яка проектується в координати (х,у) на зображенні, одній з частин обличчя, що не є шкірою (губи, очі, брови). Перевагою пропонованого способу є те, що оптимізація функції (2) при фіксованих значеннях w, v та r виконується аналітично, наприклад за допомогою методу найменших квадратів. Оптимізація по параметрам w, v та r проводиться методом Нелдера-Міда (J.A. Nelder and R. Mead, A 55157 8 simplex method for function minimization //Computer Journal, 1965, vol 7, pp. 308-373). Схему запропонованого способу наведено на рис. 4. Можливість практичної реалізації запропонованого способу доведена експериментально. Експерименти проводились з генеративною моделлю, що містила 6 тривимірних поверхонь різних облич. Тривимірні моделі відновлювались на основі серій, що містили від одного до трьох зображень тієї самої людини, зроблених під різними ракурсами та при різних умовах освітлення. Результати оцінювались візуально. Приклад роботи запропонованого способу відновлення тривимірної поверхні обличчя на основі одного зображення наведено на рис. 5. який складається лише з одного знімка. 9 55157 10 11 Комп’ютерна верстка Д. Шеверун 55157 Підписне 12 Тираж 26 прим. Міністерство освіти і науки України Державний департамент інтелектуальної власності, вул. Урицького, 45, м. Київ, МСП, 03680, Україна ДП “Український інститут промислової власності”, вул. Глазунова, 1, м. Київ – 42, 01601