Система та спосіб захоплення руху і спосіб виробництва анімаційного контенту з їх використанням

Номер патенту: 110088

Опубліковано: 10.11.2015

Автор: Зеленський Володимир Олександрович

Завантажити PDF файл.

Формула / Реферат

1. Система для захоплення руху при виробництві анімаційного контенту, що включає обшир для зйомки руху, адаптований до розміщення у ньому принаймні одного актора з набором маркерів, розміщених на його тілі, що визначають множину точок тіла,

камери зйомки руху, виставлені по периметру обширу для зйомки руху,

систему обробки даних, що включає блок обробки зображень для тіла анімаційних персонажів, і блок обробки зображень для обличчя анімаційних персонажів, при цьому система обробки даних виконана з можливістю генерування цифрового подання комбінацій рухів тіла і цифрового подання комбінацій рухів обличчя принаймні одного актора, яка відрізняється тим, що додатково містить: принаймні один 3D-сенсор, встановлений в штативі головного убору зазначеного актора перед його обличчям для сканування рухів обличчя, при цьому кожний з 3D-сенсорів зв'язаний з закріпленим у штативі головного убору актора перетворювачем даних сканування, який обладнаний каналом зв'язку для безпровідної передачі даних сканування обличчя до системи обробки даних,

пристрій захоплення звуку, що має канал зв'язку для безпровідної передачі звуку з обширу для зйомки руху до системи обробки даних, і носій з записаним цифровим відеорядом сценарію, виконаний з можливістю передачі записаного цифрового відеоряду сценарію до системи обробки даних, а система обробки даних додатково містить блок обробки відеоряду і блок аудіо, зв'язані з блоком обробки зображень для обличчя анімаційних персонажів.

2. Система за п. 1, яка відрізняється тим, що головний убір виконаний у вигляді шлема.

3. Система за п. 2, яка відрізняється тим, що шлем виконаний із пластикового матеріалу.

4. Спосіб захоплення руху при виробництві анімаційного контенту, що включає використання обширу для зйомки руху, адаптованого до розміщення у ньому принаймні одного актора з набором маркерів, розміщених на його тілі, що визначають множину точок тіла, виставлення камер зйомки руху по периметру обширу для зйомки руху, зйомку рухів актора в обширі для зйомки руху за допомогою камер зйомки, синхронну передачу даних зйомки рухів тіла актора від камер зйомки руху до блока обробки зображень для тіла анімаційних персонажів системи обробки даних, обробку даних зйомки рухів за допомогою системи обробки даних, та генерування цифрового подання комбінацій рухів тіла і цифрового подання комбінацій рухів обличчя принаймні одного актора, який відрізняється тим, що попередньо записують цифровий відеоряд сценарію на носій, одночасно зі зйомкою рухів тіла актора додатково здійснюють сканування рухів його обличчя за допомогою принаймні одного 3D-сенсора, встановленого перед обличчям в штативі головного убору актора, та здійснюють захоплення звука в обширі для зйомки руху, передають отримані дані сканування рухів обличчя актора, дані захоплення звуку, записані в обширі для зйомки рухів, та цифровий відеоряд сценарію до системи обробки даних, де здійснюють формування даних сканування рухів обличчя, формування набору метаданих цифрового відеоряду та формування набору метаданих аудіоряду, з подальшим формуванням структури даних обличчя шляхом співставлення наборів метаданих цифрового відеоряду, аудіоряду ролі актора з даними сканування рухів обличчя, і

здійснюють наступну обробку сформованої структури даних обличчя з заздалегідь підготовленими даними у вигляді наборів виразів обличчя актора, записаних у форматі FBX+MB, у цифрове подання комбінацій рухів обличчя принаймні одного актора у форматі FBX.

6. Спосіб за п. 4, який відрізняється тим, що генерування цифрового подання комбінацій рухів обличчя здійснюють за допомогою програмного забезпечення Blend Shape.

7. Спосіб виробництва анімаційного контенту, що включає використання сценарію, та проведення етапів: захоплення руху, створення 3D-об'єктів, в тому числі 3D-персонажів, анімацію, візуалізацію, компоновку, обробку аудіо та фінальний монтаж, який відрізняється тим, що додатково використовують сценарій у вигляді цифрового відеоряду, записаного на носій, на етапі захоплення руху використовують обшир для зйомки руху, адаптований до розміщення у ньому принаймні одного актора з набором маркерів, розміщених на його тілі, що визначають множину точок тіла, виставляють камери зйомки руху по периметру обширу зйомки руху, здійснюють зйомку рухів тіла актора в обширі для зйомки руху за допомогою камер зйомки та синхронну передачу даних зйомки рухів тіла актора від камер зйомки руху до блока обробки зображень для тіла анімаційних персонажів системи обробки даних,

у системі обробки даних проводять обробку даних зйомки рухів та генерування цифрового подання комбінацій рухів принаймні одного актора, при цьому одночасно зі зйомкою рухів тіла актора додатково здійснюють сканування рухів його обличчя за допомогою принаймні одного 3D-сенсора, встановленого перед обличчям в штативі головного убору актора, та захоплення звука в обширі для зйомки руху, передають отримані дані сканування рухів обличчя актора, дані захоплення звука, записані в обширі для зйомки рухів, та цифровий відеоряд сценарію до системи обробки даних, де здійснюють формування даних сканування рухів обличчя, формування набору метаданих цифрового відеоряду та формування набору метаданих аудіоряду, з подальшим формуванням структури даних обличчя шляхом співставлення наборів метаданих цифрового відеоряду, аудіоряду ролі актора з даними сканування рухів обличчя, і здійснюють наступну обробку сформованої структури даних обличчя з заздалегідь підготовленими даними у вигляді наборів виразів обличчя актора, записаних у форматі FBX+MB, у цифрове подання комбінацій рухів обличчя принаймні одного актора у форматі FBX, а на етапі анімації цифрове подання комбінацій рухів обличчя у форматі FBX принаймні одного актора перезаписують на цільовий об'єкт у вигляді обличчя відповідного 3D-персонажа у форматі MB в автоматичному режимі з використанням програми Autodesk Maya.

8. Спосіб за п. 7, який відрізняється тим, що захоплення руху здійснюють за допомогою системи за будь-яким з пунктів 1-3.

Текст

Реферат: Винахід належить до створення тривимірної анімації (3D-анімації). Запропонована система для захоплення руху при виробництві анімаційного контенту включає обшир для зйомки руху, камери зйомки руху, систему обробки даних, принаймні один 3D-сенсор, встановлений в штативі головного убору актора перед його обличчям для сканування рухів обличчя, пристрій захоплення звука і носій з записаним цифровим відеорядом сценарію. При цьому система обробки даних додатково містить блок обробки відеоряду і блок аудіо, зв'язані з блоком обробки зображень для обличчя анімаційних персонажів. Також запропонований спосіб виробництва анімаційного контенту, що здійснюється за допомогою зазначеної системи, включає, в тому числі, формування даних сканування рухів обличчя, формування набору метаданих цифрового відеоряду та формування набору метаданих аудіоряду, які використовують для формування структури даних обличчя, а на етапі анімації здійснення перепризначення цифрового подання комбінацій руху обличчя на цільовий об'єкт виконують в автоматичному режимі. Винахід дозволяє підвищити точність захоплення рухів обличчя актора і точність записування рухів обличчя для анімаційного персонажу, підвищити якість створеного анімаційного контенту і продуктивність його виробництва. UA 110088 C2 (12) UA 110088 C2 UA 110088 C2 5 10 15 20 25 30 35 40 45 50 55 60 Винахід належить до оброблення і генерації даних зображення при створенні анімаційного контенту, а саме до системи та способу захоплення руху при створенні анімаційного контенту і способу виробництва анімаційного контенту з їх використанням. Група винаходів може бути використана при створенні тривимірної анімації (3D-анімації). Найбільш близькою є система для захоплення руху при виробництві анімаційного контенту, що включає обшир для зйомки руху, адаптований до розміщення у ньому принаймні одного актора з набором маркерів, розміщених на його тілі, що визначають множину точок тіла, камери зйомки руху, виставлені по периметру обширу для зйомки руху, систему обробки даних, що включає блок обробки зображень для тіла анімаційних персонажів і блок обробки зображень для обличчя анімаційних персонажів, при цьому система обробки даних виконана з можливістю генерування цифрового подання комбінацій рухів тіла і цифрового подання комбінацій рухів обличчя принаймні одного актора (US, 7,573,480, патент на винахід, опублікований 11.08.2009 [1]). У відомій системі для захоплення руху обличчя також застосовуються маркери, розташовані на обличчі актора, що дозволяють фіксувати основні мімічні рухи. Для обличчя актора використані маркери менші за розміром, чим маркери, використані для захоплення руху тіла актора. Найбільш близьким є також спосіб захоплення руху при виробництві анімаційного контенту, що включає використання обширу для зйомки руху, адаптованого до розміщення у ньому принаймні одного актора з набором маркерів, розміщених на його тілі, що визначають множину точок тіла, виставлення камер зйомки руху по периметру обширу для зйомки руху, зйомку рухів тіла актора в обширі для зйомки руху за допомогою камер зйомки, синхронну передачу даних зйомки руху від камер зйомки руху до системи обробки даних, обробку даних зйомки руху за допомогою системи обробки даних, та генерування цифрового подання комбінацій рухів тіла і цифрового подання комбінацій рухів обличчя принаймні одного актора [1]. У відомому способі маркерна технологія застосовується для захоплення рухів тіла і для захоплення рухів обличчя. Зйомку рухів обличчя актора здійснюють одночасно зі зйомкою рухів актора в обширі захоплення рухів за допомогою камер зйомки руху. Недоліком відомої системи для захоплення руху і недоліком способу захоплення рухів є недостатня точність захоплення рухів обличчя, а також недостатня точність записаних рухів обличчя на етапі захоплення руху (МоСар), які передаються далі для відтворення рухів обличчя (міміки) анімаційних персонажів. Неточність записаних рухів обличчя на етапі захоплення руху пов'язана безпосередньо з неточністю їх захоплення, а також з плутанням в системі обробки даних маркерів обличчя. Ці недоліки приводять до ускладнення і подовження терміну наступного етапу: анімації, - а також зниженню якості анімаційного контенту та продуктивності його виробництва. Крім того, маркерна технологія захоплення рухів обличчя при одночасній зйомці з рухами тіла суттєво ускладнює процедуру виставлення камер, що негативно впливає на безпеку процесу зйомки. Найбільш близьким є спосіб виробництва анімаційного контенту, що включає використання сценарію, захоплення руху, створення 3D-об'єктів, в тому числі 3D-персонажів, анімацію, візуалізацію, компоновку, обробку аудіо та фінальний монтаж, відомий з Інтернет публікації про Диснеївську анімацію (По Гэри Голдману "Этапы производства традиционных мультфильмов" http://www.prodisnev.ru/index.php?paqe=production phases.php [2]). Недоліком відомого способу виробництва анімаційного контенту є складність та невисока технологічність виробництва анімаційного контенту, в тому числі, за рахунок невисокої точності зйомки і запису зйомки руху обличчя на етапі захоплення руху. В результаті ускладнюється та затягується етап анімації, знижується продуктивність виробництва анімаційного контенту та його якість. Задачею винаходу є удосконалення системи для захоплення руху при виробництві анімаційного контенту, в якій за рахунок запропонованих елементів системи і зв'язків між ними підвищується точність захоплення рухів обличчя актора і точність записування рухів обличчя для анімаційного персонажу. При цьому висока точність захоплення і запису рухів обличчя актора зберігається і у разі швидких або складних його рухів і не потребує складної установки обладнання. Задачею винаходу є удосконалення способу захоплення руху при виробництві анімаційного контенту, в якому за рахунок запропонованих дій та їх послідовності підвищується точність захоплення рухів обличчя, а також точність записаних рухів обличчя (міміки) актора. Задачею винаходу є удосконалення способу виробництва анімаційного контенту, в якому за рахунок використання запропонованих дій та їх послідовності підвищується точність захоплення і записування рухів обличчя на етапі захоплення руху. В результаті спрощується і 1 UA 110088 C2 5 10 15 20 25 30 35 40 45 50 55 прискорюється наступний етап виробництва анімаційного контенту, а саме етап анімації, підвищується якість створеного анімаційного контенту і продуктивність його виробництва. Поставлена задача вирішується запропонованою системою для захоплення руху при виробництві анімаційного контенту, що включає: обшир для зйомки руху, адаптований до розміщення у ньому принаймні одного актора з набором маркерів, розміщених на його тілі, що визначають множину точок тіла, камери зйомки руху, виставлені по периметру обширу для зйомки руху, систему обробки даних, що включає блок обробки зображень для тіла анімаційних персонажів, і блок обробки зображень для обличчя анімаційних персонажів, - при цьому система обробки даних виконана з можливістю генерування цифрового подання комбінацій рухів тіла і цифрового подання комбінацій рухів обличчя принаймні одного актора. Згідно з винаходом, система для захоплення руху додатково містить: принаймні один 3d-сенсор, встановлений в штативі головного убору зазначеного актора перед його обличчям для сканування рухів обличчя, при цьому кожний з 3d-сенсорів зв'язаний з закріпленим у штативі головного убору актора перетворювачем даних сканування, який обладнаний каналом зв'язку для безпровідної передачі даних сканування обличчя до системи обробки даних, пристрій захоплення звуку, що має канал зв'язку для безпровідної передачі звуку з обширу для зйомки руху до системи обробки даних, і носій з записаним цифровим відеорядом сценарію, виконаний з можливістю передачі записаного цифрового відеоряду сценарію до системи обробки даних, а система обробки даних додатково містить блок обробки відеоряду і блок аудіо, зв'язані з блоком обробки зображень для обличчя анімаційних персонажів. Головний убір може бути виконаний у вигляді шлема. Ще краще, якщо шлем виконаний із пластикового матеріалу. Поставлена задача вирішується також запропонованим способом захоплення руху при виробництві анімаційного контенту, що включає використання обширу для зйомки руху, адаптованого до розміщення у ньому принаймні одного актора з набором маркерів, розміщених на його тілі, що визначають множину точок тіла, виставлення камер зйомки руху по периметру обширу для зйомки руху, зйомку рухів тіла актора в обширі для зйомки руху за допомогою камер зйомки, синхронну передачу даних зйомки рухів тіла актора від камер зйомки руху до блока обробки зображень для тіла анімаційних персонажів системи обробки даних, обробку даних зйомки рухів за допомогою системи обробки даних, та генерування цифрового подання комбінацій рухів тіла і цифрового подання комбінацій рухів обличчя принаймні одного актора. Згідно з винаходом, в способі захоплення руху: попередньо записують цифровий відеоряд сценарію на носій, одночасно зі зйомкою рухів тіла актора додатково здійснюють сканування рухів його обличчя за допомогою принаймні одного 3d-сенсора, встановленого перед обличчям в штативі головного убору актора, та здійснюють захоплення звука в обширі для зйомки руху, передають отримані дані сканування рухів обличчя актора, дані захоплення звука, записані в обширі для зйомки рухів, та цифровий відеоряд сценарію до системи обробки даних, де здійснюють формування даних сканування рухів обличчя, формування набору метаданих цифрового відеоряду та формування набору метаданих аудіоряду, з подальшим формуванням структури даних обличчя шляхом співставлення наборів метаданих цифрового відеоряду, аудіоряду ролі актора з даними сканування рухів обличчя, і здійснюють наступну обробку сформованої структури даних обличчя з заздалегідь підготовленими даними у вигляді наборів виразів обличчя актора, записаних у форматі FBX+MB, у цифрове подання комбінацій рухів обличчя принаймні одного актора у форматі FBX. В способі захоплення руху при виробництві анімаційного контенту генерування цифрового подання комбінацій рухів обличчя здійснюють за допомогою програмного забезпечення Blend Shape. Поставлена задача вирішується також запропонованим способом виробництва анімаційного контенту, що включає використання сценарію, та проведення етапів: захоплення руху, створення 3D-об'єктів, в тому числі 3D-персонажів, анімацію, візуалізацію, компоновку, обробку аудіо та фінальний монтаж. Згідно з винаходом, в способі виробництва анімаційного контенту додатково використовують сценарій у вигляді цифрового відеоряду, записаного на носій, 2 UA 110088 C2 5 10 15 20 25 30 35 40 45 50 55 60 на етапі захоплення руху використовують обшир для зйомки руху, адаптований до розміщення у ньому принаймні одного актора з набором маркерів, розміщених на його тілі, що визначають множину точок тіла, виставляють камери зйомки руху по периметру обширу зйомки руху, здійснюють зйомку рухів тіла актора в обширі для зйомки руху за допомогою камер зйомки та синхронну передачу даних зйомки рухів тіла актора від камер зйомки руху до блока обробки зображень для тіла анімаційних персонажів системи обробки даних, у системі обробки даних проводять обробку даних зйомки рухів та генерування цифрового подання комбінацій рухів принаймні одного актора, при цьому одночасно зі зйомкою рухів актора додатково здійснюють сканування рухів його обличчя за допомогою принаймні одного 3D-сенсора, встановленого перед обличчям в штативі головного убору актора, та захоплення звуку в обширі для зйомки руху, передають отримані дані сканування рухів обличчя актора, дані захоплення звуку, записані в обширі для зйомки рухів, та цифровий відеоряд сценарію до системи обробки даних, де здійснюють формування даних сканування рухів обличчя, формування набору метаданих цифрового відеоряду та формування набору метаданих аудіоряду, з подальшим формуванням структури даних обличчя шляхом співставлення наборів метаданих цифрового відеоряду, аудіоряду ролі актора з даними сканування рухів обличчя, і здійснюють наступну обробку сформованої структури даних обличчя з заздалегідь підготовленими даними у вигляді наборів виразів обличчя актора, записаних у форматі FBX+MB, у цифрове подання комбінацій рухів обличчя принаймні одного актора у форматі FBX, а на етапі анімації цифрове подання комбінацій рухів обличчя у форматі FBX принаймні одного актора перезаписують на цільовий об'єкт у вигляді обличчя відповідного 3D-персонажа у форматі MB в автоматичному режимі з використанням програми Autodesk Maya. Захоплення руху при здійсненні способу виробництва анімаційного контенту здійснюють з використанням системи для захоплення руху, описаної вище. Експериментально нами було встановлено, що застосування 3D-сенсора і сканування рухів обличчя одночасно зі зйомкою рухів тіла актора на етапі захоплення руху, та здійснення обробки даних захоплення рухів обличчя актора з урахуванням цифрового відеоряду сценарію та захоплення звуку при виконанні ролі актором, дозволило підвищити точність захоплення рухів обличчя і підвищити точність записування рухів обличчя актора на етапі захоплення руху (етапі МоСар). Це спростило і прискорило наступний етап виробництва анімаційного контенту етап анімації, і дозволило підвищити якість і продуктивність виробництва анімаційного продукту у цілому. Суть винаходу пояснюють креслення. Фіг. 1 - система для захоплення руху при виробництві анімаційного контенту; Фіг. 2 - актор, показаний на Фіг. 1, у костюмі з маркерами та головному уборі; Фіг. 3 - головний убір актора для сканування рухів обличчя актора; Фіг. 4 - схема передачі даних системи захоплення руху; Фіг. 5 - алгоритм обробки даних сканування руху обличчя актора; Фіг. 6 - схема перезапису цифрового подання комбінацій руху обличчя актора на обличчя відповідного 3D-персонажа; Фіг. 7 - алгоритм перезапису цифрового подання комбінацій руху обличчя актора на обличчя відповідного 3D-персонажа. Система для захоплення руху (Motion Capture - МоСар) при виробництві анімаційного контенту містить обшир 1 для зйомки руху, адаптований до розміщення у ньому принаймні одного актора 2, набір маркерів 31, 32, …, 3n, камери 41, 42,…, 4N зйомки руху, принаймні один 3D-сенсор 5 або, як показано на Фіг. 4, 3D-сенсори 51, 52,…, 5N, головний убір 6 актора, перетворювач 7 даних сканування, систему обробки даних 8, пристрій 9 захоплення звуку, носій 10 з записаним цифровим відеорядом сценарію, робочу станцію 11 захоплення руху тіла, робочу станцію 12 захоплення руху обличчя, базу даних 13 запису рухів тіла, базу даних 14 запису рухів обличчя (Фіг. 1 - Фіг. 3). Маркери 31, 32, …, 3n, розміщені на тілі актора 2 за допомогою спеціального костюма для визначення множини точок тіла при його рухах. Як маркери 31, 32, …, 3n застосовані оптичні пасивні датчики-маркери, що відображають світло, яке попадає на них. Камери 41, 42,…, 4N зйомки руху виставлені по периметру обширу 1 для зйомки руху таким чином, щоб світло, яке попадає на маркери 31, 32, …, 3n, відображалось у принаймні одну з камер 41, 42,…, 4N. Камери 41, 42,…, 4N зйомки руху зв'язані з системою обробки даних 8 для можливості синхронного отримання даних зйомки рухів тіла з усіх камер. 3 UA 110088 C2 5 10 15 20 25 30 35 40 45 50 55 Головний убір 6 актора 2 обладнаний принаймні одним 3D-сенсором 5, який встановлений у штативі 15 цього головного убору перед обличчям актора 2 для сканування його обличчя під час зйомки в обширі 7. В штативі 15 також встановлений перетворювач 7 даних сканування, зв'язаний з 3D-сенсором 5 або з кожним з 3D-сенсорів 51, 52,…, 5N. Перетворювач 7 даних сканування обладнаний каналом зв'язку 16 для безпровідної передачі отриманих від 3Dсенсора 5 даних сканування обличчя актора 2 до системи обробки даних 8. Для автономної роботи 3D-сенсора 5 та перетворювача 7 в штативі 15 встановлене портативне джерело живлення 17, зв'язане з ними. На головному уборі 6 актора 2 може бути встановлений мікрофон 18, зв'язаний з пристроєм 9 захоплення звуку. Пристрій 9 захоплення звуку має канал зв'язку 19 для безпровідної передачі даних в обширі 1 для зйомки руху до системи обробки даних 8. Найбільш придатним є головний убір б, виконаний у вигляді шлема, зокрема з пластика і з можливістю регулювання його розміру. Система обробки даних 8 (Фіг. 4) також зв'язана з робочою станцією 11 захоплення руху тіла, з робочою станцією 12 захоплення руху обличчя, з базою даних 13 запису рухів тіла та базою даних 14 запису рухів обличчя. Робочих станцій руху 12 стільки, скільки 3D-сенсорів 5, тобто кількість робочих станцій 121, 122,…, 12N, дорівнює кількості 3D-cенсорів 51, 52,…, 5N. Система обробки даних 8 включає блоки: блок захоплення зображення тіла 20, блок захоплення зображення обличчя 21, блок обробки зображення для тіла 22, блок обробки зображення для обличчя 23, блок цифрового подання для тіла 24, блок цифрового подання для обличчя 25, блок аудіо 26, блок відеоряду сценарію 27. Система для захоплення руху при виробництві анімаційного контенту працює таким чином. До початку етапу захоплення руху (МоСар) сценарій для створення анімаційного контенту записують на носій 10 у вигляді цифрового відеоряду. Запис з носія 10 подають у блок відеоряду сценарію 27 системи обробки даних 8, де формується набір метаданих цифрового відеоряду. Адаптують актора 2 до розміщення і можливості виконання ним ролі за сценарієм у обширі 1 для зйомки рухів. Готовий до зйомки актор 2 це актор: у костюмі з набором маркерів 31, 32, …, 3n, розміщених на його тілі; в головному уборі 6, обладнаному принаймні одним 3Dсенсором 5, який встановлений у штативі 15 перед його обличчям, та обладнаного мікрофоном 18. Одночасно з підготовкою актора 2 до зйомки виставляють камери 41, 42,…, 4N зйомки руху по периметру обширу 1 для зйомки руху, встановлюють пристрій 9 запису аудіо. Далі одночасно здійснюють зйомку рухів тіла актора 2 в обширі 1 для зйомки руху за допомогою камер 41, 42,…, 4N, сканування рухів обличчя актора 2 за допомогою 3D-сенсора 5, встановленого перед його обличчям в штативі 15 головного убору 6, та запис озвучування ролі актором 2 за допомогою пристрою 9 захоплення звука і мікрофона 18. Дані зйомки рухів тіла з камер 41, 42,…, 4N синхронно передають до блока захоплення зображення для тіла 20 системи обробки даних 8, і далі - до блока обробки зображень для тіла 22. У блоці обробки зображень для тіла 22 здійснюють обробку даних зйомки рухів тіла з використанням робочої станції 11 захоплення руху тіла. Оброблені зображення з блока зображень для тіла 22 передають до блока створення цифрових даних для тіла анімаційних персонажів 24, де генерують цифрове подання комбінацій рухів тіла відповідного актора 2 для анімаційного персонажу у вигляді набора файлів у форматі BVH, які передаються до бази даних 13 запису рухів тіла анімаційних персонажів. Дані сканування рухів обличчя актора 2 за допомогою 3D-сенсора 5 (або 3D-сенсорів 51, 52,…, 5N) передають до блока захоплення зображення для обличчя 21 системи обробки даних 8. Дані звуків, захоплених пристроєм 9 в обширі 1 для зйомки руху, передають до блока аудіо 26 системи обробки даних 8, де формують набір метаданих аудіоряду відповідної ролі актора. У системі обробки даних 8 набір метаданих аудіоряду ролі актора з блока аудіо 26 і набір метаданих цифрового відеоряду з блока відеоряду сценарію 27 подаються до блока обробки зображень для обличчя анімаційних персонажів 23 системи обробки даних 8, де формують структуру даних зображень обличчя шляхом співставлення наборів метаданих цифрового відеоряду, аудіоряду ролі актора та даних, отриманих з блока захоплення зображення для обличчя 21. Алгоритм обробки даних показаний на Фіг. 5. Отримані структури даних обробляються з даними робочої станції 12 (робочих станцій 121, 122,…, 12Ν) захоплення руху обличчя, зокрема з урахуванням заздалегідь підготовлених даних у вигляді наборів виразів обличчя актора, записаних у форматі FBX+MB. Результати обробки надходять до блока 25 створення цифрових даних для обличчя анімаційних персонажів, де генерують цифрове подання комбінацій руху обличчя актора 2 у вигляді набора файлів у форматі FBX. 4 UA 110088 C2 5 10 15 20 25 30 35 40 45 50 55 Запропоновані система і спосіб захоплення руху дозволили підвищити точність захоплення рухів обличчя і точність їх записування при виконанні актором ролі за сценарієм, в тому числі, у випадках, пов'язаних зі швидкими і/або складними рухами актора. Зазначені система і спосіб захоплення руху особливо ефективні при застосуванні в способі виробництва анімаційного контенту, що включає використання сценарію, та проведення етапів: захоплення руху, створення 3D-об'єктів, в тому числі 3D-персонажів, анімацію, візуалізацію, компоновку, обробку аудіо та фінальний монтаж. На етапі захоплення руху застосовують описані вище систему і спосіб захоплення руху. Для пояснення здійснення способу виробництва анімаційного контенту з використанням описаних вище системи і способу захоплення руху наведені схеми, показані на Фіг. 6 і Фіг. 7, на яких використані наступні позначення: робота у середовищі Autodesk Maya 28, робота скрипта BlendShape Transfer 29, i-файл у форматі FBX анімаційного 3D-персонажа 30, i-файл у форматі MB анімаційного 3D-персонажа 31, завантаження/зчитування вихідних даних 32, знаходження відповідності між вихідними даними у таблицях імен у BlendShapes 33, перепризначення виразів обличчя у автоматичному режимі 34, копіювання значень важелів BlendShapes з FBX на MB 35, видалення даних у FBX, вивантаження з оперативного запам'ятовуючого пристрою (ОПЗ) 36, запис результатів у форматі MB 37, X - назва файлу у форматі FBX анімаційного 3D-персонажа 30 (вихідний); Y - назва у форматі MB анімаційного 3D-персонажа 31 (цільовий); Z - кількість помилок; К - значення множини ключів n - порядковий номер кожного з BlendShapes; На етапі анімації цифрове подання комбінацій рухів обличчя у форматі FBX кожного актора перезаписують на відповідний цільовий об'єкт - обличчя відповідного анімаційного 3Dперсонажа у форматі MB в автоматичному режимі з використанням програми Autodesk Maya як показано на Фіг. 7. Запропонований спосіб виробництва анімаційного контенту дозволяє отримати анімаційний контент високої якості при високій технологічності і продуктивності його виробництва. Нижче наведений приклад, що пояснює, але не обмежує винахід. Приклад Створення анімаційного контенту "Випадок на дорозі" За створеним сценарієм "Випадок на дорозі" був відіграний спектакль за участі 3 акторів. Спектакль проходив у музичному супроводженні. Тривалість спектаклю - 30 хв. Під час спектаклю проводився його запис у вигляді цифрового відеоряду на носій. Отриманий запис переданий у блок відеоряду сценарію системи обробки даних. Для захоплення руху використаний обшир для зйомки руху з робочою зоною 11×11×6 (м). Для зйомки руху тіла актора застосовано 36 камер зйомки Vicon Т160, швидкість запису - 120 кадрів/с, розподільна здатність 4704 h×3456 v. Захоплення руху тіла здійснювалося за допомогою 48 світловідбивних маркерів, діаметром 14 мм, ("Vicon"), розміщених на тілі актора. Для захоплення руху обличчя застосовано 3d-сенсор Asus X-Tion. Робоча станція захоплення руху обличчя побудована на базі Intel Core І7 другого покоління. Після адаптації до обширу, кожний з акторів виконав свою роль: Роль 1. Старший інспектор ДАІ; Роль 2. Молодший інспектор ДАІ; Роль 3. Водій авто. Після захоплення руху обличчя кількість файлів у форматі FBX для відповідного персонажу: 1) старший інспектор ДАІ: кількість файлів - 1; Z1=0; К1=4750; 2) молодший інспектор ДАІ: кількість файлів - 1; Z2=0; К2=4750; 3) водій авто: кількість файлів - 1; Z3=0; К3=4750. Час перезапису трьох файлів (три персонажі, 14250 кадрів) - 190 сек. На етапі анімації побудова списків імен BlendShapes з файлів у форматі FBX і файлів у форматі MB здійснювалася у автоматичному режимі, копіювання по одному персонажу тривало біля однієї хвилини. 5 UA 110088 C2 5 Весь процес створення анімаційного контенту "Випадок на дорозі" зайняв 30 робочих днів. Анімаційні персонажі високої якості, мають природні рухи тіла і обличчя. Таким чином, винахід дозволяє підвищити точність захоплення рухів обличчя актора і точність записування рухів обличчя для анімаційного персонажа, підвищити якість створеного анімаційного контенту і продуктивність його виробництва. ФОРМУЛА ВИНАХОДУ 10 15 20 25 30 35 40 45 50 55 1. Система для захоплення руху при виробництві анімаційного контенту, що включає обшир для зйомки руху, адаптований до розміщення у ньому принаймні одного актора з набором маркерів, розміщених на його тілі, що визначають множину точок тіла, камери зйомки руху, виставлені по периметру обширу для зйомки руху, систему обробки даних, що включає блок обробки зображень для тіла анімаційних персонажів, і блок обробки зображень для обличчя анімаційних персонажів, при цьому система обробки даних виконана з можливістю генерування цифрового подання комбінацій рухів тіла і цифрового подання комбінацій рухів обличчя принаймні одного актора, яка відрізняється тим, що додатково містить: принаймні один 3D-сенсор, встановлений в штативі головного убору зазначеного актора перед його обличчям для сканування рухів обличчя, при цьому кожний з 3Dсенсорів зв'язаний з закріпленим у штативі головного убору актора перетворювачем даних сканування, який обладнаний каналом зв'язку для безпровідної передачі даних сканування обличчя до системи обробки даних, пристрій захоплення звуку, що має канал зв'язку для безпровідної передачі звуку з обширу для зйомки руху до системи обробки даних, і носій з записаним цифровим відеорядом сценарію, виконаний з можливістю передачі записаного цифрового відеоряду сценарію до системи обробки даних, а система обробки даних додатково містить блок обробки відеоряду і блок аудіо, зв'язані з блоком обробки зображень для обличчя анімаційних персонажів. 2. Система за п. 1, яка відрізняється тим, що головний убір виконаний у вигляді шлема. 3. Система за п. 2, яка відрізняється тим, що шлем виконаний із пластикового матеріалу. 4. Спосіб захоплення руху при виробництві анімаційного контенту, що включає використання обширу для зйомки руху, адаптованого до розміщення у ньому принаймні одного актора з набором маркерів, розміщених на його тілі, що визначають множину точок тіла, виставлення камер зйомки руху по периметру обширу для зйомки руху, зйомку рухів актора в обширі для зйомки руху за допомогою камер зйомки, синхронну передачу даних зйомки рухів тіла актора від камер зйомки руху до блока обробки зображень для тіла анімаційних персонажів системи обробки даних, обробку даних зйомки рухів за допомогою системи обробки даних, та генерування цифрового подання комбінацій рухів тіла і цифрового подання комбінацій рухів обличчя принаймні одного актора, який відрізняється тим, що попередньо записують цифровий відеоряд сценарію на носій, одночасно зі зйомкою рухів тіла актора додатково здійснюють сканування рухів його обличчя за допомогою принаймні одного 3D-сенсора, встановленого перед обличчям в штативі головного убору актора, та здійснюють захоплення звука в обширі для зйомки руху, передають отримані дані сканування рухів обличчя актора, дані захоплення звуку, записані в обширі для зйомки рухів, та цифровий відеоряд сценарію до системи обробки даних, де здійснюють формування даних сканування рухів обличчя, формування набору метаданих цифрового відеоряду та формування набору метаданих аудіоряду, з подальшим формуванням структури даних обличчя шляхом співставлення наборів метаданих цифрового відеоряду, аудіоряду ролі актора з даними сканування рухів обличчя, і здійснюють наступну обробку сформованої структури даних обличчя з заздалегідь підготовленими даними у вигляді наборів виразів обличчя актора, записаних у форматі FBX+MB, у цифрове подання комбінацій рухів обличчя принаймні одного актора у форматі FBX. 5. Спосіб за п. 4, який відрізняється тим, що генерування цифрового подання комбінацій рухів обличчя здійснюють за допомогою програмного забезпечення Blend Shape. 6. Спосіб виробництва анімаційного контенту, що включає використання сценарію, та проведення етапів: захоплення руху, створення 3D-об'єктів, в тому числі 3D-персонажів, анімацію, візуалізацію, компоновку, обробку аудіо та фінальний монтаж, який відрізняється тим, що додатково використовують сценарій у вигляді цифрового відеоряду, записаного на носій, на етапі захоплення руху використовують обшир для зйомки руху, адаптований до розміщення у ньому принаймні одного актора з набором маркерів, розміщених на його тілі, що визначають множину точок тіла, виставляють камери зйомки руху по периметру обширу зйомки руху, здійснюють зйомку рухів тіла актора в обширі для зйомки руху за допомогою камер зйомки 6 UA 110088 C2 5 10 15 20 та синхронну передачу даних зйомки рухів тіла актора від камер зйомки руху до блока обробки зображень для тіла анімаційних персонажів системи обробки даних, у системі обробки даних проводять обробку даних зйомки рухів та генерування цифрового подання комбінацій рухів принаймні одного актора, при цьому одночасно зі зйомкою рухів тіла актора додатково здійснюють сканування рухів його обличчя за допомогою принаймні одного 3D-сенсора, встановленого перед обличчям в штативі головного убору актора, та захоплення звука в обширі для зйомки руху, передають отримані дані сканування рухів обличчя актора, дані захоплення звука, записані в обширі для зйомки рухів, та цифровий відеоряд сценарію до системи обробки даних, де здійснюють формування даних сканування рухів обличчя, формування набору метаданих цифрового відеоряду та формування набору метаданих аудіоряду, з подальшим формуванням структури даних обличчя шляхом співставлення наборів метаданих цифрового відеоряду, аудіоряду ролі актора з даними сканування рухів обличчя, і здійснюють наступну обробку сформованої структури даних обличчя з заздалегідь підготовленими даними у вигляді наборів виразів обличчя актора, записаних у форматі FBX+MB, у цифрове подання комбінацій рухів обличчя принаймні одного актора у форматі FBX, а на етапі анімації цифрове подання комбінацій рухів обличчя у форматі FBX принаймні одного актора перезаписують на цільовий об'єкт у вигляді обличчя відповідного 3D-персонажа у форматі MB в автоматичному режимі з використанням програми Autodesk Maya. 7. Спосіб за п. 6, який відрізняється тим, що захоплення руху здійснюють за допомогою системи за будь-яким з пунктів 1-3. 7 UA 110088 C2 8 UA 110088 C2 9 UA 110088 C2 10 UA 110088 C2 11 UA 110088 C2 Комп’ютерна верстка А. Крулевський Державна служба інтелектуальної власності України, вул. Василя Липківського, 45, м. Київ, МСП, 03680, Україна ДП “Український інститут інтелектуальної власності”, вул. Глазунова, 1, м. Київ – 42, 01601 12

Дивитися

Додаткова інформація

Назва патенту англійською

System and method for capturing motion and method for animation content production using thereof

Автори англійською

Zelenskyi Volodymyr Oleksandrovych

Назва патенту російською

Система и способ захвата движения и способ производства анимационного контента с их использованием

Автори російською

Зеленский Владимир Александрович

МПК / Мітки

МПК: G06T 11/00, G06T 13/00, G06T 15/00

Мітки: використанням, руху, анімаційного, система, виробництва, захоплення, спосіб, контенту

Код посилання

<a href="https://ua.patents.su/14-110088-sistema-ta-sposib-zakhoplennya-rukhu-i-sposib-virobnictva-animacijjnogo-kontentu-z-kh-vikoristannyam.html" target="_blank" rel="follow" title="База патентів України">Система та спосіб захоплення руху і спосіб виробництва анімаційного контенту з їх використанням</a>

Подібні патенти