Спосіб (варіанти) і камера для одержання візуальної інформації з тривимірних об’єктів зйомки в режимі реального часу
Номер патенту: 103759
Опубліковано: 25.11.2013
Автори: Марічал Ернандес Хосе Хіль, Роса Гонсалес Фернандо, Перес Нава Фернандо, Родрігес Рамос Хосе Мануель
Формула / Реферат
1. Спосіб одержання візуальної інформації з тривимірних об'єктів зйомки в режимі реального часу, який включає етапи, на яких:
a) вимірюють об'єктний простір за допомогою камери, яка містить лінзу об'єктива, матрицю мікролінз, розташовану в просторі зображень лінзи об'єктива, і сенсор, розташований у точці фокусування мікролінз, і
b) розраховують стек фокусу, зв'язаний з об'єктним простором, що вимірюється за допомогою камери, по його дискретній пленоптичній функції , причому етап розрахунку включає етап, на якому оцінюють інтеграл формування фотозображення
, як суму по довжині площин у чотиривимірному гіперкубі, де u і v - горизонтальна і вертикальна розмірності на площині лінзи, a j, k і r - розмірності по горизонталі, вертикалі і глибині стека фокуса, який необхідно отримати, при цьому згадана оцінка інтеграла формування фотозображення в свою чергу включає етапи, на яких:
b1) на початку обчислень одержані дані прирівнюють до перетворених даних до кроку
, тобто
; і
b2) потім раз застосовують наступне часткове перетворення:
,
де і
до одержання , що є апроксимацією інтеграла формування фотознімка
для об'єму з N площинами по глибині.
2. Спосіб підвищення розрізнення зображень із стека фокуса, одержаного за допомогою етапу b) способу за п. 1, який включає етапи, на яких:
за заданим на певній відстані зображенням зі стека фокуса виконують зворотну проекцію O(N4) променів пленоптичної функції, будують зображення високого розрізнення в дискретних місцеположеннях цих променів;
визначають надлишки променів, передбачаючи, що елементи об'єкта зйомки мають відбивну здатність типу Ламберта;
в місцеположення стека фокуса з надрозрізненням, де немає надлишків, вносять значення зворотної проекції променя, а в місцеположення з залишком вносять значення, що представляють значення надмірних променів, наприклад середні значення.
3. Спосіб вимірювання відстаней в тривимірних об'єктах зйомки в режимі реального часу, який включає одержання візуальної інформації із тривимірних об'єктів зйомки в режимі реального часу за п. 1, причому спосіб додатково включає етапи, на яких:
застосовують оператор вимірювання якості фокусування в розрахованому стеку фокуса;
розраховують оптимальний стан на марковському випадковому полі.
4. Спосіб вимірювання відстаней в тривимірних об'єктах зйомки в режимі реального часу за п. 3, який додатково включає підвищення розрізнення зображень із стека фокуса згідно зі способом за п. 2.
5. Спосіб томографічного вимірювання комплексної амплітуди електромагнітного поля, пов'язаного з хвильовим фронтом, в режимі реального часу, який включає одержання візуальної інформації з тривимірних об'єктів зйомки в режимі реального часу за п. 1, причому спосіб додатково включає етапи, на яких:
отримують модуль комплексної амплітуди електромагнітного поля в будь-якій точці об'єму об'єктного простору з квадратного кореня розрахованого стека фокуса;
застосовують оператор для формування градієнтів фази хвильового фронту в будь-якій точці об'єму об'єктного простору; і
відновлюють фазу хвильового фронту відповідного електромагнітного поля.
6. Спосіб томографічного вимірювання комплексної амплітуди електромагнітного поля, пов'язаного з хвильовим фронтом, в режимі реального часу за п. 5, який додатково включає підвищення розрізнення зображень з стека фокуса способом за п. 2.
7. Фазова камера для одержання візуальної інформації з тривимірних об'єктів зйомки в режимі реального часу, яка містить:
збираючу лінзу;
матрицю мікролінз, вміщену в деяке місцеположення в просторі зображень збираючої лінзи, при цьому матриця виконана з можливістю формування зображення на реєструючій поверхні для визначення достатнього розрізнення; і
засіб обробки для паралельних обчислень, виконаний з можливістю:
розраховувати стек фокуса, відповідний об'єктному простору, виміряному камерою, за допомогою етапу b) способу за п. 1;
одержувати комплексну амплітуду електромагнітного поля (модуль і фазу); і
одержувати відстань в будь-якому місці об'єктного простору, що реєструється.
8. Фазова камера для одержання візуальної інформації з тривимірних об'єктів зйомки в режимі реального часу за п. 7, в якій засіб обробки виконаний з можливістю підвищувати розрізнення зображень зі стека фокуса способом за п. 2.
9. Фазова камера для одержання візуальної інформації з тривимірних об'єктів зйомки в режимі реального часу за п. 7, в якій засіб обробки виконаний з можливістю одержувати відстань в будь-якому місці об'єктного простору способом за п. 3.
10. Фазова камера для одержання візуальної інформації від тривимірних
об'єктів зйомки в режимі реального часу за п. 7, в якій засіб обробки виконаний з можливістю одержувати комплексну амплітуду електромагнітного поля способом за п. 5.
Текст
Реферат: Винахід стосується способу розрахунку стека фокуса; відповідного об'єктному простору, по дискретній пленоптичній функції останнього як перетворення сум по довжині умовних площин в чотиривимірному гіперкубі; спосіб дозволяє істотно знизити час обчислень. Винахід стосується також способу підвищення розрізнення одержаного стека фокуса. Крім того, винахід стосується двох способів відновлення в режимі реального часу глибин і, відповідно, модулів і фаз комплексної амплітуди хвильового фронту в кожному місцеположенні поверхонь тривимірного об'єкта зйомки, а також системи, виконаної з можливістю здійснення вищевказаних способів. UA 103759 C2 (12) UA 103759 C2 UA 103759 C2 5 10 15 20 25 30 35 40 45 50 55 60 Винахід стосується способу розрахунку стека фокуса, пов'язаного з об'ємом об'єкта, способу підвищення розрізнення зображеня одержаного стека фокуса, способу вимірювання відстаней в тривимірних об'єктах зйомки в режимі реального часу і способу томографічного вимірювання комплексної амплітуди електромагнітного поля, пов'язаного з хвильовим фронтом, в режимі реального часу. Даний винахід дозволяє дізнаватися відстань і комплексну амплітуду електромагнітного поля в місцеположеннях поверхонь об'єктів зйомки. Крім того, винахід стосується камери для одержання в режимі реального часу візуальної інформації від тривимірних об'єктів зйомки в широкому діапазоні об'ємів, що характеризується використанням об'єктиву і матриці мікролінз, розташованої в просторі зображення об'єктиву, а також датчика, вміщеного в фокус мікролінз (який одержує зображення, сформоване мікролінзами), і засобу обробки для паралельних обчислень, виконаного з можливістю розрахунку стека фокуса, пов'язаного з об'ємом об'єкта, який вимірюється камерою, і для обчислення з урахуванням останньої комплексної амплітуди електромагнітного поля (модуля і фази) і тривимірного місцеположення випромінюючих поверхонь в будь-якій точці об'єктного простору, що сприймається датчиком. Даний винахід може застосовуватися в будь-якій зоні або сфері застосування, в яких потрібне знання хвильового фронту: наземні астрономічні спостереження, офтальмологія, голографія і т.д., рівно як і в тих галузях, де потрібна метрологія: реальні об'єкти зйомки, об'ємне телебачення, поліровка напівпровідникових світлоприймачів (CCD), автомобільне обладнання і т.д. ГАЛУЗЬ ТЕХНІКИ, ДО ЯКОЇ НАЛЕЖИТЬ ВИНАХІД Оптика. Обробка зображень. РІВЕНЬ ТЕХНІКИ Даний винахід пов'язаний з необхідністю одночасно виконувати тривимірне вимірювання комплексної амплітуди хвильового фронту, пов'язаного з всілякими оптичними задачами, в яких істотною є якість зображення (наприклад для діагностики), і одержувати досить надійну і точну карту далекостей в широкому діапазоні розмірів (від декількох мікрон до кілометрів), а також генерувати в режимі реального часу тривимірну інформацію для тривимірного телебачення, тривимірних фільмів, для медицини і т.д. Адаптивна (самоналагоджувана) оптика для сучасних телескопів великого діаметра (GRANTECAN, Keck і інш.) і майбутніх гігантських телескопів (діаметром 50 або 100 метрів) фокусується, вимірюючи тривимірний розподіл атмосферної фази з використанням вигляду томографії, званого мультиспряженою оптикою. Відсутність достатнього числа природних небесних точкових джерел, такого, щоб одне джерело завжди знаходилося в полі зору при спостереженні об'єкта в телескоп, змушує використовувати штучні точкові джерела - натрієві опорні зірки (на висоті 90 км). З метою корекції, запобігання фокального анізопланатизму, впливу всієї атмосфери на світлові промені, що приходять від небесних об'єктів, необхідно використовувати декілька цих штучних зірок (щонайменше п'ять). Для генерування кожної з них необхідний могутній імпульсний лазер з високою роздільною здатністю, який виготовляється за технологією, що вельми дорого коштує. Крім нестачі високої вартості, мультиспряжена оптика здатна вимірювати атмосферну фазу, пов'язану максимум з трьома горизонтальними обуреними (турбулентними) шарами (при трьох спільно вимірюючих датчиках фази), тобто вона сканує дуже малу частку тривимірного циліндра, що впливає на зображення. Крім того, оцінка фази виходить з так складених розрахунків, що вони серйозно ускладнюють адаптивну корекцію світлового променя в межах часу оптичної стабільності атмосфери (10 мс) у видимому діапазоні. Однак галузь застосування винаходу не зосереджена виключно в зоні астрофізики. У медичній оптиці, або офтальмології, основний інтерес фахівців медицини до томографії людського ока складається в одержанні чіткого зображення очного дна (сітчатки) пацієнта, щоб полегшити і прискорити діагностику. Внутрішньоочна рідина, скловидне тіло і кришталик ока поводяться подібно середовищу, де відбувається аберація зображення, яке може бути одержане від очного дна. Незважаючи на те, що в цьому випадку немає необхідності проводити вимірювання так часто, як в земній атмосфері (кожні 10 мс), оскільки це стійка деформація, потрібне достатнє тривимірне розрізнення, щоб не тільки одержати хороше зображення очного дна, але і зареєструвати просторове місцезнаходження можливих пошкоджень ока. Нарешті, і в іншій галузі застосування, такій як телевізійна або кінозображення, є задачі, пов'язані з тривимірним телебаченням, в якому одна з істотних проблем - це формування 1 UA 103759 C2 5 10 15 20 25 30 35 40 45 50 55 контента в режимі реального часу, технологія якого така складна і трудомістка, що вимагає людського втручання в хід процесу формування тривимірного 3D-контента, який можна показувати на існуючих 3D-дисплеях. У цьому значенні оптимальна реалізація технології, що пропонується тут на апаратному забезпеченні для паралельних обчислень (блок обробки зображень, GPU і вентильна матриця, що програмується FPGA) дозволяє формувати 3Dконтент в режимі реального часу. У даних напрямах згаданої галузі техніки в цей час відомі підходи, згідно з якими вміщують мікролінзи в площині зображення об'єктиву, що стимулює розвиток пристроїв і способів вимірювання параметрів зображень, незважаючи на те, що в них не використовується названа сукупність для здійснення томографічних вимірювань оптичної аберації або для одержання відстаней в об'єкті зйомки. Наприклад Adelson і Wang (Single lens stereo with а plenoptic camera // IEEE Trans. on Pattern Analysis and Machine Intelligence. 1992. Vol. 14, No. 2. Р. 99 106) використовують пристрій для одержання відстаней способом, абсолютно відмінним від того, що пропонується в даному винаході. Ren і інш. (Light field photography with а hand-held plenoptic camera // Stanford Tech. Report CTSR 2005-02) застосовують метод перерізів Фур'є, пов'язаний з мікролінзами тільки в площині зображення, для одержання різких фотознімків дійсних об'єктів в межах об'єму в декілька кубічних метрів, природно, з більш високою якістю, ніж дає методика із звичайною глибиною різкості. У цьому випадку запропонована методика дозволяє розраховувати стек фокуса, якщо вона застосовується для відстаней, що покривають необхідний об'єм, в тому числі необхідний для обчислень, багато разів, а це може зробити неможливою обробку в реальному часі. Відносно процесів витягання інформації відомо, що одержання фотозображення з функції світлового поля, або чотиривимірної пленоптичної функції, f(u, v, х, у) можливе шляхом інтегрування всіх променів, що досягають кожної точки (х, у) датчика, що приходять з кожної точки (u, v) площини лінзи. За допомогою названого інтегрування ослабляється ефект пленоптичного поглинання (захоплення). Іншими словами, якщо промені, поглинені мікролінзами, переспрямовувати в різні точки простору, то, щоб відновити задовільне зображення, необхідно згрупувати їх наново, тобто знов проінтергувати загалом в точці (х, у), яка виходить з різних кутових величин (u, v). Зображення, що одержується дією оператора , або інтеграла формування фотознімку, відновлює фотозображення, яке могло б бути одержане за допомогою традиційного датчика, сфокусованого на площині на відстані F, зв'язаного відносно об'єктиву з сукупністю датчиків-мікролінз. Якщо бажано відновити зображення на площині на відстані F'=αх, ближче або далі F, автор Ren Ng показав з подібності трикутників, що відповідний оператор можна оцінити таким чином: . 4 Оцінка цього оператора для кожної можливої відстані αх вимагає О(N ) операцій, і, отже, для 5 N площин знадобиться О(N ) операцій, де N – розрізнення, з яким будується кожна зміна пленоптичної функції. Ren Ng показав також, що якщо розраховується чотиривимірне перетворення Фур'є 4 світлового поля, і розрахунок включає О(N log2N) операцій додавання і множення комплексних чисел, то різні перефокусовані площини можуть бути одержані перетворенням усіченого двовимірного обертання і двовимірного зворотного перетворення Фур'є чотиривимірної функції перетворення світлового поля. Складність обчислень кожного двовимірного перетворення 2 2 О(N )+О(N log2N) потрібно додати в вихідну вартість перетворення Фур'є вимірюваної чотиривимірної функції. Отже, необхідний спосіб, який дозволяє знизити вартість обчислень і, відповідно, час розрахунку стека брекетингу фокуса. Спосіб, найбільш тісно пов'язаний зі способом розрахунку стека фокуса згідно з даним винаходом, - це швидке дискретне (або, згідно з автором, наближене) перетворення Радону, незалежно запропоноване Gotz і Druckmuller (А fast digital Radon transform-an efficient means for evaluating the Hough transform // Pattern Recognition. 1996. Vol. 29, No. 4. Р. 711 718) і Brady (А fast discrete approximation algorithm for the Radon transform // SIAM J. Comput. 1998. Vol. 27, No. 1. Р. 107 119). Згідно з цим способом, підсумовування величин вздовж ряду дискретних кривих, кожна з яких характеризується кутом нахилу і зсувом відносно вихідної кривої, прив'язаним до 2 двовимірної сітки даних, оцінюється спільно, за допомогою О(N log2N) сум, в яких пряма оцінка для кожної кривої знадобилось б О(N) операцій, і, отже, оцінка для N нахилів і N зсувів знадобилась б О(N3) сум. 2 UA 103759 C2 5 10 15 20 25 30 35 40 45 50 55 Нарешті, безвідносно до процесів одержання інформації про об'єкт зйомки і відносно системи згідно з даним винаходом, Clare і Lane (Wave-front sensing from subdivision of the focal plane with а lenslet array // J. Opt. Soc. Am. А. 2005. Vol. 22, No. 1. Р. 117 125) запропонували систему, в якій масив мікролінз вміщується точно в фокусі об'єктиву, а не в будь-якому місці площини зображення, і завдяки цьому фаза хвильового фронту визначається тільки в зіниці об'єктиву. Отже, необхідний спосіб, який дозволяє визначати фазу хвильового фронту топографічно, тобто на будь-якій відстані в тривимірному об'ємі об'єктного простору, а не тільки в зіниці об'єктиву. РОЗКРИТТЯ ВИНАХОДУ Даний винахід усуває описаний вище недолік, забезпечуючи в першому аспекті спосіб розрахунку стека фокуса, пов'язаного з об'єктом зйомки, згідно з пунктом 1 формули винаходу. Даний спосіб дозволяє значно знизити вартість обчислень і час розрахунку, що спричиняє за собою істотне удосконалення відомих способів в цій галузі техніки. Додатковою метою даного винаходу є пропозиція способу вимірювання відстаней в об'єкті зйомки і спосіб вимірювання комплексної амплітуди електромагнітного поля, чисельно оптимізованих і відповідних для паралельних обчислень. Даний винахід дозволяє: - обмежуватися одиночним вимірюванням і одиничним датчиком протягом кожного періоду стабільності атмосфери; - відновлювати модуль і фазу, пов'язану з кожним обуреним горизонтальним шаром, тобто томографувати всю атмосферу за допомогою способу розрахунку стека брекетингу фокуса. Спосіб швидкий, якщо брати до уваги, скільки і яких в ньому використовується операцій (сум), але може бути ще прискорений при грамотному застосуванні в блоках обробки зображень (GPU) або обчислювальних блоках змінного призначення, таких як вентильна матриця, яка програмується (FPGA); - уникнути необхідності використання штучних лазерних зірок, оскільки винахід здатний здійснювати відновлення зображення об'єкта в реальному часі після надходження зображення в земну атмосферу, оскільки для цього нового способу не потрібне калібрування за сигналом з опорної точки для подальшого зворотного згортання. Спосіб розрахунку стека фокуса за даним винаходу, званий перетворенням підсумовування умовних площин в гіперкубі (SCPH), дозволяє одержувати ряд площин тривимірного об'єкта зйомки, сфокусованих в різних місцеположеннях вздовж оптичної осі, і знизити обчислювальну складність процесу. Спосіб розрахунку стека фокуса за даним винаходом оснований на принципах багатошкальних способів обчислення швидкого дискретного перетворення Радону і завдяки повторному використанню проміжних результатів мінімізує число операцій, які потрібно виконати. З метою зниження обчислювальної вартості розрахунку стека фокуса в способі за даним винаходом використовується перетворення суми по довжині умовних площин в дискретних гіперкубах. Потрібно зазначити, що інтеграл формування фотознімку геометрично еквівалентний виконанню інтегрування по довжині площин функції, зона визначення якої є чотиривимірний гіперкуб. Тоді неважко зрозуміти, що інтеграл формування фотознімку - це окремий випадок оператора з додатковим обмеженням на повороти r1 і r2, при додатковому обмеженні на нахили r1 і r2, які визначають площини інтегрування і в цьому випадку рівні, що дозволяє знизити число виконуваних операцій. Спосіб розрахунку запропонованого стека фокуса складається в спільному обчисленні суми значень чотиривимірної функції f(u, v, х, у) на площинах, таких, що координати точок, що належать їм одночасно задовольняють вирази х=ur+j і у=vr+k, і - при певних умовах - в повторному використанні приватних сум для точок, що належать більш ніж однієї дискретної площини, де u і v - горизонтальна і вертикальна розмірність стека фокуса на площині датчика, а j, k і r - розмірність по горизонталі, вертикалі і глибині стека фокуса, який необхідно одержати. Іншими словами, алгоритм наближеного обчислення дискретного швидкого перетворення Радону, яке завжди існувало для випадку інтегралів вздовж кривої на площині, розповсюджується на інтеграли по чотиривимірних площинах в чотиривимірному гіперкубі при додатковій умові, що горизонтальні і вертикальні нахили однакові. Часткове перетворення даних до кроку m визначається у вигляді 3 UA 103759 C2 , де покладається, що функція має розмірність NхNхNхN; n=log2N; функція описує дискретний спосіб, в якому послідовність точок 5 точки і включає , , утворюючі дискретну криву з нахилом s/(N 1), а функція відновлює величину , відповідну двійковій n-кратній . Якщо на кроці 0 дані прирівняння, що перетворюються до введених даних: , то 10 15 є апроксимацією інтеграла формування фотознімку для об'єму з N площинами по глибині. Інші N площин по глибині можуть бути обчислені аналогічно для негативних нахилів. Оскільки обидва напівоб'єми відлічуються від глибини 0, буде одержаний повний стек брекетингу фокуса, складений з 2N-1 зображень, перефокусованих для різних відстаней. Рекурентна формула, зв'язуюча кроки m і m+1, повністю визначає спосіб і повинна застосовуватися n разів: . Потрібно помітити, що зона, для якої описане часткове перетворення 20 25 30 35 , - це половина зони, яка потрібно для , яка поступово перетворюється з чотиривимірної зони в тривимірну в 4 процесі, що вимагає О(N ) сум, який дає економію часу обчислень більш ніж на 80 процентів в порівнянні з нині використовуваними процесами. Продовжуючи цей процес згідно із запропонованим тут способом, можна відновлювати глибини, модулі і фази комплексної амплітуди хвильового фронту в кожному місцеположенні поверхні об'єкта зйомки, що дозволяє провести повне тривимірне сканування об'єкта в реальному часі, а, отже, спосіб добре підходить для вищевказаних галузей застосування. Спосіб розрахунку стека фокуса за даним винаходом має ту перевагу, що не вимагає операцій множення або дій з тригонометричними функціями, потрібне тільки підсумовування, і 4 його обчислювальна складність по порядку величини дорівнює О(N ) для кінцевого об'єму, що 4 містить 2N-1 фокальних площин знімка, одержаних від світлового поля розмірності N , на різних глибинах. Спосіб за даним винаходом дозволяє обчислювати стек фокуса для повного об'єму при меншому числі операцій, ніж використовуючи інші сучасні способи одержання стека фокуса (Ren Ng), основані на обчисленні окремої площини. Проте, проблема, що породжується при захопленні чотиривимірного світлового поля, складається в необхідності використання двовимірних датчиків. Для одержання повного чотиривимірного об'єму по інформації від двовимірного датчика необхідний датчик з дуже 4 високим розрізненням. Так, для датчика, що має О(N ) пікселів, можливо одержати лише стек 4 UA 103759 C2 2 5 10 15 20 25 30 35 40 45 50 55 60 брекетингу фокуса, зібраний із зображень, що мають по О(N ) пікселів, а, отже, можна 2 2 використовувати лише О(N ) значень відстані. Це зниження розрізнення порядку О(N ) викликає необхідність використовувати датчики, що дуже дорого коштують. Для рішення задачі, другий аспект даного винаходу пропонує спосіб підвищення розрізнення зображень з стека фокуса згідно з пунктом 2 формули винаходу. Згідно з названим способом, передбачається, що елементи об'єкта зйомки мають відображаючу здатність типу Ламберта, тобто інтенсивність світла, що випускається точкою об'єкта, не залежить від кута. У цьому 2 випадку світлове поле несе інформацію порядку, що повторюється О(aN ), де а – розрізнення константа, 0
ДивитисяДодаткова інформація
Назва патенту англійськоюMethod and camera for the real-time acquisition of visual information from three-dimensional scenes
Автори російськоюRodriguez Ramos, Jose Manuel, Marichal Hernandez, Jose Gil, Rosa Gonzalez, Fernando, Perez Nava, Fernando
МПК / Мітки
МПК: G06T 5/00, G06T 19/00
Мітки: варіанти, візуальної, камера, спосіб, зйомки, часу, інформації, об'єктів, одержання, реального, режимі, тривимірних
Код посилання
<a href="https://ua.patents.su/12-103759-sposib-varianti-i-kamera-dlya-oderzhannya-vizualno-informaci-z-trivimirnikh-obehktiv-zjjomki-v-rezhimi-realnogo-chasu.html" target="_blank" rel="follow" title="База патентів України">Спосіб (варіанти) і камера для одержання візуальної інформації з тривимірних об’єктів зйомки в режимі реального часу</a>
Попередній патент: Кон’югати олігомерів інсуліну, їх композиції та застосування
Наступний патент: Композиції детергентів для посудомийних машин
Випадковий патент: Затискне з'єднання