Спосіб одержання цифрового зображення з великим динамічним діапазоном

Реферат: Використання: для одержання цифрових зображень об'єкта з широким діапазоном яскравості, переважно, в аерофотографічних і розвідувальних цілях. Суть: зображення з великим динамічним діапазоном формують в результаті підсумовування приведених до реальної яскравості зображень об'єкта, отриманих при різних експозиціях. Для кожного піксела кожного зображення визначають значення параметра, що визначає ефективність зйомки. Найбільш інформативним елементам кожного зображення при підсумовуванні привласнюють максимальний ваговий коефіцієнт. Технічний результат: підвищення якості результуючого зображення. UA 98750 C2 (12) UA 98750 C2 UA 98750 C2 5 10 15 20 25 30 35 40 45 50 55 60 Винахід належить до техніки одержання цифрових зображень об'єкта з широким діапазоном яскравості, переважно, в аерофотографічних і розвідувальних цілях. У більшості випадків технічної зйомки (наприклад, рентгенівська або аерознімання), результуюче зображення формується за рахунок сукупності малоконтрастних об'єктів спостереження, що знаходяться у великому діапазоні яскравостей. Основною причиною інформаційних втрат при зйомці даних об'єктів є невідповідність динамічного діапазону вхідного сигналу динамічному діапазону реєстратора зображення. Це пояснюється дією ряду факторів: перепад освітленості за рахунок тіней від хмар, природних і штучних споруд, диму від заводських труб та інших предметів; наявність у полі зору знімальної камери "бликуючих" дзеркально відбиваючих, у тому числі водних, поверхонь; широкий діапазон зміни коефіцієнта яскравості природних об'єктів зйомки (від 0,02 для чорнозему до 1,0 для снігу, що тільки випав); малий динамічний діапазон приймачів оптичного випромінювання, що використовуються у знімальних камерах при реєстрації зображення. Відомий спосіб розширення динамічного діапазону переданих градацій яскравості й/або освітленості в телевізійній системі (патент РФ 2199827). Весь світловий діапазон реєструється декількома паралельними каналами, що мають різну настройку. Спосіб не адаптований для створення фотографічних зображень. Відомий спосіб одержання зображення об'єкта з великим діапазоном яскравості (патент України 87415). Експонування світлочутливого матеріалу здійснюють через частотно виборчу фільтр-маску, яку попередньо будують на прозорому елементі з фотохромного матеріалу. Маска являє собою нерізке негативне зображення того ж об'єкта. Використання способу передбачає наявність додаткового оптико-електронного каналу й відрізняється складністю через необхідність проведення точних юстирувальних робіт по суміщенню зображень, сформованих оптичним й оптико-електронним каналами. У більшості випадків фотографування, практично весь діапазон об'єкта може бути зафіксований при зйомці одного і того ж об'єкта при різних рівнях експозиції. На цьому заснований ряд способів одержання зображення з великим динамічним діапазоном оптичного сигналу. Відомий спосіб одержання зображення (патент США 6.822.762). Спосіб зводиться до обробки зображення з великим діапазоном вихідного сигналу. У свою чергу, зображення з великим діапазоном вихідного сигналу може бути попередньо отримано відомими способами з декількох зображень того самого об'єкта при різних експозиціях. Зображення будують у такий спосіб. Попередньо створюють маску у вигляді розмитого зображення яскравого каналу. Для розмиття використовують лінійний фільтр низьких частот. Далі, значення кожного компонента зображення попіксельно перетвориться з урахуванням значення маски. Запропонований спосіб дозволяє підсилити темні місця зображення й послабити світлі, знижуючи макроконтраст зображення, підвищуючи контраст дрібних деталей. Використання способу дозволяє істотно поліпшити зображення, привівши його до зручного для візуального сприйняття вигляду. В той же час, спосіб, за рахунок придушення низьких просторових частот, передбачає втрату частини інформації, яка, у ряді випадків, може бути корисною. Крім того, по суті, спосіб не гарантує одержання найбільш інформативних зображень, найцікавіших дешифрувальнику. Відомий спосіб одержання цифрового зображення об'єкта з великим динамічним діапазоном (патент України 91809). Для реалізації способу отримують серію зображень одного і того ж об'єкта при різних експозиціях. Для кожного піксела кожного цифрового зображення розраховують або вимірюють значення параметра, що визначає ефективність фотозйомки, після чого попіксельно будують результуюче зображення. При цьому в кожен піксел результуючого зображення заносять інформацію із відповідного йому піксела цифрового зображення, для якого раніше отримане значення параметра, що визначає ефективність фотозйомки, має оптимальне значення. Спосіб дозволяє отримати якісне з точки зору дешифрування зображення, проте допускає втрату частини інформації про об'єкт фотографування в області низьких і середніх просторових частот. Для мінімізації втрат інформації при реєстрації цифрових зображень застосовується технологія HDR (High Dynamic Range), що передбачає формування зображень з великим динамічним діапазоном. Найчастіше, підсумкове HDR зображення складають з цифрових значень, пропорційних реальній яскравості ділянок об'єкта фотографування, відповідних кожному піксел зображення і записують в речовій формі у файл з великим числом розрядів (32 і більше). Зазвичай, такі зображення формують з декількох зображень з малим динамічним діапазоном LDR (Low Dynamic Range), отриманих в результаті зйомки одного і того ж сюжету при різних рівнях середньої експозиції або світлочутливості (так званого брекетингу експозиції або світлочутливості). При формуванні HDR зображення зберігається великий об'єм інформації 1 UA 98750 C2 5 10 15 про об'єкт фотографування у всьому діапазоні просторових частот. Отримані таким чином зображення допускають подальшу алгоритмічну обробку для забезпечення зручності їх відображення на приладах з обмеженим динамічним діапазоном вихідного сигналу (монітори, фотопринтери і т.д). В той же час, втрати інформації на етапі формування HDR зображення є непоправними. Відомий спосіб одержання зображення шляхом відновлення карти яскравостей з великим динамічним діапазоном з фотографій, які мають менший динамічний діапазон (Debevec P.e., Malik J. 1997. Recovering High Dynamic range Radiance Maps from Photographs, SIGGRAH 97 Conference Proceedings, pp. 369-378), що є найбільш близьким аналогом винаходу, що заявляється. Спосіб полягає в наступному. З використанням брекетингу експозиції отримують декілька зображень одного і того ж об'єкта. Після цього визначають криву відгуку фотографічної системи (нелінійну функцію, що зв'язує цифрове значення кожного піксел зображення із значенням експозиції світлочутливої поверхні матриці, відповідного даному пікселу). Після визначення кривої відгуку, її використовують для перетворення цифрових значень пікселів у відповідні їм експозиції і, згодом, у відносні величини яскравості об'єкта фотографування. Для підвищення достовірності отримуваних результатів, зменшення ефекта артефактів і зниження рівня шумів, в способі використовують всі доступні експозиції конкретного піксела, які підсумовують з певним ваговим коефіцієнтом відповідно до формули, яка, в позначеннях оригінала, має вигляд: p  w Z ij gZ ij   ln t j  lnE i  j 1 p   , (1)  w Z ij j 1 20 де E i - освітленість поверхні матриці, відповідна і-ому пікселу в зображенні; t j - ефективна витримка для j-ого кадру в серії знімків; Z ij - цифрове значення, відповідне i-ому пікселу в     зображенні для j-ого кадру в серії знімків; g Z ij - крива відгуку фотографічної системи; w Zij ваговий коефіцієнт; p – число знімків в серії. У свою чергу, ваговий коефіцієнт w(z) для будь-яких значень числа z= Z ij , вибирають з 25 умови: 1   z  Z min for z  2 Z min  Z max   , (2) w z    Z max  z for z  1 Z min  Z max   2  30 35 40 45 де Zmin і Zmax мінімальне і максимальне цифрове значення розрядної сітки файлу LDR зображення. Тобто, при підсумовуванні експозицій, максимальну "вагу" надають тій, яка знаходиться ближчим до середньої частини кривої відгуку. Спосіб дозволяє сформувати зображення з великим динамічним діапазоном з фотографій, які мають менший динамічний діапазон, відрізняється простотою і універсальністю. В той же час, він не вільний від недоліків. При описі способу прийняті наступні основні допущення: картинка під час одержання знімків є статичною; зміна середній експозиції при здобутті серії знімків виробляється лише за допомогою зміни витримки, тоді як розподіл E i залишається незмінним, оптимальна експозиція відповідає середній частині кривої відгуку. Проте, дані допущення не завжди відповідають реальним умовам фотографування, у зв'язку з чим, по суті, спосіб не завжди гарантує одержання найбільш інформативних зображень, найцікавіших дешифрувальнику. Параметр, що визначає ефективність зйомки, далеко не завжди визначається лише рівнем експозиції. Найчастіше, ефективність зйомки оцінюють по інформаційній ємкості знімка або його роздільної здатності. На кривій відгуку приймача оптичного зображення (наприклад, кривій відгуку матриці ПЗЗ абохарактеристичної кривої фотоплівки), існує досить вузький інтервал експозицій, для якого роздільна здатність зображення має максимальне значення. У зоні малих і великих експозицій роздільна здатність падає за рахунок зниження контрасту зображення через нелінійності кривої відгуку. В області великих експозицій має місце насичення, малих - домінуюче значення на роздільну здатність надають шуми. Проте і інші ланки фотоапарата роблять вплив на якість отримуваного зображення. Перш за все, LDR зображення серії не завжди можуть бути отримані в статичних умовах лише за рахунок зміни середньої витримки. Під час експонування в реальних умовах 2 UA 98750 C2 5 10 15 20 25 30 35 40 може бути зсув зображення. Крім того, брекетинг експозиції може бути зроблений за рахунок зміни відносного отвору об'єктива або коефіцієнта пропускання нейтрального світлофільтра об'єктива. У звичайних умовах брекетинг відносного отвору об'єктива не проводять через відмінності в глибині різко зображеного простору знімків, отриманих при різних значеннях діафрагми. В той же час, при зйомці плоских об'єктів (наприклад, аероландшафту з літального апарату), вживання брекетингу відносного отвору об'єктива сповна коректно. Так само знімки серії можуть бути отримані в результаті брекетингу світлочутливості або шляхом одночасного використання брекетингу експозиції і світлочутливості. В цьому випадку, оптимальна з точки зору оцінки ефективності експозиція, може не знаходитися в середній частині кривої відгуку приймача оптичного випромінювання. Наприклад, фрагмент об'єкта, зображення якого, що знаходиться в середній зоні кривої відгуку фотоприймача на одному знімку, може мати нижчу роздільну здатність, ніж той же фрагмент об'єкта на іншому знімку, зображення якого, що знаходиться в іншій зоні експозицій. Це може визначатися, наприклад, різними витримками при зйомці. У першому випадку, некомпенсований зсув зображення може надати більш істотний вплив на роздільну здатність, ніж неоптимальна експозиція. Аналогічний ефект може бути отриманий при різних відносних отворах об'єктива за рахунок абераційних і дифракційних явищ. При використанні брекетингу світлочутливості, зображення, що знаходиться в середній частині кривої відгуку, може бути менш інформативним, ніж аналогічне більш світле з іншого знімка серії, через вплив шумів. В той же час, з точки зору дешифрування, найбільший інтерес являє зображення, що несе максимальну інформацію про деталі даного об'єкта. В основу винаходу поставлено задача підвищення якості зображення об'єкта зйомки, за рахунок складання його з найбільш інформативних елементів зображень об'єкта, отриманих за однакових зовнішніх умов і різних експозицій. Це дозволить мінімізувати втрати інформації при одержанні зображення з великим динамічним діапазоном. Поставлена задача вирішується за рахунок того, що в способі одержання цифрового зображення об'єкта з великим динамічним діапазоном з серії цифрових зображень того ж об'єкта, що отримані при різних рівнях середньої експозиції або різної світлочутливості приймача оптичного випромінювання і мають менший динамічний діапазон, при якому підсумкове цифрове зображення складають з цифрових значень, пропорційних реальній яскравості ділянок об'єкта фотографування, відповідних кожному пікселу зображення, для розрахунку якої використовують цифрову інформацію зв'язаних пікселів кожного зображення з урахуванням вагових коефіцієнтів, відповідно до винаходу, спочатку для кожного піксела кожного цифрового зображення розраховують або вимірюють значення параметра, що визначає ефективність фотозйомки, використовуючи інформацію від сукупності пікселів ділянки зображення, що містить необхідний піксел і віддалених від нього на заданій відстані, одночасно з цим, для кожного піксела кожного цифрового зображення, розраховують ваговий коефіцієнт i, j    Ri, j , де R(i,j) - параметр, що визначає ефективність фотозйомки, і - номер піксела в зображенні, j - номер серії цифрового зображення,  - коефіцієнт пропорційності, крім того, для кожного піксела кожного кадру розраховують значення відповідної йому яскравості об'єкта фотографування L(i,j), далі, розраховують значення реальної яскравості відповідних кожному p  Li, j  i, j пікселу ділянок об'єкта фотографування L 0 i  j 1 p ,  i, j j 1 45 50 де p – число зображень в серії, після чого з відцифрованих значень L 0 i складають результуюче зображення. Спосіб здійснюють таким чином. З використанням брекетингу експозиції або брекетингу світлочутливості приймача оптичного випромінювання отримують декілька зображень одного і того ж об'єкта. Після цього визначають криву відгуку фотографічної системи (нелінійну функцію, що зв'язує цифрове значення кожного піксела зображення із значенням експозиції світлочутливої поверхні матриці, відповідного даному пікселу). Крива відгуку може бути отримана експериментально або розрахована аналітично. Далі, використовуючи дані про параметри камери і умови зйомки, з врахуванням кривої відгуку g Z ij , цифрове значення кожного піксела кожного кадру Z ij перераховують в   значення, пропорційне реальній яскравості ділянки об'єкта фотографування L(i,j), відповідних конкретному пікселу. Крім того, для кожного піксела кожного цифрового зображення розраховують або вимірюють значення параметра, що визначає ефективність фотозйомки R(i,j), 3 UA 98750 C2 5 використовуючи інформацію від сукупності пікселів ділянки зображення, що містить необхідний піксел і віддалених від нього на заданій відстані. Одночасно з цим, для кожного піксела кожного цифрового зображення, розраховують ваговий коефіцієнт i, j    Ri, j , де і - номер піксела в зображенні, j - номер серії цифрового зображення,  - коефіцієнт пропорційності. Коефіцієнт пропорційності  (у загальному випадку нелінійний), вибирають, виходячи з вимог до параметрів шуму і різкості підсумкового зображення. Надалі, на підставі отриманих даних, для ділянок об'єкта фотографування, відповідних кожному пікселу, проводять розрахунок значення відповідної йому яскравості об'єкта фотографування p  Li, j  i, j L 0 i  10 15 j 1 , p  i, j j 1 де р - число зображень в серії, після чого з відцифрованих значень L 0 i складають результуюче зображення. У запропонованому способі результуюче зображення з великим динамічним діапазоном формується в результаті підсумовування приведених до реальної яскравості зображень об'єкта, отриманих при різних експозиціях. При цьому найбільш інформативні елементи кожного зображення при підсумовуванні мають максимальний ваговий коефіцієнт, що визначає високу якість результуючого зображення. ФОРМУЛА ВИНАХОДУ 20 25 30 35 Спосіб одержання цифрового зображення об'єкта з великим динамічним діапазоном з серії цифрових зображень того ж об'єкта, що отримані при різних рівнях середньої експозиції або різної світлочутливості приймача оптичного випромінювання і мають менший динамічний діапазон, при якому підсумкове цифрове зображення складають з цифрових значень, пропорційних реальній яскравості ділянок об'єкта фотографування, відповідних кожному пікселу зображення, для розрахунку якої використовують цифрову інформацію зв'язаних пікселів кожного зображення з урахуванням вагових коефіцієнтів, який відрізняється тим, що спочатку для кожного піксела кожного цифрового зображення розраховують або вимірюють значення параметра, що визначає ефективність фотозйомки, використовуючи інформацію від сукупності пікселів ділянки зображення, що містить необхідний піксел і віддалених від нього на заданій відстані, одночасно з цим, для кожного піксела кожного цифрового зображення, розраховують ваговий коефіцієнт ψi, j  α  Ri, j ,- параметр, що визначає ефективність фотозйомки, і - номер піксела в зображенні, j - номер серії цифрового зображення, α - коефіцієнт пропорційності, крім того, для кожного піксела кожного кадру розраховують значення відповідної йому яскравості об'єкта фотографування L(i,j), далі, розраховують значення реальної яскравості відповідних кожному пікселу ділянок об'єкта фотографування Ρ  Li, j  ψi, j L 0 i  j1 Ρ ,  ψi, j j1 де р - число зображень в серії, після чого з відцифрованих значень Lo(і) складають результуюче зображення. Комп’ютерна верстка М. Ломалова Державна служба інтелектуальної власності України, вул. Урицького, 45, м. Київ, МСП, 03680, Україна ДП “Український інститут промислової власності”, вул. Глазунова, 1, м. Київ – 42, 01601 4