Світлочутливий сенсор цифрової фотокамери та спосіб формування hdr зображень
Номер патенту: 107113
Опубліковано: 25.11.2014
Автори: Півторак Діана Олександрівна, Колобродов Валентин Георгійович
Формула / Реферат
1. Світлочутливий сенсор цифрової фотокамери, що містить матрицю світлочутливих елементів, перед якими встановлено фотохромний світлофільтр і систему вдруковування маски на фотохромний світлофільтр, який відрізняється тим, що система вдруковування маски на фотохромний світлофільтр виконана у вигляді матриці випромінювачів, активні елементи якої розташовані між світлочутливими елементами матриці, при цьому кожен активний елемент матриці випромінювача спрямований на локальну ділянку фотохромного світлофільтра, розташовану перед оптично зв'язаним з ним світлочутливим елементом.
2. Світлочутливий сенсор цифрової фотокамери за п. 1, який відрізняється тим, що функції фотохромного світлофільтру виконують мікролінзи, які фокусують, розташовані перед світлочутливими елементами і виготовлені з фотохромного матеріалу.
3. Спосіб формування HDR зображення, при якому за допомогою об'єктиву на матрицю світлочутливих елементів світлочутливого сенсора за п. 1 проектують зображення об'єкта фотографування, безпосередньо перед експонуванням або під час експонування зображення на матрицю світлочутливих елементів на фотохромному світлофільтрі за допомогою випромінювачів будують фільтр-маску у вигляді просторового розподілу його коефіцієнту пропускання, через яку експонують зображення на матрицю світлочутливих елементів з наступним зчитуванням, відцифруванням і збереженням сигналу з матриці світлочутливих елементів, який відрізняється тим, що додатково зберігають дані про величину коефіцієнта пропускання ділянки фотохромного світлофільтру перед кожним світлочутливим елементом під час експонування, після чого розраховують значення реальної яскравості кожної ділянки об'єкта фотографування, відповідного кожному світлочутливому елементу матриці, після чого отримані значення зберігають в заданому форматі як результуюче HDR зображення.
4. Спосіб за п. 3, який відрізняється тим, що дані про величину коефіцієнта пропускання ділянки фотохромного світлофільтру перед кожним світлочутливим елементом під час експонування отримують, виходячи зі значень енергетичної експозиції, одержуваної кожною ділянкою фотохромного світлофільтра перед кожним світлочутливим елементом від випромінювачів.
Текст
Реферат: Заявлений винахід призначений для отримання цифрових зображень об'єкта з широким діапазоном яскравості. Перед матрицею світлочутливих елементів встановлюють фотохромний світлофільтр або фокусуючі лінзи, які виготовляються з фотохромного матеріалу. Між світлочутливими елементами розміщують активні елементи матриці випромінювачів, спрямовані на фотохромний світлофільтр перед світлочутливими елементами, за допомогою яких будують нерізку маску. Разом з цифровим масивом зображення зберігають цифровий масив з даними про коефіцієнт пропускання маски в кожній точці, за якими формують HDRзображення. Технічний результат: розширення технологічних можливостей виготовлення світлочутливих сенсорів, спрощення процесу суміщення маски з реєстрованим зображенням, розширення можливості застосування методу нерізкого маскування в цифрових камерах. UA 107113 C2 (12) UA 107113 C2 UA 107113 C2 5 10 15 20 25 30 35 40 45 50 55 60 Винахід належить до фототехніки, переважно до техніки отримання цифрових зображень об'єкта з широким діапазоном яскравості. Для отримання зображення об'єктів широко використовуються фотографічні методи. У загальному випадку, фотографічний метод реєстрації зображення включає декілька основних етапів. На першому етапі, об'єкт зйомки, що не володіє власним випромінюванням в спектральному діапазоні оптичного випромінювання, що цікавить спостерігача, висвітлюють за допомогою природних або штучних джерел випромінювання. На другому етапі, зображення об'єкта зйомки протягом деякого часу проектують за допомогою оптичних засобів (наприклад, об'єктива і затвору), на світлочутливий сенсор. На третьому етапі, виконують фіксацію зображення за допомогою світлочутливого сенсора. Подальші етапи передбачають збереження і обробку отриманого зображення. Як світлочутливий сенсор використовують фотоплівку або фотоприймач. У цифрових фотоапаратах як світлочутливий сенсор найчастіше застосовують матричні фотоприймачі, наприклад, матриці ПЗЗ або КМОН світлочутливих елементів. Крім того, світлочутливий сенсор може включати в себе додаткові вузли, функціонально пов'язані з світлочутливими елементами, наприклад, систему мікролінз і світлофільтрів, а також вузли зчитування та первинної обробки інформації. Як правило, світлочутливий сенсор виконують у вигляді єдиного функціонального блоку. Для отримання якісного зображення в реальних умовах, в знімальних камерах широко використовуються експонометричні пристрої, що дозволяють узгодити характеристики світлочутливого матеріалу з характеристиками яскравості об'єкту зйомки. Управління експозицією здійснюють шляхом зміни відносного отвору об'єктива, кратності використовуваного світлофільтра, ефективної витримки механічного або електронного затвора, а також шляхом комбінованої програмної зміни даних параметрів. Експонометричні пристрої здійснюють заглушення в зображенні наднизьких просторових частот, при цьому частота зрізу фільтра визначається кутом поля зору знімальної камери. Традиційні експонометричні системи не дозволяють узгодити великий динамічний діапазон яскравості об'єкта фотографування з динамічним діапазоном світлочутливого сенсора, у зв'язку з чим, допускається втрата частини фотографічної інформації. Для зниження втрат використовують експонометричні системи локального управління експозицією, які дозволяють перейти від регулювання експозиції для всього кадру до управління експозицією для кожної елементарної ділянки кадру. Відомий спосіб фотозйомки з використанням щілинного фотоапарата (Мельканович А.Ф. Фотографические средства и их эксплуатация. - Л.: МО СССР, 1984. стр. 218-221), що дозволяє узгодити інтервал експозицій з фотографічною широтою фотоматеріалу, що використовується. Для його реалізації, експозиційну щілину фотоапарата виконують із оперативно змінюваним профілем. Ширину експозиційної щілини в районі зображень, що відповідають об'єктам підвищеної яскравості, встановлюють меншу, ніж ширину експозиційної щілини в районі зображень, що відповідають об'єктам низької яскравості. У результаті, час експонування фотоматеріалу в різних точках кадру виявляється різним, за рахунок чого компенсуються розходження в освітленості. Спосіб придатний тільки для використання в знімальних апаратах з послідовним експонуванням світлочутливого матеріалу (наприклад, щілинних і панорамних фотоапаратах). Відомий світлочутливий сенсор цифрового фотоапарата (патент US3323455), який призначений для реєстрації зображень з великим динамічним діапазоном. Умовно світлочутливі елементи групуються по чотири елементи в групі. Перед кожним елементом групи встановлюють різні по щільності нейтральні світлофільтри. Інформація яскравих ділянок кадру, що виходить за межі динамічного діапазону окремого світлочутливого елемента, сприймається елементами з найбільш щільним світлофільтром, для реєстрації інформації з темних ділянок кадру використовуються світлочутливі елементи, перед якими встановлені світлофільтри з мінімальною оптичною щільністю. Недоліком сенсора є зниження його загальної світлочутливості через зменшення розмірів світлочутливого елемента при заданих розмірах матриці. Для систем з паралельним експонуванням кадру для узгодження динамічних діапазонів вхідного сигналу і фоторегістратора часто використовують метод "нерізкої маски" (Фризер X. Фотографическая регистрация информации. - М.: Мир, 1978. - С. 267-269). З негативу виготовляють нерізкий позитив. Обидва зображення складають і через них здійснюють експонування світлочутливого фотоматеріалу. За рахунок заглушення низьких просторових частот, які не несуть корисну інформацію, проводиться узгодження діапазону щільностей негативу з фотографічною широтою світлочутливого фотоматеріалу. Для реалізації даного методу у фотоапаратах для побудови нерізкої маски застосовують встановлений перед 1 UA 107113 C2 5 10 15 20 25 30 35 40 45 50 55 світлочутливим елементом світлофільтр, виготовлений з фотохромного матеріалу і оптикоелектронну систему вдруковування маски. Відомий пристрій для реєстрації зображень з великим діапазоном яскравостей (патент України 87415), що є найближчим аналогом винаходу. Світлочутливий сенсор пристрою складається з світлочутливого матеріалу, перед яким встановлений прозорий плоский елемент з фотохромного матеріалу і системи вдруковування маски на даний матеріал у вигляді самостійного оптико-електронного каналу. У найближчому аналогу використана властивість фотохромного матеріалу вибірково змінювати свій коефіцієнт пропускання під дією світла. Безпосередньо перед експонуванням кадру, на прозорому плоскому елементі за допомогою системи вдруковування маски будується нерізка маска, що являє собою негативне зображення, що фотографується. Далі, через побудовану маску експонується основне зображення. За рахунок зниження освітленості світлочутливого матеріалу, створюваною яскравими частинами об'єкта фотографування в області низьких просторових частот, відбувається узгодження динамічних діапазонів вхідного сигналу і фоторегістратора. Основним недоліком найближчого аналогу є складність точного поєднання зображень, отриманих за основним і додатковим оптико-електронним каналами. Крім того, відомі способи не дозволяють отримати з зображення, що формується за допомогою світлочутливого сенсора найближчого аналога повне HDR-зображення (зображення з великим динамічним діапазоном - цифровий масив, в якому записується розподіл реальної яскравості об'єкта фотографування). В основу винаходу покладена задача розширення технологічних можливостей виготовлення світлочутливих сенсорів, призначених для реєстрації зображень з великим діапазоном яскравостей і спрощення процесу суміщення поєднання маски з реєстрованим зображенням за рахунок застосування матриці випромінювачів, встановленої на матриці світлочутливих елементів і використання для побудови маски виготовлених з фотохромного матеріалу мікролінз, встановлених перед світлочутливими елементами. Це дозволить спростити процес поєднання маски з реєстрованим зображенням і виконати світлочутливий сенсор у вигляді єдиного інтегрального вузла або мікросхеми. Додатковою задачею, поставленою в основу винаходу, є забезпечення формування повного HDR-зображення з зображення, отриманого в результаті використання процесу нерізкого маскування за допомогою пропонованого світлочутливого сенсора за рахунок враховування даних про коефіцієнт пропускання нерізкої маски в кожній точці. Це дозволить попіксельно перерахувати масив даних, що описують зображення в масив даних, пропорційних реальній яскравості ділянок об'єкта фотографування, відповідних кожному пікселю, тобто, сформувати повне HDR-зображення. Задача, поставлена в основу винаходу, вирішується за рахунок того, що в світлочутливому сенсорі цифрової фотокамери, що містить матрицю світлочутливих елементів, перед якими встановлено фотохромний світлофільтр і систему вдруковування маски на фотохромний світлофільтр, відповіднодо винаходу, система вдруковування маски на фотохромний світлофільтр виконана у вигляді матриці випромінювачів, активні елементи якої розташовані між світлочутливими елементами матриці, при цьому кожен активний елемент матриці випромінювача спрямований на локальний ділянку фотохромного світлофільтра, розташований перед оптично зв'язаному з ним світлочутливим елементом. Функції фотохромного світлофільтру можуть виконувати мікролінзи, які фокусують, розташовані перед світлочутливими елементами і виготовлені з фотохромного матеріалу. Додаткова задача, поставлена в основу винаходу, вирішується за рахунок того, що для формування HDR зображення, при якому за допомогою об'єктива на матрицю світлочутливих елементів пропонованого світлочутливого сенсора проектують зображення об'єкта фотографування, безпосередньо перед експонуванням або під час експонування зображення на матрицю світлочутливих елементів на фотохромному світлофільтрі за допомогою випромінювачів будують фільтр-маску у вигляді просторового розподілу його коефіцієнта пропускання, через яку експонують зображення на матрицю світлочутливих елементів з наступним зчитуванням, відцифруванням і збереженням сигналу з матриці світлочутливих елементів, відповідно до винаходу, додатково зберігають дані про величину коефіцієнта пропускання ділянки фотохромного світлофільтру перед кожним світлочутливим елементом під час експонування, після чого розраховують значення реальної яскравості кожної ділянки об'єкта фотографування, відповідного кожному світлочутливому елементу матриці, після чого отримані значення зберігають в заданому форматі як результуюче HDR зображенне. Дані про величину коефіцієнта пропускання ділянки фотохромного світлофільтру перед кожним світлочутливим елементом під час експонування отримують виходячи зі значень 2 UA 107113 C2 5 10 15 20 25 енергетичної експозиції, отриманої кожною ділянкою фотохромного світлофільтра перед кожним світлочутливим елементом від випромінювачів. Основою пропонованого світлочутливого сенсора цифрової фотокамери є матриця світлочутливих елементів. Перед матрицею світлочутливих елементів встановлений фотохромний світлофільтр. Функції фотохромного світлофільтру можуть виконувати мікролінзи, які фокусують, розташовані перед світлочутливими елементами. Використання фокусуючих лінз широко поширено в цифрових матрицях. У пропонованому світлочутливому сенсорі передбачається їх виготовлення з фотохромного матеріалу. На матриці світлочутливих елементів встановлена матриця випромінювачів, активні елементи якої розташовані між світлочутливими елементами матриці. Кожен активний елемент матриці випромінювачів спрямований на локальну ділянку фотохромного світлофільтру, розташований перед оптично зв'язаним з ним світлочутливим елементом. Пропонований сенсор цифрової камери працює таким чином. Безпосередньо перед основним експонуванням сенсора (або під час основного експонування), за допомогою матриці світлочутливих елементів проводять аналіз поля зображення, після чого запалюють матрицю випромінювачів, які впливають світлом на локальні ділянки фотохромного світлофільтру, на які вони спрямовані. Розподіл енергетичної експозиції фотохромного світлофільтру вибирається таким чином, що б ділянки, відповідні найбільш яскравим ділянкам зображення, отримали більший рівень експозиції в порівнянні з ділянками, відповідними менш яскравим частинам зображення. В результаті цього на фотохромному світлофільтрі з'являється маска, яка є розмитим негативом зображення. Надалі через побудовану маску проводять основне експонування. При використанні пропонованого сенсора вихідне зображення записується у вигляді цифрового масиву Z ij , де Z ij - число, відповідне пікселю зображення з координатами (i, j). У свою чергу, число в кожній точці зображення визначається функцією відгуку фотографічної системи g та експозицією в даній точці Hij . У зв'язку з тим, що основне експонування здійснюється через побудовану маску, вираз для зареєстрованого цифрового масиву може бути записаний у вигляді: Zij g Eij t ij ij , (1) 30 де E ij - освітленість світлочутливого елемента, відповідного пікселю (i, j), t ij - ефективна витримка для світлочутливого елемента, відповідного пікселю (i, j), ij - коефіцієнт пропускання фотохромного світлофільтру перед світлочутливим елементом, відповідного пікселю (i, j). Стиснення динамічного діапазону експозицій здійснюється за рахунок того, що для низьких 35 просторових частот значення ij маски вибирають обернено пропорційним значенню E ij . Пропонований спосіб формування HDR зображень, отриманих за допомогою світлочутливого сенсора, заснований на наступному. Разом з цифровим масивом Z ij , отриманим в результаті основного експонування зображення через побудовану маску, зберігають дані про величину коефіцієнта пропускання ділянки фотохромного світлофільтру перед кожним світлочутливим елементом під час експонування 40 ij . У разі збереження інформації про величини ij , відомої функції відгуку фотографічної системи g та сталості витримки для кожної точки кадру t ij t , значення цифрового масиву Z ij можуть бути легко перераховані в масив чисел, пропорційних реальній експозиції Hij Eij t , яка прямо пропорційна реальній яскравості ділянок об'єкта фотографування Lij k Eij , відповідних пікселям (i, j), де k 45 50 коефіцієнт пропорційності. Тобто, інформація про величини ij нерізкої маски дозволяє сформувати HDR-зображення, що перевершує по динамічному діапазону діапазон матриці світлочутливих елементів. Надалі, отримані значення зберігають в заданому форматі як результуюче HDR зображення. Для реалізації способу, дані про величину коефіцієнта пропускання ділянки фотохромного світлофільтру перед кожним світлочутливим елементом під час експонування можуть бути отримані в результаті розрахунку, виходячи із значень енергетичної експозиції, отриманої кожною ділянкою фотохромного світлофільтру перед кожним світлочутливим елементом від випромінювачів і функції відгуку (характеристичної кривої) використовуваного фотохромного матеріалу. 3 UA 107113 C2 5 10 15 Конструкція пропонованого світлочутливого сенсора пояснюється рисунком, представленим на фіг. 1, де 1 - світлочутливі елементи матриці, 2 - фотохромний світлофільтр, 3 - активні елементи випромінювачів. На фіг. 2 наведено конструкцію пропонованого світлочутливого сенсора при виконанні фотохромного світлофільтру у вигляді фокусуючих лінз, де: 1 - світлочутливі елементи матриці, 3 - активні елементи випромінювачів, 4 - фокусуючі лінзи з фотохромного матеріалу. Практичне використання пропонованого винаходу дасть можливість виконати світлочутливий сенсор у вигляді єдиного інтегрального вузла або мікросхеми, що дозволить розширити технологічні можливості виготовлення світлочутливих сенсорів, призначених для реєстрації зображень з великим діапазоном яскравостей і домогтися спрощення процесу суміщення маски з реєстрованим зображенням. Використання пропонованого способу дозволить сформувати HDR-зображення з отриманого за допомогою пропонованого світлочутливого сенсора LDR-зображення, що розширить можливості застосування методу нерізкого маскування в цифрових фотографічних камерах. ФОРМУЛА ВИНАХОДУ 20 25 30 35 40 45 1. Світлочутливий сенсор цифрової фотокамери, що містить матрицю світлочутливих елементів, перед якими встановлено фотохромний світлофільтр і систему вдруковування маски на фотохромний світлофільтр, який відрізняється тим, що система вдруковування маски на фотохромний світлофільтр виконана у вигляді матриці випромінювачів, активні елементи якої розташовані між світлочутливими елементами матриці, при цьому кожен активний елемент матриці випромінювача спрямований на локальну ділянку фотохромного світлофільтра, розташовану перед оптично зв'язаним з ним світлочутливим елементом. 2. Світлочутливий сенсор цифрової фотокамери за п. 1, який відрізняється тим, що функції фотохромного світлофільтру виконують мікролінзи, які фокусують, розташовані перед світлочутливими елементами і виготовлені з фотохромного матеріалу. 3. Спосіб формування HDR зображення, при якому за допомогою об'єктиву на матрицю світлочутливих елементів світлочутливого сенсора за п. 1 проектують зображення об'єкта фотографування, безпосередньо перед експонуванням або під час експонування зображення на матрицю світлочутливих елементів на фотохромному світлофільтрі за допомогою випромінювачів будують фільтр-маску у вигляді просторового розподілу його коефіцієнту пропускання, через яку експонують зображення на матрицю світлочутливих елементів з наступним зчитуванням, відцифруванням і збереженням сигналу з матриці світлочутливих елементів, який відрізняється тим, що додатково зберігають дані про величину коефіцієнта пропускання ділянки фотохромного світлофільтру перед кожним світлочутливим елементом під час експонування, після чого розраховують значення реальної яскравості кожної ділянки об'єкта фотографування, відповідного кожному світлочутливому елементу матриці, після чого отримані значення зберігають в заданому форматі як результуюче HDR зображення. 4. Спосіб за п. 3, який відрізняється тим, що дані про величину коефіцієнта пропускання ділянки фотохромного світлофільтру перед кожним світлочутливим елементом під час експонування отримують, виходячи зі значень енергетичної експозиції, одержуваної кожною ділянкою фотохромного світлофільтра перед кожним світлочутливим елементом від випромінювачів. 4 UA 107113 C2 Комп’ютерна верстка І. Скворцова Державна служба інтелектуальної власності України, вул. Урицького, 45, м. Київ, МСП, 03680, Україна ДП “Український інститут промислової власності”, вул. Глазунова, 1, м. Київ – 42, 01601 5
ДивитисяДодаткова інформація
Автори англійськоюKolobrodov Valentyn Heorhiiovych, Pivtorak Diana Oleksandrivna
Автори російськоюКолобродов Валентин Георгиевич, Пивторак Диана Александровна
МПК / Мітки
Мітки: зображень, формування, сенсор, світлочутливий, цифрової, фотокамери, спосіб
Код посилання
<a href="https://ua.patents.su/7-107113-svitlochutlivijj-sensor-cifrovo-fotokameri-ta-sposib-formuvannya-hdr-zobrazhen.html" target="_blank" rel="follow" title="База патентів України">Світлочутливий сенсор цифрової фотокамери та спосіб формування hdr зображень</a>
Попередній патент: Активатори розчинної гуанілатциклази
Наступний патент: Наповнювальний з’єднувальний елемент, відповідний контейнер і відповідний спосіб наповнення
Випадковий патент: Пристрій для реєстрації рельєфу поверхні абразивних інструментів на металевій зв'язці