Спосіб обробки цифрового зображення для зниження рівня шуму
Формула / Реферат
1. Спосіб обробки цифрового зображення, який включає наступні етапи:
отримання зображення у цифровому вигляді;
вибір множини точок на зображенні P={p1,p2, ..., pn};
побудову мережі подібності областей, вершинами якої є точки з вибраної множини, шляхом сполучення вершин рÎР з вершинами мережі подібності областей, які відповідають подібним областям зображення і містяться в околі точки p, причому щонайменше одна з вершин рÎР сполучена з двома або більше іншими вершинами, а подібність областей зображення визначається наперед заданою функцією;
застосування функції перетворення, яка має вигляд:
де I - вхідне зображення,
р - поточна вершина мережі подібності областей,
Lі(p), і=1,2,..., k - мультимножини вершин мережі подібності областей, вершини мультимножини Li(p) можна досягнути рівно за i кроків від вершини p в мережі подібності областей,
Agr (…) - задана функція агрегації,
k> 1 - параметр методу;
обчислення функції O(р) для кінцевого або проміжного результату для вершин мережі, в околі яких необхідно знизити рівень шуму; у випадку, якщо О(р) застосовується для обчислення проміжного результату, то здійснюють обчислення кінцевого результату.
2. Спосіб за п. 1, який відрізняється тим, що кожну вершину мережі подібності областей сполучають лише з вершинами, які розташовані у заданому околі круглої, квадратної або іншої заданої наперед форми від поточної вершини.
3. Спосіб за п. 1, який відрізняється тим, що множина вершин мережі подібності областей включає всі пікселі зображення.
4. Спосіб за п. 1, який відрізняється тим, що ступінь вершин в мережі подібності областей обмежений константою.
5. Спосіб за п. 1, який відрізняється тим, що використана при побудові мережі функція подібності областей має випадковий (псевдовипадковий) компонент.
6. Спосіб за п. 1, який відрізняється тим, що використана при побудові мережі функція подібності областей має компонент, який залежить від координат порівнюваних областей.
7. Спосіб за п. 2, який відрізняється тим, що для побудови мережі подібності областей окіл навколо заданої вершини мережі подібності розбивають на підмножини, з кожної підмножини вибирають одну або декілька вершин, окіл яких найбільш подібний до околу заданої вершини, з вибраних вершин вибирають декілька вершин, які відповідають найбільш подібним областям.
8. Спосіб за п. 1, який відрізняється тим, що мережа подібності областей сполучає подібні області з щонайменше двох зображень, а функція агрегації використовує інформацію з цих зображень, при цьому вершини мережі подібності розташовуються на різних зображеннях.
9. Спосіб за п. 8, який відрізняється тим, що мережа подібності областей сполучає області оригінального зображення з областями зображень, які отримують модифікацією оригінального зображення, а зв'язки мережі містять інформацію про відповідну модифікацію зображення, і ця інформація використана функцією агрегації Agr (...).
10. Спосіб за п. 9, який відрізняється тим, що мережа подібності областей сполучає області оригінального зображення із зображеннями, отриманими відомою колірною модифікацією оригінального зображення (зміна яскравості, контрасту, гами тощо) та/або просторовою модифікацією (зміна розміру, повороту, застосування іншого відомого афінного, перспективного чи нелінійного перетворення початкового зображення), а зв'язки мережі містять інформацію про відповідне перетворення зображення, і ця інформація використана функцією агрегації Agr (...).
11. Спосіб за п. 8, який відрізняється тим, що мережа подібності областей сполучає області оригінального зображення із зображеннями, які отримують з бази даних збережених зображень або мережі.
12. Спосіб за п. 1, який відрізняється тим, що реалізований у пристрої, який має модуль для отримання зображень і модуль для опрацювання зображень.
13. Спосіб за п. 1, який відрізняється тим, що реалізований, у пристрої, який опрацьовує зображення, причому зображення на пристрій передають з використанням прямого підключення за допомогою дротового або бездротового з'єднання або з використанням мережевого з'єднання.
14. Спосіб за п. 1, який відрізняється тим, що міру подібності областей обчислюють на основі функції відмінності областей.
15. Спосіб за п. 14, який відрізняється тим, що міру відмінності областей зображення обчислюють на основі віддалі у просторі характеристик областей .
16. Спосіб за п. 1, який відрізняється тим, що міру подібності областей обчислюють на основі піраміди зображень, яка містить початкове зображення та/або його зменшені варіанти.
17. Спосіб за п. 1, який відрізняється тим, що міру подібності областей обчислюють на основі інтегрального зображення.
18. Спосіб за п. 1, який відрізняється тим, що для обчислення функції міри подібності областей використовують зображення, отримані з початкового зображення за допомогою вейвлет, курвлет, Фур'є або за допомогою іншого відомого просторово-частотного перетворення.
19. Спосіб за п. 1, який відрізняється тим, що функцію О(р) обчислюють як і для вершин мережі подібності областей, так i для інших наперед заданих точок зображення, при цьому сусідство Li(p) визначають з використанням одного або декількох найближчих до точки ρ вузлів мережі.
20. Спосіб за п. 1, який відрізняється тим, що мережу подібності областей будують для зменшеного зображення, а потім мережу збільшують та уточнюють для більших зображень, причому така побудова може виконуватися в декілька кроків.
21. Спосіб за п. 1, який відрізняється тим, що будують декілька мереж подібності областей з використанням різних функцій подібності, а зв'язки цих мереж об'єднують в одну мережу або використовують разом у функції агрегації.
Текст
Реферат: Винахід належить до області обробки цифрових зображень, зокрема до способів зниження рівня шуму цифрових зображень на основі мережі подібності областей. Спосіб обробки цифрового зображення включає етапи отримання зображення у цифровому вигляді, вибір множини точок на зображенні Р={р1,р2,..., pn}, побудову мережі подібності областей, вершинами якої є точки з обраної множини, шляхом сполучення вершин рР з вершинами мережі подібності областей, які відповідають подібним областям зображення і містяться в околі точки p, причому щонайменше одна з вершин рР сполучена з двома або більше іншими вершинами, а подібність областей зображення визначається наперед заданою функцією, застосування функції перетворення, яка має вигляд O(p) Agr(l,p,L1(p),L 2 (p),...,Lk (p)), , обчислення функції O(р) для кінцевого або проміжного результату для вершин мережі, в околі яких необхідно знизити рівень шуму. Технічним результатом, що досягається даним винаходом є підвищення ступеню усунення шумів на цифровому зображенні, спрощення процесу обчислення. UA 115360 C2 (12) UA 115360 C2 UA 115360 C2 5 10 15 20 25 30 35 40 45 50 55 Винахід належить до області обробки цифрових зображень, зокрема до способів зниження рівня шуму цифрових зображень на основі застосування мережі подібності областей. Цифрові зображення широко використовуються в різних областях людської діяльності і вимоги до якості зображення з кожним роком підвищуються. На практиці часто зустрічаються зображення, спотворені шумом. Джерела шуму можуть бути різними: неідеальне обладнання для захоплення зображення, погані умови зйомки або недостатній розмір матриці фотоапарата. При скануванні шуми виникають при попаданні пилу або сторонніх часток на оригінал, а також при невірних параметрах сканування. У тому випадку, коли зображення отримано за допомогою оцифрування, на ньому, як правило, також присутній шум. Будь-які спотворення, перешкоди, шуми погіршують візуальне сприйняття та аналіз зображень, ускладнюють їх автоматичну обробку та знижують вірогідність рішень, які будуть прийматися на основі аналізу таких зображень. Тому актуальною є задача усунення або зниження рівня шумів на зображеннях. У галузі цифрової обробки зображень, графи часто використовуються для моделювання цифрових зображень і подібності між їх елементами [1]. Часто термін "граф подібності пікселів" використовується для опису плоского графа, який містить локальні відстані у просторі кольорів між сусідніми пікселями зображення. Такі графи за своєю структурою є плоскими сітками, І, зазвичай, використовуються для сегментації зображень. Є також підхід, у якому пікселі зображення сполучають між собою за видимими краями, які можуть бути знайдені за допомогою детектору границь Кенні. Такий підхід веде до створення плоского графу, а, отже, відрізняється від підходу, розкритого в цій заявці [2]. Є багато підходів до виокремлення множин подібних ділянок зображення, які засновані на методах кластеризації. Основним недоліком алгоритмів кластеризації для обробки зображень є розміщення ділянок зображення у деревоподібні структури або у непересічні множини. Це призводить до видимих спотворень зображення, викликаних призначенням сусідніх елементів зображення різним гілкам дерева або різним множинам. Відомі також підходи до опрацювання зображень із використанням методу "оптичного потоку". Метод оптичного потоку призначає кожному пікселю зображення вектор, який вказує на найбільш схожу область в тому самому або іншому зображенні. Відомі методи оптимізації таких оптичних потоків. Ці методи призначають лише один вектор пікселю і не використовують подання отриманого векторного поля у вигляді графу. Є методи, які визначають множину областей зображення, подібних на область зображення із центром у заданому пікселі. Наприклад, у 1999 році Олексій Ефрос і Томас Ленг [3] використали нелокальні самоподібності областей зображення для синтезу текстур і заповнення прогалин у зображеннях. Проте, відомі методи працюють лише із найближчими сусідами, тобто не опрацьовують області, подібні до подібних. Таке опрацювання може бути зроблене неявно за допомогою ітеративної обробки [4], але, в загальному випадку, така ітеративна обробка призводить до іншого результату, ніж у способі, розкритому в запропонованій заявці. З рівня техніки не відомо метод, в якому використовують сусіди 2-го, 3-го, або вищих порядків у мережі, яка сполучає подібні області зображення, з метою зменшення шумів на зображенні. З рівня техніки відомі способи обробки цифрових зображень з метою зменшення або усунення шуму в зображені. Наприклад, у патенті [5] описується пристрій і спосіб видалення шуму в зображенні, в якому дані зображення зі спотвореннями поділяють на блоки і коригують шум залежно від розташування кожного пікселя зображення в блоці. Відомий спосіб видалення випадкових шумів [6] шляхом застосування до даних зображення в якості фільтра модифікованої функції Лапласа, що має максимум на частоті, оптимальної для видалення шуму. У патенті [7] наводиться система і спосіб зменшення шуму і поліпшення якості кромок цифрового зображення шляхом визначення фонового значення шуму на всьому зображенні і його видалення за допомогою системи фільтрів. У патенті [8] описаний пристрій обробки зображення і спосіб обробки зображення для візуального зменшення шумів, що містяться в низькочастотному діапазоні даних зображення. В даному технічному рішенні використовується вікно пошуку, пошук подібного пікселя, і крок (dx, dy) до подібного пікселя екстраполюється для перевірки наявності ще одного подібного пікселя зі зміщенням (2*dx, 2*dy). Мережа подібності областей не використовується. У патенті [9] описуються системи і способи для отримання значення кольору уточнення для пікселя на основі сусідніх значень пікселів. Мережа подібності областей не використовується. 1 UA 115360 C2 5 10 15 20 25 30 35 40 45 50 55 60 Основні недоліки відомих рішень полягають у тому, що більшість із зазначених способів для суттєвого зниження рівня шуму вимагають для їх реалізації значних обчислювальних витрат, що суттєво обмежує область їх застосування. Крім того, після коректування в тій чи іншій мірі проявляються такі дефекти: неприродне розмиття деталей зображення, подвоєння або розмиття видимих меж, усунення текстури. У патенті [10] описано метод обробки цифрових зображень, в якому визначається окіл інтересу в цифровому зображенні, і цифрове зображення обробляється шляхом застосування функції алгоритму, що базується на одному або декількох характеристиках набору пікселів і визначаються функцією редагування зображення. При застосуванні наведеного методу для усунення шумів на зображенні необхідні значні обчислювальні ресурси, оскільки область розглядається як єдине ціле. На межі областей можлива поява артефактів. Мережа подібності областей у зазначеному методі не використовується. У патенті [11] описані система і спосіб регуляризації для відновлення зображень в однорідних або неоднорідних середовищах. Система і спосіб включають обчислювальні модулі, подібні за структурою до нейронної мережі, які включають елементи зображення (пікселі) з можливістю обробки. В даному технічному рішенні будується обчислювальна мережа на основі подібності пікселів до центрального. Обчислення відбувається в декілька ітерацій і на кожному кроці обчислення використовується лише інформація про сусідів, а не сусідів-сусідів і т.д. Таке опосередковане використання призводить до погіршення результату. У патенті [12] описаний спосіб зменшення шуму на зображенні, який включає наступні етапи: додавання вибраного пікселя в області (R); угруповання пікселів, суміжних регіонів (R) в пари, при цьому пікселі кожної пари протилежно розташовані щодо згаданого вибраного пікселя; додавання зазначеної пари в область (R); повторення вказаного етапу угруповання і згаданого етапу додавання для не вказаних пар до того, коли на зазначеному етапі додавання згаданих пар умова додавання зазначених пар не виконується для будь-якої пари; усереднення значення пікселів згаданої області (R); і, таким чином, за допомогою усередненого значення пікселя для вибраного пікселя згаданої області (R) здійснюється реконструкція вказаного зображення. Недоліком методу є його застосовність лише до зображень з малим рівнем шуму. У патенті [13] описаний метод обробки зображень шляхом зменшення шуму, і цифрова камера, яка реалізує вказаний метод. У способі для зменшення рівня шуму враховують локальну подібність областей зображення шляхом заміни зашумленої області зображення зваженим середнім серед подібних областей з найближчого околу. Спосіб має ряд недоліків. Зокрема, спосіб вимагає значних обчислювальних ресурсів для отримання результату хорошої якості. Зменшення розміру вікна з метою пришвидшення роботи алгоритму привносить деяке розмиття зображення та знижує якість усунення шумів. Використання методів кластеризації для пришвидшення роботи алгоритму вносить видимі спотворення на межі кластерів. Тому необхідна модифікація наведеного методу, яка дає змогу пришвидшити його швидкодію без втрат якості отриманого результату. Крім того, зазначений метод не використовує можливі локальні самоподібності зображення з врахуванням повороту і зміною розміру елементів зображення. Дане технічне рішення вибране за прототип. Завдання, на вирішення якого спрямований заявлений винахід, полягає в тому, щоб підвищити ступінь усунення шумів на цифровому зображенні без погіршення якості зображення, і підвищити різкість видимих контурів на зображенні, шляхом використання мережі подібності областей. Також запропонований спосіб не вимагає суттєвого збільшення обсягу обчислень, що дає змогу виконувати обчислювальний процес з використанням внутрішнього процесора цифрового пристрою. Поставлена задача вирішується тим, що запропонований спосіб обробки цифрового зображення, який включає наступні етапи: - отримання зображення у цифровому вигляді; - вибір множини точок на зображенні Р={р1,р2, … рn}; - побудову мережі подібності областей, вершинами якої є точки з вибраної множини, шляхом сполучення вершин рР з вершинами мережі подібності областей, які відповідають подібним областям зображення і містяться в околі точки p, причому щонайменше одна з вершин рР сполучена з двома або більше іншими вершинами, а подібність областей зображення визначається наперед заданою функцією; - застосування функції перетворення, яка має вигляд O(p) = Agr (l, p,L1(p),L2(p),…,Lk(p)), де I - це вхідне зображення, p - поточна вершина мережі подібності областей, 2 UA 115360 C2 5 10 15 20 25 30 35 40 45 50 55 Li(p), i=1,2,…,k - це мультимножини вершин мережі подібності областей, вершини мультимножини Li(p) можна досягнути рівно за i кроків від вершини p в мережі подібності областей, Agr (…) - задана функція агрегації, k > 1 - параметр методу; обчислення функції O(р) для кінцевого або проміжного результату для вершин мережі, в околі яких необхідно знизити рівень шуму; у випадку, якщо O(р) застосовується для обчислення проміжного результату, то здійснюють обчислення кінцевого результату. Крім того, можливі реалізації способу, у яких кожну вершину мережі подібності областей сполучають лише з вершинами, які розташовані у заданому околі круглої, квадратної або іншої заданої наперед форми від поточної вершини. Крім того, можливі реалізації способу, у яких множина точок включає всі пікселі зображення. Крім того, можливі реалізації способу, у яких ступінь вершин в мережі подібності областей обмежена константою. Спосіб дає змогу отримати кращі результати за умови, коли функція подібності областей має випадковий (псевдовипадковий) компонент І/або компонент, який залежить від координат порівнюваних областей. Для функціонування способу бажано, що для побудови мережі подібності областей окіл навколо заданої вершини мережі подібності розбивають на підмножини, з кожної підмножини обирають одну або декілька точок, окіл яких найбільш подібний до околу заданої вершини, з вибраних точок обирають декілька точок, які відповідають найбільш подібним областям. Спосіб дає змогу отримати кращі результати за умови, що мережа подібності областей сполучає області з щонайменше двох зображень, а функція агрегації використовує інформацію з цих зображень, при цьому вершини мережі подібності розташовуються на різних зображеннях. Спосіб дає змогу отримати кращі результати за умови, коли мережа подібності областей сполучає області оригінального зображення з зображеннями, які отримують модифікацією оригінального зображення, а зв'язки мережі містять інформацію про відповідну модифікацію зображення, і ця інформація використана функцією агрегації Agr(…). Спосіб дає змогу отримати кращі результати за умови, що мережа подібності областей сполучає області зображення Із зображеннями, отриманими відомою колірною модифікацією початкового зображення (зміна яскравості, контрасту, гами тощо) та/або просторовою модифікацією (зміна розміру, повороту, застосування іншого відомого афінного, перспективного чи нелінійного перетворення початкового зображення), а зв'язки мережі містять інформацію про відповідне перетворення зображення, і ця інформація використана функцією агрегації Agr(…). Крім того, мережа подібності областей може сполучати області оригінального зображення з зображеннями, які отримують з бази даних збережених зображень або мережі. Крім того, спосіб може бути реалізований у пристрої, який має модуль для отримання зображень і модуль для опрацювання зображень. Крім того, спосіб може бути реалізований у пристрої, який опрацьовує зображення, причому зображення на пристрій передають з використанням прямого підключення за допомогою бездротового або з використанням мережевого з'єднання. При реалізації способу міра подібності областей може бути обчислена на основі функції відмінності областей. При реалізації способу міра відмінності областей зображення може обчислюватися на основі віддалі у просторі характеристик областей D( , p1, p2 ) F, p2 F, p2 . При реалізації способу міра подібності областей зображення може обчислюватися на основі піраміди зображень, яка містить початкове зображення та/або його зменшені варіанти. При реалізації способу міра подібності областей зображення може обчислюватися на основі інтегрального зображення. Крім того, для обчислення функції міри подібності областей використовують зображення, отримані з початкового зображення за допомогою вейвлет, курвлет, Фур'є або за допомогою іншого відомого просторово-частотного перетворення. Швидкодія способу може бути підвищена, якщо мережу подібності областей будують для частини точок зображення, а функцію O(р) обчислюють не лише для вершин мережі подібності областей, а і для інших наперед заданих точок зображення, при цьому сусідство Li(p) визначають з використанням одного або декількох найближчих до точки p вузлів мережі. Швидкодія способу може бути підвищена, якщо мережу подібності областей будують для зменшеного зображення, а потім мережу збільшують та уточнюють для більших зображень, причому таку побудову виконують в декілька кроків. 3 UA 115360 C2 5 10 15 20 25 30 35 40 45 50 55 60 Спосіб дає змогу отримати ліпші результати за умови, що будують декілька мереж подібності областей з використанням різних функцій подібності, а зв'язки цих мереж об'єднують в одну мережу або використовують разом у функції агрегації. Основною відмінністю запропонованого технічного рішення є те, що вибір зон для усереднення виконується не із всіх біжучих пікселів заданого околу. Замість цього до області навколо пІкселя обирають декілька подібних областей в околі за певним набором характеристик, які можуть включати значення яскравості пікселів, коефіцієнти Wavelet перетворення, характеристик Хаара, Габора і інші. Подібні області формують мережу подібних областей. Вибір областей для усереднення виконується з використанням отриманої мережі. Ще однією відмінністю даного рішення є те, що для обрахунку (зазвичай, це зважене усереднення) використовується області "подібні до подібних". Такі області обираються з вузлів побудованої мережі, які можуть бути отримані за 1, 2, 3,…, k кроків від біжучого вузла, де k - параметр алгоритму, причому k>=2 (при k=1 запропонований метод стає аналогічним до відомих методів). Використання мережі подібності областей призводить до якісніших результатів усунення шумів ніж при застосуванні усереднення по всіх областях навіть при використанні збільшеного радіусу пошуку. Продуктивність наведеного методу також значно вища за аналоги (не вимагає суттєвого збільшення обсягу обчислень), що дає змогу виконувати обчислювальний процес з використанням внутрішнього процесора пристрою, який фотографує (фотоапарата). Мережа подібності областей (region similarity network) - це простий або орієнтований граф, вершинами якого є точки зображення, а ребра або дуги сполучають точки зображення, околи яких подібні. Для усунення шумів з використанням мережі подібності областей використовується поняття сусідства ступеня і в мережі подібності. Сусідами вершини p ступеня i в мережі подібності назвемо мультимножину вершин Li(p), які можливо досягнути рівно за і кроків від вершини p. Мультимножина Li(p) може містити декілька разів одну вершину, якщо її можна досягнути декількома способами від вершини p рівно за і кроків. Також мультимножина Li(p) може містити вершину p та вершини з мультимножин L1(p), L2(p),…, Li-1(p). Заявлений винахід пояснюється ілюстративним матеріалом, де на Фіг. 1 та Фіг. 2 показано фрагмент зображення з сусідами ступенів 1 і 2 центральної вершини в мережі подібності областей, на Фіг. 3А - початкове зашумлене зображення, на Фіг. 3Б - зображення після усунення шумів заявленим способом, на Фіг. 3В - зображення після усунення шумів методом розкритим в прототипі, на Фіг. 4 - фрагменти зображення з елементами мережі, які є сусідами ступенів 1 та 2 до вершини мережі. Запропонований спосіб складається з таких кроків: 1) отримання зображення у цифровому вигляді; вибір множини точок на зображенні Р={р1, р2,…, рn} і побудова векторів характеристик областей зображення f p1 , f p 2 ,..., f pn в околі цих точок, де n - кількість вибраних точок (на Фіг. 1-2 ці вибрані точки позначено кружечками 5, які розташовано у вузлах рівномірної квадратної сітки 16 × 16, на Фіг. 1-2). В інших випадках можна обирати різні регулярні або нерегулярні сітки, зокрема з квадратними, прямокутними або трикутними комірками; 2) пошук до кожної точки р з множини вибраних точок Ρ інших точок з цієї множини, околи яких подібні до околу точки p (на Фіг. 1 проілюстровано знайдені до точки 1 чотири точки з подібним околом; ці точки позначено цифрою 2) і створення з отриманого відношення подібності орієнтованого графа, який названо мережа подібності областей (region similarity network); 3) обчислення для підмножини вершин мережі, в околі яких необхідно знизити рівень шуму, функції, яка має вигляд O(p) Agr(l,p, L1(p),L2 (p),...,Lk (p)), де Li(p) - це мультимножина вершин мережі, які можна досягнути рівно за і кроків від вершини ρ в побудованій мережі подібності областей (на Фіг. 2 для прикладу зображено множину вершин, яких можна досягнути рівно за два кроки, де позначення 3 - це вершини, які досягнуто за два кроки). Мультимножина Li(p) може містити декілька разів одну вершину, якщо її можна досягнути декількома способами від вершини р рівно за і кроків. Також мультимножина Li(p) може містити вершину ρ або вершини з мультимножин L1(p), L2(p),…, Li-1(p). Рішення чи враховувати такі вершини повторно залежить від вибору функції агрегації Agr(…), 4) обрахунок кінцевого зображення О на основі вхідного зображення І і результату обчислення О(рі) для підмножини вершин, в околі яких необхідно знизити рівень шуму. Запропонований винахід пояснюється на прикладі реалізації способу усунення шумів одного каналу цифрового зображення. 4 UA 115360 C2 5 10 15 В подальшому описі, з метою розкриття реалізації запропонованого способу, називатимемо пікселем елемент зображення з цілими координатами. Точка на зображенні в загальному випадку може мати дробові координати. Читання кольору зображення за нецілими координатами відбувається з інтерполяцією кольорів сусідніх пікселів. Крок 1 (початок). Отримання оцифрованого зображення фізичного об'єкта з використанням світлочутливої матриці цифрового фотоапарату. Крок 2. Отримання вибраного каналу (R, G, В, Y, Сb, Сr, тощо) у цифровому вигляді як матриці I[1…w, 1…h], кожен елемент якої є числом в межах від 0 до 1, a w і h - ширина і висота зображення в пікселях; якщо р=(х, у) - точка на зображенні, то позначатимемо І(р)=І[х, у], якщо x, у - цілі координати пікселів. Зображення може бути отримане безпосередньо з матриці цифрового фотосенсора, отримане з мережі, прочитане зі збереженого наперед файлу, чи синтезоване в пам'яті обчислювального пристрою. Крок 3. Задання функції відмінності D(l, p1,p2) околу пікселів зображення р1 i р2, яка порівнює околи пікселів р1 і р2 й повертає менші значення для більш подібних околів. Один з можливих варіантів вибору функції D(I, р1, р2) є зважене порівняння пікселів у квадратному околі 55 пікселів навколо р1 і р2: D1, p1, p 2 20 25 30 35 40 45 50 55 e i 2 2 i 2 j 2 2 j2 p 1 i, j p2 i, j2 , де θ - параметр, який керує зменшенням ваги більш віддалених пікселів. Складнішими варіантами побудови функції відмінності D(l, p1,p2) є 1. Використання значень з піраміди зображень, яка складається з початкового зображення і множини зменшених зображень. 2. Використання інтегральних зображень. 3. Використання зображення, отриманого з початкового за допомогою частотнопросторового або вейвлет перетворення. 4. Додавання псевдовипадкового значення до результату функції D для запобігання утворення занадто однорідного результату. 5. Поєднання методів 1-4. Функцію відмінності можливо також побудувати на основі функції F (Ι, p), яка виділяє вектор характеристик околу пікселя p у зображенні Ι. У такому разі функція відмінності може обчислюватися, як норма D( , p1, p2 ) F, p2 F, p2 . При побудові вектору характеристик також можна скористатися поєднанням методів 1-4, зазначених для побудови функції відмінності. Крок 4. Побудова мережі подібності областей. Розроблена для вдосконалення методу усунення шумів мережа подібності областей - це простий або орієнтований граф, вершинами якого є точки зображення, а ребра або дуги сполучають деякі точки зображення, околи яких подібні. У найпростішому випадку вершинами мережі подібності областей є всі пікселі зображення. Складніші варіанти мережі подібності областей можуть бути отримані поєднанням таких методів: 1. Використання точок з декількох зображень, отриманих з початкового зменшенням і/або поворотом. 2. Використанням точок із зображень, отриманих з деякої бази наперед складених зображень або з мережі за певним запитом (критерієм). 3. Обмеження вершин мережі подібності областей до деякої підмножини пікселів зображення. 4. Обмеження зв'язків у мережі подібності областей до результатів сегментації зображення. 5. Створення вузлів мережі подібності областей між пікселями початкового зображення. Основою для побудови якісної мережі подібності областей є процедура вибору точок, які варто сполучити. Тут під якісною мережею подібності областей розуміють таку мережу, використання якої дає змогу отримати візуально якісний результат усунення шумів та дає змогу зменшити час обчислення. Один з варіантів отримати якісну мережу подібності областей - обмежити ступінь кожної вершини. У наведеній реалізації способу, результати якого наведені нижче, ступінь кожної вершини обмежено до 4, а мережа подібності областей будується за таким правилом: для кожної точки p, 5 UA 115360 C2 5 яка є вершиною мережі, знайти множину вершин, з якими сполучається вершина р з використанням кроків 4.1-4.4: 4.1) Покласти TP = ; 4.2) для кожного з (i, j) {(0,-4), (0,-2), (2,-4), (2,-2), (-4,-3), (-4,-1), (-2,-3), (-2,-1), (-3,1), (-3,3), (1,1), (-1,3), (1,0), (1,2), (3,0), (3,2)} додати до множини TP точку r, яка обчислюється за такою формулою: r p,i, j arg min D, p, q; qp i, j,p i 1, j,p i, j 1,p i 1, j 1 10 15 4.3) серед точок r TP з множини ТР вибрати 4 точки r1, r2, r3, r4, для яких функція D(Ι,p, r) найменша; 4.4) сполучити вершину мережі p орієнтованими дугами з чотирма вершинами мережі, які відповідають точкам r1, r2, r3, r4. Крок 5. Усунення шумів Із застосуванням мережі подібності областей. Усунення шумів виконується в 2 етапи. Перший етап полягає в обчисленні зважених векторів характеристик у вершинах мережі. У загальному цей крок можна описати функцією: O(p) Agr(l,p, L1(p),L2 (p),...,Lk (p)), де Agr ,p, S1, S2,..., Sk задає певну функцію, яка агрегує характеристики околу точки p і точок з мультимножин S1, S2,…, Sk. Один з варіантів функції агрегації, який використано в наведеній реалізації, обчислює зважену суму характеристик пікселів зображення в околі точки р і точок мультимножин S1,…, Sk. Op Fw , p, q, qp US1US2U... k US 20 25 30 35 40 Fw , p, q w p, q p, w p, q p 0,1, wp, q p 1,0, w p, q, w p, q e D,p,q, де q - біжуча змінна сумування, яка пробігає вершину p і її сусідів ступенів 1,2,…,k в мережі подібності областей, коефіцієнт α > 0 враховує ступінь усунення шумів на зображенні. Менші значення коефіцієнта α відповідають усуненню сильнішого шуму. Побудова функції агрегації також може виконуватися різними способами. Зокрема можна застосувати такі варіанти: 1. Використати статистичний розподіл точок у мультимножинах S1,S2,…,Sk для формування множини точок, окіл яких використовується при усередненні. 2. Використовувати різні вагові коефіцієнти для точок з мультимножин S1,S2,…,Sk. 3. Видаляти точки, які повторюються у мультимножинах S1,S2,…,Sk, враховуючи такі точки лише 1 раз. 4. Використовувати для визначення ваги функцію подібності областей, яка відрізняється від функції подібності областей, яка застосовувалась для побудови мережі подібності областей. На етапі 2 виконується обрахунок кінцевого зображення Ι1 на основі вхідного зображення Ι і результату обчислення O(р) для вершин з мережі подібності областей. У наведеній реалізації пікселі зображення Ι1 обчислено з використанням формули: 1 0 0 0 1 0 Op Op 0,1 Op 1,0 0 0 1 0 0 0 . 1p 0 0 0 0 0 0 Op Op 0,1 Op 1,0 0 0 0 1 1 1 Результат зберігається у вбудованій карті пристрою та/або виводиться на екран. Результати. Результати застосування наведеної реалізації методу зображено на Фіг. 3А, 3Б, 3В. На Фіг. 3А зображено початкове зображення, на Фіг. 3Б наведено результати застосування запропонованого способу, а на Фіг. 3В наведено результати застосування класичного алгоритму NL-means з параметрами, які забезпечують аналогічну швидкодію. Використання мережі подібності областей дає змогу отримати гладші контури об'єктів, ніж отримані із застосуванням методу NL-means, при цьому контури лишаються чіткі і не розмиваються. 6 UA 115360 C2 5 10 15 20 25 30 35 40 45 50 55 60 Заявником були проведені експерименти із базою зображень, які використовувалися авторами методу NL-means [14]. В результаті було досягнуто зменшення середньоквадратичного відхилення від оригінального незашумленого зображення в середньому на 3 % при виборі ділянок для усереднення з мережі подібності областей. При цьому на зображеннях зі складною структурою виграш становив до 10 %. Основний ефект від застосування мережі подібності областей досягається завдяки тому, що сусідні вершини розробленої мережі подібності, ступенів 1, 2, 3, … вилаштовуються у структури, які повторюють геометрію зображення (див. Фіг. 4). На Фіг. 4 сусідні елементи 4 у мережі подібності вилаштовуються у структури, які повторюють структуру і контури елементів зображення. На рисунку зображено елементи мережі, які є сусідами ступенів 1 та 2 до вершини мережі, яка розташована в центрі наведених зображень. Завдяки вибору лише областей, які можна досягнути в мережі подібності, зростає швидкодія способу, у порівнянні з відомим методом NL-means (описаним в прототипі). У наведеному прикладі використання, при виборі сусідів з мережі подібності глибиною 2, замість усереднення 289 околів точок з квадрата розміром 1717 пікселів навколо центрального пікселя, усереднюються лише 20, які досить ймовірно, є найбільш подібні до центрального околу (4 прямі сусіди у мережі і 16 сусідів ступеня 2). Тобто швидкодія збільшується приблизно у 14 разів. Враховуючи постійне збільшення продуктивності вбудованих процесорів фотокамер, таке пришвидшення дає змогу використовувати розроблений метод у цифрових фотокамерах. Завдяки тому, що усереднення виконується лише з областями, які подібні до області, яка відповідає центральному пікселю, отримане зображення менше змазане, ніж зображення, отримане за допомогою методу NL-means, за умови використання вікна малого радіуса. Хоча зазначений вище варіант виконання винаходу було викладено з метою ілюстрації заявленого винаходу, фахівцям зрозуміло, що можливі різні модифікації, додавання й заміни, що не виходять з обсягу і змісту даного винаходу, розкритого в прикладеній формулі винаходу. Винахід, що заявляється, може бути безпосередньо реалізований у програмному забезпеченні пристроїв, які фотографують фізичний об'єкт, для усунення шумів на отриманому зображенні. Такими пристроями можуть бути цифрові фотокамери, сканери, мобільні телефони, планшети з вбудованою камерою. Також винахід може бути реалізований у комп'ютеризованих пристроях, які безпосередньо не фотографують об'єкт, але на які зображення передається з використанням прямого підключення (дротового або бездротового) або з використанням мережевого зв'язку. Така реалізація можлива у вигляді консольної (серверної) програми, додатку з графічним інтерфейсом або у вигляді розширення (плагіна) до фоторедактора. Джерела інформації: 1. Wilson, R. & Watkins, J. (1990). Graphs: An Introductory Approach, John Wiley and Sons. 2. Perceiving Shapes through Region and Boundary Interaction Stella X. YU and Jianbo SHI Technical report CMU-RI-TR-01-21, Robotics Institute, Carnegie Mellon University, 2001. 3. A. Efros and T. Leung. Texture synthesis by non parametric sampling. In Proc. Int. Conf. Computer Vision, volume 2, pages 1033-1038, 1999. 4. Thomas Brox and Daniel Cremers. Iterated Nonlocal Means for Texture Restoration. In Scale Space and Variational Methods in Computer Vision, Springer LNCS 4485, F. Sgallari et al. (Eds.), pp. 13-24, May 2007. Springer-Verlag Berlin Heidelberg 2007. 5. Патент US6463182 (МПК G06K 9/40, дата публ. 08.10.2002 p.). Image processing apparatus and method for removing noise near an edge of an image. 6. Патент US5225915 (МПК H04N 5/21, G06T 3/00, H04N 1/405, H04N 1/409, H04N 5/14, H04N 9/77, дата публ. 06.07.1993). Image processing with noise enhancing operators for moire reduction and/or random dot generation. 7. Патент US5933540 (МПК G06K 9/00, дата публ. 03.08.1999 p.).Filter system and method for efficiently suppressing noise and improving edge definition in a digitized image. 8. Патент US8744209 (МПК H04N 1/409, G06K 9/40, G06T 5/00, H04N 5/21, дата публ. 03.06 2014 p.). Image processing apparatus and image processing method for visually reducing noise components contained in a low frequency range of image data. 9. Патент US8223395 (МПК H04N 1/46, H04N 1/409, G06K 1/00, G06K 15/00, G06K 9/00, дата публ. 17.07.2012 p.). Methods and systems for refining text color in a digital image. 10. Патент US7602991 (МПК G06T 15/00, G06K 9/36, G06K 9/40, дата публ. 13.10.2009 p.). User definable image reference regions. 11. Патент US5978505 (МПК G06T 5/20, G06T 1/40, дата публ. 02.10. 1999 p.). System and method for image regularization in inhomogeneous environments using clustering in neural networks. 12. Патент US6879732 (МПК H04N 1/409, G06T 5/20, G06T 5/00, G06K 9/40, дата публ. 12.04.2005 p.). Noise reduction in images. 7 UA 115360 C2 5 13. Патент US8253825 (МПК G06T 5/50, H04N 9/64, H04N 5/217, G06T 5/00, H04N 1/409, G06K 9/40, дата публ. 28.08.2012 p.). Image data processing method by reducing image noise, and camera integrating means for implementing said method. 14. Antoni Buades, Bartomeu Coll, and Jean-Michel Morel, Non-Local Means Denoising, Image Processing On Line, 1 (2011). ел. ресурс, реж. доступу http://demo.ipol.im/demo/bcm_non_local_means_denoising/ ФОРМУЛА ВИНАХОДУ 10 15 20 25 30 35 40 45 50 55 1. Спосіб обробки цифрового зображення, який включає наступні етапи: отримання зображення у цифровому вигляді; вибір множини точок на зображенні P={p1, p2,..., pn}; побудову мережі подібності областей, вершинами якої є точки з вибраної множини, шляхом сполучення вершин рР з вершинами мережі подібності областей, які відповідають подібним областям зображення і містяться в околі точки p, причому щонайменше одна з вершин рР сполучена з двома або більше іншими вершинами, а подібність областей зображення визначається наперед заданою функцією; застосування функції перетворення, яка має вигляд: O(p) Agr(l,p,L1(p),L2 (p),...,Lk (p)), де - вхідне зображення, р - поточна вершина мережі подібності областей, Lі(p), і=1,2,..., k - мультимножини вершин мережі подібності областей, вершини мультимножини Li(p) можна досягнути рівно за i кроків від вершини p в мережі подібності областей, Agr (…) - задана функція агрегації, k>1 - параметр методу; обчислення функції O(р) для кінцевого або проміжного результату для вершин мережі, в околі яких необхідно знизити рівень шуму; у випадку, якщо О(р) застосовується для обчислення проміжного результату, то здійснюють обчислення кінцевого результату. 2. Спосіб за п. 1, який відрізняється тим, що кожну вершину мережі подібності областей сполучають лише з вершинами, які розташовані у заданому околі круглої, квадратної або іншої заданої наперед форми від поточної вершини. 3. Спосіб за п. 1, який відрізняється тим, що множина вершин мережі подібності областей включає всі пікселі зображення. 4. Спосіб за п. 1, який відрізняється тим, що ступінь вершин в мережі подібності областей обмежений константою. 5. Спосіб за п. 1, який відрізняється тим, що використана при побудові мережі функція подібності областей має випадковий (псевдовипадковий) компонент. 6. Спосіб за п. 1, який відрізняється тим, що використана при побудові мережі функція подібності областей має компонент, який залежить від координат порівнюваних областей. 7. Спосіб за п. 2, який відрізняється тим, що для побудови мережі подібності областей окіл навколо заданої вершини мережі подібності розбивають на підмножини, з кожної підмножини вибирають одну або декілька вершин, окіл яких найбільш подібний до околу заданої вершини, з вибраних вершин вибирають декілька вершин, які відповідають найбільш подібним областям. 8. Спосіб за п. 1, який відрізняється тим, що мережа подібності областей сполучає подібні області з щонайменше двох зображень, а функція агрегації використовує інформацію з цих зображень, при цьому вершини мережі подібності розташовуються на різних зображеннях. 9. Спосіб за п. 8, який відрізняється тим, що мережа подібності областей сполучає області оригінального зображення з областями зображень, які отримують модифікацією оригінального зображення, а зв'язки мережі містять інформацію про відповідну модифікацію зображення, і ця інформація використана функцією агрегації Agr (...). 10. Спосіб за п. 9, який відрізняється тим, що мережа подібності областей сполучає області оригінального зображення із зображеннями, отриманими відомою колірною модифікацією оригінального зображення (зміна яскравості, контрасту, гами тощо) та/або просторовою модифікацією (зміна розміру, повороту, застосування іншого відомого афінного, перспективного чи нелінійного перетворення початкового зображення), а зв'язки мережі містять інформацію про відповідне перетворення зображення, і ця інформація використана функцією агрегації Agr (...). 11. Спосіб за п. 8, який відрізняється тим, що мережа подібності областей сполучає області оригінального зображення із зображеннями, які отримують з бази даних збережених зображень або мережі. 8 UA 115360 C2 5 10 15 20 25 12. Спосіб за п. 1, який відрізняється тим, що реалізований у пристрої, який має модуль для отримання зображень і модуль для опрацювання зображень. 13. Спосіб за п. 1, який відрізняється тим, що реалізований, у пристрої, який опрацьовує зображення, причому зображення на пристрій передають з використанням прямого підключення за допомогою дротового або бездротового з'єднання або з використанням мережевого з'єднання. 14. Спосіб за п. 1, який відрізняється тим, що міру подібності областей обчислюють на основі функції відмінності областей. 15. Спосіб за п. 14, який відрізняється тим, що міру відмінності областей зображення обчислюють на основі віддалі у просторі характеристик областей D( ,p1,p 2 ) F,p 2 F,p 2 . 16. Спосіб за п. 1, який відрізняється тим, що міру подібності областей обчислюють на основі піраміди зображень, яка містить початкове зображення та/або його зменшені варіанти. 17. Спосіб за п. 1, який відрізняється тим, що міру подібності областей обчислюють на основі інтегрального зображення. 18. Спосіб за п. 1, який відрізняється тим, що для обчислення функції міри подібності областей використовують зображення, отримані з початкового зображення за допомогою вейвлет, курвлет, Фур'є або за допомогою іншого відомого просторово-частотного перетворення. 19. Спосіб за п. 1, який відрізняється тим, що функцію О(р) обчислюють як і для вершин мережі подібності областей, так i для інших наперед заданих точок зображення, при цьому сусідство Li(p) визначають з використанням одного або декількох найближчих до точки ρ вузлів мережі. 20. Спосіб за п. 1, який відрізняється тим, що мережу подібності областей будують для зменшеного зображення, а потім мережу збільшують та уточнюють для більших зображень, причому така побудова може виконуватися в декілька кроків. 21. Спосіб за п. 1, який відрізняється тим, що будують декілька мереж подібності областей з використанням різних функцій подібності, а зв'язки цих мереж об'єднують в одну мережу або використовують разом у функції агрегації. 9 UA 115360 C2 10 UA 115360 C2 Комп’ютерна верстка А. Крижанівський Міністерство економічного розвитку і торгівлі України, вул. М. Грушевського, 12/2, м. Київ, 01008, Україна ДП “Український інститут інтелектуальної власності”, вул. Глазунова, 1, м. Київ – 42, 01601 11
ДивитисяДодаткова інформація
МПК / Мітки
МПК: G06K 9/40, G06T 5/00, H04N 1/409
Мітки: обробки, спосіб, зображення, рівня, цифрового, зниження, шуму
Код посилання
<a href="https://ua.patents.su/13-115360-sposib-obrobki-cifrovogo-zobrazhennya-dlya-znizhennya-rivnya-shumu.html" target="_blank" rel="follow" title="База патентів України">Спосіб обробки цифрового зображення для зниження рівня шуму</a>
Попередній патент: Електронний курильний виріб
Наступний патент: Вогнетривка бетонна суміш
Випадковий патент: Система охолодження двигуна тепловоза