Спосіб зміни роздільної здатності зображень

Реферат: Спосіб зміни роздільної здатності зображень, згідно з яким використовують машинне навчання для синтезу зображення високої роздільної здатності. Здійснюють попереднє перетворення навчальної пари зображень до форми фреймів поза нейроподібною структурою моделі геометричних перетворень. Процедуру навчання здійснюють з використанням нейроподібної структури моделі геометричних перетворень. Після цього перетворюють кожен фрейм із вхідного зображення у фрейм відповідної роздільної здатності результуючого зображення, до утворення зображення високої чи низької роздільної здатності. UA 114017 U (54) СПОСІБ ЗМІНИ РОЗДІЛЬНОЇ ЗДАТНОСТІ ЗОБРАЖЕНЬ UA 114017 U UA 114017 U 5 10 15 20 25 30 35 40 45 50 55 Корисна модель належить до галузей штучного інтелекту, а саме до систем технічного зору, систем цифрового опрацювання зображень та може бути використана для попередньої обробки зображень, зокрема для покращення якості зображень шляхом збільшення їх роздільної здатності. Відомий спосіб зміни роздільної здатності [Dong C. Image Super-Resolution Using Deep Convolutional Networks /Dong Chao, Loy Chen Change, He Kaiming, Tang Xiaoou //IEEE Transactions on Pattern Analysis and Machine Intelligence, Preprint. - 2015. - P. 14.], який передбачає виконання процедури збільшення роздільної здатності на основі використання конволюційної нейронної мережі (КНМ). Реалізація способу відбувається шляхом виконання таких кроків: попередня обробка зображень, процес навчання, синтез зображення підвищеної роздільної здатності. Перший крок згідно з відомим способом - поділ пар зображень низької/високої роздільної здатності на фрейми, який здійснюють всередині конволюційної нейронної мережі. Наступний крок - навчання, де встановлюють відповідності між фреймами низької та високої роздільної здатності. Процедура навчання згідно зі способом, використовує ітераційний алгоритм зворотного поширення похибки і при однакових налаштуваннях може давати різні результати (тобто існує проблема однозначності розв'язку). Кількість ітерацій у процедурі навчання, яка 8 необхідна для ефективної роботи способу становить 8*10 , що визначає високі часові затрати при роботі відомого способу. Окрім цього, процедура навчання згідно зі способом на основі КНМ, для забезпечення ефективних результатів передискретизації, вимагає наявності великої кількості пар зображень, що теж збільшує час роботи способу, зокрема на стадії навчання. Процес синтезу зображення високої роздільної здатності згідно з відомим способом відбувається шляхом пошуку найбільш ймовірних фреймів серед бази, отриманої в результаті виконання процедури навчання. Окрім цього, синтез нового зображення за існуючим способом здійснює лише процедури збільшення роздільної здатності зображень. В основу способу зміни роздільної здатності зображень на основі машинного навчання поставлена задача створення способу зміни роздільної здатності зображення, в якому за рахунок використання нового інструментарію для реалізації процедури навчання можна було б зменшити часові та обчислювальні витрати при реалізації вищевказаної процедури. Поставлена задача вирішується тим, що використовують машинне навчання для синтезу зображення високої роздільної здатності, який відрізняється тим, що, здійснюють попереднє перетворення навчальної пари зображень до форми фреймів поза нейроподібною структурою моделі геометричних перетворень, процедуру навчання здійснюють з використанням нейроподібної структури моделі геометричних перетворень, після чого перетворюють кожен фрейм із вхідного зображення у фрейм відповідної роздільної здатності результуючого зображення, до утворення зображення високої чи низької роздільної здатності. Навчена на одних зразках НПС МГП може розв'язувати поставлену задачу зовсім на інших. Це забезпечується високою здатністю НПС моделі геометричних перетворень до узагальнення. Значення цільового коефіцієнта зміни роздільної здатності при цьому визначене на стадії навчання. Швидке перенавчання є ще однією перевагою НПС МГП при обробці, наприклад, набору зображень різних класів з флуктуаціями функції інтенсивності. Його реалізують в автоматичному режимі, що не вимагає додаткового налаштування параметрів структури НПС МГП. Це зменшує обчислювальні ресурси, необхідні для роботи способу. Окрім цього, процедура навчання за розробленим способом використовує неітераційний алгоритм навчання, що забезпечує суттєве підвищення швидкодії в режимі навчання. На фіг. 1 представлено топологію нейроподібної структури моделі геометричних перетвореньдля розв'язання задачі збільшення роздільної здатності зображень, на фіг. 2 топологію нейроподібної структури моделі геометричних перетворень для розв'язання задачі зменшення роздільної здатності зображень. Розроблений спосіб реалізують шляхом виконання наступних перетворень: попередня обробка зображень, процес навчання, передискретизація вхідного зображення. Попередня обробка зображень. Вхідними даними розробленого способу є пара зображень низької та високої роздільної (РЗ), на основі яких проводять навчання. Нехай зображення низької РЗ є матрицею I , розмірністю l  I , l  N , l  0 , а зображення високої РЗ - матрицею Im , розмірністю h  h , h N , h  0 , із значень інтенсивності пікселів. Тоді: 1 UA 114017 U  c (m )  c (m)   c1,1  c1,l  1,h    m  1,1 I       , I       , (1)  (m )     c h,1  c (m)   c l,1  c l,l  h,h   де c ij , c (m) - значення функції інтенсивності в пікселі з координатами i, j зображень з i, j 5 низькою I та високою Im P3 відповідно; m N , m  0 - коефіцієнт зміни роздільної здатності; h  l  m - змінна, яка визначає розмірність матриці зображення з високою РЗ Im . Для реалізації технології навчання обидва зображення перетворюють до табличної форми. Це відбувається наступним чином. Спочатку їх ділять на однакову кількість фреймів Pi, j , P m  i, j (квадратних плоских областей значень функції інтенсивності зображення):  c k i 11,k  j 11  c k i 11,kj    ; Pi, j         c ki,k  j 11  c ki,kj    (2) m  c m   c mki 11,mkj   mk i 11,mk  j 11   , i, j  1 n, Pi,m       , j   m m  c mki,mkj   c mki,mk  j 11   де k  N , k  0 - змінна, яка визначає розмірність фрейму Pi, j зображення з низькою РЗ, 10   тобто dim Pi, j  k  k . Змінна n , що визначає кількість фреймів Pi, j із зображення I низької РЗ визначається так: l , n N , n  0 . (3) k Відзначимо, що k є кратним до l . Якщо ввести позначення: k m  mk , (4) n то розмірність фрейму P m  із зображення з високою РЗ буде рівною dim( Pm )  k m  k m . i, j i, j 15 Відповідно до цього k m  N , k m  0 є змінною, яка визначає розмірність фрейму P m  i, j зображення Im . Очевидно, що dim Pi, j  dim Pm  n2 . i, j      Тоді у відповідності до (4) та визначення значення h , значення k m  є кратним до значення 20 h. Покриття фреймами є диз'юнктивним. Таким чином, матриці (1) можна представити у вигляді наборів відповідних фреймів: 25  Pm  Pm   P1,1  P1,n  1,n    m  1,1 I       , I       , (5)  m      Pn,1  Pnm  ,n   Pn,1  Pn,n   Розв'язанні задачі збільшення РЗ зображення виражається рівністю (4). У випадку розв'язанні задачі зменшення РЗ зображення повинна виконуватися така рівність: k  k m  %m , (6) де % - операція цілочислового ділення. Подальша підготовка пари зображень до навчання полягає в наступному. Кожен отриманий фрейм Pi, j із l представляють у вигляді вектора A 30 вигляді вектора A m  (8): li 1 A li 1 j k  j k j li 1 k  , (7), а кожен фрейм P m  із Im - у i, j  c kik 1,kjk 1,, c kik 1,kj,, c ki,kjk 1,, c ki,kj , (7) 2 UA 114017 U m m  m  A mli 1   c m  m   k m i k 1,k m  j k 1,, c k m i k m  1,k m  j ,, c k m i,k m  j k 1,, c k m i,k m  j  . (8)   j k   Зазначимо, що множини A li 1  , та    j k       m  є однаковими за розмірністю: A li 1    j k            dim A li1   dim A mli1   n2. (9)  j k   j k      На наступному кроці процедури формують навчальну вибірку, із відповідних множин 5         A li 1  , та A mli 1  наступним чином.  j   j k  k      Матрицю навчального набору даних M для розв'язання задачі збільшення РЗ зображення на основі НПС МГП, при виконані (4), формують так: m   A  1 A1  M    , (10)    A n 2 A m  2 n   де розмірність множини dim A1 визначає кількість входів НПС МГП, а розмірність множини 10    dim A 1m  - кількість виходів нейроподібної структури МГП. Матрицю навчального набору даних M для розв'язання задачі зменшення РЗ зображення на основі НПС МГП, при виконані (6), формують так:  A m A  1   1 M    , (11)  m   A 2 A n2   n  де розмірність множини dim A m  визначає кількість входів нейроподібної структури МГП, а 1 розмірність множини dim A1 - кількість виходів НПС МГП. Процес навчання. Процедуру навчання реалізують з використанням НПС МГП. Сформовану матрицю навчальної вибірки M згідно з (10) або згідно з (11) (в залежності від поставленої задачі) подають на НПС МГП. Топології НПС МГП а) - для задачі збільшення РЗ, або б) - для задачі зменшення РЗ зображення наведено на фіг. 1. Матрицю M представляють в такому вигляді:  x1,1  x 2  2  1,k  mk    . (12) M       xn 2 ,1  xn 2 ,k 2  mk 2    Технологія навчання НПС МГП є відомою і детально подана у [[Рашкевич Ю.М. Нейроподібні методи, алгоритми та структури обробки сигналів і зображень у реальному часі. /Ю.М. Рашкевич, P.O. Ткаченко, І.Г. Цмоць, Д.Д. Пелешко: Монографія - Львів: 2014. - 256 с.], [Медиковський М.О. Інтелектуальні компоненти інтегрованих автоматизованих систем управління: монографія /М.О. Медиковський, P.O. Ткаченко, І.Г. Цмоць, Ю.В. Цимбал, А.В. Дорошенко, О.В. Скорохода. - Львів: Видавництво Львівської політехніки, 2015. - 280 с.]. Коротко розглянемо основні кроки алгоритму навчання саме для розв'язання задачі зміни РЗ зображення. 1 1 1  з навчальної На першому кроці, вибирають базовий рядок x b  , x b    x b,1,, x 1 2  2  b,k  mk    матриці M , сума квадратів елементів якого є максимальною 1  b  n2 .   15 20 25 30 3 UA 114017 U Кожен вектор рядка початкової матриці перетворюють до x 2  як різницю між кожним N 1 1 1 вектором-рядком xN  , ( xN   xN,r ,, x 12 2  2 n ,k  mk   1 x b  на коефіцієнт K 1 : ) з матриці M , та добутком вибраного рядка   N x 2   x 1  K 1  x 1 , (13) N 5 N N b де 1  N  n2 . Величина K 1 для кожного рядка визначається за умови мінімуму різниці в сенсі критерію N найменших квадратів: k 2  km x   x   (14)    x 2  1 K N  1 N,r r 1 k 2  km 1 2 b,r r 1 10 1 b,r 1 Для кожного рядка xN  навчальної матриці M обчислюють додатковий параметр, що є, по суті, першою компонентою числової характеристики першої реалізації: 1   xN,r  xb1,r  z 1 PN   r 1 z  x 1 r 1 2 b,r  , (15) 2 у випадку (10) або z  mk 2 для випадку (11). де z  k 1 Коефіцієнт K 1* задають як функцію F1 від параметра PN  : N   1 1 K N*  F 1 PN  . (16) 15  На наступному кроці вибирають рядок x b2  з навчальної матриці M , сума квадратів  елементів якого є максимальною. При цьому значення елементів x b2  обчислюють так:  1 1 1 x b2   x b   K N*  x b  . (17) Для q - того кроку обчислень, де q  1 k 2  km 2 , маємо: , 20 q q q  xN 1  xN   K N *  x bq , (18) K q*  Fq Pq , (19)   N N q   xN,r  xbqr  , z  PNq  r 1 z   x bq 1   2 x q b,r r 1  q x bq  K N * , (20)   x bq . (21) На основі (18)-(21) початкову матрицю реалізацій M з (12) можна подати у вигляді: k 2  mk  2 M  q1 25 q q KN * xN  . (22) q Результатами навчання на основі сукупності процедур (18) - (21) є визначені вектори xN  та набір функцій Fq , що є передатними для НПС МГП. Передискретизація вхідного зображення на основі нейроподібних структур моделі геометричних перетворень. В режимі застосування на вхід НПС МГП подають матрицю Mt , де 4 UA 114017 U  A m   A1   1    Mt     - при розв'язанні задачі збільшення РЗ зображення, або Mt     , при  m    A 2   A n2   n  розв'язанні задачі зменшення РЗ зображення. Матрицю Mt представляють у наступному вигляді: 5  x1,1  x1,z    Mt       , (23)  x 2  x 2   n ,z   n ,1 де z визначається так само, як і для (2.15). Далі, для заданих вхідних компонентів вектора x q з матриці Mt (23) обчислюють P 1 N N 1* . Для q  1 , відповідно до згідно з 15). Відповідно до (14) шукають значення коефіцієнтів K N (16) виконують перший крок перетворень вхідного вектора x q . N На основі (20), (19), (18) виконують послідовні перетворення для qmax  1 k 2 · Основною , 10 15 метою цих перетворень є пошук величин: K 1* ,K 2* ,,K qmax * . N N N На основі суми (22) обчислюють шукані вихідні компоненти кожного вектора з Mt . Рядки новоутвореної матриці є векторами (7) або (8) із отриманих значень функції інтенсивності зменшеного чи збільшеного зображення. Тому останнім кроком процедури є збір  спродукованої НПС МГП матриці у результуюче зображення низької Ir або високої Irm  роздільної здатності. Ця процедура передбачає зворотне перетворення рядків отриманої матриці з форми векторів (7) або (8) до форми відповідних фреймів Pi, j чи P m з (2). Вихідне зображення i, j зменшеної чи збільшеної РЗ формують шляхом збору отриманих фреймів відповідно Pi, j для Ir  або P m для Irm  , подібно до (5): i, j 20  Pm  Pm   P1,1  P1,n   1,1 1,n     Ir       , або Irm       , (24)  m      Pn,1  Pnm  ,n   Pn,1  Pn,n    де Ir - вихідне зображення зменшеної РЗ, Irm  - вихідне зображення збільшеної РЗ. ФОРМУЛА КОРИСНОЇ МОДЕЛІ 25 30 Спосіб зміни роздільної здатності зображень, згідно з яким використовують машинне навчання для синтезу зображення високої роздільної здатності, який відрізняється тим, що здійснюють попереднє перетворення навчальної пари зображень до форми фреймів поза нейроподібною структурою моделі геометричних перетворень, процедуру навчання здійснюють з використанням нейроподібної структури моделі геометричних перетворень, після чого перетворюють кожен фрейм із вхідного зображення у фрейм відповідної роздільної здатності результуючого зображення, до утворення зображення високої чи низької роздільної здатності. 5 UA 114017 U Комп’ютерна верстка Л. Литвиненко Державна служба інтелектуальної власності України, вул. Василя Липківського, 45, м. Київ, МСП, 03680, Україна ДП “Український інститут інтелектуальної власності”, вул. Глазунова, 1, м. Київ – 42, 01601 6