Спосіб комплексного підвищення якості цифрового багатоспектрального аерокосмічного знімка

Спосіб комплексного підвищення якості цифрового багатоспектрального аерокосмічного знімка, у складі якого панхроматичне зображення високої просторової якості і сукупність з N оригінальних зональних зображень більш низької просторової якості, за яким для підвищення якості зональних зображень піксельна розмірність кожно C2 2 (11) 1 ЯКОСТІ UA ПІДВИЩЕННЯ (19) (54) СПОСІБ КОМПЛЕКСНОГО АЕРОКОСМІЧНОГО ЗНІМКА 3 топографічної основи, проте насамперед зональні зображення дозволяють отримувати різноманітну інформацію щодо об'єктів і процесів на поверхні Землі, оцінювати їх стан, будувати певні прогнози. Але доволі низька просторова і радіометрична якість зональних зображень суттєво обмежує можливості їх дешифрування. Тому актуальною є задача підвищення якості зональних аерокосмічних зображень зі складу цифрового багатоспектрального аерокосмічного знімка. Загальний теоретичний підхід до вирішення цієї задачі викладено, зокрема, в [3]. Конкретні технічні рішення щодо підвищення якості зональних аерокосмічних зображень зі складу цифрового багатоспектрального аерокосмічного знімка містяться в патентах [4–8]. У патенті [4] запропоновано для підвищення просторової якості (просторової розрізненності) оригінальних (вхідних) зональних зображень використовувати перетворення Грама-Шмідта. Зональне зображення розкладається в ряд ГрамаШмідта, далі частина членів ряду заміщується відповідними статистиками панхроматичного зображення, після чого здійснюється зворотне перетворення. Спосіб [4] має ту перевагу, що спектральні контрасти, які зареєстровані на оригінальному зональному зображенні, після проведення процедури підвищення просторової розрізненності в основному не спотворюються. Недоліки - необхідність проведення складних розрахунків, неврахування фізичних характеристик об'єктів сцени. У патенті [5] ефект підвищення просторового розрізнення оригінальних зональних зображень досягається за рахунок того, що спочатку шляхом ресемплінгу урівнюють кількість пікселів зональних та панхроматичного зображень, далі здійснюють аналіз і класифікацію об'єктів сцени по панхроматичному зображенню, після цього для цих об'єктів відбирають зі спектральної бібліотеки відповідні спектрограми і переобчислюють їх на спектральні сигнатури, якими заміщуються відповідні піксели зонального зображення. У патенті [6] підвищення просторової розрізненності зональних (гіперспектральних) зображень досягається шляхом субпіксельного перерозподілу часток спектральних компонент зображення з урахуванням просторових зв'язків. Особливістю способів [5, 6] є врахування фізичних характеристик об'єктів сцени. Проте обом способам притаманні такі недоліки: 1) умова наявності достатньо повної спектральної бібліотеки зі спектрограмами різноманітних об'єктів, що не завжди може бути задоволено, 2) обчислювальна складність розрахунків. Більш ефективними з цієї точки зору й близькими до способу, що пропонується, є способи, які описані в патентах [7] і [8]. У способі [7], який можна розглядати як аналог способу, що пропонується, зональні зображення підвищеної просторової якості формуються за такою схемою: 1. Розмірність зональних зображень (кількість пікселів) шляхом ресемплінгу урівнюють з розмірністю панхроматичного зображення. 96725 4 2. Всі оригінальні зображення (панхроматичне та зональні) нормалізують. 3. Методом регресії на основі зональних зображень синтезується додаткове панхроматичне зображення. 4. Співвідносять величини відповідних піксельних сигналів в оригінальному і додатковому панхроматичних зображеннях, тобто шляхом ділення цих величин обчислюють коефіцієнти співвідношення для кожного піксела. 5. Кожний піксел зонального зображення підвищеної просторової якості формується множенням величини сигналу у пікселі цього зображення на відповідний коефіцієнт співвідношення. Спосіб [7] не потребує додаткових даних, окрім самих зображень, що є його перевагою. Недоліком способу є обчислювальна складність у реалізації. Крім того, передбачена процедурою способу [7] необхідність нормалізації оригінальних зображень призводить до втрат частини інформації, яка міститься в оригінальних зображеннях. Найбільш близьким до запропонованого способу є спосіб, описаний в патенті [8], він є прототипом. За прототипом, для підвищення якості зональних зображень спочатку піксельна розмірність оригінальних зональних зображень приводиться шляхом ресемплінгу до піксельної розмірності панхроматичного зображення, далі шляхом сумування зональних зображень формують усереднене зональне зображення, розраховують різницеве зображення як різницю між панхроматичним зображенням і усередненим зональним зображенням, після чого отримують покращене зональне зображення, пісумовуючи відповідне зональне зображення з різницевим зображенням. Спосіб [8] є простим в розрахунках і не потребує додаткових даних, окрім наявності власне самих зображень. Проте він має такий недолік. Кінцеве зональне зображення формується тут на основі лінійної комбінації оригінальних зональних зображень, кожне з яких, як було відмічено вище, зазвичай характеризується невеликим значенням співвідношення сигнал/шум. У подібних випадках (при низьких величинах сигнал/шум для оригінальних зональних зображень) якість відображення на кінцевому зональному зображенні слабкоконтрастних і дрібних деталей об'єктів буде недостатньою для їх дешифрування. В основу винаходу поставлена задача створити спосіб комплексного підвищення якості цифрового багатоспектрального аерокосмічного знімка, який за рахунок покращення просторового розрізнення разом з підняттям значення відношення сигнал/шум для кожного зонального зображення зі складу багатоспектрального знімка забезпечив би підвищення його дешифрувальних можливостей та розширив область практичних застосувань. Поставлена задача вирішена тим, що в способі комплексного підвищення якості цифрового багатоспектрального аерокосмічного знімка (фіг. 1), який включає цифровий багатоспектральний знімок (блок 1) і складається з одного панхро 5 96725 матичного зображення і N зональних зображень, що формально може бути записано, як MS  {P, Si;i  12,...,N} , , (1) де MS - цифровий багатоспектральний знімок; P - панхроматичне зображення; Si - зональне зображення, отримане в і-му спектральному каналі; оцінюють шумову складову у кожному із оригінальних зональних зображень. Передбачається, що розмір панхроматичного зображення складає X  Y пікселів; а розмір будьякого зонального зображення складає ( X / n)  (Y / m) , де m, n - цілі числа, причому X кратне n , а Y кратне m . Для оцінки шуму (фіг. 2) на кожному зональному зображенні (блок 2.1) виділяється однорідний за значеннями яскравості фрагмент (блок 2.2). З елементів цього фрагмента формується вектор А значень яскравості для кожного зонального зображення. Розраховується математичне очікування вектора А, вектор центрується, після чого обчислюється його 2 дисперсія  , яка й визначає собою параметр шуму (блок 2.3). Після цього синтезують фільтри послаблення шумів. Синтезування фільтрів для кожного зонального зображення реалізується шляхом визначення параметрів фільтра на основі панхроматичного зображення. Параметри фільтра розраховуються, виходячи із моделей формування елементів зображення вздовж рядка та стовпця, які записуються за допомогою авторегресійних моделей р-го порядку: p sr (k )    s (k  i)  g w (k ), k  1,N i r r r i 1 (2) p s c (l )   b s (l  i)  g w (l), l  1,M i c i 1 c c (3), sr (k ) sc (l) , - елементи зображення; bi i  1 P , , , - параметри авторегресійних моделей; gr gc , - середньоквадратичні відхилення шуму збудження; wr (k ) w c (l) , - послідовність некорельованих гаусівських випадкових. Для синтезування фільтра панхроматичне зображення приводиться шляхом ресемплінгу до розмірів зонального зображення (блок 2.4) та розраховується дисперсія яскравостей приведеного зображення (блок 2.5). Далі з приведеного панхроматичного зображення формуються вектори s (k ) значень яскравостей пікселів в рядках r та sc (l) стовбцях . У блоці 2.6 за отриманими вектоде i 6 s (l) та c обчислюються кореляційні Rr Rc функції та : рами sr (k ) p Rr (0 )    R (i )  g 2 r i r i 1 , (4) p Rr ( t )    R (t  i)  g , t  1,p 2 r i r i 1 (5). Отримані значення коефіцієнтів фільтра (блок F F 2.7) записуються у матриці r , c та формуються G G вектори r , і c . 1  2 ... p 1 p Fr  1 0 ... 0 0 0 0 1 0 ... ... 0 1 0 0 gr ; Gr  b1 b2 ... bp 1 bp Fc  1 0 ... 0 0 0 0 1 0 ... ... 0 1 0 0 0 ... 0 gc ; Gc  (6) 0 ... 0 Далі за допомогою синтезованих фільтрів, що описуються виразом (6), здійснюється фільтрація зональних зображень (блок 3). У блоці 3  обчислюється математичне очікування i кожного зонального зображення, кожне зображення центрується і обробляється синтезованим фільтром. Позначимо і-е відфільтроване зональне Sf зображення як i . Всі відфільтровані зональні зображення цифрового багатоспектрального знімка приводяться шляхом ресемплінгу до розміру панхроматичного зображення (блок 4), в результаті отримується   S f ; i  1,2,...,N сукупність зображень i . Після цього формується кожне і-е усереднене зображення (блок 5) за формулою: Qi  1 N 1 N S k 1 k i f i (7). Надалі формують різницеве зображення для кожного каналу і (блок 6) як різницю між панхроматичним зображенням та і-м усередненим зображенням за виразом: Di  P  Qi . (8) Кожне вихідне зональне зображення підвищеної якості розраховується в блоці 8 у вигляді ˆ Si  Sif   iDi , (9) i 0  i  1 де - ваговий коефіцієнт, . Значення вагового коефіцієнта задається експертним шляхом (блок 7). 7 96725 Після проведення вище описаних обчислювальних операцій для кожного каналу і в результаті отримується вихідний цифровий багатоспектральний знімок (блок 9) підвищеної якості. Комплексне підвищення якості цифрового багатоспектрального аерокосмічного знімка забезпечується за рахунок того, що покращується просторове розрізнення разом з підняттям значення відношення сигнал/шум для кожного зонального зображення зі складу багатоспектрального знімка. Це значно підвищує дешифрувальні можливості знімка і розширяє область його практичних застосувань. Для пояснення суті винаходу на фіг. 1 наведено зміст та схему виконання операцій, які складають запропонований спосіб, а саме: 1 - цифровий багатоспектральний знімок; 2 - процедура оцінювання шумів зональних зображень та синтезування фільтрів для кожного з них; 3 - фільтрація зональних зображень; 4 - ресемплінг відфільтрованих зональних зображень; 5 - формування усереднених відфільтрованих зображень; 6 - формування різницевих зображень; 7 - зважування різницевих зображень; 8 - розрахунок покращених зональних зображень; 9 - вихідний цифровий багатоспектральний знімок покращеної якості. На фіг. 2 представлено схему процедури оцінювання шумів зональних зображень та синтезування фільтрів для кожного з них: 8 2.1 - вхідне (оригінальне) зональне зображен ня; 2.2 - виділення однорідного фрагмента на зональному зображенні; 2.3 - визначення параметрів шуму; 2.4 - ресемплінг панхроматичного зображення; 2.5 - розрахунок дисперсії приведеного панхроматичного зображення; R 2.6 - визначення кореляційних функцій r та Rc ; 2.7 - формування фільтра для кожного зонального зображення. Суть винаходу пояснюється таким прикладом. Було проведено порівняння застосування відомого та запропонованого способів (фіг. 3а і 3б відповідно) для зонального зображення 2-го каналу багатоспектрального знімка, отриманого з супутника WorldView2 із значенням середньоквадратичного відхилення шуму 0,2 на фіг. 3 Для оцінювання рівня відтворення деталей геометричної форми об'єктів на зображенні була застосована величина градієнта [9, 10], яка розраховується за таким виразом:  S i ( X, Y )  1 XY X Y  u( x  1, y )  u( x, y )2  u( x, y  1)  u( x, y )2 x 1 y 1 , (10) де X  Y - розмір зображення в пікселах; ( x, y) ; x  12,..., X ; y  12,...,Y , - положення , , піксела зображення; u(x, y) - величина сигналу у поточному пікселі. Результати розрахунків наведено у таблиці 1 та проілюстровано на фіг. 4. Вони наочно показують переваги заявленого способу. Таблиця 1 Результат оцінки відомого та запропонованого способів Значення градієнта зонального зобраЗначення градієнта вхідного зонального ження, синтезованого за запропонованим Номер спектрального зображення способом каналу ˆ ˆ вх ( X, Y) вх ( X, Y) âõ ( X, Y) âõ ( X, Y) 1 7,313 7,705 25,798 31,899 2 7,412 7,810 16,161 20,155 3 7,851 8,272 11,148 13,957 4 8,028 8,458 13,640 17,069 5 7,954 8,381 10,179 12,590 6 9,591 10,109 13,572 17,017 7 9,898 10,435 11,309 13,462 8 9,784 10,315 16,105 20,117 Ще одним з критеріїв оцінки запропонованого способу була візуальна якісна оцінка синтезованих кольорових зображень до та після застосування запропонованого способу (фіг. 5). Кольорові зображення були синтезовані в системі RGB за умови, що червона (R) компонента відповідала зображенню п'ятого зонального каналу (центральна довжина хвилі 660 нм), зелена (G) - третьому ка налу (545 нм), блакитна (В) - другому каналу (480 нм). Отримані результати підтверджують ефективність запропонованого способу, а використання у способі виключно простих математичних операцій дозволяє зменшити обчислювальні витрати під час проведення етапу попереднього оброблення багатоспектральних аерокосмічних знімків. 9 Джерела інформації: 1. Schott J.R. Remote Sensing: The Image Chain nd Approach. 2 ed. -Oxford University Press. 2007.666 p. 2. Landgrebe D. Signal Theory Methods in Multispectral Remote Sensing. - John Willey & Sons, 2003.-508 p. 3. Laben C.A., Brower B.V. Process for enhancing the spatial resolution of multispectral imagery using pan-sharpening // US Patent 6011875, 2000. G06T 05/10; G06K 09/36. 4. Mitchell H.B. Image Fusion Theories, Techniques and Applications. -Springer. 2010.-249 p. 5. Попов М.О., Станкевич С.А. Спосіб підвищення просторової розрізненності багатоспектральних аерокосмічних зображень на основі класифікування спектральних сигнатур об'єктів // Патент України на винахід № 84877 від 01.03.2006 p. G06K 9/00. 96725 10 6. Попов М.О., Станкевич С.А., Шкляр С.В. Спосіб підвищення просторової розрізненності гіперспектральних аерокосмічних зображень на основі субпіксельного перерозподілу часток спектральних компонент // Патент України на винахід № 92541 від 10.11.2010 p. G06K 9/00; G06K 9/40. 7. Zhang Y. System and Method for Image Fusion // US Patent 7340099. 4 March 2008. G06K 9/46. 8. Choi M.-J., Lee D.-H., Lim H.-S. Satellite Image Fusion Method and System // Patent Application Publication US 2009/0226114A1, 10 Sept. 2009. G06K 9/36. 9. Гонсалес P. Цифровая обработка зображений / P. Гонсалес, Р. Вудс. - M.: Техносфера, 2005.-1072 с. 10. Ryan R., Baldridge R., Schowengerdt R., Choi Т., Helder D., Slawonir B. IKONOS spatial resolution and image interpretability characterization. // Remote Sensing of Environment.-2003. - Vol. 88. No. 1. - pp. 37-52. 11 96725 12 13 Комп’ютерна верстка Д. Шеверун 96725 Підписне 14 Тираж 23 прим. Державна служба інтелектуальної власності України, вул. Урицького, 45, м. Київ, МСП, 03680, Україна ДП “Український інститут промислової власності”, вул. Глазунова, 1, м. Київ – 42, 01601