Спосіб стиснення гіперспектральних аерокосмічних зображень з частковим придушенням шумів та урахуванням кореляції між спектральними зонами

Реферат: Винахід належить до напрямку попереднього оброблення гіперспектральних аерокосмічних зображень, що формуються бортовими авіаційними та супутниковими гіперспектральними системами дистанційного зондування Землі (ДЗЗ). Спосіб передбачає стиснення з такими параметрами кодера, щоб внесені втрати забезпечували часткове придушення шумів і не спотворювали інформативну складову гіперспектрального зображення. Крім того, стиснення виконується з урахуванням кореляції суміжних спектральних зон гіперспектрального зображення у групах, для яких параметри стиснення відрізняються несуттєво. Спосіб дозволяє підвищити рівень стиснення гіперспектральних аерокосмічних зображень в 5-150 разів у порівнянні із стисненням без втрат. 0 UA 105236 C2 5 10 15 20 25 30 35 40 45 50 55 60 Винахід належить до напрямку попереднього оброблення гіперспектральних аерокосмічних зображень, що формуються бортовими авіаційними та супутниковими гіперспектральними системами дистанційного зондування Землі (ДЗЗ). Прикладами гіперспектральних систем є: авіаційні - AVIRIS (Airborne Visible/Infrared Imaging Spectrometer), CASI (Compact Airborne Spectrographic Imager), DAIS (Digital Airborne Imaging Spectrometer), GERIS (Geophysical and Environmental Research Imaging Spectrometer), HYDICE (Hyperspectral Digital Imagery Collection Experiment), HyMap+ (Hyperspectral Mapper), ROSIS (Reflective Optics System Imaging Spectrometer), супутникові - CHRIS (Compact High Resolution Imaging Spectrometer), FTHSI (Fourier-Transform Hyperspectral Imager), Hyperion (Hyperspectral Instrument) та інші [1]. Формування гіперспектральних знімків базується на реєстрації зображення в багатьох (десятки або сотні) вузьких (5-20 нм) спектральних зонах, головним чином у видимій, ближній та середній інфрачервоній (довжини хвиль 0,4-2,5 мкм). Тому гіперспектральні аерокосмічні зображення мають дуже великий фізичний обсяг (сотні гігабайт), що накладає суттєві обмеження на традиційні способи їх передавання, обробки та інтерпретації [2, 3]. Проблема ефективного стиснення гіперспектральних аерокосмічних зображень зараз дуже гостра. Відомі способи стиснення без втрат забезпечують коефіцієнт стиснення (КС) гіперспектральних зображень не краще, ніж 2-4, тому що цифрові зображення аероландшафту описуються статистичними моделями Маркова невисоких порядків [4-6]. До того ж, на зображеннях зазвичай присутні шуми, що теж не дозволяє досягати високих значень КС за умови стиснення без втрат [7]. Стиснення ж гіперспектральних зображень з втратами, наприклад з використанням міжзональної інтерполяції [8] або кодування малою кількістю незалежних спектральних компонент [9] часто призводить до значних втрат корисної інформації. Для усунення цього недоліку використовують різні технічні рішення, як-то стиснення даних на основі апроксимації поліномами Чебишева [10], вейвлет-стиснення на основі найкращого ортогонального базису (True Best Basis - ТВВ) [11], адаптивне кодування зображень шляхом зміни числа рівнів квантування в просторово-частотній області в залежності від ентропії [12] тощо. Недоліками подібних методів прямого стиснення є значні шуми та блочні або інші артефакти, притаманні способам стиснення на основі ортогональних перетворень: дискретного косинусного перетворення (Discrete Cosine Transform-DCT, стандарт JPEG), швидкого перетворення Фур'є (Fast Fourier Transform-FFT), вейвлет-перетворення (Wavelet Transform-WT, стандарт JPEG2000), тощо. Для усунення шумів та блочних артефактів на зображеннях застосовують спеціальні технічні рішення - використання блоків з просторовим перекриттям (Modulated Lapped Transform-MLT) [13], пряме придушення просторових шумів застосуванням лінійного фільтра тільки всередині однорідних сегментів або вздовж межі сегментів зображення [14], адаптивне стиснення або фільтрацію цифрових зображень з різними параметрами на межі та всередині однорідних сегментів [15], адаптивну фільтрацію на основі моделі Хубер-Марковських випадкових полів (Huber-Markov Random Field-HMRF) із використанням таблиці шумів в сегментах [16], автоматичне регулювання підсилення з обмеженням величини коефіцієнта підсилення та зміною алгоритму стиснення при виході величини коефіцієнта підсилення за визначену межу [17], побудову карти імовірності наявності об'єкта на сегментах зображення та управління параметрами фільтрації в поточному сегменті залежно від величини цієї імовірності [18], використання анотаційних даних, таких як тип цифрової камери, тип фотоприймального пристрою, величини шумів, параметри освітлення, застосовані алгоритми стиснення, історія попередньої фільтрації для покращення цифрових зображень [19]. Недоліками вказаних методів є неврахування присутності великої кількості окремих спектральних цифрових зображень, тобто непристосованість досаме гіперспектральних зображень. Для гіперспектральних зображень придатний спосіб автоматичного регулювання підсилення та адаптивної фільтрації шумів, різні для різних спектральних зон гіперспектрального зображення [20], але в цьому способі не враховуються зв'язки між спектральними зонами, що не дозволяє використовувати його для стиснення гіперспектральних зображень. Зазначимо, що, якщо використовуються як фільтрація, так і стиснення даних, то ефективність фільтрації є зазвичай вищою, якщо вона виконується в наземному пункті обробки даних після декомпресії, ніж на борту носія. Відомо, що стиснення гіперспектральних зображень є більш ефективним (забезпечує більший КС за умови фіксованого рівня внесених спотворень), якщо враховується міжзональна корельованість даних. Відомий спосіб паралельно-конвеєрного стиснення гіперспектральних даних [21], згідно з яким гіперкуб даних гіперспектрального зображення поблочно стискається за технологією векторного кодування (Code Vector Quantization-CVQ), причому словники 1 UA 105236 C2 5 10 15 20 25 30 35 40 45 50 55 60 кодових векторів будуються як вздовж блоків просторових відліків, так і вздовж блоків спектральних відліків. Технологія CVQ забезпечує досить високий коефіцієнт стиснення при відносно простій реалізації, що дозволяє використовувати її в бортових системах паралельноконвеєрного стиснення гіперспектральних даних. Але методи стиснення на основі ортогональних перетворень загалом забезпечують кращі показники стиснення, ніж методи на основі векторного кодування [4]. Найбільш близьким до способу, що пропонується (прототип - патент України на винахід № 89596), є спосіб стиснення гіперспектральних аерокосмічних зображень з одночасним придушенням шумів, згідно з яким виконують поблочне просторово-частотне перетворення вхідного гіперспектрального аерокосмічного зображення, оцінюють рівні шумів у всіх його спектральних зонах, суміжні спектральні зони поєднують в групи з близькими значеннями рівнів шумів, для кожної з груп визначають параметри поблочного тривимірного просторовочастотного кодера, які забезпечують такий коефіцієнт стиснення, коли шуми гіперспектрального аерокосмічного зображення вже придушуються, але корисна інформація ще не втрачається, далі поблочний тривимірний просторово-частотний кодер з визначеними параметрами застосовують до кожної з груп спектральних зон гіперспектрального аерокосмічного зображення, в результаті чого одержують стиснене гіперспектральне аерокосмічне зображення з придушеними шумами [22]. Недоліками цього способу є наступні. По-перше, автоматичні оцінки дисперсії шумів можуть бути недостатньо точними, зокрема завищеними для зональних зображень з високими відношеннями "сигнал-шум", тому внесені спотворення можуть бути завеликими, що негативно впливає на результати класифікації та інтерпретації. По-друге, ефект фільтрації, що досягається завдяки стисненню зображень, що спотворені шумами, з втратами в оптимальній робочій точці, є меншим, ніж ефект від фільтрації первинних зображень або зображень, що стиснуті з візуально непомітними втратами. По-третє, малі розміри груп, що можуть формуватись для цього способу, не дозволяють максимально ефективно використати міжзональну кореляцію для підвищення КС. Для усунення цих недоліків пропонується виконувати стиснення гіперспектральних зображень, використовуючи метод стиснення з втратами, де рівень втрат визначається за допомогою вибраних метрик якості й контролюється кроком квантування (Quantization Step SizeQSS) або іншими параметрами, що керують ступенем стиснення таким чином, щоб внесені втрати забезпечували часткове придушення шумів і не спотворювали інформативну складову гіперспектральних зображень. Крім того, пропонується виконувати стиснення, використовуючи кореляцію суміжних спектральних зон гіперспектральних зображень у групах, сформованих шляхом аналізу подібності суміжних спектральних зон та поєднання у групи тих з них, для яких параметри стиснення відрізняються несуттєво. При цьому для кожної групи вибирають опорне зональне зображення (або єдине опорне зображення для всіх зон), a QSS або інші параметри стиснення вибирають з урахуванням тих параметрів кодера, які були отримані та використані для опорного зображення даної групи. КС також підвищується завдяки спеціальному нормуванню зональних зображень у групах та стисненню не самих зображень, а різницевих зображень для всіх зон у групі окрім опорного. Такі властивості різницевих зображень широко використовуються для підвищення КС відеопослідовностей [24]. В основу такого способу стиснення покладені наступні властивості гіперспектральних зображень та методів стиснення з втратами. Перше, динамічний діапазон у різних спектральних зонах гіперспектральних зображень суттєво відрізняються. Про це свідчить, зокрема, типовий графік динамічного діапазону для зображення гіперспектральної системи AVIRIS (224 спектральні зони), який наведено на фіг. 1. Знімок надано Jet Propulsion Laboratory NASA (http://aviris.jpl.nasa.gov/data/get_aviris_data.html). При цьому в суміжних зонах відрізняються несуттєво. Друге, для суміжних спектральних зон гіперспектральних даних характерна висока корельованість зображень [2, 3, 23], що дозволяє використовувати цей факт для підвищення ступеня стиснення гіперспектральних зображень як без втрат, так і з втратами. Про це свідчить типовий графік коефіцієнта кореляції для пар зображень гіперспектральної системи AVIRIS у суміжних зонах, який наведено на фіг. 2. При цьому для багатьох суміжних зон значення цього коефіцієнта наближається до одиниці. У зв'язку із цим бажано і доцільно використовувати корельованість між спектральними зонами. Це можна зробити або шляхом попередньої спектральної декореляції гіперспектральних даних з використанням різних відомих ортогональних перетворень, або використовувати різницеві зображення для суміжних зон гіперспектральних даних. Для таких різницевих зображень, особливо за умови попереднього нормування зображень у групах, їх динамічний діапазон суттєво (на порядки) зменшується у 2 UA 105236 C2 5 10 15 20 25 30 35 40 45 50 55 60 порівнянні з динамічним діапазоном самих зображень. Для підтвердження цього на фіг. 3 наведено типовий графік динамічного діапазону різницевих зображень для вибраного для даного випадку динамічного діапазону представлення зональних зображень від 0 до 255 після їх нормування. Дані представлені для 164 спектральних зон зображення системи Hyperion за умови вибору першої зони як опорної. (Знімок надано USGS (http://edcsns17.cr.usgs.gov/eo1/acquisition/hyperion)). Таке звуження динамічного діапазону різницевих зображень дозволяє суттєво підвищити КС для них у порівнянні з КС для відповідного зонального зображення [24]. Ефективне звуження динамічного діапазону різницевих зображень досягається за умови, що в зональних зображеннях попередньо виявлені та усунені гарячі піксели, а всі зональні зображення групи нормуються з приведенням до єдиного динамічного діапазону. Третє, для різницевих зображень для вибраного кодера доцільно використовувати ті ж самі параметри стиснення, як і для опорного зображення, для забезпечення якості стиснення не гірше за вибрану. Підтвердження цього наведено на фіг. 4, де для всіх зображень використано ті самі управляючі параметри кодера, що й для опорного зонального зображення. Якість стиснення у цьому випадку контролювалась за допомогою метрики візуальної якості PSNRHVS-M [25]. Розбіжність в значеннях метрики для різних спектральних зон не виходить за припустимі межі, тобто всі зональні зображення стиснені з практично однаковою візуальною якістю. Завдяки стисненню з втратами за умови належного вибору QSS або інших параметрів стиснення спостерігається ефект візуальної непомітності внесених спотворень для зональних зображень з великим відношенням "сигнал-шум" (проілюстровано на фіг. 5, де наведено первинне зображення а та стиснуте без візуально помітних спотворень б) та невелике придушення шуму для зональних зображень з малим відношенням "сигнал-шум" (проілюстровано на фіг. 6, де наведено первинне зображення з шумами а та стиснуте з частковим придушенням шумів б). Враховуючи вищезазначені властивості гіперспектральних зображень, пропонується групувати суміжні спектральні зони таким чином, щоб для усіх суміжних зональних зображень коефіцієнт кореляції був достатньо великим, вибирати для кожної групи опорне зображення, визначати для нього параметри, що керують стисненням, за вибраною метрикою якості, та використовувати для таких груп стиснення різницевих зображень з визначеними параметрами стиснення. Такий підхід (коефіцієнти стиснення зображень для гіперспектрального зображення системи Hyperion наведені на фіг. 7, PSNR-HVS-M=44 дБ) дозволяє суттєво підвищити ступінь стиснення у порівнянні не тільки з методами стиснення гіперспектральних зображень без втрат, наприклад, з методом стиснення без втрат ZIP (коефіцієнти стиснення для зональних зображень наведені на фіг. 8) у 5-150 разів, але й зі способом стиснення зображень з втратами покомпонентно (коефіцієнти стиснення для зональних зображеньнаведені на фіг. 9) у 5-10 разів в залежності від вибраного критерію [26]. Нарешті, слід відзначити, що стиснення з втратами гіперспектральних зображень, що пропонується, не знижує імовірність правильної класифікації для декодованих зображень у порівнянні з класифікацією відповідних первинних зображень або, що еквівалентно, цих зображень, стиснутих без втрат [27], тобто практично не спотворює інформативну складову гіперспектральних зображень. Таким чином, пропонується новий спосіб стиснення гіперспектральних аерокосмічних зображень з частковим придушенням шумів та урахуванням кореляції між спектральними зонами. Необхідну послідовність операцій показано на фіг. 10. Для гіперспектрального аерокосмічного зображення Н (блок 1) детектують та усувають гарячі піксели (імпульсні завади) шляхом порівняння радіометричних значень в пікселі та в його локальному оточенні (блок 2), приводять зональні зображення до єдиного динамічного діапазону в усіх спектральних зонах шляхом лінійного масштабування поточних радіометричних значень в кожному пікселі (блок 3). Подібні зображення в суміжних спектральних зонах поєднують у групи G(N) шляхом оцінювання параметрів стиснення та відбору тих зображень, для яких параметри стиснення відрізняються несуттєво (блок 4) та визначають опорне зональне зображення (блок 5), як найбільш якісне в кожній групі, визначають параметри кодера D (блок 6) для кожного опорного зображення такі, що забезпечують максимальний коефіцієнт стиснення гіперспектрального зображення, але корисна інформація у відповідності до вибраного критерію ще не втрачається, як це робиться в прототипі. Далі розраховуються різницеві зображення для кожної з груп (блок 7), кодер з такими параметрами, які використовувались для опорного зображення, застосовується до кожної з груп гіперспектрального зображення Н (блок 8), інформація про параметри приведення до єдиного динамічного діапазону, групи та опорні 3 UA 105236 C2 5 10 15 20 25 30 35 40 45 50 55 60 зображення кодується без втрат (блок 9) і додається до стисненого гіперспектрального зображення Z (блок 10). Джерела інформації: 1. Попов М.О., Станкевич С.А., Молдаван В.Д. Гіперспектральна аерокосмічна інформація у виявленні та спостереженні об'єктів // Наука і оборона. - 2006.- № 3.- С. 25-31. 2. Landgrebe D.A. Hyperspectral image data analysis // IEEE Signal Processing Magazine, 2002. - Vol.17. - No.l.- P. 17-28. 3. Kaarna A. Compression of spectral images // Vision Systems: Segmentation and Pattern Recognition. - Vienna: I-Tech, 2007. - Vol. 1. - P. 269-298. 4. Salomon D. Data compression: the complete reference. - Heidelberg: Springer-Verlag, 2004. 898 p. 5. Миано Дж. Форматы и алгоритмы сжатия изображений: Пер. с англ.-М.: Триумф, 2003. 336 с. 6. Belbachir A.N., Bischof H. On-board data compression: distortion and complexity related aspects / Technical Report of Pattern Recognition and Image Processing Group PRIP-TR-075. Vienna: Institute of Computer Aided Automation Vienna University of Technology, 2003. - 32 p. 7. Li В., Yang R., Jiang H. Remote sensing image compression using two-dimensional oriented wavelet transform // IEEE Transactions on Geoscience and Remote Sensing, 2011. - Vol.49.- No.1. P. 236-250. 8. Rao A.K. Multispectral data compression using inter-band prediction / United States Patent No 5,513,128. - April 30, 1996. - 10 p. 9. Sharp M. Adaptive hyperspectral data compression / United States Patent No 7,319,796. January 15, 2008. - 14 p. 10. Cheng A.F., Hawkins S.E., Nguyen L., Monaco С.A., Seagrave G.G. Data compression using Chebyshev transform / United States Patent No 7,249,153. - July 24, 2007. - 16 p. 11. Chen H.-W., Olson T.L. Method and system for wavelet packet transmission using a best base algorithm / United States Patent No 7,436,884. - October 14, 2008. - 12 p. 12. Okada S. Image quantization and coding based on adaptive threshold / United States Patent No 7,174,046. - February 6, 2007. - 9 p. 13. Hou H.S. Modulated lapped transform method / United States Patent No 5,859,788. - January 12, 1999. - 27 p. 14. Anderson C.M. Directional spatial video noise reduction / United States Patent No 7,437,013. October 14, 2008. - 39 p. 15. Ishikawa M. Image processing system, image processing method, and image processing program / United States Patent No 7,054,503. - May 30, 2006. - 28 р. 16. Yu Q., Luo J., Joshi R.L. Image processing method for reducing noise and blocking artifact in a digital image / United States Patent No 6,636,645. - October 21, 2003. - 10 p. 17. Patej E.J. Digital image system and method for noise compensation / United States Patent No 7,136,095. - November 14, 2006. - 7 p. 18. Luo J., Gallagher A.C., Singhal A., Gray R.T. Method and system for selectively applying enhancement to an image / United States Patent No 7,092,573.- August 15, 2006. - 15 p. 19. Chen K.T., Gindele E.B., Wilson R.J. Method and apparatus for enhancing digital images utilizing non-image data / United States Patent No 7,065,255. - June 20, 2006. - 19 p. 20. Pelz J.B. Method and system for reducing noise in a digital image and apparatus thereof / United States Patent No 7,324,143. - January 29, 2008. - 15 p. 21. Qian S.-E., Hollinger A.B., Gagnon L. Data compression engines and realtime wideband compressor for multi-dimensional data // United States Patent No 7,251,376. - July 31, 2007. - 15 p. 22. Попов М.О., Станкевич С.А., Лукін В.В., Пономаренко M.M., Ковальчук С.П., Зряхов М.С., Зеленсъкий О.О., Титаренко О.В. Спосіб стиснення гіперспектральних аерокосмічних зображень з одночасним придушенням шумів / Патент України на винахід № 89596, 2010. - 16 с. 23. Ponomarenko N., Lukin V., Zriakhov M., Kaarna M, Preliminary automatic analysis of characteristics of hyperspectral AVIRIS images // Proceedings of MMET. - Kharkov, 2006. - P. 158160. 24. Bovik A.C. Handbook on Image and Video Processing. - San Diego: Academic Press, 2000. 891 p. 25. Ponomarenko N., Silvestri F., Egiazarian K., Carli M., Astola J., Lukin V. On betweencoefficient contrast masking of DCT basis functions // Proceedings of VPQM. - Scottsdale, 2007. - 4 p. 26. Земляченко А.Н., Колганова Е.О., Лукин В.В. Ускорение сжатие изображений с требуемым визуальным качеством // Радиоэлектронные и компьютерные системы. - 2011.- Вып. 4(52). - С. 52-59. 4 UA 105236 C2 27. Лукин В.В., Зряхов М.С., Кривенко С.С., Станкевич С.А., Попов М.А., Лищенко Л.П. Сжатие гиперспектральных изображений с потерями и их классификация // Авиационнокосмическая техника и технология. - 2011. - № 1/79. - С. 86-95. 5 10 15 20 25 ФОРМУЛА ВИНАХОДУ Спосіб стиснення гіперспектральних аерокосмічних зображень з частковим придушенням шумів та урахуванням кореляції між спектральними зонами, згідно з яким суміжні спектральні зони гіперспектрального зображення поєднують в групи, для кожної з груп визначають параметри кодера, що керують стисненням таким чином, щоб внесені втрати забезпечували часткове придушення шумів і не спотворювали інформативну складову гіперспектрального зображення, далі кодер з визначеними параметрами застосовують до кожної з груп спектральних зон гіперспектрального аерокосмічного зображення, який відрізняється тим, що для гіперспектрального аерокосмічного зображення детектують та усувають імпульсні завади (гарячі піксели) в спектральних зонах, приводять зональні зображення до єдиного динамічного діапазону, а параметри застосованих лінійних перетворень запам'ятовують та кодують без втрат, вибирають опорне зональне зображення або декілька опорних зображень та формують групи для кожного з них, кожне опорне зображення стискають та запам'ятовують, потім опорні зображення використовують для отримання різницевих зображень із зображенням у суміжних спектральних зонах, різницеві зображення стискають із застосуванням того ж самого кодера із параметрами, визначеними для відповідного опорного зображення, а результат стиснення запам'ятовують, операції формування різницевого зображення та його стиснення і запам'ятовування повторюють послідовно для всіх груп спектральних зон гіперспектрального зображення, в результаті одержують допоміжну інформацію, яку додають до стиснених даних, та безпосередньо стиснене гіперспектральне аерокосмічне зображення з частково придушеними шумами та урахуванням кореляції між спектральними зонами. 5 UA 105236 C2 6 UA 105236 C2 7 UA 105236 C2 8 UA 105236 C2 9 UA 105236 C2 Комп’ютерна верстка І. Скворцова Державна служба інтелектуальної власності України, вул. Урицького, 45, м. Київ, МСП, 03680, Україна ДП “Український інститут промислової власності”, вул. Глазунова, 1, м. Київ – 42, 01601 10