Сенсорна матриця з обробкою зображень

Реферат: UA 90848 U UA 90848 U 5 10 15 20 25 30 35 40 45 50 55 60 Пристрій належить до обчислювальної техніки і може бути використаний для сприйняття зображення відеосенсором, швидкого підбору порогового обмеження, бінаризації та морфологічної обробки для фільтрації зображення від завад і його покращення. Фільтрація і покращення зображення здійснюється методами морфологічної обробки бінаризованого зображення. Логічні операції морфологічної обробки здійснюють між структурним елементом (маскою) S і областю цифрового зображення, на яку накладається ця маска. Результат операції розміщують в нову бітову матрицю на місце, де знаходився фокус (центр) маски. Для цього використовують структурні елементи різної форми і розмірності. Найбільш розповсюдженими операціями морфологічної фільтрації для обробки бінарно квантованих зображень є: - нарощування (dilation) позначається символами L●S і виконується шляхом логічної операції "АБО" над елементами маски (крім центрального елемента - фокуса) та елементами фрагмента зображення, який покривається цією маскою. Якщо в цьому фрагменті знаходиться хоча б один одиничний елемент, в новому зображенні на місці фокуса маски встановлюється одиниця. В результаті цієї операції зображення розширюється на розмір маски; - ерозія (erosion), яка позначається символами L○S та здійснюється шляхом виконання логічної операції "І" між маскою S розміром n×n, що складається з одиниць, або нулів та одиниць, та фрагментом бінаризованого зображення L, який накривається цією маскою. Результати операції логічного множення формують новий масив зображення. Якщо фрагмент зображення, що покривається маскою, має хоча б один нуль, в елементі нового зображення, що відповідає положенню фокуса маски, встановлюється нуль. В результаті цієї операції усі фрагменти вихідного зображення, що по площі менші, ніж маска, зникають, а більші стискаються на розмір маски; - відкриття (opening) представляє собою комбінацію ерозії та нарощування, які виконуються послідовно: LS=(L○S)●S. В результаті "відкриття" елементи з площею, меншою площі маски, зникають з зображення, а з більшою площею відновлюються до своїх попередніх розмірів; - Закриття (closing) представляє комбінацію операцій ерозії та нарощування в зворотному порядку: LS=(L●S)○S. Такі операції детально описані в статті [Тимофеев Б.С., Обухова Н.А… Системы видеообнаружения и сопровождения подвижных объектов. Ж. Телекоммуникации, 12. 2003. С. 36-44], широко застосовуються на практиці, але, зазвичай, виконуються послідовно на персональних комп'ютерах або сигнальних процесорах. Паралельному їх виконанню заважає бітове представлення зображення та розміщення бітів в комірках пам'яті з різними адресами, що не відповідає архітектурі традиційних процесорів. Тому недоліком такої реалізації алгоритмів фільтрації є дуже великі затрати часу на їх виконання, що суттєво обмежує можливості їх використання в системах відео спостереження реального часу. Відомі сенсорні матриці, які реалізують паралельну бінаризацію зображення, але вони використовують аналогові схеми для виводу зображення у вигляді струмів, що ускладнює подальшу логічну обробку для фільтрації зображення від завад. У відомому пристрої для визначення місцеположення об'єкта [R.D. Burns, J. Shah, C. Hong, S. Pepic, J.S. Lee, R.I. Hornsey, P. Thomas, "Object location and centroiding techniques with CMOS active pixel sensors", in IEEE Transactions on electron devices, vol. 50, No. 12, December, 2003, pp.2369-2377, fig. 1], сенсорна матриця складається з MxN елементів, кожний з яких має фотосенсор, вихід якого підключений до перших входів порогових елементів рядка і колонки, другі входи яких підключені до загального для всієї матриці входу "Поріг", а виходи порогових елементів по рядках та колонках відповідно об'єднані по схемі логічного І-НЕ та підключені на одиничні входи тригерів рядків та колонок відповідно. Недоліками пристрою є низька завадостійкість пристрою та неможливість проведення фільтрації бінаризованого зображення від завад. У відомому пристрої центрування та визначення місцеположення об'єкта активними піксельними КМОН сенсорами [R.D. Burns, J. Shah, C. Hong, S. Pepic, J.S. Lee, R.I. Hornsey, P. Thomas, "Object location and centroiding techniques with CMOS active pixel sensors", in IEEE Transactions on electron devices, vol. 50, No. 12, December, 2003, pp. 2369-2377, fig. 8], сенсорна матриця складається з MxN елементів, перші і другі виходи елементів якої підключені відповідно до загальних шин рядка і колонки, які підключені до схем підсумовування токів рядка і колонки відповідно. Кожний елемент сенсорної матриці має фотосенсор, вихід якого підключений до першого входу порогового елемента, другий вхід якого підключений до загального для всієї матриці входу "Поріг", а вихід порогового елемента підключений до одиничного входу тригера, одиничний вихід якого з'єднаний з входами першої і другої схем формування токів, виходи яких з'єднані з першими і другими виходами елементів сенсорної 1 UA 90848 U 5 10 15 20 25 30 35 40 45 50 55 60 матриці. Недоліками пристрою є низька завадостійкість пристрою та неможливість проведення фільтрації бінаризованого зображення від завад. Найбільш близьким до запропонованого є пристрій для визначення місцеположення та параметрів об'єкта в зображенні [Патент на корисну модель № 76597, опубл. 10.01.2013, Бюл. № 1], в якому сенсорна матриця складається з MxN елементів, причому виходи лівих елементів матриці зв'язані з інформаційними входами сусідніх правих елементів у рядках, а виходи крайніх правих елементів у рядках зв'язані з інформаційними входами крайніх лівих елементів відповідно, а також з виходами рядків сенсорної матриці, виходи верхніх елементів у колонках зв'язані з інформаційними входами нижніх елементів колонок, а виходи самих нижніх елементів у колонках зв'язані відповідно з інформаційними входами самих верхніх у колонках елементів, а також зв'язані з виходами колонок сенсорної матриці. Сенсорна матриця має входи "Скид", "Поріг", "Бінаризація" "Зсув вправо" та "Зсув вниз". Кожний елемент сенсорної матриці має фотосенсор, управляючий вхід якого підключений до входу "Скид" сенсорної матриці, а вихід підключений до першого входу порогового елемента, другий вхід якого з'єднаний з входом сенсорної матриці "Поріг", вихід порогового елемента та виходи сусідніх елементів зліва і зверху сенсорної матриці підключені відповідно до першого, другого та третього інформаційних входів логічного елемента "І-АБО", управляючі входи яких з'єднані із входами "Бінаризація", "Зсув вниз" та "Зсув вправо" сенсорної матриці відповідно, вихід логічного елемента "І-АБО" підключений до одиничного входу тригера, вихід якого підключений до входів сусідніх правого та нижнього елементів сенсорної матриці. Недоліками пристрою є значні похибки в поданні виділеного після бінаризації об'єкта, при наявності шумів в зображенні, які спотворюють контури об'єкта та впливають на точність вимірювання його геометричних розмірів і якість розпізнавання. Похибки можуть бути двох видів: 1→0, 0→1. В основу корисної моделі, що пропонується, поставлена технічна задача створення пристрою, що дозволить після бінаризації зображення проводити його фільтрацію від завад методами морфологічної обробки (ерозія, нарощування, відкриття, закриття). Технічним результатом є покращення якості подання виділеного після бінаризації зображення об'єкта, що підвищує точність визначення його місцеположення, вимірювання його геометричних розмірів та спрощує його розпізнавання при мінімальних часових затратах. Технічний результат забезпечується завдяки тому, що пристрій додатково має керуючі входи Нарощування та Ерозія, які підключені до всіх елементів сенсорної матриці, а її елементи мають додаткові зв'язки: виходи правих елементів з'єднані з входами лівих, а виходи нижніх елементів з'єднані з входами верхніх елементів, крім того виходи і входи елементів сенсорної матриці, крім усіх крайніх, з'єднані відповідно з входами і виходами діагональних елементів сенсорної матриці. На Фіг. 1 приведена структурна схема сенсорної матриці, на Фіг. 2 - функціональна схема елемента сенсорної матриці, на Фіг. 3 - функціональна схема блока логічної обробки. Сенсорна матриця 1 (Фіг. 1) складається з MxN елементів 2, кожний з яких, крім крайніх з усіх боків, має зв'язки по входах і виходах з вісьмома сусідніми елементами (зверху, знизу, зліва, справа та чотирма діагональними). Виходи крайніх правих елементів матриці зв'язані з входами крайніх лівих елементів, а виходи крайніх нижніх елементів матриці зв'язані з входами крайніх верхніх елементів. Виходи крайніх правих та нижніх елементів матриці являються також виходами матриці. Для керування режимами роботи сенсорна матриця має відповідні керуючі входи: Скид, Поріг (аналоговий), Бінаризація, Нарощування, Ерозія, Зсув вправо та Зсув вниз. Крім того матриця має вхід Світло. Кожний елемент 2 сенсорної матриці 1 (Фіг. 2) має фотосенсор 3, керуючий вхід фотосенсора зв'язаний з входом Скид сенсорної матриці, а вихід підключений на перший вхід порогового елемента 4, другий вхід якого з'єднаний з входом Поріг сенсорної матриці, має також блок логічної обробки 5, на інформаційні входи якого підключені входи восьми сусідніх елементів сенсорної матриці, а його керуючі входи зв'язані з входами Нарощування та Ерозія сенсорної матриці, а також із входами елемента 10 АБО сенсорного елемента 2. Містить також чотири 2-входових елемента I-АБО 6 (2І-АБО), інформаційні входи яких з'єднані відповідно з виходом компаратора 4, з першим входом блока логічної обробки 5, з його виходом та з його сьомим входом, а керуючі входи елементів 1 підключені відповідно до входу Бінаризація, входу Зсув вниз та входу Зсув вправо, вихід блока 6 ((2І-АБО) підключений до входу тригера 7, містить також три 2-входових елементи І 8 та перший АБО(1) і другий АБО(2) елементи 9, інформаційні входи елементів І 8 об'єднані і підключені до виходу тригера 7, а керуючі входи підключені відповідно до входу Зсув вниз, виходу елемента АБО 10 та входу Зсув вправо сенсорної матриці 1. Виходи першого елемента І 8 підключені через другий елемент АБО(2) 9 2 UA 90848 U 5 10 15 20 25 30 35 40 45 50 55 до п'ятого виходу елемента 2 сенсорної матриці 1, вихід другого елемента І 8 підключений через загальну шину до першого, другого, четвертого, шостого, сьомого та восьмого виходів, а також через перший елемент АБО (І) 9 до третього та через другий елемент АБО(2) 9 до п'ятого виходів елемента 2ji, вихід третього елемента І 8 підключений через перший елемент АБО (І) 9 до третього виходу елемента 2ji сенсорної матриці 1. Блок логічної обробки 5 містить 8-входові елементи АБО 11 та І 12, входи яких попарно об'єднані та підключені відповідно до входів блока логічної обробки 5, їх виходи через перший і другий елементи І 13 та 14 з'єднані з входами елемента АБО 15, вихід якого є виходом блока логічної обробки 5, а керуючі входи першого і другого елементів І 13 та 14 підключені відповідно до входу Нарощування та входу Ерозія елемента 2. Елемент 6 (2І-АБО) (Фіг. 2) виконує функції комутації 4-х інформаційних входів (з компаратора 4, з верхнього елемента 2j(i-1) сенсорної матриці 1, з блока логічної обробки 5 або з лівого елемента 2(j-1)i сенсорної матриці 1) на вхід тригера 7 в залежності від поданих команд на сенсорну матрицю 1. Елемент 8 (ЗІ) (Фіг. 2) здійснює комутацію виходу тригера 7 на один з виходів елемента 2ji (для передачі інформації на сусідній елемент 2j(i+1) зправа або на сусідній елемент 2(j+1)í знизу) або на всі вісім сусідніх елементів матриці 1. Робота пристрою полягає в наступному. Сенсорна матриця (Фіг. 1) може працювати в таких режимах: сприйняття зображення з допомогою фотосенсорів, бінаризація, морфологічна обробка (з різними операціями), зсув інформації вправо та зсув вниз. Для керування цими режимами матриця має відповідні керуючі входи: Скид, Поріг (аналоговий), Бінаризація, Нарощування, Ерозія, Зсув вправо та Зсув вниз. Крім того матриця має вхід Світло. Після подачі керуючого сигналу по входу Скид фотосенсори 3 (Фіг. 2) всіх елементів 2 сенсорної матриці 1 починають сприймати світловий потік і при перевищенні інтенсивності світла на них величини порогу, встановленого по входу Поріг, спрацьовують порогові елемент 4, які встановлюють, під управлінням сигналу Бінаризація через перший елемент I-АБО 6, відповідні тригери 7 в одиничне положення, тобто здійснюється бінаризація зображення. Виконання операцій морфологічної обробки зображення здійснюється командами Нарощування та Ерозія, які подаються на відповідні керуючі входи сенсорної матриці 1, зокрема на входи блока 5 логічної обробки (Фіг. 2). Кожна з цих команд через елемент АБО 10 управляє видачею інформації з тригера 7 на всі 8 сусідніх елементів, крім того вони управляють записом результату з блока логічної обробки 5 через третій елемент І-АБО 6 на той же тригер 7. Виходи 8-ми сусідніх елементів поступають паралельно на входи логічних елементів АБО 11 та І 12 (Фіг. 3). При виконанні операції Нарощування на вихід блока логічної обробки 5 через елемент І 13 та елемент АБО 15 видається результат логічної обробки із елемента Л£0 11, а при виконанні операції Ерозія на вихід видається результат із елемента І 12 через елемент І 14 та елемент АБО 15. Операція Відкриття виконується шляхом послідовного виконання операцій Ерозія та Нарощування, а операція Закриття - шляхом послідовного виконання цих операцій у зворотному порядку. Результати цих операцій фіксуються тригером 7 (Фіг. 2). Виконання операцій морфологічної обробки за рахунок фільтрації від завад сприяє значному покращенню зображення та можливості більш точного виділення об'єкта. Вивід результатів логічної обробки по рядках здійснюється командою Зсув вправо, для чого на вхід тригера 7 через четвертий елемент І-АБО 6 підключається вихід сусіднього лівого елемента сенсорної матриці (вхід 7), а вихід тригера 7 через третій елемент І 8 та перший елемент АБО(І) 9 підключається на вхід сусіднього правого елемента сенсорної матриці (вихід 3). Аналогічно здійснюється зсув інформації вниз по колонках командою Зсув вниз, при цьому через другий елемент І-АБО 6 на вхід тригера 7 підключається вихід сусіднього верхнього елемента сенсорної матриці (вхід 1), а вихід тригера 7 через перший елемент І 8 та другий елемент АБО(2) 9 підключається на вхід сусіднього нижнього елемента сенсорної матриці (вихід 5). На виходи колонок і рядків можуть бути підключені пристрої для паралельного знаходження місцеположення об'єкта (наприклад по патенту на корисну модель № 76597) або визначення моментів інерції об'єкта (наприклад по патентам на корисну модель №№ 81142 та 82936). Проведена перед цим морфологічна обробка зображення забезпечить більш точне визначення місцеположення об'єкта, його параметрів та інших інформаційних ознак, що спростить і подальше його розпізнавання. Таким чином паралельні операції сприйняття світла та бінаризація зображення виконуються в процесі експозиції зображення. Операції морфологічної обробки Нарощування та Ерозія виконуються паралельно за один такт роботи сенсорної матриці кожна, а операції Відкриття та 3 UA 90848 U 5 Закриття виконуються за два такти, що й забезпечує пристрою високу продуктивність і ефективність використання апаратури. Сенсорна матриця з обробкою зображень може бути реалізована на базі КМОН-технології (комплементарний метал-оксид напівпровідник), яка дозволяє на одній технологічній основі реалізувати як фоточутливий елемент (фотосенсор), так і всі логічні елементи. ФОРМУЛА КОРИСНОЇ МОДЕЛІ 10 15 20 25 30 35 40 45 1. Сенсорна матриця з обробкою зображення, яка складається з М х N елементів, причому виходи лівих елементів матриці зв'язані з інформаційними входами сусідніх правих елементів у рядках, а виходи крайніх правих елементів у рядках зв'язані з інформаційними входами крайніх лівих елементів відповідно, а також з виходами рядків сенсорної матриці, виходи верхніх елементів у колонках зв'язані з інформаційними входами нижніх елементів колонок, а виходи самих нижніх елементів у колонках зв'язані відповідно з інформаційними входами самих верхніх у колонках елементів, а також зв'язані з виходами колонок сенсорної матриці, та має відповідні керуючі входи: Скид, Поріг (аналоговий), Бінаризація, Зсув вниз, Зсув вправо та вхід Світло, що підключені до всіх елементів сенсорної матриці, яка відрізняється тим, що додатково має керуючі входи Нарощування та Ерозія, які підключені до всіх елементів сенсорної матриці, причому виходи правих елементів з'єднані з входами лівих, а виходи нижніх елементів з'єднані з входами верхніх елементів, крім того виходи і входи елементів сенсорної матриці, крім усіх крайніх, з'єднані відповідно з входами і виходами елементів сенсорної матриці, розміщених по діагоналі. 2. Пристрій за п. 1, який відрізняється тим, що кожний елемент сенсорної матриці має фотосенсор, керуючий вхід якого зв'язаний з першим входом Скид сенсорної матриці, а вихід підключений на перший вхід порогового елемента, другий вхід якого з'єднаний з входом Поріг сенсорної матриці, має також блок логічної обробки, на інформаційні входи якого підключені входи восьми сусідніх елементів сенсорної матриці, а його керуючі входи зв'язані з входами Нарощування та Ерозія сенсорної матриці, а також із входами елемента АБО містить також чотири 2-входових елемента І-АБО, інформаційні входи яких з'єднані відповідно з виходом компаратора, з першим входом блока логічної обробки, з його виходом та з його сьомим входом, а керуючі входи елементів І підключені відповідно до входу Бінаризація, входу Зсув вниз, виходу елемента АБО та входу Зсув вправо, вихід блока І-АБО підключений до входу тригера, містить також три 2-входових елементи І, інформаційні входи яких об'єднані і підключені до виходу тригера, а керуючі входи підключені відповідно до входу Зсув вниз, виходу елемента АБО та входу Зсув вправо сенсорної матриці 1, виходи першого елемента І 8 підключені через другий елемент АБО(2) до п'ятого виходу елемента сенсорної матриці, вихід другого елемента І підключений через загальну шину до першого, другого, четвертого, шостого, сьомого та восьмого виходів, а також через перший елемент АБО(І) до третього та через другий елемент АБО(2) до п'ятого виходів елементів сенсорної матриці, вихід третього елемента І підключений через перший елемент АБО(І) до третього виходу елемента сенсорної матриці 1. 3. Пристрій за пп. 1, 2, якийвідрізняється тим, що блок логічної обробки містить 8-входові елементи АБО та І, входи яких попарно об'єднані та підключені відповідно до входів блока логічної обробки, їх виходи через перший і другий елементи І з'єднані з входами елемента АБО, вихід якого є виходом блока логічної обробки, а керуючі входи першого і другого елементів І підключені відповідно до входу Нарощування та входу Ерозія елемента сенсорної матриці. 4 UA 90848 U 5 UA 90848 U 6 UA 90848 U Комп’ютерна верстка О. Рябко Державна служба інтелектуальної власності України, вул. Урицького, 45, м. Київ, МСП, 03680, Україна ДП “Український інститут промислової власності”, вул. Глазунова, 1, м. Київ – 42, 01601 7