Пристрій для визначення місцеположення та параметрів об’єкта в зображенні

Реферат: Пристрій належить до сенсорно-обчислювальної техніки і може бути використаний для сприйняття зображення відеосенсором та визначення місцеположення об'єкта в зображенні, його габаритних розмірів та площі. Пристрій дозволить підвищити точність обчислення кількості активних елементів в рядку і колонці та, відповідно, підвищити точність визначення місцеположення, площі та центра об'єкта, що вирішується шляхом бінаризації зображення, підрахунку кількості активних елементів в рядку і колонці за допомогою лічильників імпульсів, що спрощує сенсорний елемент, підвищує його чутливість та підвищує точність підрахунку кількості активних пікселів в рядку та колонці та, відповідно, точність визначення місцеположення, площі та центру об'єкта за допомогою мікропроцесора. Технічним результатом є спрощення пристрою, розширення його функціональних можливостей та підвищення точності визначення місцеположення об'єкта в зображенні, його габаритних розмірів та площі. UA 104347 C2 (12) UA 104347 C2 UA 104347 C2 5 10 15 20 25 30 35 40 45 50 55 60 Винахід стосується сенсорно-обчислювальної техніки і може бути використаний для сприйняття зображення відеосенсором, швидкого підбору порогового обмеження, бінаризації зображення, визначення місцеположення об'єкта в зображенні, його габаритних розмірів, площі та швидкості руху. Технічним результатом є спрощення пристрою, розширення його функціональних можливостей та підвищення точності визначення місцеположення об'єкта в зображенні, його габаритних розмірів та площі. Традиційно визначення місцеположення об'єкта здійснюється шляхом послідовного зчитування в комп'ютер значень яскравості пікселів з відеосенсора для послідуючої обробки зображення, що приводить до значних витрат часу і, відповідно, зниженню частоти кадрів, та унеможливлює слідкування за рухом високодинамічних об'єктів. Тому для підвищення швидкодії пристроїв обробку відеоінформації суміщають з її сприйняттям відеосенсором, розміщуючи пристрій обробки безпосередньо на сенсорі. Це дозволяє розпаралелити процес обробки та сприяє значному підвищенню частоти відеозйомки. Відомий пристрій для визначення місцеположення об'єкта [G. Erten and S. Hagopian, "Integrated image sensor processor with on-chip centroiding function", in Proc. Midwest Symp. Circuits Syst, vol. 1,1999, pp. 262-265], в якому визначається наявність активних пікселів після бінаризації зображення в рядках та стовпчиках фактично по схемі "ЧИ" та проводиться фіксація її на тригерах регістру рядка та регістру колонки, які потім зчитуються в процесор для аналізу і обчислення місцеположення об'єкта. Недоліком пристрою є те, що фактично визначається не сам об'єкт, а прямокутник, описаний навколо нього, що унеможливлює визначення таких важливих характеристик об'єкта як площа, контур тощо. Проблемою в цьому пристрої є також наявність окремих одиничних активних пікселів від завад, вилучення яких вимагає суттєвих додаткових витрат апаратури. Відомий пристрій для визначення місцеположення об'єкта [R.D. Burns, J. Shah, С. Hong, S. Pepic, J.S. Lee, R.I. Hornsey, P. Thomas, "Object location and centroiding techniques with CMOS active pixel sensors", in IEEE Trasactions on electron devices, vol. 50, No. 12, December, 2003, pp. 2369-2377, fig. 1], який використовує бінаризацію зображення та підсумовування аналоговим способом виділених пікселів по рядках та колонках, використовуючи для кожного пікселя по два підсилювачі з великою крутизною характеристики. Недоліками пристрою є значні додаткові апаратурні витрати на піксел, що значно скорочує фактор заповнення (тобто залишається мала площа кристала для елементів безпосередньо відеосенсора), та невисока точність визначення місцеположення об'єкта. Найбільш близьким до запропонованого пристрою по технічній суті і задачі є пристрій центрування та визначення місцеположення об'єкта активними піксельними КМОН сенсорами [R.D. Burns, J. Shah, C. Hong, S. Pepic, J.S. Lee, R.I. Hornsey, P. Thomas, "Object location and centroiding techniques with CMOS active pixel sensors", in IEEE Trasactions on electron devices, vol. 50, No. 12, December, 2003, pp. 2369-2377, fig. 8], який складається з сенсорної матриці MxN елементів, перші і другі виходи елементів якої підключені відповідно до загальних шин рядка і колонки, які підключені до схем підсумовування струмів рядка і колонки відповідно, виходи яких з'єднані з відповідними входами блока аналогових запам'ятовуючих пристроїв рядка і колонки відповідно, виходи яких через відповідні аналого-цифрові перетворювачі підключені до входів мікропроцесора, перший вихід якого через цифро-аналоговий перетворювач з'єднаний із входом "Поріг" сенсорної матриці, а інші виходи мікропроцесора підключені до входів сенсорної матриці "Скид", "Зміщення" та входів управління зсувами блоків аналогових запам'ятовуючих пристроїв рядка і колонки. Кожний елемент сенсорної матриці має фотосенсор, вихід якого підключений до першого входу порогового елемента, другий вхід якого підключений до загального для всієї матриці входу "Поріг", а вихід порогового елемента підключений до одиничного входу тригера, одиничний вихід якого з'єднаний з входами першої і другої схем формування струмів, виходи яких з'єднані з першими і другими виходами елементів сенсорної матриці. При перевищенні інтенсивності світла на даному пікселі величини порогу спрацьовує пороговий елемент, який встановлює тригер в одиничне положення, тобто здійснюється бінаризація зображення. Кожний активний піксел добавляє порцію струму у вихідну шину рядка та ідентичну порцію струму у вихідну шину колонки з допомогою двох ідентичних схем формування струмів. На кінці кожного рядка та колонки ці порції струму з допомогою схем підсумовування струмів формують потенціал, пропорційний кількості активних пікселів в рядку або колонці, який фіксується блоком аналогових запам'ятовуючих пристроїв відповідно, що характеризує просторову гістограму об'єкта по двом ортогональним осям зображення. Для визначення місцеположення і центра об'єкта необхідно здійснити додатково зсув накопичених потенціалів по лінійках аналогових запам'ятовуючих елементів рядка та колонки відповідно або 1 UA 104347 C2 5 10 15 20 25 30 35 40 45 50 55 60 скомутувати їх послідовно на загальну шину, виконати аналого-цифрове перетворення та обчислити місцеположення та центр об'єкта по відомим із шкільного курсу геометрії формулам. Недоліками прототипу є низька точність аналогового обчислення кількості активних пікселів в рядку та колонці, яка складає від одиниць до десятків елементів, що обумовлено розкидом параметрів великої кількості транзисторів, які видають порції струму, та нелінійністю елементів, що підсумовують струми в широкому діапазоні, а також необхідність додаткових апаратних витрат для зсуву (або комутації) потенціалів з лінійок та аналого-цифрових перетворювачів. Низька точність обчислення кількості активних пікселів в рядку та колонці впливає, відповідно, на точність визначення місцеположення та центру об'єкта. Хоча в описі прототипу і вказується про можливість підвищення точності оцінки місцеположення та центру об'єкта за рахунок багаторазового зчитування та обробки зображення з різними порогами (що дійсно справедливо), але вимагає в десятки разів більшого часу та ще й критично до можливих змін (освітлення, руху, чутливості елементів сенсора) в зображенні на протязі цього процесу. Крім того, розміщення в пікселі додаткових транзисторів (12 елементів) і резисторів знижує фактор заповнення, тобто зменшує активну частину площі для сприйняття відеоінформації, що зменшує чутливість матриці та потребує більшого часу освітлення. В основу винаходу, який пропонується, поставлена технічна задача створення пристрою, що дозволить підвищити точність обчислення кількості активних елементів в рядку і колонці та, відповідно, підвищити точність визначення місцеположення, площі та центра об'єкта. Поставлена технічна задача вирішується шляхом бінаризації зображення, підрахунку кількості активних елементів в рядку і колонці за допомогою традиційних лічильників імпульсів, що спрощує сенсорний елемент, підвищує його чутливість та підвищує точність підрахунку кількості активних пікселів в рядку та колонці та, відповідно, точність визначення місцеположення, площі та центру об'єкта, які обчислюються з допомогою мікропроцесора. Структурна схема пристрою приведена на фіг. 1, структурна схема сенсорної матриці - на фіг. 2, функціональна схема елемента сенсорної матриці - на фіг. 3. Пристрій (рисі) складається з сенсорної матриці 1, виходи рядків якої підключені на входи блока 2 лічильників рядків відповідно, а виходи колонок підключені до входів блока 3 лічильників колонок відповідно, виходи блоків 2 і 3 лічильників рядків і колонок підключені до першого і другого входів мікропроцесора 4 відповідно, перший інформаційний вихід мікропроцесора 4 через цифроаналоговий перетворювач 5 (ЦАП) підключений до третього входу "Поріг" сенсорної матриці 1, другий вихід мікропроцесора 4 з'єднаний з входом "Скид" сенсорної матриці, третій і четвертий управляючі виходи мікропроцесора підключені до входів управління блоками 2 і 3 лічильників рядків та лічильників колонок відповідно, п'ятий вихід мікропроцесора 4 підключений до четвертого входу "Зсув вниз" сенсорної матриці 1, шостий вихід мікропроцесора 4 підключений до першого входу "Зсув вправо" сенсорної матриці 1, а сьомий вихід мікропроцесора 4 підключений до п'ятого входу "Бінаризація" сенсорної матриці 1. Сенсорна матриця 1 (фіг. 2) складається з MxN елементів 1 11-1MN, причому виходи лівих елементів матриці зв'язані з інформаційними входами сусідніх правих елементів у рядках, а виходи крайніх правих елементів у рядках зв'язані з інформаційними входами крайніх лівих елементів відповідно, а також з виходами рядків сенсорної матриці 1, виходи верхніх елементів у колонках зв'язані з інформаційними входами нижніх елементів колонок, а виходи самих нижніх елементів у колонках зв'язані відповідно з інформаційними входами самих верхніх у колонках елементів, а також зв'язані з виходами колонок сенсорної матриці 1. Перші, другі, треті, четверті та п'яті управляючі входи елементів відповідно об'єднані та підключені до першого входу "Зсув вправо", другого входу „Скид", третього входу "Поріг", четвертого входу „Зсув вниз", п'ятого входу "Бінаризація" сенсорної матриці 1 відповідно. Кожний елемент сенсорної матриці 1 (фіг. 3) має фотосенсор 6, управляючий вхід якого підключений до другого входу "Скид" сенсорної матриці 1, а вихід підключений до першого входу порогового елемента 7, другий вхід якого з'єднаний з третім входом сенсорної матриці "Поріг", вихід порогового елемента 7 та виходи сусідніх елементів зліва і зверху сенсорної матриці 1 підключені відповідно до першого, другого та третього інформаційних входів логічного елемента "І-ЧИ" 8, управляючі входи яких з'єднані із п'ятим входом "Бінаризація", четвертим входом "Зсув вниз" та першим входом "Зсув вправо" сенсорної матриці 1 відповідно, вихід логічного елемента "І-ЧИ" 8 підключений до одиничного входу тригера 9, вихід якого підключений до входів сусідніх правого та нижнього елементів сенсорної матриці 1. Робота пристрою полягає в наступному. Мікропроцесор 4 через цифро-аналоговий перетворювач 5 встановлює заданий поріг на третій вхід „Поріг" сенсорної матриці 1, проводить початковий скид елементів сенсорної матриці 1 по другому входу „Скид" та встановлює команду "Бінаризація" на п'ятий вхід сенсорної матриці 1, після чого фотосенсори 6 починають 2 UA 104347 C2 5 10 15 20 25 30 35 40 45 50 55 60 реєструвати інтенсивність світла, яке попадає від сцени, яка на них проецирується. Якщо за встановлений час експозиції напруга на фотосенсорі 6 досягла порогового рівня або перевищила його, спрацьовує пороговий елемент 7 і видає одиничний сигнал на перший інформаційний вхід логічного елемента "I-ЧИ" 8, який при наявності управляючого сигналу "Бінаризація" на п'ятому вході сенсорної матриці 1 встановлює тригер сенсорного елемента в одиничний стан. Після закінчення часу експозиції мікропроцесор знімає сигнал "Бінаризація" і встановлює команду "Зсув вправо" по першому входу сенсорної матриці 1, в результаті чого під управлінням тактових імпульсів від мікропроцесора здійснюється перезапис інформації в тригери від сусідніх лівих сенсорних елементів вздовж рядків матриці, а також підрахунок з допомогою лічильників блока 2 кількості активних елементів, тобто елементів, в яких був перевищений поріг. За рахунок кільцевих зв'язків у рядках через N тактів шляхом зсувів в сенсорній матриці 1 відновлюється попередній стан всіх її елементів. Після цього аналогічно попередньому здійснюється зсув інформації колонок під управлінням команди "Зсув вниз" та підрахунок кількості активних елементів в колонках блоком лічильників 3. Зчитування інформації з блоків лічильників рядків 2 та колонок З здійснюється під управлінням мікропроцесора 4 шляхом зсуву кодів між лічильниками або шляхом їх послідовного підключення на загальну шину під управлінням сигналів з третього та четвертого виходів мікропроцесора 4. Операція підрахунку кількості активних елементів в колонках може бути суміщена у часі з операцією зчитування в мікропроцесор 4 кодів з лінійки лічильників рядків. Зчитана в мікропроцесор 4 інформація представляє собою перерізи об'єкта по двом ортогональним осям, що дозволяє визначити місцеположення об'єкта в зображенні, його габаритні розміри та центр прямокутника, описаного навколо виділеного об'єкта з допомогою формул шкільної геометрії, а також швидкість його руху. Наприклад, верхня координата об'єкту у1 визначається по першому ненульовому стану лічильника в блоці лічильників рядків 2, а нижня координата у2 визначається по останньому ненульовому стану лічильника в блоці рядків. Ліва координата об'єкту х1 визначається по першому ненульовому лічильнику в блоці лічильників колонок 3, права х2 - по останньому. Габаритні розміри об'єкта визначаються так: Δх = х2 - х1, Δу = у2 – у1. Площа об'єкта визначається як сума накопичених чисел у лічильниках рядків або колонок: S = ΣNi = ΣMj. Центр прямокутника, описаного навколо об'єкту, визначиться так: x0 = (x1+x2)/2, y0 = (y1+y2)/2. Швидкість об'єкта може бути визначена як зміна місцеположення його центра між двома послідовними кадрами. Для підвищення точності визначення місцеположення об'єкта може бути використаний метод кількаразового зчитування відеоінформації з різними порогами до отримання стабільних результатів оцінки параметрів об'єкта або для уточнення порогу. Пристрій дозволяє також зменшити вплив імпульсних завад шляхом неврахування показників лічильників з малими значеннями кількості активних пікселів, що також дозволяє підвищити точність оцінки місцеположення та параметрів об'єкта. Сенсорна матриця може бути реалізована на базі КМОН-технології (комплементарний метал-оксид напівпровідник). Причому порогів елемент, логічна схема "І-ЧИ" та тригер займають значно менше місця на світлочутливому полі сенсорної матриці порівняно з апаратними витратами у прототипі, що підвищує фактор заповнення та відповідно чутливість і швидкість роботи сенсорної матриці. Додаткові блоки лічильників можуть бути розміщені не в активному полі сенсорної матриці. Лічильники в блоках 2 і 3 лічильників рядків та колонок з'єднані в кожному блоці зв'язками зсуву зверху вниз та зліва направо відповідно, виходи нижнього та правого лічильників блоків рядків та колонок являються виходами блоків 2 та 3 відповідно і можуть бути легко реалізовані на сучасній елементній базі. Блоки лічильників рядків і колонок мають один паралельний вихід, розрядність якого залежить від розмірів рядка або колонки і оцінюється як логарифм двійковий від їх розмірів. Тобто на сенсорну матрицю 10241024 елементи необхідно всього 10 розрядів лічильника. Операції підрахунку кількості елементів в рядках та колонках займають для наведених розмірів сенсорної матриці 21024 тактів, а зчитування інформації з лінійок лічильників також займає 21024 такти, тобто сумарно 41024 такти. При суміщенні підрахунку кількості активних елементів в колонках з операцією зчитування в мікропроцесор кодів з лінійки лічильників рядків (без додаткових апаратних витрат) час обробки інформації займає 31024 такти. Тобто при тактовій частоті сучасних лічильників 100 мГц це займає приблизно 0,3 мл сек., що вказує на високу продуктивність пристрою. Таким чином всі паралельні операції в пристрої (сприйняття світла, бінаризація та підрахунок кількості елементів в рядках та колонках) виконуються паралельно, а чисто послідовна операція аналізу отриманих результатів виконується послідовно і не вимагає 3 UA 104347 C2 значних затрат часу, що й забезпечує пристрою високу продуктивність і ефективність використання апаратури. ФОРМУЛА ВИНАХОДУ 5 10 15 20 25 30 35 1. Пристрій для визначення місцеположення та параметрів об'єкта в зображенні, який складається з сенсорної матриці, мікропроцесора, перший вихід якого через цифро-аналоговий перетворювач підключений до входу "Поріг" сенсорної матриці, а другий вихід мікропроцесора підключений до входу сенсорної матриці "Скид", який відрізняється тим, що виходи рядків сенсорної матриці підключені на входи блока лічильників рядків відповідно, а виходи колонок сенсорної матриці підключені до входів блока лічильників колонок відповідно, виходи блоків лічильників рядків і колонок підключені до першого і другого входів мікропроцесора відповідно, керуючі входи блоків лічильників рядків та лічильників колонок підключені відповідно до третього і четвертого виходів мікропроцесора, п'ятий, шостий і сьомий виходи якого підключені до четвертого "Зсув вниз", першого "Зсув вправо" та п'ятого "Бінаризація" входів сенсорної матриці відповідно. 2. Пристрій за п. 1, який відрізняється тим, що сенсорна матриця складається з MN елементів, причому виходи лівих елементів матриці зв'язані з інформаційними входами сусідніх правих елементів у рядках, а виходи крайніх правих елементів у рядках зв'язані з інформаційними входами крайніх лівих елементів відповідно, а також з виходами рядків сенсорної матриці, виходи верхніх елементів у колонках зв'язані з інформаційними входами нижніх елементів колонок, а виходи самих нижніх елементів у колонках зв'язані відповідно з інформаційними входами самих верхніх у колонках елементів, а такожзв'язані з виходами колонок сенсорної матриці, перші, другі, треті, четверті та п'яті керуючі входи елементів відповідно об'єднані та підключені до першого входу "Зсув вправо", другого входу "Скид", третього входу "Поріг", четвертого входу "Зсув вниз", п'ятого входу "Бінаризація" сенсорної матриці відповідно. 3. Пристрій за п. 1 або 2, який відрізняється тим, що кожний елемент сенсорної матриці має фотосенсор, управляючий вхід якого підключений до другого входу "Скид" сенсорної матриці, а вихід підключений до першого входу порогового елемента, другий вхід якого з'єднаний з третім входом сенсорної матриці "Поріг", вихід порогового елемента та виходи сусідніх елементів зліва і зверху сенсорної матриці підключені відповідно до першого, другого та третього інформаційних входів логічного елемента "І-АБО", керуючі входи яких з'єднані з п'ятим входом "Бінаризація", четвертим входом "Зсув вниз" та першим входом "Зсув вправо" сенсорної матриці відповідно, вихід логічного елемента "І-АБО" підключений до одиничного входу тригера, вихід якого підключений до входів сусідніх правого та нижнього елементів сенсорної матриці. 4 UA 104347 C2 5 UA 104347 C2 6 UA 104347 C2 Комп’ютерна верстка Л. Бурлак Державна служба інтелектуальної власності України, вул. Урицького, 45, м. Київ, МСП, 03680, Україна ДП “Український інститут промислової власності”, вул. Глазунова, 1, м. Київ – 42, 01601 7