Пристрій для визначення місцеположення та параметрів об’єкта в зображенні

Реферат: UA 76597 U UA 76597 U 5 10 15 20 25 30 35 40 45 50 55 60 Корисна модель належить до сенсорно-обчислювальної техніки і може бути використана для сприйняття зображення відеосенсором, швидкого підбору порогового обмеження, бінаризації зображення, визначення місцеположення об'єкта в зображенні, його габаритних розмірів, площі та швидкості руху. Технічним результатом є спрощення пристрою, розширення його функціональних можливостей та підвищення точності визначення місцеположення об'єкта в зображенні, його габаритних розмірів та площі. Традиційно визначення місцеположення об'єкта здійснюється шляхом послідовного зчитування в комп'ютер значень яскравості пікселів з відеосенсора для наступної обробки зображення, що приводить до значних витрат часу і, відповідно, зниження частоти кадрів, та унеможливлює слідкування за рухом високо-динамічних об'єктів. Тому для підвищення швидкодії пристроїв обробку відеоінформації суміщають з її сприйняттям відеосенсором, розміщуючи пристрій обробки безпосередньо на сенсорі. Це дозволяє розпаралелити процес обробки та сприяє значному підвищенню частоти відеозйомки. Відомий пристрій для визначення місцеположення об'єкта [G.Erten and S.Hagopian, "Integrated image sensor processor with on-chip centroiding function", in Proc. Midwest Symp. Circuits Syst., 1999. - Vol.1. - Р. 262-265], в якому визначається наявність активних пікселів після бінаризації зображення в рядках та стовпчиках фактично по схемі "ЧИ" та проводиться фіксація її на тригерах регістра рядка та регістра колонки, які потім зчитуються в процесор для аналізу і обчислення місцеположення об'єкта. Недоліком пристрою є те, що фактично визначається не сам об'єкт, а прямокутник, описаний навколо нього, що унеможливлює визначення таких важливих характеристик об'єкта, як площа, контур тощо. Проблемою в цьому пристрої є також наявність окремих одиничних активних пікселів від завад, вилучення яких вимагає суттєвих додаткових витрат апаратури. Відомий пристрій для визначення місцеположення об'єкта [R.D.Burns, J.Shah, C.Hong, S.Pepic, J.S.Lee, R.I.Hornsey, P.Thomas, "Object location and centroiding techniques with CMOS active pixel sensors", in IEEE Trasactions on electron devices, December, 2003. - Vol. 50. - №. 12. Р. 2369-2377, fig.1], який використовує бінаризацію зображення та підсумовування аналоговим способом виділених пікселів по рядках та колонках, використовуючи для кожного пікселя по два підсилювача з великою крутизною характеристики. Недоліками пристрою є значні додаткові апаратурні витрати на піксель, що значно скорочує фактор заповнення (тобто залишається мала площа кристала для елементів безпосередньо відеосенсора), та невисока точність визначення місцеположення об'єкта. Найбільш близьким до запропонованого пристрою по технічній суті і задачі є пристрій центрування та визначення місцеположення об'єкта активними піксельними КМОН сенсорами [R.D.Burns, J.Shah, C.Hong, S.Pepic, J.S.Lee, R.I.Hornsey, P.Thomas, "Object location and centroiding techniques with CMOS active pixel sensors", in IEEE Trasactions on electron devices, December, 2003. - Vol. 50. - №. 12. - Р. 2369-2377, fig.8], який складається з сенсорної матриці MхN елементів, перші і другі виходи елементів якої підключені відповідно до загальних шин рядка і колонки, які підключені до схем підсумовування струмів рядка і колонки відповідно, виходи яких з'єднані з відповідними входами блока аналогових запам'ятовуючих пристроїв рядка і колонки відповідно, виходи яких через відповідні аналого-цифрові перетворювачі підключені до входів мікропроцесора, перший вихід якого через цифро-аналоговий перетворювач з'єднаний із входом "Поріг" сенсорної матриці, а інші виходи мікропроцесора підключені до входів сенсорної матриці "Скид", "Зміщення" та входів керування зсувами блоків аналогових запам'ятовуючих пристроїв рядка і колонки. Кожний елемент сенсорної матриці має фотосенсор, вихід якого підключений до першого входу порогового елемента, другий вхід якого підключений до загального для всієї матриці входу "Поріг", а вихід порогового елемента підключений до одиничного входу тригера, одиничний вихід якого з'єднаний з входами першої і другої схем формування струмів, виходи яких з'єднані з першими і другими виходами елементів сенсорної матриці. При перевищенні інтенсивності світла на даному пікселі величини порогу спрацьовує пороговий елемент, який встановлює тригер в одиничне положення, тобто здійснюється бінаризація зображення. Кожний активний піксель добавляє порцію струму у вихідну шину рядка та ідентичну порцію струму у вихідну шину колонки з допомогою двох ідентичних схем формування струмів. На кінці кожного рядка та колонки ці порції струму з допомогою схем підсумовування струмів формують потенціал, пропорційний кількості активних пікселів в рядку або колонці, який фіксується блоком аналогових запам'ятовуючих пристроїв відповідно, що характеризує просторову гістограму об'єкта по двох ортогональних осях зображення. Для визначення місцеположення і центра об'єкта необхідно здійснити додатково зсув накопичених потенціалів по лінійкам аналогових запам'ятовуючих елементів рядка та колонки відповідно або 1 UA 76597 U 5 10 15 20 25 30 35 40 45 50 55 60 скомутувати їх послідовно на загальну шину, виконати аналого-цифрове перетворення та обчислити місцеположення та центр об'єкта по відомим із шкільного курсу геометрії формулам. Недоліками прототипу є низька точність аналогового обчислення кількості активних пікселів в рядку та колонці, яка складає від одиниць до десятків елементів, що обумовлено розкидом параметрів великої кількості транзисторів, які видають порції струму, та нелінійністю елементів, що підсумовують струми в широкому діапазоні, а також необхідність додаткових апаратних витрат для зсуву (або комутації) потенціалів з лінійок та аналого-цифрових перетворювачів. Низька точність обчислення кількості активних пікселів в рядку та колонці впливає відповідно на точність визначення місцеположення та центра об'єкта. Хоча в описі прототипу і вказується про можливість підвищення точності оцінки місцеположення та центра об'єкта - за рахунок багаторазового зчитування та обробки зображення з різними порогами (що дійсно справедливо), але вимагає в десятки разів більшого часу та ще й критично до можливих змін (освітлення, руху, чутливості елементів сенсора) в зображенні протягом цього процесу. Крім цього, розміщення в пікселі додаткових транзисторів (12 елементів) і резисторів знижує фактор заповнення, тобто зменшує активну частину площі для сприйняття відеоінформації, що зменшує чутливість матриці та потребує більшого часу освітлення. В основу моделі, яка пропонується, поставлена технічна задача створення пристрою, що дозволить підвищити точність обчислення кількості активних елементів в рядку і колонці та, відповідно, підвищити точність визначення місцеположення, площі та центру об'єкта. Поставлена технічна задача вирішується шляхом бінаризації зображення, підрахунку кількості активних елементів в рядку і колонці за допомогою традиційних лічильників імпульсів, що спрощує сенсорний елемент, підвищує його чутливість та підвищує точність підрахунку кількості активних пікселів в рядку та колонці та, відповідно, точність визначення місцеположення, площі та центра об'єкта, які обчислюються з допомогою мікропроцесора. Структурна схема пристрою приведена на фіг. 1, структурна схема сенсорної матриці - на фіг. 2, функціональна схема елемента сенсорної матриці - на фіг. 3. Пристрій (фіг. 1) складається з сенсорної матриці. 1, виходи рядків якої підключені на входи блока 2 лічильників рядків відповідно, а виходи колонок підключені до входів блока 3 лічильників колонок відповідно, виходи блоків 2 і 3 лічильників рядків і колонок підключені до першого і другого входів мікропроцесора 4 відповідно, перший інформаційний вихід мікропроцесора 4 через цифро-аналоговий перетворювач 5 (ЦАП) підключений до третього входу "Поріг" сенсорної матриці 1, другий вихід мікропроцесора 4 з'єднаний з входом "Скид" сенсорної матриці, третій і четвертий керуючі виходи мікропроцесора підключені до входів керування блоками 2 і 3 лічильників рядків та лічильників колонок відповідно, п'ятий вихід мікропроцесора 4 підключений до четвертого входу "Зсув вниз" сенсорної матриці 1, шостий вихід мікропроцесора 4 підключений до першого входу "Зсув вправо" сенсорної матриці 1, а сьомий вихід мікропроцесора 4 підключений до п'ятого входу "Бінаризація" сенсорної матриці 1. Сенсорна матриця 1 (фіг. 2) складається з MxN елементів 111-1MN, причому виходи лівих елементів матриці зв'язані з інформаційними входами сусідніх правих елементів у рядках, а виходи крайніх правих елементів у рядках зв'язані з інформаційними входами крайніх лівих елементів відповідно, а також з виходами рядків сенсорної матриці 1, виходи верхніх елементів у колонках зв'язані з інформаційними входами нижніх елементів колонок, а виходи самих нижніх елементів у колонках зв'язані відповідно з інформаційними входами самих верхніх у колонках елементів, а також зв'язані з виходами колонок сенсорної матриці 1. Перші, другі, треті, четверті та п'яті керуючі входи елементів відповідно об'єднані та підключені до першого входу "Зсув вправо", другого входу "Скид", третього входу "Поріг", четвертого входу "Зсув вниз", п'ятого входу "Бінаризація" сенсорної матриці 1 відповідно. Кожний елемент сенсорної матриці 1 (фіг. 3) має фотосенсор 6, керуючий вхід якого підключений до другого входу "Скид" сенсорної матриці 1, а вихід підключений до першого входу порогового елемента 7, другий вхід якого з'єднаний з третім входом сенсорної матриці "Поріг", вихід порогового елемента 7 та виходи сусідніх елементів зліва і зверху сенсорної матриці 1 підключені відповідно до першого, другого та третього інформаційних входів логікового елемента "І-ЧИ" 8, керуючі входи яких з'єднані із п'ятим входом "Бінаризація", четвертим входом "Зсув вниз" та першим входом "Зсув вправо" сенсорної матриці 1 відповідно, вихід логікового елемента "І-ЧИ" 8 підключений до одиничного входу тригера 9, вихід якого підключений до входів сусідніх правого та нижнього елементів сенсорної матриці 1. Робота пристрою полягає в наступному. Мікропроцесор 4 через цифро-аналоговий перетворювач 5 встановлює заданий поріг на третій вхід "Поріг" сенсорної матриці 1, проводить початковий скид елементів сенсорної матриці 1 по другому входу "Скид" та встановлює команду "Бінаризація" на п'ятий вхід сенсорної матриці 1, після чого фотосенсори 6 починають 2 UA 76597 U 5 10 15 20 25 30 35 40 45 50 55 реєструвати інтенсивність світла, яке попадає від сцени, яка на них проецирується. Якщо за встановлений час експозиції напруга на фотосенсорі 6 досягла порогового рівня або перевищила його, спрацьовує пороговий елемент 7 і видає одиничний сигнал на перший інформаційний вхід логічного елемента "I-ЧИ" 8, який при наявності керуючого сигналу "Бінаризація" на п'ятому вході сенсорної матриці 1 встановлює тригер сенсорного елемента в одиничний стан. Після закінчення часу експозиції мікропроцесор знімає сигнал "Бінаризація" і встановлює команду "Зсув вправо" по першому входу сенсорної матриці 1, в результаті чого під керуванням тактових імпульсів від мікропроцесора здійснюється перезапис інформації в тригери від сусідніх лівих сенсорних елементів вздовж рядків матриці, а також підрахунок з допомогою лічильників блока 2 кількості активних елементів, тобто елементів, в яких був перевищений поріг. За рахунок кільцевих зв'язків у рядках через N тактів шляхом зсувів в сенсорній матриці 1 відновлюється попередній стан всіх її елементів. Після цього аналогічно попередньому здійснюється зсув інформації колонок під керуванням команди "Зсув вниз" та підрахунок кількості активних елементів в колонках блоком лічильників 3. Зчитування інформації з блоків лічильників рядків 2 та колонок 3 здійснюється під керуванням мікропроцесора 4 шляхом зсуву кодів між лічильниками або шляхом їх послідовного підключення на загальну шину під керуванням сигналів з третього та четвертого виходів мікропроцесора 4. Операція підрахунку кількості активних елементів в колонках може бути суміщена у часі з операцією зчитування в мікропроцесор 4 кодів з лінійки лічильників рядків. Зчитана в мікропроцесор 4 інформація представляє собою перерізи об'єкта по двох ортогональних осях, що дозволяє визначити місцеположення об'єкта в зображенні, його габаритні розміри та центр прямокутника, описаного навколо виділеного об'єкта з допомогою формул шкільної геометрії, а також швидкість його руху. Наприклад верхня координата об'єкта у1 визначається по першому ненульовому стану лічильника в блоці лічильників рядків 2, а нижня координата у2 визначається по останньому ненульовому стану лічильника в блоці рядків. Ліва координата об'єкта х1 визначається по першому ненульовому лічильнику в блоці лічильників колонок 3, права х2 - по останньому. Габаритні розміри об'єкта визначаються так: x=x2-x1, y=y2-y1. Площа об'єкта визначається як сума накопичених чисел у лічильниках рядків або колонок: S=ΣNi=ΣMj. Центр прямокутника, = описаного навколо об'єкта, визначиться так: x0=(x1+х2)/2, у0 (у1+у2)/2. Швидкість об'єкта може бути визначена як зміна місцеположення його центра між двома послідовними кадрами. Для підвищення точності визначення місцеположення об'єкта може бути використаний метод кількаразового зчитування відеоінформації з різними порогами до отримання стабільних результатів оцінки параметрів об'єкта або для уточнення порогу. Пристрій дозволяє також зменшити вплив імпульсних завад шляхом неврахування показників лічильників з малими значеннями кількості активних пікселів, що також дозволяє підвищити точність оцінки місцеположення та параметрів об'єкта. Сенсорна матриця може бути реалізована на базі КМОН-технології (комплементарний метал-оксид напівпровідник). Причому пороговий елемент, логічна схема "І-ЧИ" та тригер займають значно менше місця на світлочутливому полі сенсорної матриці порівняно з апаратними витратами у прототипі, що підвищує фактор заповнення та відповідно чутливість і швидкість роботи сенсорної матриці. Додаткові блоки лічильників можуть бути розміщені не в активному полі сенсорної матриці. Лічильники в блоках 2 і 3 лічильників рядків та колонок з'єднані в кожному блоці зв'язками зсуву зверху вниз та зліва направо відповідно, виходи нижнього та правого лічильників блоків рядків та колонок являються виходами блоків 2 та 3 відповідно і можуть бути легко реалізовані на сучасній елементній базі. Блоки лічильників рядків і колонок мають один паралельний вихід, розрядність якого залежить від розмірів рядка або колонки і оцінюється як логарифм двійковий від їх розмірів. Тобто на сенсорну матрицю 1024×1024 елементи необхідно всього 10 розрядів лічильника. Операції підрахунку кількості елементів в рядках та колонках займають для наведених розмірів сенсорної матриці 2×1024 тактів, а зчитування інформації з лінійок лічильників також займає 2×1024 такти, тобто сумарно 4×1024 такти. При суміщенні підрахунку кількості активних елементів в колонках з операцією зчитування в мікропроцесор кодів з лінійки лічильників рядків (без додаткових апаратних витрат) час обробки інформації займає 3×1024 такти. Тобто при тактовій частоті сучасних лічильників 100 мГц це займає приблизно 0,3 млсек., що вказує на високу продуктивність пристрою. Таким чином, всі паралельні операції в пристрої (сприйняття світла, бінаризація та підрахунок кількості елементів в рядках та колонках) виконуються паралельно, а чисто послідовна операція аналізу отриманих результатів виконується послідовно і не вимагає 3 UA 76597 U значних затрат часу, що й забезпечує пристрою високу продуктивність ефективність використання апаратури. ФОРМУЛА КОРИСНОЇ МОДЕЛІ 5 10 15 20 25 30 35 1. Пристрій для визначення місцеположення та параметрів об'єкта в зображенні, який складається з сенсорної матриці, мікропроцесора, перший вихід якого через цифро-аналоговий перетворювач підключений до входу "Поріг" сенсорної матриці, а другий вихід мікропроцесора підключений до входу сенсорної матриці "Скид", який відрізняється тим, що виходи рядків сенсорної матриці підключені на входи блока лічильників рядків відповідно, а виходи колонок сенсорної матриці підключені до входів блока лічильників колонок відповідно, виходи блоків лічильників рядків і колонок підключені до першого і другого входів мікропроцесора відповідно, керуючі входи блоків лічильників рядків та лічильників колонок підключені відповідно до третього і четвертого виходів мікропроцесора, п'ятий, шостий і сьомий виходи якого підключені до четвертого "Зсув вниз", першого "Зсув вправо" та п'ятого "Бінаризація" входів сенсорної матриці відповідно. 2. Пристрій за п. 1, який відрізняється тим, що сенсорна матриця складається з MхN елементів, причому виходи лівих елементів матриці зв'язані з інформаційними входами сусідніх правих елементів у рядках, а виходи крайніх правих елементів у рядках зв'язані з інформаційними входами крайніх лівих елементів відповідно, а також з виходами рядків сенсорної матриці, виходи верхніх елементів у колонках зв'язані з інформаційними входами нижніх елементів колонок, а виходи самих нижніх елементів у колонках зв'язані відповідно з інформаційними входами самих верхніх у колонках елементів, а також зв'язані з виходами колонок сенсорної матриці, перші, другі, треті, четверті та п'яті керуючі входи елементів відповідно об'єднані та підключені до першого входу "Зсув вправо", другого входу "Скид", третього входу "Поріг", четвертого входу "Зсув вниз", п'ятого входу "Бінаризація" сенсорної матриці відповідно. 3. Пристрій за пп. 1, 2, який відрізняється тим, що кожний елемент сенсорної матриці має фотосенсор, керуючий вхід якого підключений до другого входу "Скид" сенсорної матриці, а вихід підключений до першого входу порогового елемента, другий вхід якого з'єднаний з третім входом сенсорної матриці "Поріг", вихід порогового елемента та виходи сусідніх елементів зліва і зверху сенсорної матриці підключені відповідно до першого, другого та третього інформаційних входів логікового елемента "І-ЧИ", керуючі входи яких з'єднані з п'ятим входом "Бінаризація", четвертим входом "Зсув вниз" та першим входом "Зсув вправо" сенсорної матриці відповідно, вихід логікового елемента "І-ЧИ" підключений до одиничного входу тригера, вихід якого підключений до входів сусідніх правого та нижнього елементів сенсорної матриці. 4 UA 76597 U 5 UA 76597 U Комп’ютерна верстка М. Ломалова Державна служба інтелектуальної власності України, вул. Урицького, 45, м. Київ, МСП, 03680, Україна ДП “Український інститут промислової власності”, вул. Глазунова, 1, м. Київ – 42, 01601 6