Сенсорний пристрій для визначення місцеположення та центра ваги об’єкта

Реферат: UA 81142 U UA 81142 U 5 10 15 20 25 30 35 40 45 50 55 60 Корисна модель належить до обчислювальної техніки і може бути використана для сприйняття зображення відеосенсором, швидкого підбору порогового обмеження, бінаризації зображення, визначення місцеположення об'єкта в зображенні, його габаритних розмірів, площі та швидкості руху, а також його перших моментів інерції і центра ваги. Функціональні можливості пристрою розширені за рахунок обчислення перших моментів інерції зображення та центра ваги об'єкта, які є більш важливими для багатьох застосувань характеристиками, ніж центр прямокутника, описаного навколо об'єкта. Оскільки центр ваги більшою мірою враховує форму об'єкта, то можливість його обчислення підвищує точність визначення місцеположення та швидкості руху об'єкта та забезпечує більш точну його прив'язку до еталону при необхідності його розпізнавання. Традиційно обчислення моментів інерції та центра ваги об'єкта здійснюється шляхом послідовного зчитування в комп'ютер значень яскравості пікселів з відеосенсора для наступної обробки зображення, що приводить до значних витрат часу і, відповідно, зниження частоти кадрів, та унеможливлює розпізнавання та слідкування за рухом високодинамічних об'єктів. Тому для підвищення швидкодії пристроїв обробку відеоінформації суміщають з її сприйняттям відеосенсором, розміщуючи пристрій обробки безпосередньо на сенсорі. Це дозволяє розпаралелити процес обробки та сприяє значному підвищенню частоти відеозйомки. Відомий пристрій для визначення місцеположення об'єкта [R.D.Burns, J.Shah, C.Hong, S.Pepic, J.S.Lee, R.I.Hornsey, P.Thomas, "Object location and centroiding techniques with CMOS active pixel sensors", in IEEE Transactions on electron devices, vol.50, No.12, December, 2003, pp.2369-2377, fig. 1], який складається з сенсорної матриці, кожний елемент якої має фотосенсор, вихід якого підключений до перших входів порогових елементів рядка і колонки, другі входи яких підключені до загального для всієї матриці входу "Поріг", а виходи порогових елементів по рядках та колонках відповідно об'єднані по схемі логічного І-НІ та підключені на одиничні входи тригерів рядків та колонок відповідно. Недоліками пристрою є невисока точність визначення місцеположення об'єкта, оскільки при цьому губиться інформація про кількість активних елементів в рядку та колонці, тобто про форму об'єкта, що ускладнює розпізнавання об'єкта в разі його зсуву відносно еталона. Відомий пристрій центрування та визначення місцеположення об'єкта активними піксельними КМОН сенсорами [R.D.Burns, J.Shah, C.Hong, S.Pepic, J.S.Lee, R.I.Hornsey, P.Thomas, "Object location and centroiding techniques with CMOS active pixel sensors", in IEEE Transactions on electron devices, vol.50, No.12, December, 2003, pp. 2369-2377, fig.8], який складається з сенсорної матриці M  N елементів, перші і другі виходи елементів якої підключені відповідно до загальних шин рядка і колонки, які підключені до схем підсумовування токів рядка і колонки відповідно, виходи яких з'єднані з відповідними входами блока аналогових запам'ятовуючих пристроїв рядка і колонки відповідно, виходи яких через відповідні аналогоцифрові перетворювачі підключені до входів мікропроцесора, перший вихід якого через цифроаналоговий перетворювач з'єднаний із входом "Поріг" сенсорної матриці, а інші виходи мікропроцесора підключені до входів сенсорної матриці "Скид", "Зміщення" та входів управління зсувами блоків аналогових запам'ятовуючих пристроїв рядка і колонки. Кожний елемент сенсорної матриці має фотосенсор, вихід якого підключений до першого входу порогового елемента, другий вхід якого підключений до загального для всієї матриці входу "Поріг", а вихід порогового елемента підключений до одиничного входу тригера, одиничний вихід якого з'єднаний з входами першої і другої схем формування токів, виходи яких з'єднані з першими і другими виходами елементів сенсорної матриці. Недоліками пристрою є низька точність аналогового обчислення кількості активних пікселів в рядку та колонці, яка складає від одиниць до десятків елементів, що впливає, відповідно, на точність визначення місцеположення і центра об'єкта та ускладнює розпізнавання об'єкта в разі його зсуву відносно еталона. Найбільш близьким аналогом є "Пристрій для визначення місцеположення та параметрів об'єкта в зображенні" [Заявка на корисну модель № U201207508 від 19.06.2012], який складається з сенсорної матриці, виходи рядків якої підключені на входи блока лічильників рядків відповідно, а виходи колонок підключені до входів блока лічильників колонок відповідно, виходи блоків лічильників рядків і колонок підключені до першого і другого входів мікропроцесора відповідно, перший інформаційний вихід мікропроцесора через цифроаналоговий перетворювач підключений до третього входу "Поріг" сенсорної матриці, другий вихід мікропроцесора з'єднаний з другим входом "Скид" сенсорної матриці, третій і четвертий управляючі виходи мікропроцесора підключені до входів управління блоками лічильників рядків та лічильників колонок відповідно, п'ятий вихід мікропроцесора підключений до четвертого входу "Зсув вниз" сенсорної матриці, шостий вихід мікропроцесора підключений до першого 1 UA 81142 U 5 10 15 20 25 30 35 40 45 50 55 60 входу "Зсув вправо" сенсорної матриці, а сьомий вихід мікропроцесора підключений до п'ятого входу "Бінаризація" сенсорної матриці. Зчитана в мікропроцесор інформація являє собою перерізи об'єкта по двох ортогональних осях, що дозволяє визначити місцеположення об'єкта в зображенні, його габаритні розміри та центр прямокутника, описаного навколо виділеного об'єкта. Недоліком аналога є недостатня точність визначення місцеположення об'єкта в прямокутнику, описаному навколо нього, що ускладнює розпізнавання об'єкта в разі його зсуву відносно еталона. Більш точною характеристикою місцеположення об'єкта є його центр ваги, який дозволяє нормалізувати об'єкт до еталона та спростити процедуру розпізнавання об'єкта по еталону. В основу корисної моделі поставлена задача створення пристрою, який дозволить підвищити точність обчислення центра ваги об'єкта, що враховує форму об'єкта, та дозволить більш точно визначити місцеположення та центр об'єкта, провести нормалізацію об'єкта до еталона та спростити розпізнавання об'єкта. Поставлена задача вирішується шляхом обчислення перших моментів бінаризованого зображення, на базі яких обчислюється центр ваги об'єкта та проводиться його нормалізація до еталона шляхом зсуву об'єкта на обчисленні значення параметрів. Суть корисної моделі пояснюється кресленням, де зображена структурна схема пристрою (фіг. 1, структурна схема сенсорної матриці - на фіг. 2, функціональна схема елемента сенсорної матриці - на фіг. 3, функціональна схема блока обчислення моментів - на фіг. 4. Пристрій (фіг. 1) складається з сенсорної матриці 1, виходи рядків якої підключені на входи блока 2 обчислення моментів рядків відповідно, а виходи колонок підключені до входів блока 3 обчислення моментів колонок відповідно, виходи блоків 2 обчислення моментів рядків і 3 обчислення моментів колонок підключені до першого і другого входів мікропроцесора 4 відповідно, перший вихід мікропроцесора 4 через цифро-аналоговий перетворювач 5 підключений до третього входу "Поріг" сенсорної матриці 1, другий вихід мікропроцесора 4 з'єднаний з другим входом "Скид" сенсорної матриці 1, третій вихід мікропроцесора 4 підключений до першого входу "Зсув вліво" сенсорної матриці 1 та лічильника 6 відстаней рядків, четвертий вихід мікропроцесора 4 підключений до четвертого входу "Зсув вниз" сенсорної матриці 1 та лічильника 7 відстаней колонок, п'ятий вихід мікропроцесора 4 підключений до п'ятого входу "Бінаризація" сенсорної матриці 1, шостий та сьомий виходи мікропроцесора 4 з'єднані з управляючими входами блоків 2 і 3 обчислення моментів рядків і колонок відповідно. Сенсорна матриця 1 (фіг. 2) складається з Μ  Ν елементів 1111MN, причому виходи правих елементів матриці зв'язані з інформаційними входами сусідніх лівих елементів у рядках, а виходи крайніх лівих елементів у рядках зв'язані з інформаційними входами крайніх правих елементів відповідно, а також з виходами рядків сенсорної матриці 1, виходи верхніх елементів у колонках зв'язані з інформаційними входами нижніх елементів колонок, а виходи самих нижніх елементів у колонках зв'язані відповідно з інформаційними входами самих верхніх у колонках елементів, а також зв'язані з виходами колонок сенсорної матриці 1. Перші, другі, треті, четверті та п'яті управляючі входи елементів відповідно об'єднані та підключені до входів "Зсув вліво", "Скид", "Поріг", "Зсув вниз" та "Бінаризація" сенсорної матриці 1 відповідно. Кожний елемент сенсорної матриці 1 (фіг. 3) має фотосенсор 8, управляючий вхід якого підключений до другого входу "Скид" сенсорної матриці 1, а вихід підключений до першого входу порогового елемента 9, другий вхід якого з'єднаний з третім входом "Поріг" сенсорної матриці 1, вихід порогового елемента 9 та виходи сусідніх елементів справа і зверху сенсорної матриці 1 підключені відповідно до першого, другого та третього інформаційних входів логічного елемента І-АБО 10, управляючі входи яких з'єднані із входом "Бінаризація", входом "Зсув вниз" та входом "Зсув вліво" сенсорної матриці 1 відповідно, вихід логічного елемента І-АБО 10 підключений до одиничного входу тригера 11, вихід якого підключений до входів сусідніх лівого та нижнього елементів сенсорної матриці 1. Блоки 2 та 3 обчислення моментів рядків та обчислення моментів колонок складаються з N та Μ суматорів-накопичувачів 12, входи яких через перші групи елементів І 13 зв'язані через загальну шину з першим входом блоків 2 та 3 обчислення моментів рядків і обчислення моментів колонок відповідно, а виходи суматорів-накопичувачів 12 через другі групи елементів І 14 зв'язані через загальну шину з виходом блоків 2 та 3 обчислення моментів рядків і обчислення моментів колонок відповідно, управляючі входи першої групи елементів І 13 зв'язані відповідно з виходами рядків та колонок відповідно, а також регістрів зсуву 15, входи яких підключені до управляючих входів блоків 2 та 3 обчислення моментів рядків та обчислення моментів колонок, а виходи підключені до управляючих входів других елементів І 14 відповідно. 2 UA 81142 U Моменти інерції зображення обчислюються звичайно по наступних формулах: m00  5 20 25 30 35 40 45 50 1 MN m01  15  - нульовий момент являє собою середнє значення яскравості, а для бінаризованого зображення - кількість активних елементів в зображенні відносно загальної кількості елементів в зображенні; - перші моменти: m10  10  1 N M    x j, yi , MN i1 j1 1 MN   x j, yi  x j, N M i1 j1   x j, yi  yi, N M i 1 j1 представляють координати центра ваги об'єкта. Для бінаризованого зображення операція множення замінюється логічною операцією І, тому одиничні значення активних пікселів сенсорної матриці використовуються для управління підсумовуванням відстаней, тобто обчислюється сума відстаней активних елементів сенсорної матриці від лівого краю по рядках та від нижнього краю - по колонках. В пристрої-аналогу не важливо, в яку сторону здійснюється зсув значень елементів в сенсорній матриці: вліво або вправо та вниз або вверх. Але в пристрої, що заявляється, для того, щоб більш звично встановити координатні осі для представлення моментів інерції, вибрана ліва та нижня сторони зображення. Тому у формулі корисної моделі зміна напряму вліво не вважається відрізняючою ознакою. Пристрій працює наступним чином. Мікропроцесор 4 (фіг. 1) через цифро-аналоговий перетворювач 5 встановлює заданий поріг на третій вхід "Поріг" сенсорної матриці 1, проводить початковий скид елементів сенсорної матриці 1 по другому входу "Скид" та встановлює команду "Бінаризація" на п'ятий вхід сенсорної матриці 1, після чого фотосенсори 8 (фіг. 3) починають реєструвати інтенсивність світла, що попадає від сцени, яка на них проекціюється. Якщо за встановлений час експозиції напруга на фотосенсорі 8 досягла порогового рівня або перевищила його, спрацьовує пороговий елемент 9 і видає одиничний сигнал на перший інформаційний вхід логічного елемента І-АБО 10, який при наявності управляючого сигналу "Бінаризація" на вході сенсорної матриці 1 встановлює тригер 11 сенсорного елемента в одиничний стан. Після закінчення часу експозиції мікропроцесор 4 (фіг. 1) знімає сигнал "Бінаризація" з п'ятого входу сенсорної матриці 1 і видає тактові імпульси на вхід лічильника 6 відстаней рядків та перший вхід "Зсув вліво" сенсорної матриці 1, в результаті чого лічильник 6 відстаней рядків підраховує кількість імпульсів, що надійшли на його вхід, а під управлінням сигналів з виходів рядків сенсорної матриці 1 здійснюється передача вмісту лічильника 6 відстаней рядків, якщо відповідні їх елементи були активними, через групи елементів І 13 (фіг. 4) в суматори-накопичувачі 12 блока 2 обчислення моментів рядків та перезапис інформації в тригери 11 від сусідніх правих сенсорних елементів вздовж рядків матриці 1. Таким чином в суматорах-накопичувачах 12 блока 2 обчислення моментів по рядках накопичується сума відстаней активних елементів в рядках сенсорної матриці 1 від її лівого краю відповідно. Завдяки кільцевим зв'язкам між елементами сенсорної матриці 1 (фіг. 2) інформація в тригерах 11 (фіг. 3) рядків сенсорної матриці відновлюється. Аналогічно вищенаведеному запускається лічильник 7 відстаней колонок та проводиться зсув елементів сенсорної матриці 1 вниз. При цьому, під управлінням сигналів з виходів колонок сенсорної матриці 1 здійснюється передача через групи елементів І 13 вмісту лічильника 7 відстаней колонок для відповідних активних пікселів сенсорної матриці 1 в суматори-накопичувачі 12 блока 3 обчислення моментів колонок. Таким чином в суматорахнакопичувачах 12 блока 3 обчислення моментів колонок (фіг. 4) накопичується сума відстаней активних елементів в рядках сенсорної матриці 1 від її нижнього краю відповідно. Після накопичення відстаней активних елементів сенсорної матриці 1 від лівого краю в суматорах-накопичувачах 12 блока 2 обчислення моментів рядків сенсорної матриці 1 мікропроцесор 4 своїми тактовими імпульсами здійснює зсув, записаної одиниці в регістрі 15 зсуву блока 2 обчислення моментів рядків сенсорної матриці 1, яка послідовно відкриває другі групи елементів І 14. При цьому вміст суматорів-накопичувачів 12 блока 2 обчислення моментів рядків послідовно передається по загальній шині в мікропроцесор 4, який здійснює їх підсумовування. Аналогічно обчислюється момент інерції по координаті Y, тобто по колонках. Обчисленні моменти по координатах X та Υ дозволяють визначити центр ваги об'єкта, який, враховуючи його форму, більш точно визначає місцеположення об'єкта порівняно з прототипом. 3 UA 81142 U 5 10 15 20 25 30 35 40 45 50 Пропонований пристрій може також обчислити площу об'єкта, його габаритні розміри, центр описаного навколо об'єкта прямокутника, а також переміщення об'єкта між сусідніми кадрами та його швидкість. Для обчислення вказаних вище параметрів необхідно в лічильник 6 відстаней рядків занести з мікропроцесора 4 "одиницю" і не проводити підрахунок відстаней. В цьому випадку суматоринакопичувачі 12 (фіг. 4) блока 2 обчислення моментів рядків матриці підрахують кількість активних пікселів в рядках сенсорної матриці 1. Аналогічно обчислюється кількість активних пікселів в колонках сенсорної матриці 1 за допомогою лічильника 7 відстаней колонок та суматорів-накопичувачів 12 блока 3 обчислення моментів колонок матриці. Після чого мікропроцесор 4 обчислить загальну суму активних елементів матриці, тобто площу об'єкта або його нульовий момент, визначить ліву-праву та верхню-нижню межі об'єкта, його місцеположення, габаритні розміри, зміщення об'єкта та швидкість його переміщення між кадрами. Операція обчислення суми відстаней у колонках може бути суміщена у часі з операцією зчитування в мікропроцесор 4 кодів з суматорів-накопичувачів 12 блока 2 обчислення моментів рядків. Таким чином всі паралельні операції в пристрої (сприйняття світла, бінаризація та підсумовування відстаней активних елементів в рядках та колонках) виконуються паралельно, а операція підсумовування накопичених відстаней в рядках та колонках виконується послідовно на мікропроцесорі 4, оскільки паралельна її реалізація вимагає значних апаратних витрат, в малому степені прискорюючи обчислення. Додаткові операції обчислення площі об'єкта, його місцеположення та габаритних розмірів виконуються на мікропроцесорі 4, в малому степені впливаючи на загальний час обчислень, що й забезпечує пристрою високу продуктивність і ефективність використання апаратури. Час обчислення моментів рядків становить величину N тактів, моментів колонок - Μ тактів. Підсумовування накопичених моментів рядків і колонок у мікропроцесорі 4 складе відповідно Μ та N тактів. При суміщенні операції зчитування в мікропроцесор кодів з блока обчислення моментів рядків та обчислення моментів колонок (без додаткових апаратних витрат) час обробки інформації займає 3  Ν тактів (для варіанта Μ = Ν). Час обчислення нульового моменту складе величину: N тактів для підрахунку кількості активних елементів у рядках плюс Μ тактів для обчислення загальної кількості активних елементів. Тобто загальна кількість тактів на обчислення нульового моменту та двох перших моментів складе 5Ν тактів. Для вказаного вище розміру матриці (256  256=65536 елементів) час обчислення трьох моментів складе лише 1280 тактів. Традиційне обчислення моментів на комп'ютері потребує виконання: 65536 операцій для обчислення нульового моменту, 2  65536 операцій для обчислення першого моменту по координаті X та 2  65536 операцій для обчислення першого моменту по координаті Y, тобто 327680 операцій. Це порівняння вказує на надзвичайно високу продуктивність обробки інформації в сенсорній матриці. Сенсорна матриця може бути реалізована на базі КМОН-технології (комплементарний метал-оксид напівпровідник), яка дозволяє на одній технологічній основі реалізувати як фоточутливий елемент (фотосенсор), так і всі логічні елементи. Причому додаткові блоки 2 обчислення моментів в рядках і 3 обчислення моментів в колонках та лічильники відстаней 6 і 7 можуть бути розміщені в не активному полі сенсорної матриці, не зменшуючи її фактор заповнення. Ці блоки будуються з стандартних елементів обчислювальної техніки: суматоринакопичувачі, групи елементів І, лічильники. Максимальна розрядність суматорів-накопичувачів блоків обчислення моментів рядків і колонок для сенсорної матриці розміром 256  256 елементів складає 15 розрядів. Мікропроцесорні функції можуть бути реалізовані на будь-якому мікроконтролері, який має для цього всі необхідні входи і виходи та можливості виконання простих обчислень, наприклад фірми "Atmel" - AT91SAM9XE 256, фірми "Analog Devices" - ADuC702x та ін. ФОРМУЛА КОРИСНОЇ МОДЕЛІ 55 60 1. Сенсорний пристрій для визначення центра ваги об'єкта, який складається з сенсорної матриці, мікропроцесора, перший вихід якого через цифро-аналоговий перетворювач підключений до третього входу "Поріг" сенсорної матриці, а другий вихід мікропроцесора підключений до другого входу "Скид" сенсорної матриці, третій вихід мікропроцесора підключений до першого входу "Зсув вліво" сенсорної матриці, четвертий вихід мікропроцесора підключений до четвертого входу "Зсув вниз" сенсорної матриці, а п'ятий вихід мікропроцесора підключений до п'ятого входу "Бінаризація" сенсорної матриці, шостий вхід сенсорної матриці є 4 UA 81142 U 5 10 15 20 25 30 35 40 входом світлового потоку, який відрізняється тим, що пристрій додатково містить блоки обчислення моментів рядків і обчислення моментів колонок та лічильники відстаней рядків і відстаней колонок, виходи рядків сенсорної матриці підключені на входи блока обчислення моментів рядків відповідно, а виходи колонок сенсорної матриці підключені до входів блока обчислення моментів колонок відповідно, другі входи блоків обчислення моментів рядків та обчислення моментів колонок підключені до виходів лічильників відстаней рядків та відстаней колонок відповідно, вхід лічильника відстаней рядків підключений до третього виходу мікропроцесора та першого входу "Зсув вліво" сенсорної матриці, а вхід лічильника відстаней колонок підключений до четвертого виходу мікропроцесора та четвертого входу "Зсув вниз" сенсорної матриці, виходи блоків обчислення моментів рядків і колонок підключені до першого і другого входів мікропроцесора відповідно, управляючі входи блоків обчислення моментів рядків та обчислення моментів колонок підключені відповідно до шостого і сьомого виходів мікропроцесора відповідно, восьмий вихід мікропроцесора є виходом пристрою. 2. Сенсорний пристрій за пунктом 1, який відрізняється тим, що сенсорна матриця складається з Μ  Ν елементів, причому виходи правих елементів матриці зв'язані з інформаційними входами сусідніх лівих елементів у рядках, а виходи крайніх лівих елементів у рядках зв'язані з інформаційними входами крайніх правих елементів відповідно, а також з виходами рядків сенсорної матриці, виходи верхніх елементів у колонках зв'язані з інформаційними входами нижніх елементів колонок, а виходи самих нижніх елементів у колонках зв'язані відповідно з інформаційними входами самих верхніх у колонках елементів, а також зв'язані з виходами колонок сенсорної матриці, перші, другі, треті, четверті та п'яті управляючі входи елементів відповідно об'єднані та підключені до першого входу "Зсув вліво", другого входу "Скид", третього входу "Поріг", четвертого входу "Зсув вниз", п'ятого входу "Бінаризація" сенсорної матриці відповідно. 3. Сенсорний пристрій за пунктами 1, 2, який відрізняється тим, що кожний елемент сенсорної матриці має фотосенсор, управляючий вхід якого підключений до другого входу "Скид" сенсорної матриці, а вихід підключений до першого входу порогового елемента, другий вхід якого з'єднаний з третім входом сенсорної матриці "Поріг", вихід порогового елемента та виходи сусідніх елементів зліва і зверху сенсорної матриці підключені відповідно до першого, другого та третього інформаційних входів логічного елемента І-АБО, управляючі входи яких з'єднані з п'ятим входом "Бінаризація", четвертим входом "Зсув вниз" та першим входом "Зсув вліво" сенсорної матриці відповідно, вихід логічного елемента І-АБО підключений до одиничного входу тригера, вихід якого підключений до входів сусідніх лівого та нижнього елементів сенсорної матриці. 4. Сенсорний пристрій за пунктом 1, який відрізняється тим, що блоки обчислення моментів рядків складаються з N суматорів-накопичувачів, входи яких через перші групи елементів І зв'язані через загальну шину з першим входом блока обчислення моментів рядків, а виходи суматорів-накопичувачів через другі групи елементів І зв'язані через загальну шину з виходом блока обчислення моментів рядків, управляючі входи першої групи елементів І зв'язані відповідно з виходами рядків, а також регістра зсуву, входи якого підключені до управляючого входу блока обчислення моментів рядків, а виходи підключені до управляючих входів других груп елементів І відповідно. 5 UA 81142 U 6 UA 81142 U 7 UA 81142 U Комп’ютерна верстка І. Мироненко Державна служба інтелектуальної власності України, вул. Урицького, 45, м. Київ, МСП, 03680, Україна ДП “Український інститут промислової власності”, вул. Глазунова, 1, м. Київ – 42, 01601 8