Цифрова система обробки потокового зображення

Реферат: Цифрова система обробки потокового зображення, яка має модуль відеокамери, який виконаний з можливістю одержання зображення в режимі перегляду, і сполучений з модулем дисплея, модуль дисплея, виконаний з можливістю відображати зображення, одержаного за допомогою модуля камери, а також для відображення додаткової інформації на об’єктах зображення, контролер, призначений керувати відображенням додаткової інформації на об’єктах зображення. Додатково система має цифровий приймач-передавач, який сполучений з контролером і виконаний з можливістю виконання перевірки наявності підключення до мережі бездротового зв’язку або мережі Інтернет, одержання додаткової інформації з мережі при наявності підключення та передавання одержаної додаткової інформації в контролер. Блок пам’яті, сполучений з контролером. В блоці пам’яті збережена база даних, яка включає в себе бібліотеку даних об’єктів зображення, шаблонні маски, пов’язані з об’єктами зображення, та бібліотеку контекстних об’єктів, пов’язаних з шаблонними масками. Контролер виконаний з можливістю розпізнавання з потокового зображення об’єкту зображення, викликання шаблону маски, пов’язаної з об’єктом зображення, додавання додаткової інформації до контекстного об’єкту та передавання шаблону маски до модулю дисплея для подальшого відображення. Модуль дисплея має сенсорну поверхнею, яка є активною під час відтворення потокового зображення, причому модуль дисплея виконаний з можливістю направляти в контролер сигнал активації, ініційований через сенсорну панель для шаблонної маски, пов’язану з об’єктом зображення. UA 121795 U (54) ЦИФРОВА СИСТЕМА ОБРОБКИ ПОТОКОВОГО ЗОБРАЖЕННЯ UA 121795 U UA 121795 U 5 10 15 20 25 30 35 40 45 50 55 60 Заявлене технічне рішення належить до галузі обробляння та передавання даних, зокрема до систем та пристрої обробки цифрового зображення. Цифрова система обробки потокового зображення може бути застосована в цифрових системах, в яких забезпечується надання інформації користувачу на основі вибіркового відтворення. З документу WO 2015129966 від 03.09.2015 відомий спосіб керування головним екраном (HMD), що забезпечує закритий вигляд, який включає в себе етапи відображення зображення віртуальної реальності, детектування першого руху першого реального об'єкту, розташованого назовні HMD і вибірково надавати інформацію про перший реальний об'єкт у першій частині зображення віртуальної реальності на основі першого руху. У цьому випадку перша частина налаштовується у відповідь на позицію першого реального об'єкта, і перший рух може компенсуватися другим рухом HMD у випадку виконання етапу виявлення першого руху першого реального об'єкта. Даний спосіб передбачає використання записаних шаблонів, пов'язаних з рухомими об'єктами та не вказує на можливість застосування контекстної інформації, яка може змінюватись в залежності від наявності оновлення. З рівня техніки відомий документ WO 2015168167 А1 від 05.11.2015, в якому у одному або декількох варіантах здійснення одна або декілька систем, способів та/або процесів можуть надавати інформацію пристрою віртуальної реальності та/або пристрою додаткової реальності, серед іншого, користувачу/клієнту. Інформація може бути пов'язана з пропозиціями товарів та/або послуг для продажу, придбання або оренди. Визначення інформації може базуватися на попередніх діях користувача та/або інших користувачів. Наприклад, визначена інформація може бути виведеною з минулих дій користувача та/або інших користувачів. У одному або декількох варіантах здійснення макет віртуального магазину та/або презентації одного або декількох елементів можуть базуватися на минулих діях користувача та/або інших користувачів. У одному або декількох варіантах здійснення, одне або кілька компонувань віртуального магазину та/або надання (наприклад, через розширену реальність або віртуальну реальність) інформацію, пов'язану з товарами та/або послугами, можна визначити та/або вибрати для максимізації продажів та/або прибутку. Описана в даному документі система включає: процесор і пам'ять, пов'язану з процесором, яка включає в себе інструкції, виконувані процесором. Коли процесор виконує інструкції, система: отримує перший вхід користувача з декількох користувачів, який вказує принаймні один з вибору першого елемента та шлях через перший тривимірний макет тривимірного віртуального магазину; зберігає перший вхід користувача з декількох користувачів;виводить на основі першого вводу користувача з декількох користувачів другий елемент, відмінний від першого елемента; змінює другий тривимірний макет, щоб включити другий елемент; і надає користувачеві друге тривимірне розташування. До недоліків даного рішення відноситься потреба в потужному процесорі, здатному обробляти інформацію, яка неконтрольовано виводиться користувачу. Тобто у відомому рішенні відсутній механізм керування відтвореною інформацією. З рівня техніки відоме технічне рішення US 2014362111 від 11.12.2014, в якому розкрито пристрій для надання інформації в режимі перегляду, який може селективно застосовувати та відображати віртуальну інформацію відповідно до важливості значення (або пріоритету) об'єктів у реальному зображенні, коли віртуальна інформація позначається та відображається на реальні образи реального світу, одержані за допомогою модуля камери в режимі перегляду. В документі також розкритий спосіб, який включає в себе відображення реального зображення, одержаного в режимі перегляду; аналіз важливості значення об'єктів за образом реальності; визначення діапазону відображення віртуальної інформації для кожного з об'єктів відповідно до важливості об'єктів; і відображення віртуальної інформації для кожного з об'єктів відповідно до діапазону відображення віртуальної інформації. Більш детально в згаданому документі розкрито електронний пристрій, що містить: - модуль камери, налаштований на одержання зображення реальності об'єкта в режимі перегляду; - блок дисплея, налаштований для відображення зображення реальності, одержаного через модуль камери, а також для перекриття та відображення віртуальної інформації на об'єктах зображення реальності; і - контролер, налаштований для аналізу важливості об'єктів відповідно до зображення реальності, для визначення діапазону відображення віртуальної інформації для кожного з об'єктів відповідно до значення важливості об'єктів, для карти віртуальної інформації відповідно до діапазону відображення віртуальної інформації на кожному з об'єктів і керувати відображенням віртуальної інформації, накладеної на кожен з об'єктів. 1 UA 121795 U 5 10 15 20 25 30 35 40 45 50 55 Наявність градації важливості вказує на надмірність заповнення бібліотеки даних, що вимагає високої продуктивності контролера. Дане рішення прийнято за найближчий аналог до заявленого рішення. На це вказує споріднена галузь застосування та технологічний напрямок, покладений в основу його розвитку. При зазначенні спільних ознак застосовано термінологію, яка буде вживатися далі для розкриття заявленого об'єкту. Спільними ознаками відомого рішення із заявленим є цифрова система обробки потокового зображення, яка містить: - модуль відеокамери, який виконаний з можливістю одержання зображення в режимі перегляду, і сполучений з модулем дисплея, - модуль дисплея, виконаний з можливістю відображати зображення, одержаного за допомогою модуля камери, а також для відображення додаткової інформації на об'єктах зображення, - контролер, призначений керувати відображенням додаткової інформації на об'єктах зображення. Відповідно до виявленого рівня техніки, спостерігається потреба у створенні такої цифрової системи обробки потокового зображення, яка б забезпечувала вибірковість надання даних цільовому користувачеві без втрати інформативності. Крім того, така система має бути універсальною і не обмежуватись в застосуванні певною галуззю. Поставлена задача вирішується за рахунок того, що цифрова система обробки потокового зображення, яка містить: - модуль відеокамери, який виконаний з можливістю одержання зображення в режимі перегляду, і сполучений з модулем дисплея, - модуль дисплея, виконаний з можливістю відображати зображення, одержаного за допомогою модуля камери, а також для відображення додаткової інформації на об'єктах зображення, - контролер, призначений керувати відображенням додаткової інформації на об'єктах зображення, - згідно з технічним рішенням, цифрова система обробки потокового зображення містить цифровий приймач-передавач, який сполучений з контролером і виконаний з можливістю виконання перевірки наявності підключення до мережі бездротового зв'язку або мережі Інтернет, одержання додаткової інформації з мережі при наявності підключення та передавання одержаної додаткової інформації в контролер, - додаткова інформація, яка відображається на об'єктах зображення, є включеною в шаблонні маски, пов'язані з об'єктами зображення, та попередньо записаною або оновленою в бібліотеці контекстних об'єктів, пов'язаних з шаблонними масками, - блок пам'яті, сполучений з контролером, причому в блоці пам'яті збережена база даних, яка включає в себе бібліотеку даних об'єктів зображення, шаблонні маски, пов'язані з об'єктами зображення, та бібліотеку контекстних об'єктів, пов'язаних з шаблонними масками, - крім того контролер з'єднаний з модулем відеокамери і виконаний з можливістю розпізнавання з потокового зображення об'єкту зображення, викликання шаблону маски, пов'язаної з об'єктом зображення, додавання додаткової інформації до контекстного об'єкту та передавання шаблону маски до модулю дисплея для подальшого відображення, - модуль дисплея має сенсорну поверхнею, яка є активною під час відтворення потокового зображення, причому модуль дисплея виконаний з можливістю направляти в контролер сигнал активації, ініційований через сенсорну панель для шаблонної маски, пов'язану з об'єктом зображення, - крім того, контролер виконаний з можливістю одержання сигналу активації від модуля дисплея, надсилання запиту до цифрового приймача-передавача щодо наявності підключення до мережі бездротового зв'язку або мережі Інтернет, та подальшої обробки контекстного об'єкту зображення, пов'язаного з шаблонними масками. Відповідно до варіанту втілення системи, цифровий приймач-передавач виконаний з можливістю при одержання запиту від контролера виконувати через мережу бездротового зв'язку або мережу Інтернет перевірку щодо наявності на віддаленому сервісі оновлення бібліотеки контекстних об'єктів, пов'язаних з шаблонними масками. Згідно з ще одним варіантом втілення системи, зображення є одержаним зображенням реальності, а об'єкт зображення є об'єктом зображення реальності. Крім того, відповідно до ще одного варіанту втілення системи, зображення є одержаним зображенням віртуальної реальності, а об'єкт зображення є об'єктом зображення віртуальної реальності. 2 UA 121795 U 5 10 15 20 25 30 35 40 45 50 55 60 Заявлена цифрова система потребує меншої продуктивності контролера для обробки потокового зображення та додаткової інформації, доданої до контекстного об'єкту внаслідок того, що додаткова інформація відображається за викликом, хоча про її існування користувачу відомо під час користування даним заявленим рішенням. Наявність бібліотеки контекстних об'єктів дозволяє адаптувати розміщення додаткової інформації відповідно до попередньо встановлених умов. Наявність шаблонних масок дозволяє виконувати попередню обробку додаткової інформації для її включення потокове зображення без спотворень. Далі будуть наведені відомості, що підтверджують можливість втілення об'єкту на одному з переважних прикладів його реалізації. Даний приклад наведено для розуміння суті та властивостей розкритого технічного рішення і не несе в собі за мету обмеження втілення заявленого технічного рішення. Фахівцю з даного прикладу має бути зрозумілим всі доповнення та модифікації, які не виходять за межі суті даного об'єкта. На кресленні зображено структурну схему цифрової системи потокового зображення, де показано взаємозв'язок між пристроями, що входять до складу заявленої системи. Згідно з креслення цифрова система обробки потокового зображення належить до цифрових пристроїв, переважно до персональних переносних пристроїв, які мають доступ до мережі Інтернет або мережі телекомунікаційного зв'язку. Застосований термін "зображення" слід розуміти в наступному сенсі: зображення є одержаним зображенням реальності, тобто зображенням, перенесеним в цифровий вид (далі – перший випадок). При цьому з реального зображення виділяються об'єкти, які є типовими або видовими, наприклад стіна, дверцята авто, стовп, рекламна дошка оголошень або будь-який інший об'єкт. Отже, об'єктом зображення є об'єкт зображення реальності, видові ознаки якого є визначеними, згрупованими та збереженими на матеріальному носієві або віддалено за допомогою хмарних технологій. Крім цього, під визначення поняття "зображення" підпадає й зображення, яке є одержаним зображенням віртуальної реальності (далі – другий випадок). Тобто в цьому розумінні зображення є відтвореною графічною моделлю реальності з попередньо визначеною ступеню деталізації. Відповідно, об'єкт зображення є об'єктом зображення віртуальної реальності. Не зважаючи на різну природу утворення зображення, кожне з наведених значень підпадає під роботу заявленої системи, оскільки її структурна схема не змінюється. Це дозволяє розширити функціональні можливості заявленого технічного рішення шляхом застосовувати його для об'єктів реальності та віртуальної реальності. Модуль відеокамери є матеріальним об'єктом, який є першим входом пристрою. В першому випадку модуль відеокамери призначений для перетворення оптичних сигналів у цифровий вигляд. Тобто спрямовування модуля відеокамери на певний предмет має в наслідку перенесення зображення цього предмету в цифровий вид з подальшим оброблянням цього цифрового виду за потребою. В другому випадку модуль відеокамери є перетворювачем значень положення цифрової системи обробки потокового зображення. Тобто зміною положення визначається керування переміщенням в графічній моделі віртуальної реальності. Модуль відеокамери – це електронний пристрій, який виконаний з можливістю одержання зображення в режимі перегляду. Тобто одержане зображення передається наживо на модуль дисплея, який сполучений з модулем відеокамери. Модуль відеокамери сполучений з модулем дисплея та контролером. Модуль дисплея – це електронний пристрій, який має щонайменше екран та сенсорну поверхнею. На екрані виводиться потокове зображення, одержане модулем відеокамери. Поверх екрану розміщена сенсорна поверхня, яка є активною під час відтворення потокового зображення. Сенсорна панель виконана з можливістю реагувати на команди користувача, які можуть бути одержаними як, зокрема, дотик до екрану. У випадку реалізації заявленої системи у вигляді шолому віртуальної реальності або подібного оптико-електричного пристрою команди надаються за рахунок передачі положення очей користувача, положення рук, тощо, тобто сенсорна панель реагує на зміну положення користувача і виконує відповідну команду, якщо при цьому активізувалась певна дія. Це дозволяє керувати вставками додаткової або віртуальної реальності, які відображаються на екрані модуля дисплея як додаткова інформація на об'єктах зображення. Сигнал, утворений у відповідь на команду користувача направляється від сенсорної поверхні до контролера. Тобто на екрані модуля дисплея відображається потокове зображення, яке містить ряд об'єктів зображення. Причому об'єкти зображення є попередньо визначеними за допомогою розкритого нижче алгоритму. На об'єктах зображення виводиться або відображається додаткова інформація. Модуль дисплея виконаний з можливістю направляти в контролер сигнал активації, ініційований через сенсорну панель шаблонної маски, пов'язану з об'єктом зображення. 3 UA 121795 U 5 10 15 20 25 30 35 40 45 50 55 60 Таким чином модуль дисплея, виконаний з можливістю відображати зображення, одержаного за допомогою модуля камери, а також для відображення додаткової інформації на об'єктах зображення на основі відомостей одержаних від контролера. Цифрова система обробки потокового зображення містить цифровий приймач-передавач, який сполучений з контролером і містить антену. Цифровий приймач-передавач – це електронний пристрій, який є програмований або перепрограмований для роботи в визначеному діапазоні частот і виконаний з можливістю виконання перевірки наявності підключення до мережі бездротового зв'язку або мережі Інтернет. При наявності підключення забезпечується одержання додаткової інформації з мережі та подальше передавання одержаної додаткової інформації в контролер. Цифровий приймач-передавач – це електронний пристрій, який виконаний з можливістю при одержання запиту від контролера виконувати через мережу бездротового зв'язку або мережу Інтернет перевірку щодо наявності на віддаленому сервісі оновлення бібліотеки контекстних об'єктів, пов'язаних з шаблонними масками. При його наявності забезпечується завантаження оновлення бібліотеки та подальше його зберігання в бібліотеці контекстних об'єктів. Це дозволяє використовувати цифрову систему обробки потокового відео при відсутності доступу до мережі телекомунікаційного зв'язку або мережі Інтернет. Блок пам'яті – це електронний пристрій, який являє собою запам'ятовуючий пристрій з можливістю багаторазового записування даних, одержаних від контролера. В блоці пам'яті збережена база даних, яка включає в себе бібліотеку даних об'єктів зображення, шаблонні маски, пов'язані з об'єктами зображення, та бібліотеку контекстних об'єктів, пов'язаних з шаблонними масками. Бібліотека даних об'єктів зображення – це електронний запам'ятовуючий пристрій, який характеризується множиною комірок, кожна з яких відповідає певному об'єкту зображення, охарактеризованих певним набором властивим йому ознак. При розпізнаванні об'єкта зображення із зображення перевіряється відповідність наявності або виявлення всієї сукупності ознак. Допускається встановлення певного рівня відповідності виявленої сукупності ознак для віднесення розпізнаного об'єкта зображення до наявного об'єкта зображення в бібліотеці. Шаблонні маски характеризуються тією ж сукупністю ознак, що й об'єкт зображення. Чим більше ознак застосовується для виявлення або розпізнавання об'єкта зображення, тим більша деталізація відображуваної маски. Переважно шаблонні маски призначені для створення об'єкту додаткової або віртуальної реальності, подібного до виявленого об'єкту зображення. Шаблонні маски можуть включати в себе представлені в цифровому вигляді об'єкти доповненої реальності, віртуальної реальності, природні об'єкти або їх комбінацію. Шаблонні маски виконані у вигляді програмного коду, яким охарактеризований певний об'єкт. Для відтворення природних об'єктів, виконують аналого-цифрове перетворення їх зображення або відеопотоку та зберігають в бібліотеці даних об'єктів зображення. При цьому нема різниці чи то для першого, чи для другого випадку, який саме шаблон застосовувати. Вибір щодо того, чи буде збережений цифровий програмний код відповідати повністю згенерованому об'єктові чи одержаному внаслідок аналого-цифрового перетворення, відтворення представленого кодом об'єкту попередньо може бути завдано програмним або програмно-апаратним шляхом. Бібліотека контекстних об'єктів – це електронний запам'ятовуючий пристрій, який містить одержану від контролера додаткову інформацію, яка відображається з зображенням на екрані модуля дисплея. Контролер – це електронний пристрій, який є по суті мікроконтролером, мікросхемою, і призначений керувати процесами, що виконуються цифровою системою обробки потокового зображення. Зокрема контролер керує процесами: - розпізнавання з одержаного від модуля відеокамери потокового зображення об'єкту зображення шляхом звернення, - викликання з блоку пам'яті шаблону маски, пов'язаної з об'єктом зображення, - додавання додаткової інформації до контекстного об'єкту з бібліотеки контекстних об'єктів, одержаного від блоку пам'яті, - передавання шаблону маски до модулю дисплея для подальшого відображення на модуль дисплея, - відображення додаткової інформації на об'єктах зображення, шляхом передавання її до блоку дисплея. Такий алгоритм роботи контролера визначений набором команд, якими збережені в контролері. Крім того, контролер з'єднаний з модулем відеокамери і виконаний з можливістю одержання сигналу активації від модуля дисплея, надсилання запиту до цифрового приймача-передавача 4 UA 121795 U 5 10 15 щодо наявності підключення до мережі бездротового зв'язку або мережі Інтернет, та подальшої обробки контекстного об'єкту зображення, пов'язаного з шаблонними масками. Додаткова інформація, яка відображається на об'єктах зображення, є включеною в шаблонні маски, пов'язані з об'єктами зображення, та попередньо записаною або оновленою в бібліотеці контекстних об'єктів, пов'язаних з шаблонними масками. Система працює наступним чином. Модуль відеокамери передає дані на контролер та модуль дисплея. Модуль дисплея відображає одержані від модулю відеокамери дані. Контролер робить запит до цифрового приймача-передавача з метою одержання оновлення додаткової інформації. При одержанні такого оновлення, контролер направляє його в блок пам'яті, де воно зберігається у відповідній бібліотеці чи базі даних на запам'ятовуючому пристрої. Контролер робить розпізнавання з потокового зображення об'єкту зображення, викликає шаблон маски, пов'язаної з об'єктом зображення, додає додаткову інформацію до контекстного об'єкту та передає шаблонні маски до модулю дисплея для подальшого відображення. При наявності виклику на сенсорній панелі, пов'язаного з шаблонною маскою, він передається на контролер. Як тільки контролер одержує інформацію про виклик, до модулю дисплея направляється інформація з контролера, пов'язана із викликаною шаблонною маскою. Дані контролер одержує з блоку пам'яті дані щодо додаткової інформації, призначеної для відтворення в контекстному об'єкті, та спрямовує їх для подальшого відображення на модулі дисплея. 20 ФОРМУЛА КОРИСНОЇ МОДЕЛІ 25 30 35 40 45 50 55 1. Цифрова система обробки потокового зображення, яка містить: модуль відеокамери, який виконаний з можливістю одержання зображення в режимі перегляду і сполучений з модулем дисплея, модуль дисплея, виконаний з можливістю відображення зображення, одержаного за допомогою модуля камери, а також для відображення додаткової інформації на об’єктах зображення, контролер, призначений керувати відображенням додаткової інформації на об’єктах зображення, яка відрізняється тим, що система обробки потокового зображення містить цифровий приймач-передавач, який сполучений з контролером і виконаний з можливістю виконання перевірки наявності підключення до мережі бездротового зв’язку або мережі Інтернет, одержання додаткової інформації з мережі при наявності підключення та передавання одержаної додаткової інформації в контролер, додаткова інформація, яка відображається на об’єктах зображення, є включеною в шаблонні маски, пов’язані з об’єктами зображення, та попередньо записаною або оновленою в бібліотеці контекстних об’єктів, пов’язаних з шаблонними масками, блок пам’яті сполучений з контролером, причому в блоці пам’яті збережена база даних, яка включає в себе бібліотеку даних об’єктів зображення, шаблонні маски, пов’язані з об’єктами зображення, та бібліотеку контекстних об’єктів, пов’язаних з шаблонними масками, крім того контролер виконаний з можливістю розпізнавання з потокового зображення об’єкта зображення, викликання шаблона маски, пов’язаної з об’єктом зображення, додавання додаткової інформації до контекстного об’єкту та передавання шаблона маски до модуля дисплея для подальшого відображення, модуль дисплея має сенсорну поверхню, яка є активною під час відтворення потокового зображення, причому модуль дисплея виконаний з можливістю направляти в контролер сигнал активації, ініційований через сенсорну панель для шаблонної маски, пов’язану з об’єктом зображення, крім того, контролер з’єднаний з модулем відеокамери і виконаний з можливістю одержання сигналу активації від модуля дисплея, надсилання запиту до цифрового приймача-передавача щодо наявності підключення до мережі бездротового зв’язку або мережі Інтернет, та подальшої обробки контекстного об’єкту зображення, пов’язаного з шаблонними масками. 2. Система за п. 1, яка відрізняється тим, що цифровий приймач-передавач виконаний з можливістю при одержанні запиту від контролера виконувати через мережу бездротового зв’язку або мережу Інтернет перевірку щодо наявності на віддаленому сервері оновлення бібліотеки контекстних об’єктів, пов’язаних з шаблонними масками. 3. Система за п. 1 або 2, яка відрізняється тим, що зображення є одержаним зображенням реальності, а об’єкт зображення є об’єктом зображення реальності. 5 UA 121795 U 4. Система за п. 1 або 2, яка відрізняється тим, що зображення є одержаним зображенням віртуальної реальності, а об’єкт зображення є об’єктом зображення віртуальної реальності. Комп’ютерна верстка М. Мацело Міністерство економічного розвитку і торгівлі України, вул. М. Грушевського, 12/2, м. Київ, 01008, Україна ДП “Український інститут інтелектуальної власності”, вул. Глазунова, 1, м. Київ – 42, 01601 6