Спосіб безконтактного керування комп’ютером (варіант 3)

Реферат: Спосіб безконтактного керування комп'ютером включає відстеження рухів зіниць очей оператора за допомогою підключеної до комп'ютера цифрової відеокамери, установленої перед обличчям користувача таким чином, щоб зіниці очей були у фокусі. Далі здійснюють обробляння й перетворення зображення, що надходить від цифрової відеокамери, за допомогою відповідної комп'ютерної програми у переміщення курсору або управління іншими об'єктами на дисплеї комп'ютера. Управління курсором здійснюють за рухом зіниці одного ока користувача. UA 92400 U (54) СПОСІБ БЕЗКОНТАКТНОГО КЕРУВАННЯ КОМП'ЮТЕРОМ (ВАРІАНТ 3) UA 92400 U UA 92400 U 5 10 15 20 25 30 35 40 45 50 55 60 Корисна модель належить до галузі комп'ютерної техніки і може бути використаною для безконтактного керування комп'ютером за допомогою переміщення зіниць людини і спрощення користування комп'ютером людям з обмеженими фізичними можливостями. Відомий спосіб безконтактного керування комп'ютером, що передбачає відстеження рухів зіниць очей оператора за допомогою підключеної до комп'ютера цифрової відеокамери, установленої перед обличчям користувача таким чином, щоб зіниці очей були у фокусі, обробляння й перетворення зображення, що надходить від цифрової відеокамери, за допомогою спеціальної комп'ютерної програми у переміщення курсору або управління іншими об'єктами на дисплеї комп'ютера (Заявка на видачу патенту РФ № Заявка: 2000117657, G06F 3/00, G09G 5/08, опубл. 27.06.2002). Проте відсутні дані про те, що відомий спосіб забезпечує коректне і точне розпізнавання зіниць очей, а також зручну для людей з обмеженими фізичними можливостями емуляцію кликів маніпулятором "миша" і користування екранною клавіатурою. Технічна задача корисної моделі полягає в удосконаленні способу безконтактного керування комп'ютером, що включає відстеження рухів зіниць очей оператора за допомогою підключеної до комп'ютера цифрової відеокамери, установленої перед обличчям користувача таким чином, щоб зіниці очей були у фокусі, та обробляння й перетворення зображення, що надходить від цифрової відеокамери, за допомогою відповідної комп'ютерної програми у переміщення курсору або управління іншими об'єктами на дисплеї комп'ютера, шляхом здійснення із заданою періодичністю розмивання зображення, перетворення після цього зображення в градації сірого, виділення меж на зображенні, поділ зображення на два незалежних для обробки рухів та положення кожного ока окремо і пошук зіниць на зображенні; при цьому управління курсором може здійснюватися за рухом зіниці одного обраного користувачем його ока; для переміщення курсору може бути затриманий погляд на потрібному місці монітора на визначену кількість секунд, кліки кнопок маніпулятора "миша" можуть бути емульовані підморгуванням очей користувача, виклик екранної клавіатури може бути здійснюваний закриванням одного ока на визначену кількість секунд, а управління вказівником екранної клавіатури може здійснюватись затриманням погляду на визначену кількість секунд на потрібній клавіші. Запропонований спосіб забезпечує коректне і точне розпізнавання зіниць очей користувача, підвищення надійності та точності вводу інформації і забезпечує прості емуляцію кликів маніпулятора "миша" та виклик і користування екранною клавіатурою підморгування, закриванням очей та затриманням погляду, що дуже зручно, а в деяких випадках є єдино можливим для людей з обмеженими фізичними можливостями, сприяє спрощенню користування комп'ютером і розповсюдженню комп'ютерних систем серед людей з обмеженими фізичними можливостями, підвищенню їхньої соціальної активності та забезпеченню можливості письмової комунікації. Поділ зображення на два незалежних для обробки рухів та положення кожного ока окремо суттєво спрощує обробляння "жестів", тобто підморгування, закривання очей. Управління курсором за рухом зіниці одного обраного користувачем його ока спрощує користування комп'ютером особами, що страждають на косоокість. Спосіб безконтактного керування комп'ютером включає відстеження рухів зіниць очей оператора за допомогою підключеної до комп'ютера цифрової відеокамери, установленої перед обличчям користувача таким чином, щоб зіниці очей були у фокусі, та обробляння й перетворення зображення, що надходить від цифрової відеокамери, за допомогою відповідної комп'ютерної програми у переміщення курсору або управління іншими об'єктами на дисплеї комп'ютера. Спосіб характеризується тим, що із заданою періодичністю здійснюють розмивання зображення, після чого зображення перетворюють в градації сірого, здійснюють виділення меж на зображенні, поділ зображення на два незалежних для обробки рухів та положення кожного ока окремо і пошук зіниць на зображенні; управління курсором можуть здійснювати за рухом зіниці одного обраного користувачем його ока; переміщення курсору можуть здійснювати, затримуючи погляд на потрібному місці монітора на визначену кількість секунд; кліки кнопок маніпулятора "миша" можуть емулювати підморгуванням очей користувача; виклик екранної клавіатури можуть здійснювати закриванням одного ока на визначену кількість секунд, а управління вказівником екранної клавіатури можуть здійснювати, затримавши погляд на визначену кількість секунд на потрібній клавіші. На фіг. 1 та фіг. 2 показані приклади зображень зіниць очей відповідно без використання та з використанням пропонованого способу безконтактного керування комп'ютером, на фіг. 3 показано екранну клавіатуру. Спосіб безконтактного керування комп'ютером здійснюють наступним чином. Перед тим, як почати роботу, необхідно підключити веб-камеру та зручно влаштуватися перед нею. Після запуску програми необхідно переконатися, що програма коректно розпізнає 1 UA 92400 U 5 10 15 20 25 30 очі. Якщо очі не розпізнані, користувачу необхідно сісти трохи ближче або далі. Після цього можна починати управління курсором операційної системи. Під час роботи за допомогою програмного засобу із заданою періодичністю здійснюють розмивання зображення за функцією Гауса (див. наприклад Шапиро Л., Стокман Дж. Компьютерное зрение - Μ.: Бином. Лаборатория знаний, 2006. - 752 с., С. 196) для трансформації кожного пікселя у зображенні, це надає ефекту розмитості, яка зберігає межі краще, ніж інші фільтри розмиття наприклад. Після цього зображення перетворюють в градації сірого і воно приймає вигляд, показаний на фіг. 1. Далі здійснюють виділення меж на зображенні, наприклад, використовуючи метод Кенні (Шапиро Л., Стокман Дж. Компьютерное зрение - Μ.: Бином. Лаборатория знаний, 2006. - 752 с., С. 207, 386), для отримання елементів з зображення може бути використаний, наприклад, метод Хафа (там же, С. 393), після чого зображення приймає вигляд, показаний на фіг. 2, що забезпечує надійний та чіткий пошук зіниць на зображенні. Зображення може бути поділене на два незалежних для обробки рухів та положення кожного ока окремо і пошук зіниць на зображенні, що в подальшому суттєво спрощує обробляння "жестів" (підморгування, закривання очей). Управління курсором можна здійснювати за рухом зіниці одного вибраного користувачем його ока, що зручно для людей, які страждають на косоокість, і керування комп'ютером стає надійнішим і точнішим. Для переміщення курсору затримують погляд на потрібному місці монітора на визначену кількість секунд. Кліки кнопок маніпулятора "миша" емулюють підморгуванням очей користувача. Виклик екранної клавіатури (фіг. 3) здійснюють закриванням одного ока на визначену кількість секунд, і управління вказівником клавіатури здійснюють, затримавши погляд на визначену кількість секунд на потрібній клавіші (в показаному на фіг. 3 випадку - на клавіші "О/Щ"). Для визначення кількості секунд, протягом яких здійснюють (тривалості) підморгування, закривання ока та затримку погляду виходять з того, щоб ці дії за продовження істотно відрізнялися від природного моргання, наприклад вони мають бути не коротше 3-4 секунд. Було створено спеціальну комп'ютерну програму - Програмний статок "Кросплатформовий програмний засіб керування графічним інтерфейсом операційної системи для людей з обмеженими фізичними можливостями" - для використання під час застосування пропонованого способу безконтактного керування комп'ютером. Застосування пропонованого способу безконтактного керування комп'ютером сприяє спрощенню користування комп'ютером людям з обмеженими фізичними можливостями та підвищенню їхньої соціальної активності. ФОРМУЛА КОРИСНОЇ МОДЕЛІ 35 40 45 50 1. Спосіб безконтактного керування комп'ютером, що включає відстеження рухів зіниць очей оператора за допомогою підключеної до комп'ютера цифрової відеокамери, установленої перед обличчям користувача таким чином, щоб зіниці очей були у фокусі, та обробляння й перетворення зображення, що надходить від цифрової відеокамери, за допомогою відповідної комп'ютерної програми у переміщення курсору або управління іншими об'єктами на дисплеї комп'ютера, який відрізняється тим, що управління курсором здійснюють за рухом зіниці одного ока користувача. 2. Спосіб за п. 1, який відрізняється тим, що для переміщення курсору затримують погляд на потрібному місці монітора на визначену кількість секунд і/або кліки кнопок маніпулятора "миша" емалюють підморгуванням очей користувача і/або виклик екранної клавіатури здійснюють закриванням одного ока на визначену кількість секунд, і управління вказівником екранної клавіатури здійснюють, затримавши погляд на визначену кількість секунд на потрібній клавіші. 3. Спосіб за п. 1 або за п. 2, який відрізняється тим, що із заданою періодичністю здійснюють розмивання зображення, після чого зображення перетворюють в градації сірого, здійснюють виділення меж на зображенні і пошук зіниць на зображенні. 4. Спосіб за п. 3, який відрізняється тим, що перед пошуком зіниць на зображенні здійснюють поділ зображення на два незалежних для обробки рухів та положення кожного ока окремо. 2 UA 92400 U Комп’ютерна верстка Л. Ціхановська Державна служба інтелектуальної власності України, вул. Урицького, 45, м. Київ, МСП, 03680, Україна ДП “Український інститут промислової власності”, вул. Глазунова, 1, м. Київ – 42, 01601 3