Зворотний канал введення даних користувачем для бездротових дисплеїв

Реферат: Як частина сеансу зв'язку, бездротовий пристрій джерела може передати аудіо- і відеодані на бездротовий пристрій одержувача, і бездротовий пристрій одержувача може передати дані користувацького введення, прийняті в бездротовому пристрої одержувача, назад на бездротовий пристрій джерела. Таким чином, користувач бездротового пристрою одержувача UA 109176 C2 (12) UA 109176 C2 може керувати бездротовим пристроєм джерела і керувати контентом, який переданий від бездротового пристрою джерела на бездротовий пристрій одержувача. Дані введення, прийняті в бездротовому пристрої одержувача, можуть мати асоційовану інформацію координат, яка масштабована або нормалізована за допомогою або бездротового пристрою одержувача, або бездротового пристрою джерела. UA 109176 C2 5 10 15 20 25 30 35 40 45 50 55 60 Дана заявка вимагає пріоритет: попередньої заявки США № 61/435194, поданої 21 січня 2011 р.; попередньої заявки США № 61/447592, поданої 28 лютого 2011 р.; попередньої заявки США № 61/448312, поданої 2 березня 2011 р.; попередньої заявки США № 61/450101, поданої 7 березня 2011 р.; попередньої заявки США № 61/467535, поданої 25 березня 2011 р.; попередньої заявки США № 61/467543, поданої 25 березня 2011 р.; попередньої заявки США № 61/514863, поданої 3 серпня 2011 р.; і попередньої заявки США № 61/544440, поданої 7 жовтня 2011 р.; кожна з яких повністю включена в даний опис за допомогою посилання. Галузь техніки, до якої належить даний винахід Це розкриття стосується способів для передачі даних між бездротовим пристроєм джерела і бездротовим пристроєм одержувача. Попередній рівень техніки Бездротовий дисплей (WD) або системи дисплея Wi-Fi (WFD) включають в себе бездротовий пристрій джерела і один або більше бездротових пристроїв одержувача. Пристрій джерела і кожен з пристроїв одержувача можуть бути або мобільними пристроями або дротовими пристроями з можливостями бездротового зв'язку. Один або більше з пристрою джерела і пристроїв одержувача можуть, наприклад, включати в себе мобільні телефони, портативні комп'ютери з картами бездротового зв'язку, персональні цифрові асистенти (асистенти PDA), портативні медіаплеєри або інші такі пристрої з можливостями бездротового зв'язку, що включають в себе так звані "смартфони" і "смартпади" або планшети, електронні книги або будь-який тип бездротового дисплея, пристрої для відеоігор або інші типи пристроїв бездротового зв'язку. Один або більше з пристрою джерела і пристроїв одержувача можуть також включати в себе дротові пристрої, такі як телевізори, настільні комп'ютери, монітори, проектори і т. п., які включають в себе можливості зв'язку. Пристрій джерела посилає медіадані, такі як дані аудіо/відео (A/V), на один або більше з пристроїв одержувача, що беруть участь в конкретному сеансі спільного використання медіа. Медіадані можуть бути відтворені як на локальному дисплеї пристрою джерела, так і на кожному з дисплеїв пристроїв одержувача. Більш конкретно, кожен з пристроїв-учасників одержувача відтворює прийняті медіадані на своєму екрані і аудіообладнанні. Суть винаходу Дане розкриття загалом описує систему, в якій бездротовий пристрій одержувача може зв'язуватися з бездротовим пристроєм одержувача. Як частина сеансу зв'язку, бездротовий пристрій джерела може передавати аудіо- і відеодані на бездротовий пристрій одержувача, і бездротовий пристрій одержувача може передавати введення даних користувачем, прийняті в бездротовому пристрої одержувача, назад на бездротовий пристрій джерела. Таким чином, користувач бездротового пристрою одержувача може керувати бездротовим пристроєм джерела і керувати контентом, який передається від бездротового пристрою джерела на бездротовий пристрій одержувача. У одному прикладі спосіб передачі користувацьких даних від бездротового пристрою одержувача на бездротовий пристрій джерела включає в себе одержання даних про введення даних користувачем в бездротовому пристрої одержувача, причому дані про введення даних користувачем мають асоційовані дані координат; нормалізацію асоційованих даних координат для генерування нормалізованих даних координат; генерування пакета даних, що містить нормалізовані дані координат; передачу цього пакета даних на бездротовий пристрій джерела. У іншому прикладі бездротовий пристрій одержувача для передачі користувацьких даних на бездротовий пристрій джерела включає в себе пам'ять, що зберігає команди; один або більше процесорів, сконфігурованих для виконання команд, причому після виконання команд один або більше процесорів викликають одержанняданих про введення даних користувачем в бездротовому пристрої одержувача, причому дані про введення даних користувачем мають асоційовані дані координат, нормалізацію асоційованих даних координат для генерування нормалізованих даних координат, генерування пакета даних, що містить нормалізовані дані координат; і транспортний блок для передачі цього пакета даних на бездротовий пристрій джерела. У іншому прикладі зчитуваний комп'ютером запам'ятовуючий носій зберігає команди, які після виконання одним або більше процесорами змушують один або більше процесорів виконувати спосіб передачі користувацьких даних від бездротового пристрою одержувача на бездротовий пристрій джерела. Спосіб включає в себе одержання даних про введення даних користувачем в бездротовому пристрої одержувача, причому дані про введення даних 1 UA 109176 C2 5 10 15 20 25 30 35 40 45 50 55 користувачем мають асоційовані дані координат; нормалізацію асоційованих даних координат для генерування нормалізованих даних координат; генерування пакета даних, що містить нормалізовані дані координат; передачу цього пакета даних на бездротовий пристрій джерела. У іншому прикладі бездротовий пристрій одержувача для передачі користувацьких даних на бездротовий пристрій джерела включає в себе засіб для одержання даних про введення даних користувачем в бездротовому пристрої одержувача, причому дані про введення даних користувачем мають асоційовані дані координат; засіб для нормалізації асоційованих даних координат для генерування нормалізованих даних координат; засіб для генерування пакета даних, що містить нормалізовані дані координат; засіб для передачі цього пакета даних на бездротовий пристрій джерела. У іншому прикладі спосіб прийому користувацьких даних від бездротового пристрою одержувача в бездротовому пристрої джерела включає в себе прийом пакета даних в бездротовому пристрої джерела, причому пакет даних містить дані про введення даних користувачем з асоційованими даними координат; нормалізацію асоційованих даних координат для генерування нормалізованих даних координат; обробку пакета даних на основі нормалізованих даних координат. У іншому прикладі бездротовий пристрій одержувача для передачі користувацьких даних на бездротовий пристрій джерела включає в себе транспортний блок для прийому пакета даних в бездротовому пристрої джерела, причому пакет даних містить дані про введення даних користувачем з асоційованими даними координат; пам'ять, що зберігає команди; один або більше процесорів, сконфігурованих для виконання команд, причому після виконання команд один або більше процесорів викликають нормалізацію асоційованих даних координат для генерування нормалізованих даних координат і обробку пакета даних на основі нормалізованих даних координат. У іншому прикладі зчитуваний комп'ютером запам'ятовуючий носій зберігає команди, які після виконання одним або більше процесорами змушують один або більше процесорів виконувати спосіб прийому користувацьких даних від бездротового пристрою одержувача в бездротовому пристрої джерела. Спосіб включає в себе прийом пакета даних в бездротовому пристрої джерела, причому пакет даних містить дані про введення даних користувачем з асоційованими даними координат; нормалізацію асоційованих даних координат для генерування нормалізованих даних координат; обробку пакета даних на основі нормалізованих даних координат. У іншому прикладі бездротовий пристрій одержувача для передачі користувацьких даних на бездротовий пристрій джерела включає в себе засіб для прийому пакета даних в бездротовому пристрої джерела, причому пакет даних містить дані про введення даних користувачем з асоційованими даними координат; засіб для нормалізації асоційованих даних координат для генерування нормалізованих даних координат; засіб для обробки пакета даних на основі нормалізованих даних координат. Короткий опис креслень ФІГ. 1A є блок-схемою, що ілюструє приклад системи джерела/одержувача, яка може реалізувати способи даного розкриття. ФІГ. 1B є блок-схемою, що ілюструє приклад системи джерела/одержувача з двома пристроями одержувача. ФІГ. 2 показує приклад пристрою джерела, який може реалізувати способи даного розкриття. ФІГ. 3 показує приклад пристрою одержувача, який може реалізувати способи даного розкриття. ФІГ. 4 показує блок-схему системи передавача і системи приймача, які можуть реалізувати способи даного розкриття. ФІГ. 5А і 5B показують зразкові послідовності передачі повідомлення для виконання узгоджень можливостей згідно зі способами даного розкриття. ФІГ. 6 показує зразковий пакет даних, який може бути використаний для доставки даних про введення даних користувачем, одержаних в пристрої одержувача, на пристрій джерела. ФІГ. 7А і 7B є блок-схемами, що ілюструють способи даного розкриття, які можуть бути використані для узгоджень можливостей між пристроєм джерела і пристроєм одержувача. ФІГ. 8А і 8B є блок-схемами, що ілюструють способи даного розкриття, які можуть бути використані для передачі і прийому пакетів даних з даними про введення даних користувачем. ФІГ. 9А і 9B є блок-схемами, що ілюструють способи даного розкриття, які можуть бути використані для передачі і прийому пакетів даних з даними про введення даних користувачем. 2 UA 109176 C2 5 10 15 20 25 30 35 40 45 50 55 60 ФІГ. 10А і 10B є блок-схемами, що ілюструють способи даного розкриття, які можуть бути використані для передачі і прийому пакетів даних з інформацією про часову відмітку і даними про введення даних користувачем. ФІГ. 11А і 11B є блок-схемами, що ілюструють способи даного розкриття, які можуть бути використані для передачі і прийому пакетів даних з інформацією про часову відмітку і даними про введення даних користувачем. ФІГ. 12А і 12B є блок-схемами, що ілюструють способи даного розкриття, які можуть бути використані для передачі і прийому пакетів даних, які включають в себе голосові команди. ФІГ. 13А і 13B є блок-схемами, що ілюструють способи даного розкриття, які можуть бути використані для передачі і прийому пакетів даних з командами введення даних користувачем за допомогою множинних торкань. ФІГ. 14А і 14B є блок-схемами, що ілюструють способи даного розкриття, які можуть бути використані для передачі і прийому пакетів даних з даними про введення користувачем, направленими від пристрою третьої особи. ФІГ. 15А і 15B є блок-схемами, що ілюструють способи даного розкриття, які можуть бути використані для передачі і прийому пакетів даних. Докладний опис Дане розкриття загалом описує систему, в якій бездротовий пристрій одержувача може зв'язуватися з бездротовим пристроєм одержувача. Як частина сеансу зв'язку, бездротовий пристрій джерела може передавати аудіо- і відеодані на бездротовий пристрій одержувача, і бездротовий пристрій одержувача може передавати введення даних користувачем, прийняті в бездротовому пристрої одержувача, на бездротовий пристрій джерела. Таким чином, користувач бездротового пристрою одержувача може керувати бездротовим пристроєм джерела і керувати контентом, який передається від бездротового пристрою джерела на бездротовий пристрій одержувача. ФІГ. 1A є блок-схемою, що ілюструє зразкову систему 100 джерела/одержувача, яка може реалізувати один або більше способів даного розкриття. Як показано на ФІГ. 1A, система 100 включає в себе пристрій 120 джерела, який зв'язується з пристроєм 160 одержувача за допомогою каналу 150 зв'язку. Пристрій 120 джерела може включати в себе пам'ять, яка зберігає дані аудіо/відео (А/V) 121, дисплей 122, динамік 123, кодер 124 аудіо/відео (також званий кодером 124), модуль 125 керування аудіо/відео і блок 126 передавача/приймача (TX/RX). Пристрій 160 одержувача може включати в себе дисплей 162, динамік 163, декодер 164 аудіо/відео (також званий декодером 164), блок 166 передавача/приймача, пристрій 167 введення даних користувачем (UI) і модуль 168 обробки введення даних користувачем (UIPM). Ілюстровані компоненти складають просто одну зразкову конфігурацію для системи 100 джерела/одержувача. Інші конфігурації можуть включати в себе менше компонентів, ніж ті, які ілюстровані, або можуть включати в себе додаткові компоненти, ніж ті, які ілюстровані. У прикладі ФІГ. 1A пристрій 120 джерела може відображати частину відео аудіо/відеоданих 121 на дисплеї 122 і може виводити частину аудіо аудіо/відеоданих 121 на динамік 123. Аудіо/відеодані 121 можуть зберігатися локально на пристрої 120 джерела, до якого можна одержати доступ від зовнішнього запам'ятовуючого носія, такого як файловий сервер, жорсткий диск, зовнішня пам'ять, диск blue-ray, DVD або інший фізичний запам'ятовуючий носій, або можуть бути передані у вигляді потоку на пристрій 120 джерела за допомогою мережевого з'єднання, такого як Інтернет. У деяких випадках аудіо/відеодані 121 можуть бути захоплені в режимі реального часу за допомогою камери і мікрофона пристрою 120 джерела. Аудіо/відеодані 121 можуть включати в себе мультимедійний контент, такий як фільми, телешоу або музика, але можуть також включати в себе контент в реальному часі, згенерований пристроєм 120 джерела. Такий контент в реальному часі, наприклад, може бути сформований додатками, працюючими на пристрої 120 джерела, або захопленими відеоданими, наприклад, як частина сеансу відеотелефонії. Як буде описано більш детально, такий контент в реальному часі може в деяких випадках включати в себе відеокадр опцій введення даних користувачем, доступних користувачу для вибору. У деяких випадках аудіо/відеодані 121 можуть включати в себе відеокадри, які є комбінацією різних типів контенту, такого як відеокадр кіно або телепрограми, яка має опції введення даних користувачем, накладені на кадр відео. На доповнення до відтворення аудіо/відеоданих 121 локально за допомогою дисплея 122 і динаміка 123, кодер 124 аудіо/відео пристрою 120 джерела може кодувати аудіо/відеодані 121, і блок 126 передавача/приймача може передавати закодовані дані по каналу 150 зв'язку на пристрій 160 одержувача. Блок 166 передавача/приймача пристрою 160 одержувача приймає закодовані дані, і декодер 164 аудіо/відео декодує закодовані дані і виводить декодовані дані за допомогою дисплея 162 і динаміка 163. Таким чином, аудіо- і відеодані, відтворені за допомогою 3 UA 109176 C2 5 10 15 20 25 30 35 40 45 50 55 60 дисплея 122 і динаміка 123, можуть бути одночасно відтворені дисплеєм 162 і динаміком 163. Аудіодані і відеодані можуть бути скомпоновані в кадрах, і аудіокадри можуть бути синхронізовані у часі з відеокадрами при відтворенні. Кодер 124 аудіо/відео і декодер 164 аудіо/відео можуть реалізовувати будь-яку кількість стандартів стиснення аудіо і відео, таких як стандарт ITU-T H.264, альтернативно званий MPEG4, Частина 10, вдосконалене кодування відео (AVC) або стандарт кодування відео високої ефективності (HEVC), що нещодавно з'явився, іноді званий стандартом H.265. Також може бути використано багато інших типів способів стиснення, що складають власність або стандартизовані. Загалом, декодер 164 аудіо/відео сконфігурований для виконання взаємнозворотних операцій кодування кодера 124 аудіо/відео. Хоч не показано на ФІГ. 1A, в деяких аспектах кодер 124 А/V і декодер 164 А/V можуть бути об'єднані з кодером і декодером аудіо і можуть включати в себе відповідні блоки MUX-DEMUX або інше апаратне і програмне забезпечення, щоб керувати кодуванням як аудіо, так і відео в загальному потоці даних або в окремих потоках даних. Як буде описано більш детально нижче, кодер 124 А/V може також виконувати інші функції кодування на доповнення до реалізації стандарту стиснення відео, як описано вище. Наприклад, кодер 124 А/V може додавати різні типи метаданих до А/V-даних 121 до передачі А/V-даних 121 на пристрій 160 одержувача. У деяких випадках А/V-дані 121 можуть бути збережені на або прийняті в пристрої 120 джерела в закодованій формі і, таким чином, не вимагати додаткового стиснення за допомогою кодера 124 А/V. Хоч ФІГ. 1A показує канал 150 зв'язку, що переносить корисні аудіодані і корисні відеодані окремо, повинно бути зрозуміло, що в деяких випадках корисні відеодані і корисні аудіодані можуть бути частиною загального потоку даних. Якщо застосовно, блоки MUX-DEMUX можуть відповідати протоколу мультиплексора ITU H.223 або іншим протоколам, таким як протокол користувацьких дейтаграм (UDP). Кодер 124 аудіо/відео і декодер 164 аудіо/відео можуть бути реалізовані як один або більше з мікропроцесорів, цифрових сигнальних процесорів (процесорів DSP), спеціалізованих інтегральних схем (схем ASIC), програмованих користувачем вентильних матриць (матриць FPGA), дискретної логіки, програмного забезпечення, апаратного забезпечення, програмно-апаратного забезпечення або будь-яких їх комбінацій. Кожний з кодера 124 аудіо/відео і декодера 164 аудіо/відео може бути включений в один або більше кодерів або декодерів, будь-який з яких може бути інтегрований як частина об'єднаного кодера/декодера (КОДЕКА). Таким чином, кожний пристрій 120 джерела і пристрій 160 одержувача може містити спеціалізовані машини, сконфігуровані для виконання одного або більше способів даного розкриття. Дисплей 122 і дисплей 162 можуть містити будь-яку множину пристроїв виведення відео, таких як електронно-променева трубка (CRT), рідкокристалічний дисплей (LCD), плазмовий дисплей, світлодіодний дисплей (LED), дисплей на органічних світлодіодах (OLED) або інший тип пристрою відображення. У цих або інших прикладах дисплеї 122 і 162 можуть бути випромінюючими дисплеями або пропускаючими дисплеями. Дисплей 122 і дисплей 162 можуть також бути сенсорними дисплеями, таким чином, щоб вони одночасно були як пристроями введення, так і пристроями відображення. Такі сенсорні дисплеї можуть бути ємнісними, резистивними або іншим типом сенсорної панелі, яка дозволяє користувачу забезпечити введення користувацьких даних відповідному пристрою. Динамік 123 може містити будь-яку множину пристроїв виведення аудіо, таких як навушники, система з єдиним динаміком, система з множиною динаміків або система навколишнього звуку. Додатково, хоч дисплей 122 і динамік 123 показані як частина пристрою 120 джерела, і дисплей 162 і динамік 163 показані як частина пристрою 160 одержувача, пристрій 120 джерела і пристрій 160 одержувача можуть фактично бути системою пристроїв. Як один приклад, дисплей 162 може бути телевізійним приймачем, динамік 163 може бути системою навколишнього звуку, і декодер 164 може бути частиною зовнішнього блока, сполученого або дротовим, або бездротовим способом з дисплеєм 162 і динаміком 163. У інших випадках пристрій 160 одержувача може бути єдиним пристроєм, таким як планшетний комп'ютер або смартфон. У ще інших випадках пристрій 120 джерела і пристрій 160 одержувача є аналогічними пристроями, наприклад обидва є смартфонами, планшетними комп'ютерами і т. п. В цьому випадку один пристрій може працювати як джерело, а інший може працювати як одержувач. Ці списки можуть бути навіть повністю змінені в подальших сеансах зв'язку. У ще інших випадках пристрій джерела може містити мобільний пристрій, такий як смартфон, ноутбук або планшетний комп'ютер, і пристрій одержувача може містити більш стаціонарний пристрій (наприклад, зі шнуром живлення АС), в цьому випадку пристрій джерела може постачати аудіо- і відеодані для презентації численній групі людей за допомогою пристрою одержувача. 4 UA 109176 C2 5 10 15 20 25 30 35 40 45 50 55 60 Блок 126 передавача/приймача і блок 166 передавача/приймача можуть включати в себе різні мікшери, фільтри, підсилювачі і інші компоненти, сконструйовані для модуляції сигналу, а також одну або більше антен і інші компоненти, сконструйовані для передачі і прийому даних. Канал 150 зв'язку загалом представляє будь-який придатний комунікаційний носій або колекцію різних комунікаційних носіїв для передачі відеоданих від пристрою 120 джерела на пристрій 160 одержувача. Канал 150 зв'язку звичайно є каналом зв'язку відносно малої дальності, аналогічно Wi-Fi, Bluetooth і т. п. Однак канал 150 зв'язку не обов'язково обмежується в цьому відношенні і може містити будь-який бездротовий або дротовий комунікаційний носій, такий як радіочастотний спектр (РЧ) або одну або більше фізичних ліній передачі, або будь-яку комбінацію бездротових і дротових носіїв. У інших прикладах канал 150 зв'язку може навіть бути частиною пакетної мережі, такої як дротова або бездротова локальна мережа, широкомасштабна мережа або глобальна мережа, така як Інтернет. Додатково, канал 150 зв'язку може бути використаний пристроєм 120 джерела і пристроєм 160 одержувача, щоб створити однорангову лінію зв'язку. Пристрій 120 джерела і пристрій 160 одержувача можуть зв'язуватися по каналу 150 зв'язку, використовуючи протокол передачі даних, такий як стандарт з групи стандартів IEEE 802.11. Пристрій 120 джерела і пристрій 160 одержувача можуть, наприклад, зв'язуватися згідно зі стандартом Wi-Fi Direct таким чином, щоб пристрій 120 джерела і пристрій 160 одержувача зв'язувалися безпосередньо один з одним без використання посередника, такого як бездротові точки доступу або так звана "гаряча точка". Пристрій 120 джерела і пристрій 160 одержувача можуть також встановити установлення тунельованої прямої лінії зв'язку (TLDS), щоб уникнути або зменшити перевантаження мережі. Способи даного розкриття можуть час від часу бути описані відносно Wi-Fi, але розглядається, що аспекти цих способів можуть також бути сумісні з іншими протоколами передачі даних. За допомогою прикладу, а не обмеження, бездротовий зв'язок між пристроєм 120 джерела і пристроєм одержувача може використовувати способи ортогонального мультиплексування з частотним розділенням каналів (OFDM). Також може бути використана велика різноманітність інших способів бездротового зв'язку, що включають в себе, але не обмежені ними, множинний доступ з часовим розділенням каналів (TDMA), множинний доступ з частотним розділенням каналів (FDMA), множинний доступ з кодовим розділенням каналів (CDMA) або будь-яку комбінацію OFDM, FDMA, TDMA і/або CDMA. Wi-Fi Direct і TDLS призначені для установлення сеансів зв'язку на відносно короткі відстані. Відносно коротка відстань в цьому контексті може належати, наприклад, до менше ніж 70 метрів, хоч в шумному або створюючому перешкоди навколишньому середовищі відстань між пристроями може бути ще коротшою, наприклад менше ніж 35 метрів. На доповнення до декодування і відтворення даних, прийнятих від пристрою 120 джерела, пристрій 160 одержувача може також прийняти введення користувацьких даних від пристрою 167 користувацького введення. Пристрій 167 користувацького введення може, наприклад, бути клавіатурою, мишею, трекболом або сенсорним планшетом, сенсорним екраном, модулем розпізнавання голосової команди або будь-яким іншим таким пристроєм користувацького введення. UIPM 168 форматує команди користувацького введення, прийняті пристроєм 167 користувацького введення, в структуру пакета даних, яку пристрій 120 джерела здатний інтерпретувати. Такі пакети даних передаються передавачем/приймачем 166 на пристрій 120 одержувача по каналу 150 зв'язку. Блок 126 передавача/приймача приймає пакети даних, і модуль 125 керування А/V проводить синтаксичний аналіз пакетів даних, щоб інтерпретувати команду користувацького введення, яка була прийнята пристроєм 167 користувацького введення. На основі команди, прийнятої в пакеті даних, модуль 125 керування А/V може змінити контент, закодований і переданий. Таким чином, користувач пристрою 160 одержувача може керувати корисними аудіоданими і корисними відеоданими, що передаються пристроєм 120 джерела, віддалено і без безпосередньої взаємодії з пристроєм 120 джерела. Приклади типів команд, які користувач пристрою 160 одержувача може передати на пристрій 120 джерела, включають в себе команди для перемотки назад, прискореної перемотки, припинення і програвання аудіо- і відеоданих, а також команди для зміни масштабу зображення, обертання, прокручення і т. д. Користувачі можуть також зробити вибори з меню опцій, наприклад, і передати вибір назад на пристрій 120 джерела. Додатково, користувачі пристрою 160 одержувача мають можливість запустити і керувати додатками на пристрої 120 джерела. Наприклад, користувач пристрою 160 одержувача має можливість запустити додаток редагування фотографій, збережений на пристрої 120 джерела, і використовувати цей додаток для редагування фотографії, яка локально збережена на пристрої 120 джерела. Пристрій 160 одержувача може надати користувачу користувацький досвід, який виглядає і сприймається як фотографія, яка редагується локально на пристрої 160 одержувача, 5 UA 109176 C2 5 10 15 20 25 30 35 40 45 50 55 60 в той час як фактично фотографія редагується на пристрої 120 джерела. Використовуючи таку конфігурацію, користувач пристрою має можливість ефективно використовувати можливості одного пристрою для використання з декількома пристроями. Наприклад, пристрій 120 джерела може бути смартфоном з великим об'ємом пам'яті і можливостями обробки на високому рівні. Користувач пристрою 120 джерела може використовувати смартфон у всіх параметрах настройки і ситуаціях, в яких звичайно використовуються смартфони. Однак при перегляді кіно користувач може захотіти дивитися кіно на пристрої з великим екраном дисплея, в цьому випадку пристрій 160 одержувача може бути планшетним комп'ютером або ще більш великим пристроєм відображення або телевізором. Бажаючи послати або відповісти на повідомлення електронної пошти, користувач може захотіти використовувати пристрій з клавіатурою, в цьому випадку пристрій 160 одержувача може бути ноутбуком. У обох випадках більша частина обробки може бути все ще виконана пристроєм 120 джерела (смартфоном в цьому прикладі) навіть притому, що користувач взаємодіє з пристроєм одержувача. У цьому конкретному операційному контексті через велику частину обробки, що виконується пристроєм 120 джерела, пристрій 160 одержувача може бути більш дешевим пристроєм з меншою кількістю ресурсів, ніж якби пристрій 160 одержувача запитали зробити обробку, виконувану пристроєм 120 джерела. Як пристрій джерела, так і пристрій одержувача можуть бути здатні прийняти користувацьке введення (наприклад, команди сенсорного екрана) в деяких прикладах, і способи даного розкриття можуть полегшити двосторонню взаємодію за допомогою узгодження і ідентифікації можливостей пристроїв в будь-якому даному сеансі. У деякій конфігурації модуль 125 керування А/V може бути процесом операційної системи, виконуваним операційною системою пристрою 125 джерела. Однак в інших конфігураціях модуль 125 керування А/V може бути процесом програмного забезпечення додатка, працюючого на пристрої 120 джерела. У такій конфігурації команда користувацького введення може інтерпретуватися процесом програмного забезпечення таким чином, щоб користувач пристрою 160 одержувача безпосередньо взаємодіяв з додатком, працюючим на пристрої 120 джерела, в порівнянні з операційною системою, працюючою на пристрої 120 джерела. За допомогою безпосередньої взаємодії з додатком, в порівнянні з операційною системою, користувач пристрою 160 одержувача може мати доступ до бібліотеки команд, які не характерні для операційної системи пристрою 120 джерела. Додатково, безпосередня взаємодія з додатком може дозволити командам більш легко передаватися і оброблятися пристроями, працюючими на різних платформах. Пристрій 120 джерела може відповісти на користувацькі введення, застосовані в бездротовому пристрої 160 одержувача. В такому установленні параметрів інтерактивного додатка користувацькі введення, застосовані в бездротовому пристрої 160 одержувача, можуть бути послані назад на бездротове джерело дисплея по каналу 150 зв'язку. У одному прикладі архітектура реверсивного каналу, також звана зворотним каналом користувацького інтерфейсу (UIBC), може бути реалізована, щоб дозволити пристрою 160 одержувача передавати користувацькі введення, застосовані в пристрої 160 одержувача, на пристрій 120 джерела. Архітектура реверсивного каналу може включати в себе повідомлення верхнього рівня для транспортування користувацьких введень і кадри нижнього рівня для узгодження можливостей користувацького інтерфейсу в пристрої 160 одержувача і пристрої 120 джерела. UIBC може розташовуватися над транспортним рівнем Інтернет-протоколу (IP) між пристроєм 160 одержувача і пристроєм 120 джерела. Таким чином, UIBC може бути вище транспортного рівня в моделі зв'язку взаємодії відкритих систем (OSI). У одному прикладі зв'язок OSI включає в себе сім рівнів (1 - фізичний, 2 - лінія передачі даних, 3 - мережевий, 4 - транспортний, 5 - сеансовий, 6 - представлень, 7 - додатків). У цьому прикладі розташування вище транспортного рівня стосується рівнів 5, 6 і 7. Щоб сприяти надійній передачі і послідовній доставці пакетів даних, що містять дані про введення користувацьких даних, UIBC може бути сконфігурований працюючим поверх інших протоколів пакетної передачі даних, таких як протокол керування передачею/Інтернет-протокол (TCP/IP) або протокол користувацьких дейтаграм (UDP). UDP і TCP можуть працювати паралельно в архітектурі рівня OSI. TCP/IP може дозволити пристрою 160 одержувача і пристрою 120 джерела реалізовувати способи повторної передачі у випадку втрати пакетів. У деяких випадках може бути неспівпадіння між інтерфейсами користувацького введення, розташованими в пристрої 120 джерела і пристрої 160 одержувача. Щоб вирішити потенційні проблеми, створені таким неспівпадінням, і підвищити хороший користувацький досвід при таких обставинах, узгодження можливостей інтерфейсу користувацького введення може мати місце між пристроєм 120 джерела і пристроєм 160 одержувача до встановлення сеансу зв'язку або в різні моменти часу протягом сеансу зв'язку. Як частина цього процесу узгодження, 6 UA 109176 C2 5 10 15 20 25 30 35 40 45 50 пристрій 120 джерела і пристрій 160 одержувача можуть домовитися про узгоджене розрізнення екрана. Коли пристрій 160 одержувача передає дані координат, асоційовані з користувацьким введенням, пристрій 160 одержувача може масштабувати дані координат, одержані від дисплея 162, щоб вони співпали з узгодженим розрізненням екрана. У одному прикладі, якщо пристрій 160 одержувача має розрізнення 1280×720 і пристрій 120 джерела має розрізнення 1600×900, пристрої можуть, наприклад, використовувати 1280×720 як своє узгоджене розрізнення. Узгоджене розрізнення може бути вибране на основі розрізнення пристрою 160 одержувача, хоч може також бути використане розрізнення пристрою 120 джерела або деяке інше розрізнення. У прикладі, в якому використовується пристрій одержувача з розрізненням 1280×720, пристрій 160 одержувача може масштабувати одержані х-координати за допомогою коефіцієнта 1600/1280 до передачі координат на пристрій 120 джерела, і, аналогічно, пристрій 160 одержувача може масштабувати одержані у-координати за допомогою 900/720 до передачі координат на пристрій 120 джерела. У інших конфігураціях пристрій 120 джерела може масштабувати одержані координати до узгодженого розрізнення. Масштабування може або збільшити, або зменшити діапазон координат на основі того, чи використовує пристрій 160 одержувача дисплей з більш високим розрізненням, ніж пристрій 120 джерела, або навпаки. Додатково, в деяких випадках розрізнення в пристрої 160 одержувача може змінюватися під час сеансу зв'язку, потенційно створюючи неспівпадіння між дисплеєм 122 і дисплеєм 162. Щоб підвищити користувацький досвід і гарантувати належні функціональні можливості, система 100 джерела/одержувача може реалізувати способи для зменшення або запобігання неспівпадінню користувацької взаємодії за допомогою реалізації способів для нормалізації екрана. Дисплей 122 пристрою 120 джерела і дисплей 162 пристрою 160 одержувача можуть мати різні розрізнення і/або різні співвідношення сторін. Додатково, при деяких параметрах настройки користувач пристрою 160 одержувача може мати здатність змінити розміри вікна екрана дисплея для відеоданих, прийнятих від пристрою 120 джерела, таким чином, щоб відеодані, прийняті від пристрою 120 джерела, були відтворені у вікні, яке охоплює менше ніж весь дисплей 162 пристрою 160 одержувача. При інших зразкових параметрах настройки користувач пристрою 160 одержувача може мати опцію перегляду контенту або в режимі "горизонтальної орієнтації", або в режимі "портрет", кожний з яких має унікальні координати і різні співвідношення сторін. У таких ситуаціях координати, асоційовані з користувацьким введенням, прийнятим в пристрої 160 одержувача, такі як координата того, де має місце натиснення миші або подія торкання, можуть не бути здатні оброблятися пристроєм 120 джерела без модифікації координат. Відповідно, способи даного розкриття можуть включати в себе відображення координат користувацького введення, прийнятого в пристрої 160 одержувача, в координати, асоційовані з пристроєм 120 джерела. Це відображення також називається нормалізацією в даному описі, і, як буде пояснено більш детально нижче, це відображення може бути основане або на одержувачі, або на джерелі. Користувацькі введення, прийняті пристроєм 160 одержувача, можуть бути прийняті модулем 167 UI на рівні драйвера, наприклад, і направлені в операційну систему пристрою 160 одержувача. Операційна система в пристрої 160 одержувача може приймати координати (xSINK, ySINK), асоційовані з тим, де на поверхні дисплея мало місце користувацьке введення. У цьому прикладі (xSINK, ySINK) можуть бути координатами дисплея 162, в якому мало місце натиснення миші або подія торкання. Вікно екрана дисплея, відтворюване на дисплеї 162, може мати довжину х-координати (LDW) і ширину у-координати (W DW), які описують розмір вікна екрана дисплея. Вікно екрана дисплея може також мати координату верхнього лівого кута (a DW , bDW), яка описує місцеположення вікна екрана дисплея. На основі LDW , W DW і верхньої лівої координати (aDW , bDW) може бути визначена частина дисплея 162, охоплена вікном екрана дисплея. Наприклад, правий верхній кут вікна екрана дисплея може бути розташований в координаті (aDW +LDW , bDW), лівий нижній кут вікна екрана дисплея може бути розташований в координаті (aDW , bDW +W DW), і правий нижній кут вікна екрана дисплея може бути розташований в координаті (aDW +LDW, bDW+W DW). Пристрій 160 одержувача може обробити введення як введення UIBC, якщо це введення прийняте в координаті в межах вікна екрана дисплея. Іншими словами, введення з асоційованими координатами (xSINK, ySINK) може бути оброблене як введення UIBC, якщо задоволені наступні умови: 55 aDW≤xSINK≤aDW+LDW bDW≤ySINK≤bDW +W DW (1) (2) Після визначення, що користувацьке введення є введенням UIBC, координати, асоційовані з цим введенням, можуть бути нормалізовані за допомогою UIPM 168 до передачі на пристрій 120 7 UA 109176 C2 5 10 15 джерела. Введення, які визначені як поза вікном екрана дисплея, можуть бути оброблені локально пристроєм 160 одержувача як введення не-UIBC. Як згадано вище, нормалізація координат введення може бути основана або на джерелі, або на одержувачі. При реалізації основаної на одержувачі нормалізації пристрій 120 джерела може послати підтримуване розрізнення дисплея (LSRC, W SRC) для дисплея 122, або з відеоданими, або незалежно від відеоданих, на пристрій 160 одержувача. Підтримуване розрізнення дисплея, наприклад, може бути передане як частина сеансу узгодження можливостей або може бути передане в інший час під час сеансу зв'язку. Пристрій 160 одержувача може визначити розрізнення дисплея (LSINK, W SINK) для дисплея 162, розрізнення вікна екрана дисплея (LDW, W DW) для вікна, що відображає контент, прийнятий від пристрою 120 джерела, і координату лівого верхнього кута (aDW , bDW) для вікна екрана дисплея. Як описано вище, коли координата (xSINK, ySINK), відповідна користувацькому введенню, визначається в межах вікна екрана дисплея, операційна система пристрою 160 одержувача може відобразити координату (xSINK, ySINK) у вихідні координати (xSRC, ySRC), використовуючи функції перетворення. Зразкові функції перетворення для перетворення (xSINK, ySINK) в (xSRC, ySRC) можуть бути наступними: xSRC=(xSINK-aDW )*(LSRC/LDW) ySRC=(ySINK-bDW )*(W SRC/W DW) 20 25 30 35 40 (3) (4) Таким чином, при передачі координати, відповідної прийнятому користувацькому введенню, пристрій 160 одержувача може передати координату (x SRC, ySRC) для користувацького введення, прийнятого в (xSINK, ySINK). Як буде описано більш детально нижче, координата (xSRC, ySRC), наприклад, може бути передана як частина пакета даних, використовуваного для передачі користувацького введення, прийнятого в пристрої 160 одержувача, на пристрій 120 джерела по UIBC. Протягом інших частин даного розкриття, в якому координати введення описані як включені в пакет даних, ці координати можуть бути перетворені у вихідні координати, як описано вище у випадках, в яких система 100 джерела/одержувача реалізовує основану на одержувачі нормалізацію. Коли система 100 джерела/одержувача реалізовує основану на джерелі нормалізацію, для користувацьких введень, визначених введеннями UIBC, в порівнянні з локальними введеннями (тобто в межах вікна екрана дисплея, протилежній зовнішній стороні вікна екрана дисплея), обчислення, описані вище, можуть бути виконані в пристрої 120 джерела замість пристрою 160 одержувача. Щоб полегшити такі обчислення, пристрій 160 одержувача може передати на пристрій 120 джерела значення для LDW , W DW і інформацію про місцеположення для вікна екрана дисплея (наприклад, aDW , bDW), а також координати для (xSINK, ySINK). Використовуючи ці передані значення, пристрій 120 джерела може визначити значення для (x SRC, ySRC) згідно з рівняннями 3 і 4, представленими вище. У інших реалізаціях основаної на одержувачі нормалізації пристрій 160 одержувача може передати координати (xDW, yDW) для користувацького введення, які описують, де в межах вікна екрана дисплея має місце подія користувацького введення, на протилежність тому, де на дисплеї 162 має місце користувацьке введення. У такій реалізації координати (x DW , yDW ) можуть бути передані на пристрій 120 джерела поряд зі значеннями для (L DW , WDW). На основі цих прийнятих значень пристрій 120 джерела може визначити (x SRC, ySRC) згідно з наступними функціями перетворення: xSRC=xDW *(LSRC/LDW) ySRC=yDW *(W SRC/W DW) (5) (6) 45 Пристрій 160 одержувача може визначити xDW і yDW на основі наступних функцій: xDW =xSINK-aDW yDW =ySINK-bDW 50 (7) (8) Коли дане розкриття описує передачу координат, асоційованих з користувацьким введенням, в пакеті даних, наприклад, передача цих координат може включати в себе основану на одержувачі або основану на джерелі нормалізацію, як описано вище, і/або може включати в себе будь-яку додаткову інформацію, необхідну для виконання основаної на одержувачі або основаної на джерелі нормалізації. 8 UA 109176 C2 5 10 15 20 25 30 35 40 45 50 55 60 UIBC може бути сконструйований для транспортування різних типів даних користувацького введення, що включають в себе міжплатформні дані введення даних користувача. Наприклад, пристрій 120 джерела може керувати операційною системою iOS®, в той час як пристрій 160 одержувача керує іншою операційною системою, такою як Android® або Windows®. Незалежно від платформи UIPM 168 може інкапсулювати прийняте користувацьке введення в формі, зрозумілій модулю 125 керування А/V. Ряд різних типів форматів користувацького введення можуть підтримуватися за допомогою UIBC таким чином, щоб дозволити багатьом різним типам пристроїв джерела і одержувача використовувати протокол незалежно від того, чи працюють пристрої джерела і одержувача на різних платформах. Можуть бути визначені загальні формати введення, і можуть підтримуватися специфічні для платформи формати введення, таким чином забезпечуючи гнучкість способом, в якому користувацьке введення може бути передане між пристроєм 120 джерела і пристроєм 160 одержувача за допомогою UIBC. У прикладі на ФІГ. 1A пристрій 120 джерела може містити смартфон, планшетний комп'ютер, ноутбук, настільний комп'ютер, телевізор з підтримкою Wi-Fi або будь-який інший пристрій, здатний передавати аудіо- і відеодані. Пристрій 160 одержувача може аналогічно містити смартфон, планшетний комп'ютер, ноутбук, настільний комп'ютер, телевізор з підтримкою Wi-Fi або будь-який інший пристрій, здатний прийняти аудіо- і відеодані і прийняти дані користувацького введення. У деяких випадках пристрій 160 одержувача може включати в себе систему пристроїв, таких як дисплей 162, динамік 163, пристрій 167 UI і кодер 164 А/V всіх частин окремих, але взаємодіючих пристроїв. Пристрій 120 джерела може аналогічно бути системою пристроїв, а не єдиним пристроєм. У даному розкритті термін "пристрій джерела" загалом використовується, щоб стосуватися пристрою, який передає аудіо/відеодані, і термін "пристрій одержувача" загалом використовується, щоб стосуватися пристрою, який приймає аудіо/відеодані від пристрою джерела. У багатьох випадках пристрій 120 джерела і пристрій 160 одержувача можуть бути аналогічними або ідентичними пристроями, з одним пристроєм, працюючим як джерело, і іншим, працюючим як одержувач. Крім того ці списки можуть бути реверсовані в різних сеансах зв'язку. Таким чином, пристрій одержувача в одному сеансі зв'язку може стати пристроєм джерела в подальшому сеансі зв'язку, або навпаки. ФІГ. 1B є блок-схемою, що ілюструє зразкову систему 101 джерела/одержувача, яка може реалізувати способи даного розкриття. Система 101 джерела/одержувача включає в себе пристрій 120 джерела і пристрій 160 одержувача, кожний з яких може функціонувати і працювати так, як описано вище для ФІГ. 1A. Система 101 джерела/одержувача додатково включає в себе пристрій 180 одержувача. Аналогічно пристрою 160 одержувача, описаному вище, пристрій 180 одержувача може приймати аудіо- і відеодані від пристрою 120 джерела і передавати команди користувача на пристрій 120 джерела по встановленому UIBC. У деяких конфігураціях пристрій 160 одержувача і пристрій 180 одержувача можуть працювати незалежно один від одного, і виведення аудіо- і відеоданих в пристрої 120 джерела може бути одночасно виведене в пристрої 160 одержувача і пристрої 180 одержувача. У додаткових конфігураціях пристрій 160 одержувача може бути первинним пристроєм одержувача, і пристрій 180 одержувача може бути вторинним пристроєм одержувача. У такій зразковій конфігурації можуть бути приєднані пристрій 160 одержувача і пристрій 180 одержувача, і пристрій 160 одержувача може відображати відеодані, в той час як пристрій 180 одержувача виводить відповідні аудіодані. Додатково, в деяких конфігураціях пристрій 160 одержувача може виводити передані відеодані тільки тоді, коли пристрій 180 одержувача виводить передані аудіодані. ФІГ. 2 є блок-схемою, що показує один приклад пристрою 220 джерела. Пристрій 220 джерела може бути пристроєм, аналогічним пристрою 120 джерела на ФІГ. 1A, і може працювати так само, як пристрій 120 джерела. Пристрій 220 джерела включає в себе локальний дисплей 222, локальний динамік 223, процесори 231, пам'ять 232, транспортний блок 233 і бездротовий модем 234. Як показано на ФІГ. 2, пристрій 220 джерела може включати в себе один або більше процесорів (тобто процесор 231), які кодують і/або декодують А/V-дані для транспортування, зберігання і відображення. А/V-дані можуть, наприклад, зберігатися в пам'яті 232. Пам'ять 232 може зберігати весь А/V-файл або може містити буфер меншого розміру, який просто зберігає частину А/V-файла, наприклад, переданого за допомогою потоку від іншого пристрою або джерела. Транспортний блок 233 може обробляти закодовані А/V-дані для мережевого транспорту. Наприклад, закодовані А/V-дані можуть бути оброблені процесором 231 і інкапсульовані транспортним блоком 233 в блоки рівня доступу до мережі (NAL) для зв'язку через мережу. Блоки NAL можуть бути послані бездротовим модемом 234 на бездротовий пристрій одержувача за допомогою мережевого з'єднання. Бездротовий модем 9 UA 109176 C2 5 10 15 20 25 30 35 40 45 50 55 60 234 може, наприклад, бути модемом Wi-Fi, сконфігурованим для реалізації одного з групи стандартів IEEE 802.11. Пристрій 220 джерела може також локально обробляти і відображати А/V-дані. Зокрема, процесор 235 дисплея може обробляти відеодані, які повинні бути відображені на локальному дисплеї 222, аудіопроцесор 236 може обробляти аудіодані для виведення на динаміку 223. Як описано вище з посиланнями на пристрій 120 джерела згідно з ФІГ. 1A, пристрій 220 джерела може також приймати команди користувацького введення від пристрою одержувача. Таким чином, бездротовий модем 234 пристрою 220 джерела приймає пакети інкапсульованих даних, наприклад блоки NAL, і посилає блоки інкапсульованих даних в транспортний блок 233 для декапсулювання. Наприклад, транспортний блок 233 може витягнути пакети даних з блоків NAL, і процесор 231 може провести синтаксичний аналіз пакетів даних, щоб витягнути команди користувацького введення. На основі команд користувацького введення процесор 231 може настроювати закодовані А/V-дані, що передаються пристроєм 220 джерела на пристрій одержувача. Таким чином, функціональні можливості, описані вище відносно модуля 125 керування А/V згідно з ФІГ. 1A, можуть бути реалізовані або повністю, або частково процесором 231. Процесор 231 згідно з ФІГ. 2 загалом представляє будь-яку велику різноманітність процесорів, що включають в себе, але не обмежені цим, один або більше цифрових сигнальних процесорів (процесори DSP), мікропроцесорів загального призначення, спеціалізованих інтегральних схем (схем ASIC), програмованих користувачем вентильних матриць (матриць FPGA), інших еквівалентних інтегральних або дискретних логічнихсхем або деяку їх комбінацію. Пам'ять 232 згідно з ФІГ. 2 може містити будь-яку велику різноманітність з енергозалежної або енергонезалежної пам'яті, що включає в себе, але не обмежена ними, оперативний запам'ятовуючий пристрій (RAM), такий як синхронний динамічний оперативний запам'ятовуючий пристрій (SDRAM), постійний запам'ятовуючий пристрій (ROM), енергонезалежний оперативний запам'ятовуючий пристрій (NVRAM), електрично стираний постійний запам'ятовуючий пристрій (EEPROM), флеш-пам'ять і т. п. Пам'ять 232 може містити зчитуваний комп'ютером запам'ятовуючий носій для зберігання аудіо/відеоданих, а також інших видів даних. Пам'ять 232 може додатково зберігати команди і програмний код, які виконуються процесором 231, як частина виконання різних способів, описаних в даному розкритті. ФІГ. 3 показує приклад пристрою 360 одержувача. Пристрій 360 одержувача може бути пристроєм, аналогічним пристрою 160 одержувача на ФІГ. 1A, і може працювати так само, як пристрій 160 одержувача. Пристрій 360 одержувача включає в себе один або більше процесорів (тобто процесор 331), пам'ять 332, транспортний блок 333, бездротовий модем 334, процесор 335 дисплея, локальний дисплей 362, аудіопроцесор 336, динамік 363 і інтерфейс 376 користувацького введення. Пристрій 360 одержувача приймає в бездротовому модемі 334 блок інкапсульованих даних, посланих від пристрою джерела. Бездротовий модем 334, наприклад, може бути модемом Wi-Fi, сконфігурованим для реалізації ще одного стандарту з групи стандартів IEEE 802.11. Транспортний блок 333 може декапсулювати блоки інкапсульованих даних. Наприклад, транспортний блок 333 може витягнути закодовані відеодані з блоків інкапсульованих даних і послати закодовані А/V-дані на процесор 331, які повинні бути декодовані і відтворені для виведення. Процесор 335 дисплея може обробляти декодовані відеодані, які повинні бути відображені на локальному дисплеї 362, і аудіопроцесор 336 може обробляти декодовані аудіодані для виведення на динаміку 363. На доповнення до відтворення аудіо- і відеоданих бездротовий пристрій 360 одержувача може також прийняти дані користувацького введення через інтерфейс 376 користувацького введення. Інтерфейс 376 користувацького введення може представляти будь-який з ряду пристроїв користувацького введення, включених, але не обмежених ними, в інтерфейс сенсорного дисплея, клавіатуру, мишу, модуль голосових команд, пристрій захоплення жесту (наприклад, із основаними на камері можливостями захоплення введення даних) або будь-який інший з ряду пристроїв користувацького введення. Користувацьке введення, прийняте через інтерфейс 376 користувацького введення, може бути оброблене процесором 331. Ця обробка може включати в себе генерування пакетів даних, які включають в себе прийняту команду користувацького введення, згідно зі способами, описаними в даному розкритті. Після генерування транспортний блок 333 може обробляти пакети даних для мережевого транспортування на бездротовий пристрій джерела по UIBC. Процесор 331 згідно з ФІГ. 3 може містити один або декілька процесорів широкого діапазону, таких як один або більше цифрових сигнальних процесорів (процесорів DSP), мікропроцесори загального призначення, спеціалізовані інтегральні схеми (схеми ASIC), програмовані користувачем вентильні матриці (матриці FPGA), інша еквівалентна інтегрована 10 UA 109176 C2 5 10 15 20 25 30 35 40 45 50 55 60 або дискретна логічна схема або деяка їх комбінація. Пам'ять 332 згідно з ФІГ. 3 може містити будь-яку велику різноманітність енергозалежної або енергонезалежної пам'яті, що включає в себе, але не обмежена ними, оперативний запам'ятовуючий пристрій (RAM), такий як синхронний динамічний оперативний запам'ятовуючий пристрій (SDRAM), постійний запам'ятовуючий пристрій (ROM), енергонезалежний оперативний запам'ятовуючий пристрій (NVRAM), електрично стираний програмований постійний запам'ятовуючий пристрій (EEPROM), флеш-пам'ять і т. п. Пам'ять 232 може містити зчитуваний комп'ютером запам'ятовуючий носій для зберігання аудіо/відеоданих, а також інших видів даних. Пам'ять 332 може додатково зберігати команди і програмний код, які виконуються процесором 331, як частина виконання різних способів, описаних в даному розкритті. ФІГ. 4 показує блок-схему зразкової системи 410 передавача і системи 450 приймача, які можуть бути використані передавачем/приймачем 126 і передавачем/приймачем 166 згідно з ФІГ. 1А для зв'язку по каналу 150 зв'язку. У системі 410 передавача дані трафіку для ряду потоків даних видаються від джерела 412 даних в процесор 414 (TX) передачі даних. Кожний потік даних може бути переданий по відповідній антені передачі. Процесор 414 TX передачі даних форматує, кодує і чергує дані трафіку для кожного потоку даних на основі конкретної схеми кодування, вибраної для цього потоку даних. Закодовані дані для кожного потоку даних можуть бути мультиплексовані з даними пілотсигналу, використовуючи способи мультиплексування з ортогональним частотним розділенням каналів (OFDM). Може бути також використана велика різноманітність інших способів бездротового зв'язку, що включають в себе, але не обмежені ними, множинний доступ з часовим розділенням каналів (TDMA), множинний доступ з частотним розділенням каналів (FDMA), множинний доступ з кодовим розділенням каналів (CDMA) або будь-яку комбінацію OFDM, FDMA, TDMA і/або CDMA. Згідно з ФІГ. 4, дані пілот-сигналу звичайно є відомим шаблоном даних, який обробляється відомим способом і може бути використаний в системі приймача для оцінки відповіді каналу. Мультиплексовані дані пілот-сигналу і закодовані дані для кожного потоку даних потім модулюються (наприклад, відображаються в символи) на основі конкретної схеми модуляції (наприклад, двійкової фазової маніпуляції (BPSK), квадратурної фазової маніпуляції (QPSK), МPSK або М-QAM (квадратурної амплітудної модуляції), де М може бути степенем двійки), вибраної для цього потоку даних, щоб видати символи модуляції. Швидкість передачі даних, кодування і модуляція для кожного потоку даних можуть бути визначені командами, виконаними процесором 430, який може бути приєднаний до пам'яті 432. Потім символи модуляції для потоків даних видаються в процесор 420 MIMO TX передачі даних, який може додатково обробляти символи модуляції (наприклад, для OFDM). Потім процесор 420 MIMO TX передачі даних може видавати N T символьних потоків модуляції в NT передавачів (TMTR) 422a-422t. У деяких аспектах процесор 420 MIMO TX передачі даних застосовує ваги формування діаграми спрямованості до символів потоків даних і до антени, від якої передається символ. Кожний передавач 422 може приймати і обробляти відповідний символьний потік, щоб видавати один або більше аналогових сигналів, і додатково приводити до необхідних умов (наприклад, посилювати, фільтрувати і перетворювати з підвищенням частоти) аналогові сигнали, щоб видавати модульований сигнал, придатний для передачі по каналу MIMO. Потім NT модульованих сигналів від передавачів 422a-422t передаються від NT антен 424a-424t, відповідно. У системі 450 приймача передані модульовані сигнали приймаються N R антенами 452a-452r, і прийнятий сигнал від кожної антени 452 видається у відповідний приймач (RCVR) 454a-454r. Приймач 454 приводить до необхідних умов (наприклад, фільтрує, посилює і перетворює з пониженням частоти) відповідний прийнятий сигнал, переводить приведений до необхідних умов сигнал в цифрову форму, щоб забезпечити вибірки, і додатково обробляє вибірки для видачі відповідного "прийнятого" символьного потоку. Потім процесор 460 RX прийому даних приймає і обробляє N R прийнятих символьних потоків від NR приймачів 454 на основі конкретного способу обробки приймача для видачі N T "виявлених" символьних потоків. Потім процесор 460 RX прийому даних демодулює, виконує зворотне чергування і декодує кожний виявлений символьний потік для відновлення даних трафіку для потоку даних. Обробка процесором 460 RX прийому даних комплементарна тій, яка виконується процесором 420 MIMO TX передачі даних і процесором 414 TX передачі даних в системі 410 передавача. Процесор 470, який може бути приєднаний до пам'яті 472, періодично визначає, яку використовувати матрицю попереднього кодування. Повідомлення зворотної лінії зв'язку може 11 UA 109176 C2 5 10 15 20 25 30 35 40 45 50 55 60 містити різні типи інформації відносно лінії зв'язку і/або прийнятого потоку даних. Потім повідомлення зворотної лінії зв'язку обробляється процесором 438 TX передачі даних, який також приймає дані трафіку для ряду потоків даних від джерела 436 даних, модулюється модулятором 480, приводиться до необхідних умов передавачами 454a-454r і передається назад в систему 410 передавача. У системі 410 передавача модульовані сигнали від системи 450 приймача приймаються антенами 424, приводяться до необхідних умов приймачами 422, демодулюються демодулятором 440 і обробляються процесором 442 RX прийому даних, щоб витягнути повідомлення зворотної лінії зв'язку, передане системою 450 приймача. Процесор 430 потім визначає, яку використовувати матрицю попереднього кодування, щоб визначити ваги діаграми спрямованості, потім обробляє витягнуте повідомлення. ФІГ. 5A є блок-схемою, що ілюструє зразкову послідовність передачі повідомлення між пристроєм 520 джерела і пристроєм 560 одержувача як частину сеансу узгодження можливостей. Узгодження можливостей може мати місце як частина більшого процесу встановлення сеансу зв'язку між пристроєм 520 джерела і пристроєм 560 одержувача. Цей сеанс може, наприклад, бути встановлений за допомогою Wi-Fi Direct або TDLS як стандарту з'єднання, що лежить в основі. Після встановлення сеансу Wi-Fi Direct або TDLS, пристрій 560 одержувача може ініціювати з'єднання TCP з пристроєм 520 джерела. Як частина встановлення з'єднання TCP може бути встановлений порт керування, керуючий протоколом потокової передачі в реальному часі (RTSP), щоб керувати сеансом зв'язку між пристроєм 520 джерела і пристроєм 560 одержувача. Пристрій 520 джерела може загалом працювати так само, як описано вище для пристрою 120 джерела згідно з ФІГ. 1A, і пристрій 560 одержувача може загалом працювати так само, як описано вище для пристрою 160 одержувача згідно з ФІГ. 1A. Після того, як пристрій 520 джерела і пристрій 560 одержувача встановлять можливість з'єднання, пристрій 520 джерела і пристрій 560 одержувача можуть визначити набір параметрів, які повинні бути використані для їх подальшого сеансу зв'язку як частина обміну по узгодженню можливостей. Пристрій 520 джерела і пристрій 560 одержувача можуть узгодити можливості через послідовність повідомлень. Повідомлення, наприклад, можуть бути повідомленнями протоколу потокової передачі в реальному часі (RTSP). На будь-якому етапі узгоджень одержувач повідомлення запиту RTSP може відповісти за допомогою відповіді RTSP, яка включає в себе код стану RTSP, відмінної від RTSP OK, коли обмін повідомленнями може бути повторений з іншим набором параметрів або може бути закінчений сеанс узгодження можливостей. Пристрій 520 джерела може послати перше повідомлення (повідомлення запиту ОПЦІЙ RTSP (RTSP OPTIONS)) на пристрій 560 одержувача, щоб визначити набір способів RTSP, які підтримує пристрій 560 одержувача. Після прийому першого повідомлення від пристрою 520 джерела пристрій 560 одержувача може відповісти другим повідомленням (повідомленням відповіді RTSP OPTIONS), яке перелічує способи RTSP, підтримувані пристроєм 560 одержувача. Друге повідомлення може також включати в себе код стану RTSP OK. Після посилки другого повідомлення на пристрій 520 джерела пристрій 560 одержувача може послати третє повідомлення (повідомлення запиту RTSP OPTIONS), щоб визначити набір способів RTSP, які підтримує пристрій 520 джерела. Після прийому третього повідомлення від пристрою 560 одержувача пристрій 520 джерела може відповісти четвертим повідомленням (повідомленням відповіді RTSP OPTIONS), яке перелічує способи RTSP, підтримувані пристроєм 520 джерела. Четверте повідомлення може також включати в себе код стану RTSP OK. Після посилки четвертого повідомлення пристрій 520 джерела може послати п'яте повідомлення (повідомлення запиту GET_PARAMETER RTSP), щоб визначити список можливостей, які представляють інтерес для пристрою 520 джерела. Пристрій 560 одержувача може відповісти шостим повідомленням (повідомленням відповіді GET_PARAMETER RTSP). Шосте повідомлення може містити код стану RTSP. Якщо кодом стану RTSP є OK, то шосте повідомлення може також включати в себе параметри відповіді для параметра, визначеного в п'ятому повідомленні, які підтримуються пристроєм 560 одержувача. Пристрій 560 одержувача може ігнорувати параметри в п'ятому повідомленні, яке не підтримує пристрій 560 одержувача. На основі шостого повідомлення джерело 520 може визначити оптимальний набір параметрів, які повинні бути використані для сеансу зв'язку, і може послати сьоме повідомлення (повідомлення запиту SET_PARAMETER RTSP) на пристрій 560 одержувача. Сьоме повідомлення може містити набір параметрів, який повинен бути використаний під час сеансу зв'язку між пристроєм 520 джерела і пристроєм 560 одержувача. Сьоме повідомлення може включати в себе wfd-presentation-ur1, що описує універсальний ідентифікатор ресурсу (URI), 12 UA 109176 C2 5 10 15 20 25 30 35 40 45 50 55 60 який повинен бути використаний в запиті на установлення RTSP, щоб встановити сеанс зв'язку. Цей wfd-presentation-ur1 визначає URI, який може використовувати пристрій 560 одержувача для більш пізніх повідомлень під час обміну встановленням сеансу. Значення wfd-ur10 і wfdur11, визначені в цьому параметрі, можуть відповідати значенням rtp-port0 і значенням rtp-port1 в wfd-client-rtp-ports в сьомому повідомленні. RTP в цьому випадку загалом належить до протоколу в реальному часі, який може працювати поверх UDP. Після прийому сьомого повідомлення пристрій 560 одержувача може відповісти восьмим повідомленням з кодом стану RTSP, що вказує, чи було успішним установлення параметрів, як визначено в сьомому повідомленні. Як згадано вище, ролі або пристрій джерела і пристрій одержувача можуть бути реверсовані або змінені в різних сеансах. Порядок повідомлень, які встановлюють сеанс зв'язку, може в деяких випадках визначити пристрій, який працює як джерело, і визначити пристрій, який працює як одержувач. ФІГ. 5B є блок-схемою, що ілюструє іншу зразкову послідовність передачі повідомлення між пристроєм 560 джерела і пристроєм 520 одержувача як частину сеансу узгодження можливостей. Послідовність передачі повідомлення згідно з ФІГ. 5B призначена, щоб забезпечити більш докладний вигляд послідовності передачі, описаної вище для ФІГ. 5A. На ФІГ. 5B повідомлення "1b. GET_PARAMETER RESPONSE" показує приклад повідомлення, яке ідентифікує список підтримуваних категорій введення (наприклад, загального і HIDC) і множину списків підтримуваних типів введення. Кожна з підтримуваних категорій введення зі списку підтримуваних категорій введення має асоційований список підтримуваних типів (наприклад, generic_cap_list і hidc_cap_list). На ФІГ. 5B повідомлення "2a. SET_PARAMETER REQUEST" є прикладом другого повідомлення, яке ідентифікує другий список підтримуваних категорій введення (наприклад, загального і HIDC) і множину других списків підтримуваних типів. Кожна з підтримуваних категорій введення з другого списку підтримуваних категорій введення має асоційований другий список підтримуваних типів (наприклад, generic_cap_list і hidc_cap_list). Повідомлення "1b. GET_PARAMETER RESPONSE" ідентифікує категорії введення і типи введення, підтримувані пристроєм 560 одержувача. Повідомлення "2a. SET_PARAMETER REQUEST" ідентифікує категорії введення і типи введення, підтримувані пристроєм 520 джерела, але це може не бути повним списком всіх категорій введення і типів введення, підтримуваних пристроєм 520 джерела. Замість цього повідомлення "2a. SET_PARAMETER REQUEST" може ідентифікувати тільки ті категорії введення і типи введення, ідентифіковані в повідомленні "1b. GET_PARAMETER RESPONSE", як підтримувані пристроєм 560 одержувача. Таким чином, категорії введення і типи введення, ідентифіковані в повідомленні "2a. SET_PARAMETER REQUST", можуть складати піднабір категорій введення і типів введення, ідентифікованих в повідомленні "1b. GET_PARAMETER RESPONSE". ФІГ. 6 є концептуальною діаграмою, що ілюструє один приклад пакета даних, який може бути згенерований пристроєм одержувача і переданий на пристрій джерела. Аспекти пакета 600 даних будуть пояснені з посиланнями на ФІГ. 1A, але розглянуті способи можуть застосовуватися до додаткових типів систем джерела/одержувача. Пакет 600 даних може включати в себе заголовок 610 пакета даних з подальшими даними 650 корисних даних. Корисні дані 650 можуть додатково включати в себе один або більше заголовків корисних даних (наприклад, заголовок 630 корисних даних). Пакет 600 даних може, наприклад, бути переданий від пристрою 160 одержувача на ФІГ. 1А на пристрій 120 джерела таким чином, щоб користувач пристрою 160 одержувача міг керувати аудіо/відеоданими, що передаються пристроєм 120 джерела. У такому випадку корисні дані 650 можуть включати в себе дані користувацького введення, прийняті в пристрої 160 одержувача. Корисні дані 650 можуть, наприклад, ідентифікувати одну або більше користувацьких команд. Пристрій 160 одержувача може прийняти одну або більше користувацьких команд і на основі прийнятих команд може генерувати заголовок 610 пакета даних і корисні дані 650. На основі контенту заголовка 610 пакета даних пакета 600 даних пристрій 120 джерела може провести синтаксичний аналіз корисних даних 650, щоб ідентифікувати дані користувацького введення, прийняті в пристрої 160 одержувача. На основі даних користувацького введення, що містяться в корисних даних 650, пристрій 120 джерела може деяким чином змінювати аудіо- і відеодані, що передаються від пристрою 120 джерела на пристрій 160 одержувача. Використовувані в даному розкритті терміни "проводити синтаксичний аналіз" і "проведення синтаксичного аналізу" загалом стосуються процесу аналізу бітового потоку, щоб витягнути дані з бітового потоку. Після витягання дані можуть бути оброблені пристроєм 120 джерела, наприклад. Витягання даних може, наприклад, включати в себе ідентифікацію того, як форматується інформація в бітовому потоці. Як буде описано більш детально нижче, заголовок 610 пакета даних може визначити стандартизований формат, який відомий як пристрою 120 13 UA 109176 C2 5 10 15 20 25 30 35 40 45 50 55 60 джерела, так і пристрою 160 одержувача. Корисні дані 650, однак, можуть бути відформатовані одним з багатьох можливих способів. За допомогою проведення синтаксичного аналізу заголовка 610 пакета даних пристрій 120 джерела може визначити, як форматуються корисні дані 650, і, таким чином, пристрій 120 джерела може провести синтаксичний аналіз 650 даних корисних даних, щоб витягнути з корисних даних 650 одну або більше команд користувацького введення. Це може забезпечити гнучкість відносно різних типокорисних даних, які можуть підтримуватися в зв'язку джерело-одержувач. Як буде описано більш детально нижче, корисні дані 650 можуть також включати в себе один або більше заголовків корисних даних, таких як заголовок 630 корисних даних. У таких випадках пристрій 120 джерела може провести синтаксичний аналіз заголовка 610 пакета даних, щоб визначити формат для заголовка 630 корисних даних, і потім провести синтаксичний аналіз заголовка 630 корисних даних, щоб визначити формат для залишку корисних даних 650. Діаграма 620 є концептуальним описом того, як може бути форматований заголовок 610 пакета даних. Числа 0-15 в ряду 615 призначені, щоб ідентифікувати місцеположення біта в заголовку 610 пакета даних, і не призначені, щоб фактично представляти інформацію, що міститься в заголовку 610 пакета даних. Заголовок 610 пакета даних включає в себе поле 621 версії, прапор 622 часової відмітки, зарезервоване поле 623, поле 624 категорії введення, поле 625 довжини і додаткове поле 626 часової відмітки. У прикладі на ФІГ. 6 поле 621 версії є 3-бітовим полем, яке може указати версію конкретного протоколу передачі даних, що реалізовується пристроєм 160 одержувача. Значення в полі 621 версії може інформувати пристрій 120 джерела про те, як провести синтаксичний аналіз залишку заголовка 610 пакета даних, а також про те, як провести синтаксичний аналіз корисних даних 650. У прикладі на ФІГ. 6 поле 621 версії є 3-бітовим полем, яке дозволяє унікальний ідентифікатор для восьми різних версій. У інших прикладах більша або менша кількість бітів може бути виділена для поля 621 версії. У прикладі згідно з ФІГ. 6, прапор (Т) 622 часової відмітки є 1-бітовим полем, яке вказує, чи є поле 626 часової відмітки в заголовку 610 пакета даних. Поле 626 часової відмітки є 16-бітовим полем, що містить часову відмітку, основану на мультимедійних даних, які були згенеровані пристроєм 120 джерела і передані на пристрій 160 одержувача. Часова відмітка може, наприклад, бути послідовним значенням, призначеним на кадри відео за допомогою пристрою 120 джерела до того, як будуть передані кадри на пристрій 160 одержувача. Прапор 622 часової відмітки може, наприклад, включати в себе "1", щоб указати, що є поле 626 часової відмітки, і може включати в себе "0", щоб указати, що немає поля 626 часової відмітки. Після проведення синтаксичного аналізу заголовка 610 пакета даних і визначення, що є поле 626 часової відмітки, пристрій 120 джерела може обробити часову відмітку, включену в полі 626 часової відмітки. Після проведення синтаксичного аналізу заголовка 610 пакета даних і визначення, що немає поля 626 часової відмітки, пристрій 120 джерела може почати проводити синтаксичний аналіз корисних даних 650 після проведення синтаксичного аналізу поля 625 довжини, оскільки немає ніякого поля часової відмітки в заголовку 610 пакета даних. Якщо є, поле 626 часової відмітки може включати в себе часову відмітку для ідентифікації кадру відеоданих, які були відображені на бездротовому пристрої 160 одержувача, коли були одержані користувацькі дані введення корисних даних 650. Часова відмітка, наприклад, може бути додана до кадру відео за допомогою пристрою 120 джерела до того, як пристрій 120 джерела передасть кадр відео на пристрій 160 одержувача. Відповідно, пристрій 120 джерела може генерувати кадр відео і включити у відеодані кадру, як метадані, наприклад, часову відмітку. Пристрій 120 джерела може передати відеокадр з часовою відміткою на пристрій 160 одержувача, і пристрій 160 одержувача може відображати кадр відео. У той час як кадр відео відображається пристроєм 160 одержувача, пристрій 160 одержувача може прийняти команду користувача від користувача. Коли пристрій 160 одержувача генерує пакет даних для передачі користувацької команди на пристрій 120 джерела, пристрій 160 одержувача може включати в полі 626 часової відмітки часову відмітку кадру, який був відображений пристроєм 160 одержувача, коли була прийнята користувацька команда. Після прийому пакета 600 даних з полем 626 часової відмітки, яке є в заголовку, бездротовий пристрій 120 джерела може ідентифікувати кадр відео, що відображається в пристрої 160 одержувача, в той час як були одержані користувацькі дані введення корисних даних 650, і обробити користувацькі дані введення на основі контенту кадру, ідентифікованого часовою відміткою. Наприклад, якщо користувацькі дані введення є командою торкання, застосованою до сенсорного дисплея, або натисненням покажчика миші, пристрій 120 джерела може визначити контент кадру, що відображається в той час, коли користувач застосував команду торкання до дисплея або натиснув на мишу. У деяких випадках контент кадру може 14 UA 109176 C2 5 10 15 20 25 30 35 40 45 50 55 60 бути необхідний, щоб належно обробити дані корисних даних. Наприклад, користувацьке введення на основі торкання користувача або натиснення миші може залежати від того, що було показано на дисплеї під час торкання або натиснення. Торкання або натиснення може, наприклад, відповідати символу або опції меню. У випадках, в яких контент дисплея змінюється, часова відмітка, яка є в полі 626 часової відмітки, може бути використана пристроєм 120 джерела, щоб зіставити торкання або натиснення з коректним символом або опцією меню. Пристрій 120 джерела може додатково або альтернативно порівнювати часову відмітку в полі 626 часової відмітки з часовою відміткою, застосованою до на даний час відтворюваного кадру відео. За допомогою порівняння часової відмітки поля 626 часової відмітки з поточною часовою відміткою пристрій 120 джерела може визначити час поширення сигналу "туди і зворотно". Час поширення сигналу туди і зворотно загалом відповідає кількості часу, що закінчується від моменту, коли кадр переданий пристроєм 120 джерела, до моменту, коли користувацьке введення на основі цього кадру прийняте назад в пристрої 120 джерела від пристрою 160 одержувача. Час поширення сигналу туди і зворотно може забезпечити пристрою 120 джерела індикацію системного часу очікування, і, якщо час поширення сигналу туди і зворотно більше, ніж порогове значення, то пристрій 120 джерела може ігнорувати користувацькі дані введення, що містяться в даних 650 корисних даних, відповідно до припущення, що команда введення була застосована до застарілого кадру дисплея. Коли час поширення сигналу туди і зворотно менше, ніж поріг, пристрій 120 джерела може обробити користувацькі дані введення і пристосувати аудіо/відеоконтент, що передається у відповідь на користувацькі дані введення. Пороги можуть бути програмованими, і різні типи пристроїв (або різні комбінації джерела-одержувача) можуть бути сконфігуровані для визначення різних порогів протягом часу на передачу і підтвердження, який є прийнятним. У прикладі на ФІГ. 6 зарезервоване поле 623 є 8-бітовим полем, яке не включає в себе інформацію, використовувану за допомогою джерела 120 при проведенні синтаксичного аналізу заголовка 610 пакета даних і корисних даних 650. Майбутні версії конкретного протоколу (як ідентифіковано в полі 621 версії), однак, можуть використовувати зарезервоване поле 623, коли пристрій 120 джерела може використовувати інформацію в зарезервованому полі 623 для проведення синтаксичного аналізу заголовка 610 пакета даних і/або для проведення синтаксичного аналізу корисних даних 650. Зарезервоване поле 623 разом з полем 621 версії потенційно забезпечує можливості для розширення і додавання ознак до формату пакета даних без суттєвої зміни формату і ознак, які вже використовуються. У прикладі на ФІГ. 6 поле 624 категорії введення є 4-бітовим полем для ідентифікації категорії введення для даних користувацького введення, що містяться в корисних даних 650. Пристрій 160 одержувача може розподіляти по категоріях дані користувацького введення, щоб визначити категорію введення. Розподіл по категоріях даних користувацького введення може, наприклад, бути оснований на пристрої, від якого прийнята команда, або оснований на властивостях самої команди. Значення поля 624 категорії введення, можливо разом з іншою інформацією заголовка 610 пакета даних, ідентифікує для пристрою 120 джерела, як форматуються корисні дані 650. На основі цього форматування пристрій 120 джерела може провести синтаксичний аналіз корисних даних 650, щоб визначити користувацьке введення, яке було прийняте в пристрої 160 одержувача. Оскільки категорія 624 введення в прикладі на ФІГ. 6 становить 4 біти, шістнадцять різних категорій введення, можливо, можуть бути ідентифіковані. Одна така категорія введення може бути форматом родового введення, щоб указати, що дані користувацького введення корисних даних 650 форматуються, використовуючи загальні інформаційні елементи, визначені в протоколі, виконуваному як пристроєм 120 джерела, так і пристроєм 160 одержувача. Формат родового введення, який буде описаний більш детально нижче, може використовувати загальні інформаційні елементи, які враховують користувача пристрою 160 одержувача, щоб взаємодіяти з пристроєм 120 джерела на рівні додатка. Інша така категорія введення може бути форматом команди пристрою інтерфейсу користувача (HIDC), щоб указати, що дані користувацького введення корисних даних 650 форматуються на основі типу пристрою введення, використовуваного для прийому даних введення. Приклади типів пристроїв включають в себе клавіатуру, мишу, сенсорний пристрій введення, джойстик, камеру, пристрій захоплення жесту (такий як оснований на камері пристрій введення) і віддалений засіб керування. Інші типи категорій введення, які можуть бути ідентифіковані в полі 624 категорії введення, включають в себе напрямок формату введення для указання, що користувацькі дані в корисних даних 650 не відбувалися в пристрої 160 одержувача, або специфічний для операційної системи формат і формат голосової команди, щоб указати, що корисні дані 650 включають в себе голосову команду. 15 UA 109176 C2 5 10 15 20 25 Поле 625 довжини може містити 16-бітове поле для указання довжини пакета 600 даних. Довжина, наприклад, може бути вказана в блоках з 8 бітів. Оскільки проведений синтаксичний аналіз пакета 600 даних за допомогою пристрою 120 джерела в словах 16 бітів, пакет 600 даних може бути заповнений цілим числом 16 бітів. На основі довжини, що міститься в полі 625 довжини, пристрій 120 джерела може ідентифікувати кінець корисних даних 650 (тобто кінець пакета 600 даних) і початок нового подальшого пакета даних. Різні розміри полів, забезпечених в прикладі на ФІГ. 6, просто призначені, щоб бути пояснювальними, і передбачається, що поля можуть бути реалізовані, використовуючи інші кількості бітів, ніж кількість, яка показана на ФІГ. 6. Додатково, також розглядається, що заголовок 610 пакета даних може включати в себе менше, ніж всі поля, розглянуті вище, або може використовувати додаткові поля, не розглянуті вище. Дійсно, способи даного розкриття можуть бути гнучкими відносно фактичного формату, використовуваного для різних полів даних пакетів. Після проведення синтаксичного аналізу заголовка 610 пакета даних, щоб визначити форматування корисних даних 650, пристрій 120 джерела може провести синтаксичний аналіз корисних даних 650, щоб визначити команду користувацького введення, що міститься в корисних даних 650. Корисні дані 650 можуть мати свій власний заголовок корисних даних (заголовок 630 корисних даних), що вказує зміст корисних даних 650. Таким чином, пристрій 120 джерела може провести синтаксичний аналіз заголовка 630 корисних даних на основі проведення синтаксичного аналізу заголовка 610 пакета даних, і потім провести синтаксичний аналіз залишку корисних даних 650 на основі проведення синтаксичного аналізу заголовка 630 корисних даних. Якщо, наприклад, поле 624 категорії введення заголовка 610 пакета даних вказує, що є загальне введення в корисних даних 650, то корисні дані 650 можуть мати формат загального введення. Пристрій 120 джерела може, таким чином, провести синтаксичний аналіз корисних даних 650 згідно з форматом загального введення. Як частина формату загального введення, корисні дані 650 можуть включати в себе послідовність з однієї або більше подій введення з кожною подією введення, що має свій власний заголовок події введення. Таблиця 1, представлена нижче, ідентифікує поля, які можуть бути включені в заголовок введення. 30 Таблиця 1 Поле Родова ID IE Довжина Опис 35 40 45 50 Розмір (октет) 1 2 Змінний Значення Див. Таблицю 2 Довжина наступних полів в октетах Деталі користувацьких введень. Див. Таблиці Поле ідентифікації (ID) загальної події введення (IE) ідентифікує ідентифікацію загальної події введення для ідентифікації типу введення. Поле ID загального IE може, наприклад, бути одним октетом в довжину і може включати в себе ідентифікацію, вибрану з Таблиці 2, представленої нижче. Якщо, як в цьому прикладі, поле ID загального IE становить 8 бітів, то 256 різних типів введень (ідентифікованих 0-255) можуть бути ідентифікованими, хоч не всім 256 ідентифікаціям обов'язково потрібен асоційований тип введення. Деякі з 256 можуть бути зарезервовані для майбутнього використання з майбутніми версіями незалежно від протоколу, що реалізовується пристроєм 160 одержувача і пристроєм 120 джерела. У Таблиці 2, наприклад, ідентифікації ID 9-255 загального IE не мають асоційованих типів введення, але їм можуть бути призначені типи введення в майбутньому. Поле довжини в заголовку події введення ідентифікує довжину поля опису, в той час як поле опису включає в себе інформаційні елементи, які описують користувацьке введення. Форматування поля опису може залежати від типу введення, ідентифікованого в полі ID загального IE. Таким чином, пристрій 120 джерела може провести синтаксичний аналіз вмісту поля опису на основі типу введення, ідентифікованого в полі ID загального IE. На основі поля довжини заголовка події введення пристрій 120 джерела може визначити кінець однієї події введення в корисних даних 650 і початок нової події введення. Як буде пояснено більш детально нижче, одна користувацька команда може бути описана в корисних даних 650 як одна або більше подій введення. Таблиця 2 забезпечує приклад типів введення з відповідним ID загального IE, який може бути використаний для ідентифікації типу введення. 16 UA 109176 C2 Таблиця 2 ID загального IE 0 1 2 3 4 5 6 7 8 9-255 5 Тип введення Ліва кнопка миші вниз/торкання вниз Ліва кнопка миші вгору/торкання вгору Рух мишею/рух торкання Клавіша вниз Клавіша вниз Збільшення масштабу зображення Вертикальне прокручування Горизонтальне прокручування Обертання Зарезервований Поля опису, асоційовані з кожним типом введення, можуть мати різний формат. Поля опису події "Ліва кнопка миші вниз/торкання вниз", події "Ліва кнопка миші вгору/торкання вгору" і події "Рух мишею/рух торкання" можуть, наприклад, включати в себе інформаційні елементи, ідентифіковані в Таблиці 3, представленій нижче, хоч інші формати можуть бути також використані в інших прикладах. Таблиця 3 Поле Розмір (октет) Примітки Кількість покажчиків (N) 1 Кількість покажчиків події руху за допомогою множинних дотиків. Коли встановлено у 1, вказує подію руху за допомогою єдиного торкання Для i=1:N{ ID покажчика X-координата 15 20 2 Y-координата} 10 1 2 Номер ідентифікації цього покажчика. Значення знаходиться в проміжку [0,1,…] X-координата для події, нормалізованої відносно узгодженого розрізнення потоку відео між пристроєм одержувача і пристроєм джерела Y-координата для події, нормалізованої відносно узгодженого розрізнення потоку відео між пристроєм одержувача і пристроєм джерела Кількість покажчиків може ідентифікувати кількість дотиків або натиснень миші, асоційованих з подією введення. Кожний покажчик може мати унікальний ID покажчика. Якщо, наприклад, подія множинних дотиків включає в себе три торкання пальцем, то подія введення може мати три покажчики, кожний з унікальним ID покажчика. Кожний покажчик (тобто кожне торкання пальцем) може мати відповідну х-координату і у-координату, відповідну тому, де мало місце торкання. Єдина користувацька команда може бути описана як послідовність подій введення. Наприклад, якщо ковзання трьома пальцями є командою закрити додаток, ковзання трьома пальцями може бути описане в корисних даних 650 як подія торкання вниз трьома покажчиками, подія руху торкання трьома покажчиками і подія торкання вгору трьома покажчиками. Три покажчики події торкання вниз можуть мати одні і ті ж ідентифікатори ID покажчика, що і три покажчики події руху торкання і події торкання вгору. Пристрій 120 джерела може інтерпретувати комбінацію цих трьох подій введення як ковзання трьома пальцями. Поля опису події "Клавіша вниз" або події "Клавіша вгору" можуть, наприклад, включати в себе інформаційні елементи, ідентифіковані в Таблиці 4, представленій нижче. 25 17 UA 109176 C2 Таблиця 4 Поле Зарезервовано Розмір (октет) 1 Код клавіші 1 (ASCII) 2 Код клавіші 2 (ASCII) Примітки зарезервовано Код клавіші першої події "клавіша вниз або вгору". Основний/розширений код ASCII використовує молодший один байт. Старший один байт зарезервований для майбутнього сумісного коду клавіші ASCII Код клавіші другої події "клавіша вниз або вгору". Основний/розширений код ASCII використовує молодший один байт. Старший один байт зарезервований для майбутнього сумісного коду клавіші ASCII 2 Поле опису події збільшення масштабу зображення може, наприклад, включати в себе інформаційні елементи, ідентифіковані в Таблиці 5, представленій нижче. 5 Таблиця 5 Розмір (октет) Поле X 2 Y 2 Ціле число помножити на збільшення масштабу зображення Дробове число помножити на збільшення масштабу зображення Примітки Опорна X-координата для операції збільшення масштабу зображення, нормалізованої відносно узгодженого розрізнення відеопотоку між пристроєм одержувача і пристроєм джерела Опорна Y-координата для операції збільшення масштабу зображення, нормалізованої відносно узгодженого розрізнення відеопотоку між пристроєм одержувача і пристроєм джерела 1 Беззнакова ціла частина кількості разів на збільшення масштабу зображення 1 Дробова частина кількості разів на збільшення масштабу зображення Поле опису події горизонтального прокручування або події вертикального прокручування може, наприклад, включати в себе інформаційні елементи, ідентифіковані в Таблиці 6, представлені нижче. 10 Таблиця 6 Поле Величина для прокручування 15 Розмір (октет) Примітка 2 Кількість пікселів для прокручування, нормалізованого відносно узгодженого розрізнення відеопотоку між пристроєм одержувача і пристроєм джерела. Негативне число може вказувати на прокручування вправо, і позитивне число може вказувати на прокручування вліво. Вищезазначені приклади показали деякі зразкові способи, якими можуть бути відформатовані корисні дані для категорії загального введення. Якщо поле 624 категорії введення заголовка 610 пакета даних вказує різну категорію введення, таку як направлене користувацьке введення, то корисні дані 650 можуть мати відмінний формат введення. З направленим користувацьким введенням пристрій 160 одержувача може прийняти дані користувацького введення від пристрою третьої особи і направити введення на пристрій 120 джерела, не інтерпретуючи дані користувацького введення. Пристрій 120 джерела може, таким чином, провести синтаксичний аналіз корисних даних 650 згідно з направленим форматом 18 UA 109176 C2 5 10 15 20 25 30 35 40 45 50 55 користувацького введення. Наприклад, заголовок 630 корисних даних 650 може включати в себе поле для ідентифікації пристрою третьої особи, від якого було одержане користувацьке введення. Поле може, наприклад, включати в себе адресу Інтернет-протоколу (IP) пристрою третьої особи, MAC-адресу, доменне ім'я або деякий інший такий ідентифікатор. Пристрій 120 джерела може провести синтаксичний аналіз залишку даних корисних даних на основі ідентифікатора пристрою третьої особи. Пристрій 160 одержувача може узгодити можливості з пристроєм третьої особи за допомогою послідовності повідомлень. Пристрій 160 одержувача може потім передати унікальний ідентифікатор пристрою третьої особи на пристрій 120 джерела як частину встановлення сеансу зв'язку з пристроєм 120 джерела як частину процесу узгодження можливостей. Альтернативно, пристрій 160 одержувача може передати інформацію, що описує пристрій третьої особи, на пристрій 120 джерела, і на основі цієї інформації пристрій 120 джерела може визначити унікальний ідентифікатор для пристрою третьої особи. Інформація, що описує пристрій третьої особи, може, наприклад, включати в себе інформацію для ідентифікації пристрою третьої особи і/або інформацію для ідентифікації можливостей пристрою третьої особи. Незалежно від того, чи визначені унікальні ідентифікатори за допомогою пристрою 120 джерела або пристрою 160 одержувача, коли пристрій 160 одержувача передає пакети даних з користувацьким введенням, одержаним від пристрою третьої особи, пристрій 160 одержувача може включати унікальний ідентифікатор в пакет даних в заголовку корисних даних, наприклад, таким чином, щоб пристрій 120 джерела міг ідентифікувати походження користувацького введення. Якщо поле 624 категорії введення заголовка 610 пакета даних все ще вказує відмінну категорію введення, таку як голосова команда, то корисні дані 650 можуть мати все ще відмінний формат введення. Для голосової команди корисні дані 650 можуть включати в себе закодоване аудіо. Кодек для кодування і декодування аудіо голосової команди може бути узгоджений між пристроєм 120 джерела і пристроєм 160 одержувача за допомогою послідовності повідомлень. Для передачі голосової команди, поле 626 часової відмітки може включати в себе значення часу дискретизації мовного сигналу. У такому випадку прапор 622 часової відмітки може бути встановлений для указання, що є часова відмітка, але замість часової відмітки, яка описана вище, поле 626 часової відмітки може включати в себе значення часу дискретизації мовного сигналу для закодованого аудіо корисних даних 650. У деяких прикладах голосова команда може бути передана як загальна команда, як описано вище, коли поле 624 категорії введення може бути встановлене для ідентифікації формату загальної команди, і один із зарезервованих ідентифікаторів загальних IE може бути призначений на голосові команди. Якщо голосова команда передана як загальна команда, то швидкість дискретизації мовного сигналу може бути присутньою в полі 626 часової відмітки заголовка 610 пакета даних або може бути присутньою в корисних даних 650. Для захоплених даних голосової команди голосові дані можуть бути інкапсульовані множинними способами. Наприклад, дані голосової команди можуть бути інкапсульовані, використовуючи RTP, який може забезпечити тип корисних даних, щоб ідентифікувати кодек і часову відмітку, з часовою відміткою, використовуваною для ідентифікації швидкості дискретизації. Дані RTP можуть бути інкапсульовані, використовуючи формат загального користувацького введення, описаний вище, або з, або без опціональної часової відмітки. Пристрій 160 одержувача може передати дані загального введення, які переносять дані голосової команди, на пристрій 120 джерела, використовуючи TPC/IP. Як розглянуто раніше, коли координати включені як частина пакета даних, такого як пакет 600 даних, в корисні дані 650, наприклад, координати можуть відповідати координатам, масштабованим на основі узгодженого розрізнення, координатам вікна екрана дисплея, нормалізованим координатам або координатам, асоційованим з дисплеєм одержувача. У деяких випадках додаткова інформація може бути або включена в пакет даних, або передана окремо для використання за допомогою пристрою джерела, щоб нормалізувати координати, прийняті в пакеті даних. Незалежно від категорії введення для конкретного пакета даних, заголовок пакета даних може бути заголовком пакета рівня додатка, і пакет даних може бути переданий по TCP/IP. TCP/IP може дозволити пристрою 160 одержувача і пристрою 120 джерела виконувати способи повторної передачі у випадку втрати пакета. Пакет даних може бути посланий від пристрою 160 одержувача на пристрій 120 джерела, щоб керувати аудіоданими або відеоданими пристрою 120 джерела, або для інших цілей, наприклад, щоб керувати додатком, працюючим на пристрої 120 джерела. 19 UA 109176 C2 5 10 15 20 25 30 35 40 45 50 55 60 ФІГ. 7A є блок-схемою зразкового способу узгодження можливостей між пристроєм одержувача і пристроєм джерела. Ілюстрований зразковий спосіб може бути виконаний пристроєм 160 одержувача (ФІГ. 1A) або пристроєм 360 одержувача (ФІГ. 3). У деяких прикладах зчитуваний комп'ютером запам'ятовуючий носій (наприклад, пам'ять 332) може зберігати команди, модулі або алгоритми, які при виконанні змушують один або більше процесорів (наприклад, процесор 331) виконувати один або декілька ілюстрованих етапів в одній або більше блок-схемах, розкритих в даному описі. Спосіб згідно з ФІГ. 7A включає в себе пристрій 160 одержувача, що приймає від пристрою 120 джерела перше повідомлення (етап 701). Повідомлення може, наприклад, містити запит на одержання параметра. У відповідь на перше повідомлення пристрій 160 одержувача може послати друге повідомлення на пристрій 120 джерела (етап 703). Друге повідомлення може, наприклад, містити відповідь на одержання параметра, яка ідентифікує перший список підтримуваних категорій введення і множину перших списків підтримуваних типів, причому кожна з підтримуваних категорій введення з першого списку підтримуваних категорій введення має асоційований перший список підтримуваних типів. Підтримувані категорії введення можуть, наприклад, відповідати одним і тим же категоріям, використовуваним для поля 624 категорії введення на ФІГ. 6. Таблиця 2, представлена вище, представляє один приклад підтримуваних типів для конкретної категорії введення (загальні введення в цьому прикладі). Пристрій 160 одержувача може прийняти від пристрою 120 джерела третє повідомлення (етап 705). Третє повідомлення може, наприклад, містити запит на встановлення параметра, причому запит на встановлення параметра ідентифікує порт для зв'язку, другий список підтримуваних категорій введення і множину других списків підтримуваних типів, з кожною з підтримуваних категорій введення з другого списку підтримуваних категорій введення, що мають асоційований другий список підтримуваних типів, і кожний з підтримуваних типів з других списків включає в себе піднабір типів з перших списків. Пристрій 160 одержувача може передати на пристрій 120 джерела четверте повідомлення (етап 707). Четверте повідомлення може, наприклад, містити відповідь на встановлення параметра, щоб підтвердити, що типи других списків були дозволені. Пристрій 160 одержувача може прийняти від пристрою 120 джерела п'яте повідомлення (етап 709). П'яте повідомлення може, наприклад, містити другий запит на встановлення параметра, який вказує, що канал зв'язку між пристроєм 120 джерела і пристроєм 160 одержувача був дозволений. Канал зв'язку може, наприклад, містити зворотний канал користувацького введення (UIBC). Пристрій 160 одержувача може передати на пристрій 120 джерела шосте повідомлення (етап 711). Шосте повідомлення може, наприклад, містити другу відповідь на встановлення параметра, яка підтверджує прийом другого запиту на встановлення параметра за допомогою пристрою 160 одержувача. ФІГ. 7B є блок-схемою зразкового способу узгодження можливостей між пристроєм одержувача і пристроєм джерела. Ілюстрований зразковий спосіб може бути виконаний пристроєм 120 джерела (ФІГ. 1A) або пристроєм 220 джерела (ФІГ. 2). У деяких прикладах зчитуваний комп'ютером запам'ятовуючий носій (наприклад, пам'ять 232) може зберігати команди, модулі або алгоритми, які при виконанні змушують один або більше процесорів (наприклад, процесор 231) виконувати один або декілька ілюстрованих етапів в блок-схемі. Спосіб згідно з ФІГ. 7B включає в себе пристрій 120 джерела, що передає на пристрій 160 одержувача перше повідомлення (етап 702). Перше повідомлення може, наприклад, містити запит на одержання параметра. Пристрій 120 джерела може прийняти друге повідомлення від пристрою 160 одержувача (етап 704). Друге повідомлення може, наприклад, містити відповідь на одержання параметра, яка ідентифікує перший список підтримуваних категорій введення і множину перших списків підтримуваних типів, причому кожна з підтримуваних категорій введення з першого списку підтримуваних категорій введення має асоційований перший список підтримуваних типів. Пристрій 120 джерела може передати на пристрій 160 одержувача третє повідомлення (етап 706). Третє повідомлення може, наприклад, містити запит на встановлення параметра, який ідентифікує порт для зв'язку, другий список підтримуваних категорій введення і множину других списків підтримуваних типів, де кожна з підтримуваних категорій введення з другого списку підтримуваних категорій введення має асоційований другий список підтримуваних типів, і кожний з підтримуваних типів з других списків включає в себе піднабір типів з перших списків. Пристрій 120 джерела може прийняти від пристрою 160 одержувача четверте повідомлення (етап 708). Четверте повідомлення може, наприклад, містити відповідь на встановлення параметра, щоб підтвердити, що типи других списків були дозволені. Пристрій 120 джерела може передати на пристрій 160 одержувача п'яте повідомлення (710). П'яте повідомлення може, наприклад, містити другий запит на встановлення параметра, який вказує, що канал зв'язку між пристроєм 120 джерела і пристроєм 160 одержувача був дозволений. 20 UA 109176 C2 5 10 15 20 25 30 35 40 45 50 55 Канал зв'язку може, наприклад, містити зворотний канал користувацького введення (UIBC). Пристрій 120 джерела може прийняти від пристрою 160 одержувача шосте повідомлення (етап 712). Шосте повідомлення може, наприклад, містити другу відповідь на встановлення параметра, яка підтверджує прийом другого запиту на встановлення параметра за допомогою пристрою 160 одержувача. ФІГ. 8A є блок-схемою зразкового способу передачі даних користувацького введення від бездротового пристрою одержувача на бездротовий пристрій джерела відповідно до даного розкриття. Ілюстрований зразковий спосіб може бути виконаний пристроєм 160 одержувача (ФІГ. 1A) або пристроєм 360 одержувача (ФІГ. 3). У деяких прикладах зчитуваний комп'ютером запам'ятовуючий носій (наприклад, пам'ять 332) може зберігати команди, модулі або алгоритми, які при виконанні змушують один або більше процесорів (наприклад, процесор 331) виконувати один або декілька ілюстрованих етапів в блок-схемі. Спосіб згідно з ФІГ. 8A включає в себе одержання даних користувацького введення в бездротовому пристрої одержувача, такому як бездротовий пристрій 160 одержувача (етап 801). Дані користувацького введення можуть бути одержані через компонент користувацького введення бездротового пристрою 160 одержувача, такий як, наприклад, інтерфейс 376 користувацького введення, показаний відносно бездротового пристрою 360 одержувача. Додатково, пристрій 160 одержувача може розбивати на категорії дані користувацького введення як, наприклад, загальні, направлені або специфічні для операційної системи. Пристрій 160 одержувача може потім генерувати заголовок пакета даних на основі даних користувацького введення (етап 803). Заголовок пакета даних може бути заголовком пакета рівня додатків. Заголовок пакета даних може містити, серед інших полів, поле для ідентифікації категорії введення, відповідної даним користувацького введення. Категорія введення може містити, наприклад, формат загального введення або команду пристрою інтерфейсу користувача. Пристрій 160 одержувача може додатково генерувати пакет даних (етап 805), де пакет даних містить згенерований заголовок пакета даних і корисні дані. У одному прикладі корисні дані можуть включати в себе прийняті дані користувацького введення і можуть ідентифікувати одну або більше користувацьких команд. Пристрій 160 одержувача може потім передати згенерований пакет даних (етап 807) на бездротовий пристрій джерела (наприклад, пристрій 120 джерела на ФІГ. 1A або пристрій 220 джерела на ФІГ. 2). Пристрій 160 одержувача може містити компоненти, які дозволяють передачу пакетів даних, що включають в себе транспортний блок 333 і бездротовий модем 334, як показано на ФІГ. 3, наприклад. Пристрій 160 одержувача може передати пакет даних по TCP/IP. ФІГ. 8B є блок-схемою зразкового способу прийому даних користувацького введення від бездротового пристрою одержувача в бездротовому пристрої джерела відповідно до даного розкриття. Ілюстрований зразковий спосіб може бути виконаний пристроєм 120 джерела (ФІГ. 1A) або пристроєм 220 джерела (ФІГ. 2). У деяких прикладах зчитуваний комп'ютером запам'ятовуючий носій (наприклад, пам'ять 232) може зберігати команди, модулі або алгоритми, які при виконанні змушують один або більше процесорів (наприклад, процесор 231) виконувати один або декілька ілюстрованих етапів в блок-схемі. Спосіб згідно з ФІГ. 8B включає в себе прийом пакета даних (етап 802), де пакет даних може містити, серед всього іншого, заголовок пакета даних і корисні дані. Корисні дані можуть включати в себе, наприклад, дані користувацького введення. Пристрій 120 джерела може містити компоненти зв'язку, які дозволяють передачу пакетів даних, що включають в себе транспортний блок 233 і бездротовий модем 234, наприклад, як показано відносно ФІГ. 2. Пристрій 120 джерела може потім провести синтаксичний аналіз заголовка пакета даних (етап 804), включеного в пакет даних, щоб визначити категорію введення, асоційовану з даними користувацького введення, що містяться в корисних даних. Пристрій 120 джерела може обробити корисні дані на основі певної категорії введення (етап 806). Пакети даних, описані з посиланнями на ФІГ. 8А і 8B, загалом можуть приймати форму пакетів даних, описаних з посиланнями на ФІГ. 6, і можуть бути використані для керування аудіо/відеоданими і додатками в пристрої джерела. ФІГ. 9A є блок-схемою зразкового способу передачі даних користувацького введення від бездротового пристрою одержувача на бездротовий пристрій джерела відповідно до даного розкриття. Ілюстрований зразковий спосіб може бути виконаний пристроєм 160 одержувача (ФІГ. 1A) або пристроєм 360 одержувача (ФІГ. 3). У деяких прикладах зчитуваний комп'ютером запам'ятовуючий носій (наприклад, пам'ять 332) може зберігати команди, модулі або алгоритми, які при виконанні змушують один або більше процесорів (наприклад, процесор 331) виконувати один або декілька ілюстрованих етапів в блок-схемі. 21 UA 109176 C2 5 10 15 20 25 30 35 40 45 50 55 Спосіб згідно з ФІГ. 9A включає в себе одержання даних користувацького введення в бездротовому пристрої одержувача, такому як бездротовий пристрій 160 одержувача (етап 901). Дані користувацького введення можуть бути одержані через компонент користувацького введення бездротового пристрою 160 одержувача, такий як, наприклад, інтерфейс 376 користувацького введення, показаний з посиланнями на ФІГ. 3. Пристрій 160 одержувача може потім генерувати корисні дані (етап 903), де корисні дані можуть описати дані користувацького введення. У одному прикладі корисні дані можуть включати в себе прийняті дані користувацького введення і можуть ідентифікувати одну або більше користувацьких команд. Пристрій 160 одержувача може додатково генерувати пакет даних (етап 905), де пакет даних містить заголовок пакета даних і згенеровані корисні дані. Пристрій 160 одержувача може потім передати згенерований пакет даних (етап 907) на бездротовий пристрій джерела (наприклад, пристрій 120 джерела на ФІГ. 1A або пристрій 220 джерела на ФІГ. 2). Пристрій 160 одержувача може містити компоненти, які дозволяють передачу пакетів даних, такі як транспортний блок 333 і бездротовий модем 334, наприклад. Пакет даних може бути переданий на бездротовий пристрій джерела по TCP/IP. ФІГ. 9В є блок-схемою зразкового способу прийому даних користувацького введення від бездротового пристрою одержувача в бездротовому пристрої джерела відповідно до даного розкриття. Ілюстрований зразковий спосіб може бути виконаний пристроєм 120 джерела (ФІГ. 1A) або пристроєм 220 джерела (ФІГ. 2). У деяких прикладах зчитуваний комп'ютером запам'ятовуючий носій (наприклад, пам'ять 232) може зберігати команди, модулі або алгоритми, які при виконанні змушують один або більше процесорів (наприклад, процесор 231) виконувати один або декілька ілюстрованих етапів в блок-схемі. Спосіб згідно з ФІГ. 9B включає в себе прийом пакета даних від пристрою 360 одержувача (етап 902), де пакет даних може містити, серед іншого, заголовок пакета даних і корисні дані. У одному прикладі корисні дані можуть містити, наприклад, дані, що описують деталі користувацького введення, наприклад значення типу введення. Пристрій 120 джерела може містити компоненти зв'язку, які дозволяють передачу пакетів даних, що включають в себе транспортний блок 233 і бездротовий модем 234, наприклад, як показано з посиланнями на ФІГ. 2. Пристрій 120 джерела може потім провести синтаксичний аналіз пакета даних (етап 904), щоб визначити значення типу введення в полі типу введення корисних даних. Пристрій 120 джерела може обробити дані, що описують деталі користувацького введення, на основі певного значення типу введення (етап 906). Пакети даних, описані з посиланнями на ФІГ. 9А і 9B, загалом можуть приймати форму пакетів даних, описаних з посиланнями на ФІГ. 6. ФІГ. 10A є блок-схемою зразкового способу передачі даних користувацького введення від бездротового пристрою одержувача на бездротовий пристрій джерела відповідно до даного розкриття. Ілюстрований зразковий спосіб може бути виконаний пристроєм 160 одержувача (ФІГ. 1A) або пристроєм 360 одержувача (ФІГ. 3). У деяких прикладах зчитуваний комп'ютером запам'ятовуючий носій (наприклад, пам'ять 332) може зберігати команди, модулі або алгоритми, які при виконанні змушують один або більше процесорів (наприклад, процесор 331) виконувати один або декілька ілюстрованих етапів в блок-схемі. Спосіб згідно з ФІГ. 10A включає в себе одержання даних користувацького введення в бездротовому пристрої одержувача, такому як бездротовий пристрій 160 одержувача (етап 1001). Дані користувацького введення можуть бути одержані через компонент користувацького введення бездротового пристрою 160 одержувача, такий як, наприклад, інтерфейс 376 користувацького введення, як показано з посиланнями на ФІГ. 3. Пристрій 160 одержувача може потім генерувати заголовок пакета даних на основі користувацького введення (етап 1003). Заголовок пакета даних може містити, серед інших полів, прапор часової відмітки (наприклад, 1бітове поле), щоб указати, чи є поле часової відмітки в заголовку пакета даних. Прапор часової відмітки може, наприклад, включати в себе "1", щоб указати, що є поле часової відмітки, і може включати в себе "0", щоб указати, що немає поля часової відмітки. Поле часової відмітки може бути, наприклад, 16-бітовим полем, що містить часову відмітку, згенеровану пристроєм 120 джерела і додану до відеоданих до передачі. Пристрій 160 одержувача може додатково генерувати пакет даних (етап 1005), де пакет даних містить згенерований заголовок пакета даних і корисні дані. У одному прикладі корисні дані можуть включати в себе прийняті дані користувацького введення і можуть ідентифікувати одну або більше користувацьких команд. Пристрій 160 одержувача може потім передати згенерований пакет даних (етап 1007) на бездротовий пристрій джерела (наприклад, пристрій 120 джерела згідно з ФІГ. 1A або пристрій 220 джерела згідно з ФІГ. 2). Пристрій 160 одержувача може містити компоненти, які дозволяють передачу пакетів даних, що включають в себе транспортний блок 333 і бездротовий 22 UA 109176 C2 5 10 15 20 25 30 35 40 45 50 55 модем 334, наприклад, як показано відносно ФІГ. 3. Пакет даних може бути переданий на бездротовий пристрій джерела по TCP/IP. ФІГ. 10B є блок-схемою зразкового способу прийому даних користувацького введення від бездротового пристрою одержувача в бездротовому пристрої джерела відповідно до даного розкриття. Ілюстрований зразковий спосіб може бути виконаний пристроєм 120 джерела (ФІГ. 1A) або пристроєм 220 джерела (ФІГ. 2). У деяких прикладах зчитуваний комп'ютером запам'ятовуючий носій (наприклад, пам'ять 232) може зберігати команди, модулі або алгоритми, які при виконанні змушують один або більше процесорів (наприклад, процесор 231) виконувати один або декілька ілюстрованих етапів в блок-схемі. Спосіб згідно з ФІГ. 10B включає в себе прийом пакета даних від бездротового пристрою 160 одержувача (етап 1002), де пакет даних може містити, серед всього іншого, заголовок пакета даних і корисні дані. Корисні дані можуть включати в себе, наприклад, дані користувацького введення. Пристрій 120 джерела може містити компоненти зв'язку, які дозволяють передачу пакетів даних, що включають в себе транспортний блок 233 і бездротовий модем 234, наприклад, як показано відносно ФІГ. 2. Пристрій 120 джерела може потім провести синтаксичний аналіз заголовка пакета даних (етап 1004), включеного в пакет даних. Пристрій 120 джерела може визначити, чи є поле часової відмітки в заголовку пакета даних (етап 1006). У одному прикладі пристрій 120 джерела може зробити визначення на основі значення прапора часової відмітки, включеного в заголовок пакета даних. Якщо заголовок пакета даних включає в себе поле часової відмітки, пристрій 120 джерела може обробити корисні дані на основі часової відмітки, яка знаходиться в полі часової відмітки (етап 1008). Пакети даних, описані з посиланнями на ФІГ. 10А і 10B, загалом можуть приймати форму пакетів даних, описаних з посиланнями на ФІГ. 6, і можуть бути використані для керування аудіо/відеоданими в пристрої джерела. ФІГ. 11A є блок-схемою зразкового способу передачі даних користувацького введення від бездротового пристрою одержувача на бездротовий пристрій джерела відповідно до даного розкриття. Ілюстрований зразковий спосіб може бути виконаний пристроєм 160 одержувача (ФІГ. 1A) або пристроєм 360 одержувача (ФІГ. 3). У деяких прикладах зчитуваний комп'ютером запам'ятовуючий носій (наприклад, пам'ять 332) може зберігати команди, модулі або алгоритми, які при виконанні змушують один або більше процесорів (наприклад, процесор 331) виконувати один або декілька ілюстрованих етапів в блок-схемі. Спосіб згідно з ФІГ. 11A включає в себе одержання даних користувацького введення в бездротовому пристрої одержувача, такому як бездротовий пристрій 160 одержувача (етап 1101). Дані користувацького введення можуть бути одержані через компонент користувацького введення бездротового пристрою 160 одержувача, такий як, наприклад, інтерфейс 376 користувацького введення, показаний відносно ФІГ. 3. Пристрій 160 одержувача може потім генерувати заголовок пакета даних на основі користувацького введення (етап 1103). Заголовок пакета даних може містити, серед інших полів, поле часової відмітки. Поле часової відмітки може містити, наприклад, 16-бітове поле, що містить часову відмітку, основану на мультимедійних даних, які були згенеровані бездротовим пристроєм 120 джерела і передані на бездротовий пристрій 160 одержувача. Часова відмітка могла бути додана до кадру відеоданих за допомогою бездротового пристрою 120 джерела до передачі на бездротовий пристрій одержувача. Поле часової відмітки може, наприклад, ідентифікувати часову відмітку, асоційовану з кадром відеоданих, що відображаються в бездротовому пристрої 160 одержувача, в той час, коли були захоплені дані введення даних користувача. Пристрій 160 одержувача може додатково генерувати пакет даних (етап 1105), де пакет даних містить згенерований заголовок пакета даних і корисні дані. У одному прикладі корисні дані можуть включати в себе прийняті дані користувацького введення і можуть ідентифікувати одну або більше користувацьких команд. Пристрій 160 одержувача може потім передати згенерований пакет даних (етап 1107) на бездротовий пристрій джерела (наприклад, пристрій 120 джерела згідно з ФІГ. 1A або пристрій 220 джерела згідно з ФІГ. 2). Пристрій 160 одержувача може містити компоненти, які дозволяють передачу пакетів даних, що включають в себе транспортний блок 333 і бездротовий модем 334, наприклад, як показано відносно ФІГ. 3. Пакет даних може бути переданий на бездротовий пристрій джерела по TCP/IP. ФІГ. 11B є блок-схемою зразкового способу прийому даних користувацького введення від бездротового пристрою одержувача в бездротовому пристрої джерела відповідно до даного розкриття. Ілюстрований зразковий спосіб може бути виконаний пристроєм 120 джерела (ФІГ. 1A) або пристроєм 220 джерела (ФІГ. 2). У деяких прикладах зчитуваний комп'ютером запам'ятовуючий носій (наприклад, пам'ять 232) може зберігати команди, модулі або алгоритми, 23 UA 109176 C2 5 10 15 20 25 30 35 40 45 50 55 60 які при виконанні змушують один або більше процесорів (наприклад, процесор 231) виконувати один або декілька ілюстрованих етапів в блок-схемі. Спосіб згідно з ФІГ. 11B включає в себе прийом пакета даних від бездротового пристрою одержувача, такого як бездротовий пристрій 160 одержувача (етап 1102), де пакет даних може містити, серед всього іншого, заголовок пакета даних і корисні дані. Корисні дані можуть включати в себе, наприклад, дані користувацького введення. Пристрій 120 джерела може містити компоненти зв'язку, які дозволяють передачу пакетів даних, що включають в себе транспортний блок 233 і бездротовий модем 234, наприклад, як показано відносно ФІГ. 2. Пристрій 120 джерела може потім ідентифікувати поле часової відмітки в заголовку пакета даних (етап 1104). Пристрій 120 джерела може обробити корисні дані на основі часової відмітки, яка знаходиться в полі часової відмітки (етап 1106). Як частина обробки даних корисних даних, на основі часової відмітки пристрій 120 джерела може ідентифікувати кадр відеоданих, що відображаються в бездротовому пристрої одержувача, в той час, коли були одержані дані введення даних користувача, і інтерпретувати корисні дані на основі контенту кадру. Як частина обробки даних корисних даних, на основі часової відмітки пристрій 120 джерела може порівняти часову відмітку з поточною часовою відміткою для поточного кадру відео, що передається пристроєм 120 джерела, і може виконати команду користувацького введення, описану в корисних даних, у відповідь на різницю у часі між часовою відміткою і поточною часовою відміткою, яка менше, ніж порогове значення, або не виконати команду користувацького введення, описану в корисних даних, у відповідь на різницю у часі між часовою відміткою і поточною часовою відміткою, яка більше, ніж порогове значення. Пакети даних, описані з посиланнями на ФІГ. 11А і 11B, загалом можуть приймати форму пакетів даних, описаних з посиланнями на ФІГ. 6, і можуть бути використані для керування аудіо/відеоданими в пристрої джерела. ФІГ. 12A є блок-схемою зразкового способу передачі даних користувацького введення від бездротового пристрою одержувача на бездротовий пристрій джерела відповідно до даного розкриття. Ілюстрований зразковий спосіб може бути виконаний пристроєм 160 одержувача (ФІГ. 1A) або пристроєм 360 одержувача (ФІГ. 3). У деяких прикладах зчитуваний комп'ютером запам'ятовуючий носій (наприклад, пам'ять 332) може зберігати команди, модулі або алгоритми, які при виконанні змушують один або більше процесорів (наприклад, процесор 331) виконувати один або декілька ілюстрованих етапів в блок-схемі. Спосіб згідно з ФІГ. 12A включає в себе одержання даних користувацького введення в бездротовому пристрої одержувача, такому як бездротовий пристрій 160 одержувача (етап 1201). У одному прикладі дані користувацького введення можуть бути даними голосової команди, які можуть бути одержані через компонент користувацького введення бездротового пристрою 160 одержувача, такий як, наприклад, модуль розпізнавання голосової команди, включений в інтерфейс 376 користувацького введення на ФІГ. 3. Пристрій 160 одержувача може генерувати заголовок пакета даних на основі користувацького введення (етап 1203). Пристрій 160 одержувача може також генерувати корисні дані (етап 1205), де корисні дані можуть містити дані голосової команди. У одному прикладі корисні дані можуть також включати в себе прийняті дані користувацького введення і можуть ідентифікувати одну або більше користувацьких команд. Пристрій 160 одержувача може додатково генерувати пакет даних (етап 1207), де пакет даних містить згенерований заголовок пакета даних і корисні дані. Пристрій 160 одержувача може потім передати згенерований пакет даних (етап 1209) на бездротовий пристрій джерела (наприклад, пристрій 120 джерела згідно з ФІГ. 1A або пристрій 220 джерела згідно з ФІГ. 2). Пристрій 160 одержувача може містити компоненти, які дозволяють передачу пакетів даних, що включають в себе транспортний блок 333 і бездротовий модем 334, наприклад, як показано відносно ФІГ. 3. Пакет даних може бути переданий на бездротовий пристрій джерела по TCP/IP. ФІГ. 12B є блок-схемою зразкового способу прийому даних користувацького введення від бездротового пристрою одержувача в бездротовому пристрої джерела відповідно до даного розкриття. Ілюстрований зразковий спосіб може бути виконаний пристроєм 120 джерела (ФІГ. 1A) або пристроєм 220 джерела (ФІГ. 2). У деяких прикладах зчитуваний комп'ютером запам'ятовуючий носій (наприклад, пам'ять 232) може зберігати команди, модулі або алгоритми, які при виконанні змушують один або більше процесорів (наприклад, процесор 231) виконувати один або декілька ілюстрованих етапів в блок-схемі. Спосіб згідно з ФІГ. 12B включає в себе прийом пакета даних (етап 1202), де пакет даних може містити, серед всього іншого, заголовок пакета даних і корисні дані. Корисні дані можуть включати в себе, наприклад, дані користувацького введення, такі як дані голосової команди. Пристрій 120 джерела може містити компоненти зв'язку, які дозволяють передачу пакетів даних, що включають в себе транспортний блок 233 і бездротовий модем 234, наприклад, як показано 24 UA 109176 C2 5 10 15 20 25 30 35 40 45 50 55 відносно ФІГ. 2. Пристрій 120 джерела може потім провести синтаксичний аналіз даних корисних даних (етап 1204), включених в пакет даних, щоб визначити, чи містять корисні дані дані голосової команди. Пакети даних, описані з посиланнями на ФІГ. 12А і 12B, загалом можуть приймати форму пакетів даних, описаних з посиланнями на ФІГ. 6, і можуть бути використані для керування аудіо/відеоданими в пристрої джерела. ФІГ. 13A є блок-схемою зразкового способу передачі даних користувацького введення від бездротового пристрою одержувача на бездротовий пристрій джерела відповідно до даного розкриття. Ілюстрований зразковий спосіб може бути виконаний пристроєм 160 одержувача (ФІГ. 1A) або пристроєм 360 одержувача (ФІГ. 3). У деяких прикладах зчитуваний комп'ютером запам'ятовуючий носій (наприклад, пам'ять 332) може зберігати команди, модулі або алгоритми, які при виконанні змушують один або більше процесорів (наприклад, процесор 331) виконувати один або декілька ілюстрованих етапів в блок-схемі. Спосіб згідно з ФІГ. 13A включає в себе одержання даних користувацького введення в бездротовому пристрої одержувача, такому як бездротовий пристрій 160 одержувача (етап 1301). У одному прикладі дані користувацького введення можуть бути жестом множинних торкань, який може бути одержаний через компонент користувацького введення бездротового пристрою 160 одержувача, такий як, наприклад, UI 167 або інтерфейс 376 користувацького введення ФІГ. 3. У одному прикладі жест множинних торкань може містити перше введення даних торканням і друге введення даних торканням. Пристрій 160 одержувача може генерувати заголовок пакета даних на основі користувацького введення (етап 1303). Пристрій 160 одержувача може також генерувати корисні дані (етап 1305), де корисні дані можуть асоціювати дані користувацького введення для першої події введення торканням з першою ідентифікацією покажчика і дані користувацького введення для другої події введення торканням з другою ідентифікацією покажчика. Пристрій 160 одержувача може додатково генерувати пакет даних (етап 1307), де пакет даних містить згенерований заголовок пакета даних і корисні дані. Пристрій 160 одержувача може потім передати згенерований пакет даних (етап 1309) на бездротовий пристрій джерела (наприклад, пристрій 120 джерела згідно з ФІГ. 1A або пристрій 220 джерела згідно з ФІГ. 2). Пристрій 160 одержувача може містити компоненти, які дозволяють передачу пакетів даних, що включають в себе транспортний блок 333 і бездротовий модем 334, наприклад, як показано відносно ФІГ. 3. Пакет даних може бути переданий на бездротовий пристрій джерела по TCP/IP. ФІГ. 13B є блок-схемою зразкового способу прийому даних користувацького введення від бездротового пристрою одержувача в бездротовому пристрої джерела відповідно до даного розкриття. Ілюстрований зразковий спосіб може бути виконаний пристроєм 120 джерела (ФІГ. 1A) або пристроєм 220 джерела (ФІГ. 2). У деяких прикладах зчитуваний комп'ютером запам'ятовуючий носій (наприклад, пам'ять 232) може зберігати команди, модулі або алгоритми, які при виконанні змушують один або більше процесорів (наприклад, процесор 231) виконувати один або декілька ілюстрованих етапів в блок-схемі. Спосіб згідно з ФІГ. 13B включає в себе прийом пакета даних (етап 1302), де пакет даних може містити, серед всього іншого, заголовок пакета даних і корисні дані. Корисні дані можуть включати в себе, наприклад, дані користувацького введення, такі як жест множинних торкань. Пристрій 120 джерела може містити компоненти зв'язку, які дозволяють передачу пакетів даних, що включають в себе транспортний блок 233 і бездротовий модем 234, наприклад, як показано на ФІГ. 2. Пристрій 120 джерела може потім провести синтаксичний аналіз даних корисних даних (етап 1304), включених в пакет даних, щоб ідентифікувати дані користувацького введення, включені в корисні дані. У одному прикладі ідентифіковані дані можуть включати в себе дані користувацького введення для першої події введення торканням з першою ідентифікацією покажчика і дані користувацького введення для другої події введення торканням з другою ідентифікацією покажчика. Пристрій 120 джерела може потім інтерпретувати дані користувацького введення для першої події введення торканням і дані користувацького введення для другої події введення торканням як жест множинних торкань (етап 1306). Пакети даних, описані з посиланнями на ФІГ. 13А і 13B, загалом можуть приймати форму пакетів даних, описаних з посиланнями на ФІГ. 6, і можуть бути використані для керування аудіо/відеоданими в пристрої джерела. ФІГ. 14A є блок-схемою зразкового способу передачі даних користувацького введення від бездротового пристрою одержувача на бездротовий пристрій джерела відповідно до даного розкриття. Ілюстрований зразковий спосіб може бути виконаний пристроєм 160 одержувача (ФІГ. 1A) або пристроєм 360 одержувача (ФІГ. 3). У деяких прикладах зчитуваний комп'ютером запам'ятовуючий носій (наприклад, пам'ять 332) може зберігати команди, модулі або алгоритми, 25 UA 109176 C2 5 10 15 20 25 30 35 40 45 50 55 60 які при виконанні змушують один або більше процесорів (наприклад, процесор 331) виконувати один або декілька ілюстрованих етапів в блок-схемі. Спосіб згідно з ФІГ. 14A включає в себе одержання даних користувацького введення в бездротовому пристрої 360 одержувача від зовнішнього пристрою (етап 1401). У одному прикладі зовнішній пристрій може бути пристроєм третьої особи, сполученим з пристроєм одержувача. Пристрій 160 одержувача може генерувати заголовок пакета даних на основі користувацького введення (етап 1403). У одному прикладі заголовок пакета даних може ідентифікувати дані користувацького введення як направлені дані користувацького введення. Пристрій 160 одержувача може також генерувати корисні дані (етап 1405), де корисні дані можуть містити дані користувацького введення. Пристрій 160 одержувача може додатково генерувати пакет даних (етап 1407), де пакет даних може містити згенерований заголовок пакета даних і корисні дані. Пристрій 160 одержувача може потім передати згенерований пакет даних (етап 1409) на бездротовий пристрій джерела (наприклад, пристрій 120 джерела згідно з ФІГ. 1A або пристрій 220 джерела згідно з ФІГ. 2). Пристрій 160 одержувача може містити компоненти, які дозволяють передачу пакетів даних, що включають в себе транспортний блок 333 і бездротовий модем 334, наприклад, як показано з посиланнями на ФІГ. 3. Пакет даних може бути переданий на бездротовий пристрій джерела по TCP/IP. ФІГ. 14B є блок-схемою зразкового способу прийому даних користувацького введення від бездротового пристрою одержувача в бездротовому пристрої джерела відповідно до даного розкриття. Ілюстрований зразковий спосіб може бути виконаний пристроєм 120 джерела (ФІГ. 1A) або пристроєм 220 джерела (ФІГ. 2). У деяких прикладах зчитуваний комп'ютером запам'ятовуючий носій (наприклад, пам'ять 232) може зберігати команди, модулі або алгоритми, які при виконанні змушують один або більше процесорів (наприклад, процесор 231) виконувати один або декілька ілюстрованих етапів в блок-схемі. Спосіб згідно з ФІГ. 14B включає в себе прийом пакета даних (етап 1402), де пакет даних може містити, серед всього іншого, заголовок пакета даних і корисні дані. Корисні дані можуть включати в себе, наприклад, дані користувацького введення, такі як направлена команда користувацького введення, яка вказує, що дані користувацького введення були направлені від пристрою третьої особи. Пристрій 120 джерела може містити компоненти зв'язку, які дозволяють передачу пакетів даних, що включають в себе транспортний блок 233 і бездротовий модем 234, наприклад, як показано відносно ФІГ. 2. Пристрій 120 джерела може потім провести синтаксичний аналіз заголовка пакета даних і може визначити, що корисні дані містять направлену команду користувацького введення (етап 1404). Пристрій 120 джерела може потім провести синтаксичний аналіз корисних даних (етап 1406), включених в пакет даних, щоб ідентифікувати ідентифікацію, асоційовану з пристроєм третьої особи, відповідно до направленої команди користувацького введення. Пристрій 120 джерела може потім обробити корисні дані на основі ідентифікованої ідентифікації пристрою третьої особи (етап 1408). Пакети даних, описані з посиланнями на ФІГ. 14А і 14B, загалом можуть приймати форму пакетів даних, описаних з посиланнями на ФІГ. 6, і можуть бути використані для керування аудіо/відеоданими в пристрої джерела. ФІГ. 15A є блок-схемою зразкового способу передачі користувацьких даних від бездротового пристрою одержувача на бездротовий пристрій джерела відповідно до даного розкриття. Ілюстрований зразковий спосіб може бути виконаний пристроєм 160 одержувача (ФІГ. 1A) або пристроєм 360 одержувача (ФІГ. 3). У деяких прикладах зчитуваний комп'ютером запам'ятовуючий носій (наприклад, пам'ять 332) може зберігати команди, модулі або алгоритми, які при виконанні змушують один або більше процесорів (наприклад, процесор 331) виконувати один або декілька ілюстрованих етапів в блок-схемі. Спосіб згідно з ФІГ. 15A включає в себе одержання даних користувацького введення в бездротовому пристрої одержувача (етап 1501). Дані користувацького введення можуть мати асоційовані дані координат. Асоційовані дані координат можуть, наприклад, відповідати місцеположенню події натиснення миші або місцеположенню події торкання. Пристрій 160 одержувача може потім нормалізувати асоційовані дані координат, щоб генерувати нормалізовані дані координат (етап 1503). Пристрій 160 одержувачаможе потім генерувати пакет даних, який включає в себе нормалізовані дані координат (етап 1505). Нормалізація даних координат може включати в себе масштабування асоційованих даних координат на основі відношення розрізнення вікна екрана дисплея і розрізнення дисплея джерела, такого як дисплей 22 пристрою 120 джерела. Розрізнення вікна екрана дисплея може бути визначене пристроєм 160 одержувача, і розрізнення дисплея пристрою джерела може бути прийняте від пристрою 120 джерела. Пристрій 160 одержувача може потім передати пакет даних з нормалізованими координатами на бездротовий пристрій 120 джерела (етап 1507). Як частина 26 UA 109176 C2 5 10 15 20 25 30 35 40 45 50 55 60 способу згідно з ФІГ. 15A, пристрій 160 одержувача може також визначити, чи знаходяться асоційовані дані координат в межах вікна екрана дисплея, для контенту, прийнятого від бездротового пристрою джерела, і, наприклад, обробити користувацьке введення локально, якщо асоційовані дані координат знаходяться поза вікном екрана дисплея, або інакше нормалізувати координати, як описано, якщо введення знаходиться в межах вікна екрана дисплея. ФІГ. 15B є блок-схемою зразкового способу прийому даних користувацького введення від бездротового пристрою одержувача в бездротовому пристрої джерела відповідно до даного розкриття. Ілюстрований зразковий спосіб може бути виконаний пристроєм 120 джерела (ФІГ. 1A) або пристроєм 220 джерела (ФІГ. 2). У деяких прикладах зчитуваний комп'ютером запам'ятовуючий носій (наприклад, пам'ять 232) може зберігати команди, модулі або алгоритми, які при виконанні змушують один або більше процесорів (наприклад, процесор 231) виконувати один або декілька ілюстрованих етапів в блок-схемі. Спосіб згідно з ФІГ. 15B включає в себе прийом пакета даних в бездротовому пристрої джерела, де пакет даних містить дані користувацького введення з асоційованими даними координат (етап 1502). Асоційовані дані координат можуть, наприклад, відповідати місцеположенню події натиснення миші або місцеположенню події торкання в пристрої одержувача. Пристрій 120 джерела може потім нормалізувати асоційовані дані координат, щоб генерувати нормалізовані дані координат (етап 1504). Пристрій 120 джерела може нормалізувати дані координат за допомогою масштабування асоційованих даних координат на основі відношення розрізнення вікна екрана дисплея і розрізнення дисплея джерела. Пристрій 120 джерела може визначити розрізнення дисплея пристрою джерела і може прийняти розрізнення вікна екрана дисплея від бездротового пристрою одержувача. Пристрій джерела може потім обробити пакет даних на основі нормалізованих даних координат (етап 1506). Пакети даних, описані з посиланнями на ФІГ. 15А і 15B, загалом можуть приймати форму пакетів даних, описаних з посиланнями на ФІГ. 6, і можуть бути використані для керування аудіо/відеоданими в пристрої джерела. Для простоти пояснення аспекти даного розкриття були описані окремо з посиланнями на ФІГ. 7-15. Однак розглядається, що ці різні аспекти можуть бути об'єднані і використані разом один з одним, а не просто окремо. Загалом, функціональні можливості і/або модулі, розкриті в даному описі, можуть бути реалізовані в будь-якому одному або в обох з бездротового пристрою джерела і бездротового пристрою одержувача. Таким чином, можливості користувацького інтерфейсу, описані в поточному прикладі, можуть бути використані навперемінно між бездротовим пристроєм джерела і бездротовим пристроєм одержувача. Способи даного розкриття можуть бути реалізовані у великій різноманітності пристроїв або приладів, що включають в себе бездротову телефонну трубку і інтегральну схему (IC) або набір схем IC (тобто набір мікросхем). Будь-які компоненти, модулі або блоки, які були описані, забезпечені, щоб підкреслити функціональні аспекти, і не обов'язково потрібна реалізація за допомогою різних блоків апаратного забезпечення. Відповідно, способи, розкриті в даному описі, можуть бути реалізовані в апаратному забезпеченні, програмному забезпеченні, програмно-апаратному забезпеченні або будь-якій їх комбінації. Якщо реалізовано в апаратному забезпеченні, будь-які ознаки, описані як модулі, блоки або компоненти, можуть бути реалізовані разом в інтегрованому логічному пристрої або окремо як дискретні, але взаємодіючі логічні пристрої. Якщо реалізовано в програмному забезпеченні, способи можуть бути реалізовані, щонайменше частково, за допомогою зчитуваного комп'ютером носія, що містить команди, які при виконанні в процесорі виконують один або декілька способів, описаних вище. Зчитуваний комп'ютером носій може містити матеріальний і постійний зчитуваний комп'ютером запам'ятовуючий носій і може бути частиною комп'ютерного програмного продукту, який може включати в себе пакувальні матеріали. Зчитуваний комп'ютером запам'ятовуючий носій може містити оперативний запам'ятовуючий пристрій (RAM), такий як синхронний динамічний оперативний запам'ятовуючий пристрій (SDRAM), постійний запам'ятовуючий пристрій (ROM), енергонезалежний оперативний запам'ятовуючий пристрій (NVRAM), електрично стираний прогрмований постійний запам'ятовуючий пристрій (EEPROM), флеш-пам'ять, магнітні або оптичні запам'ятовуючі носії даних і т. п. Способи додатково або альтернативно можуть бути реалізовані, щонайменше частково, за допомогою зчитуваного комп'ютером комунікаційного носія, який переносить або передає код у формі команд або структур даних і який може бути доступний, зчитаний і/або виконаний комп'ютером. Код може бути виконаний одним або більше процесорами, такими як один або більше цифрових сигнальних процесорів (процесорів DSP), мікропроцесорами загального призначення, 27 UA 109176 C2 5 10 спеціалізованими інтегральними схемами (схемами ASIC), програмованими користувачами вентильними матрицями (матрицями FPGA) або іншими еквівалентними інтегрованими або дискретними логічними схемами. Відповідно, термін "процесор", який використовується в даному описі, може стосуватися будь-якої попередньої структури або будь-якої іншої структури, придатної для реалізації способів, розкритих в даному описі. На доповнення, в деяких аспектах функціональні можливості, розкриті в даному описі, можуть бути забезпечені у виділених модулях програмного забезпечення або модулях апаратного забезпечення, сконфігурованих для кодування і декодування або включених в об'єднаний кодек відео. Крім того, способи можуть бути повністю реалізовані в одній або більше схемах або логічних елементах. Були описані різні аспекти даного розкриття. Ці і інші аспекти знаходяться в рамках наступної формули винаходу. ФОРМУЛА ВИНАХОДУ 15 20 25 30 35 40 45 50 55 60 1. Спосіб передачі користувацьких даних від бездротового пристрою одержувача на бездротовий пристрій джерела, причому спосіб включає: одержання даних користувацького введення в бездротовому пристрої одержувача, причому дані користувацького введення мають асоційовані дані координат; нормалізацію асоційованих даних координат для генерування нормалізованих даних координат, причому нормалізація являє собою узгодження між бездротовим пристроєм джерела і бездротовим пристроєм одержувача можливостей інтерфейсу користувацького введення згаданих пристроїв; генерування пакета даних, що містить нормалізовані дані координат; передачу пакета даних на бездротовий пристрій джерела. 2. Спосіб за пунктом 1, який додатково включає: визначення, чи знаходяться асоційовані дані координат в межах вікна екрана дисплея, для контенту, прийнятого від бездротового пристрою джерела. 3. Спосіб за пунктом 1, який додатково включає: визначення розрізнення вікна екрана дисплея для контенту, прийнятого від бездротового пристрою джерела; прийом від пристрою джерела індикації розрізнення дисплея пристрою джерела. 4. Спосіб за пунктом 3, в якому етап нормалізації даних координат включає масштабування асоційованих даних координат на основі відношення розрізнення вікна екрана дисплея і розрізнення дисплея джерела. 5. Спосіб за пунктом 1, в якому асоційовані дані координат відповідають місцеположенню події натиснення миші. 6. Спосіб за пунктом 1, в якому асоційовані дані координат відповідають місцеположенню події торкання. 7. Бездротовий пристрій одержувача для передачі користувацьких даних на бездротовий пристрій джерела, причому бездротовий пристрій одержувача містить: пам'ять, що зберігає команди; один або більше процесорів, сконфігурованих для виконання команд, причому після виконання команд один або більше процесорів викликають: одержання даних користувацького введення в бездротовому пристрої одержувача, причому дані користувацького введення мають асоційовані дані координат; нормалізацію асоційованих даних координат для генерування нормалізованих даних координат, причому нормалізація являє собою узгодження між бездротовим пристроєм джерела і бездротовим пристроєм одержувача можливостей інтерфейсу користувацького введення згаданих пристроїв; генерування пакета даних, що містить нормалізовані дані координат; транспортний блок для передачі пакета даних на бездротовий пристрій джерела. 8. Бездротовий пристрій одержувача за пунктом 7, в якому після виконання команд один або більше процесорів додатково викликають: визначення, чи знаходяться асоційовані дані координат в межах вікна екрана дисплея, для контенту, прийнятого від бездротового пристрою джерела. 9. Бездротовий пристрій одержувача за пунктом 7, в якому після виконання команд один або більше процесорів додатково викликають: визначення розрізнення вікна екрана дисплея для контенту, прийнятого від бездротового пристрою джерела; прийом від пристрою джерела індикації розрізнення дисплея пристрою джерела. 28