Зворотний канал користувацького введення для бездротових дисплеїв

Реферат: Як частина сеансу зв'язку бездротовий пристрій джерела може передати аудіо- та відеодані на бездротовий пристрій одержувача, і бездротовий пристрій одержувача може передати дані користувацького введення, прийняті в бездротовому пристрої одержувача, назад на бездротовий пристрій джерела. Таким чином, користувач бездротового пристрою одержувача UA 107151 C2 (12) UA 107151 C2 може керувати бездротовим пристроєм джерела і керувати контентом, який передається від бездротового пристрою джерела на бездротовий пристрій одержувача. Дані користувацького введення, передані бездротовим пристроєм одержувача, можуть бути даними введення, одержаними в пристрої третьої сторони, і направленими на бездротовий пристрій джерела. UA 107151 C2 5 10 15 20 25 30 35 40 45 50 55 60 Дана заявка заявляє пріоритет: Попередньої заявки США № 61/435,194, поданої 21 січня 2011; попередньої заявки США № 61/447,592, поданої 28 лютого 2011; попередньої заявки США№ 61/448,312, поданої 2 березня 2011; попередньої заявки США № 61/450,101, поданої 7 березня 2011; попередньої заявки США № 61/467,535, поданої 25 березня 2011; попередньої заявки США № 61/467, 543, поданої 25 березня 2011; попередньої заявки США № 61/514,863, поданої 3 серпня 2011; і попередньої заявки США № 61/544,475, поданої 7 жовтня 2011; кожна з яких повністю включена в даному описі за допомогою посилання. ГАЛУЗЬ ТЕХНІКИ, ДО ЯКОЇ НАЛЕЖИТЬ ДАНИЙ ВИНАХІД Дане розкриття належить до способів для передачі даних між бездротовим пристроєм джерела та бездротовим пристроєм одержувача. ПОПЕРЕДНІЙ РІВЕНЬ ТЕХНІКИ Бездротовий дисплей (WD) або системи Wi-Fi дисплея (WFD) включають в себе бездротовий пристрій джерела і один або більше бездротових пристроїв одержувача. Пристрій джерела і кожний з пристроїв одержувача можуть бути або мобільними пристроями або дротовими пристроями з можливостями бездротового зв'язку. Один або більше з пристрою джерела і пристроїв одержувача можуть, наприклад, включати в себе мобільні телефони, портативні комп'ютери з картами бездротового зв'язку, персональні цифрові асистенти (асистенти PDA), портативні медіаплеєри або інші такі пристрої з можливостями бездротового зв'язку, що включають в себе так звані "смартфони" та "смартпади" або планшети, електронні книги або будь-який тип бездротового дисплея, пристроїв для відеоігор або інші типи пристроїв бездротового зв'язку. Один або більше з пристрою джерела і пристроїв одержувача можуть також включати в себе дротові пристрої, такі як телевізори, настільні комп'ютери, монітори, проектори тощо, які включають в себе можливості зв'язку. Пристрій джерела посилає медіа дані, такі як аудіо/відео (AV) дані, на один або більше пристроїв одержувача, що беруть участь в конкретному сеансі спільного використання медіа. Медіа дані можуть бути відтворені як на локальному дисплеї пристрою джерела, так і на кожному з дисплеїв пристроїв одержувача. Більш конкретно, кожний з пристроїв одержувача, що беруть участь, відтворює прийняті медіа дані на своєму екрані та аудіо обладнанні. СУТЬ ВИНАХОДУ Дане розкриття в цілому описує систему, в якій бездротовий пристрій одержувача може зв'язуватися з бездротовим пристроєм одержувача. Як частина зв'язку бездротовий пристрій джерела може передавати аудіо та відео дані на бездротовий пристрій одержувача, і бездротовий пристрій одержувача може передавати користувацькі введення, прийняті в бездротовому пристрої одержувача, назад на бездротовий пристрій джерела. Таким чином, користувач бездротового пристрою одержувача може керувати бездротовим пристроєм джерела і керувати контентом, який передається від бездротового пристрою джерела на бездротовий пристрій одержувача. В одному прикладі спосіб передачі даних користувацького введення від бездротового пристрою одержувача на бездротовий пристрій джерела включає в себе одержання даних користувацького введення від зовнішнього пристрою; генерування заголовка пакета даних, причому заголовок пакета даних ідентифікує дані користувацького введення як направлені дані користувацького введення; генерування корисних даних, що містять дані користувацького введення; генерування пакета даних, що містить заголовок пакета даних і корисні дані, передачу цього пакета даних на бездротовий пристрій джерела. В іншому прикладі бездротовий пристрій одержувача сконфігурований для передачі даних користувацького введення на бездротовий пристрій джерела. Бездротовий пристрій одержувача включає в себе пам'ять, що зберігає команди; один або більше процесорів, сконфігурованих для виконання команд, причому при виконанні команд один або більше процесорів викликають: одержання даних користувацького введення від зовнішнього пристрою; генерування заголовка пакета даних, причому заголовок пакета даних ідентифікує дані користувацького введення як направлені дані користувацького введення; генерування корисних даних, що містять дані користувацького введення; генерування пакета даних, що містить заголовок пакета даних і корисні дані. Бездротовий пристрій одержувача також включає в себе транспортний блок для передачі цього пакета даних на бездротовий пристрій джерела. В іншому прикладі зчитуваний комп'ютером запам'ятовуючий носій зберігає команди, які при виконанні одним або більше процесорами змушують ці один або більше процесорів виконувати спосіб передачі даних користувацького введення від бездротового пристрою одержувача на 1 UA 107151 C2 5 10 15 20 25 30 35 40 45 50 55 бездротовий пристрій джерела. Спосіб включає в себе одержання даних користувацького введення від зовнішнього пристрою; генерування заголовка пакета даних, причому заголовок пакета даних ідентифікує дані користувацького введення як направлені дані користувацького введення; генерування корисних даних, що містять дані користувацького введення; генерування пакета даних, що містить заголовок пакета даних і корисні дані, і передачу цього пакета даних на бездротовий пристрій джерела. В іншому прикладі бездротовий пристрій одержувача сконфігурований для передачі даних користувацького введення на бездротовий пристрій джерела. Бездротовий пристрій одержувача включає в себе засіб для одержання даних користувацького введення від зовнішнього пристрою; засіб для генерування заголовка пакета даних, причому заголовок пакета даних ідентифікує дані користувацького введення як направлені дані користувацького введення; засіб для генерування корисних даних, що містять дані користувацького введення; засіб для генерування пакета даних, що містить заголовок пакета даних і корисні дані, і засіб для передачі цього пакета даних на бездротовий пристрій джерела. В іншому прикладі спосіб прийому даних користувацького введення від бездротового пристрою одержувача в бездротовому пристрої джерела включає в себе прийом пакета даних, що містить заголовок пакета даних і корисні дані, від бездротового пристрою одержувача; виконання синтаксичного аналізу заголовка пакета даних для визначення, що корисні дані містять направлену команду користувацького введення; виконання синтаксичного аналізу корисних даних для ідентифікації ідентифікаційної інформації пристрою третьої сторони, і обробку цих корисних даних на основі ідентифікаційної інформації пристрою третьої сторони. В іншому прикладі бездротовий пристрій джерела сконфігурований для прийому даних користувацького введення від бездротового пристрою одержувача. Бездротовий пристрій джерела включає в себе транспортний блок, сконфігурований для прийому пакета даних, що містить заголовок пакета даних і корисні дані, від бездротового пристрою одержувача. Бездротовий пристрій джерела також включає в себе пам'ять, що зберігає команди, і один або більше процесорів, сконфігурованих для виконання цих команд, причому при виконанні команд ці один або більше процесорів викликають виконання синтаксичного аналізу заголовка пакета даних для визначення, що корисні дані містять направлену команду користувацького введення; виконання синтаксичного аналізу корисних даних для ідентифікації ідентифікаційної інформації пристрою третьої сторони, і обробку цих корисних даних на основі ідентифікаційної інформації пристрою третьої сторони. В іншому прикладі зчитуваний комп'ютером запам'ятовуючий носій зберігає команди, які при виконанні одним або більше процесорами змушують один або більше процесорів виконувати спосіб прийому даних користувацького введення від бездротового пристрою одержувача в бездротовому пристрої джерела. Спосіб включає в себе прийом пакета даних, що містить заголовок пакета даних і корисні дані, від бездротового пристрою одержувача, виконання синтаксичного аналізу заголовка пакета даних для визначення, що корисні дані містять направлену команду користувацького введення; виконання синтаксичного аналізу корисних даних для ідентифікації ідентифікаційної інформації пристрою третьої сторони, і обробку цих корисних даних на основі ідентифікаційної інформації пристрою третьої сторони. В іншому прикладі бездротовий пристрій джерела сконфігурований для прийому даних користувацького введення від бездротового пристрою одержувача. Бездротовий пристрій джерела включає в себе засіб для прийому пакета даних, що містить заголовок пакета даних і корисні дані, від бездротового пристрою одержувача, засіб для виконання синтаксичного аналізу заголовка пакета даних для визначення, що корисні дані містять направлену команду користувацького введення; засіб для виконання синтаксичного аналізу корисних даних для ідентифікації ідентифікаційної інформації пристрою третьої сторони, і засіб для обробки цих корисних даних на основі ідентифікаційної інформації пристрою третьої сторони. КОРОТКИЙ ОПИС КРЕСЛЕНЬ Фіг. 1A є блок-схемою, що ілюструє приклад системи джерела/одержувача, яка може реалізувати способи даного розкриття. Фіг. 1B є блок-схемою, що ілюструє приклад системи джерела/одержувача з двома пристроями одержувача. Фіг. 2 показує приклад пристрою джерела, який може реалізувати способи даного розкриття. Фіг. 3 показує приклад пристрою одержувача, який може реалізувати способи даного розкриття. Фіг. 4 показує блок-схему системи передавача і системи приймача, які можуть реалізувати способи даного розкриття. 2 UA 107151 C2 5 10 15 20 25 30 35 40 45 50 55 60 Фіг. 5А та 5B показують зразкові послідовності передачі повідомлень для виконання узгоджень можливостей згідно із способами даного розкриття. Фіг. 6 показує зразковий пакет даних, який може бути використаний для доставки даних користувацького введення, одержаних в пристрої одержувача, на пристрій джерела. Фіг. 7А та 7B є блок-схемами, що ілюструють способи даного розкриття, які можуть бути використані для узгоджень можливостей між пристроєм джерела і пристроєм одержувача. Фіг. 8А та 8B є блок-схемами, що ілюструють способи даного розкриття, які можуть бути використані для передачі та прийому пакетів даних з даними користувацького введення. Фіг. 9А та 9B є блок-схемами, що ілюструють способи даного розкриття, які можуть бути використані для передачі та прийому пакетів даних з даними користувацького введення. Фіг. 10А та 10B є блок-схемами, що ілюструють способи даного розкриття, які можуть бути використані для передачі та прийому пакетів даних з інформацією про часову відмітку і даними користувацького введення. Фіг. 11А та 11B є блок-схемами, що ілюструють способи даного розкриття, які можуть бути використані для передачі та прийому пакетів даних з інформацією про часову відмітку і даними користувацького введення. Фіг. 12А та 12B є блок-схемами, що ілюструють способи даного розкриття, які можуть бути використані для передачі та прийому пакетів даних, які включають в себе голосові команди. Фіг. 13А та 13B є блок-схемами, що ілюструють способи даного розкриття, які можуть бути використані для передачі та прийому пакетів даних з командами користувацького введення за допомогою множинних дотиків. Фіг. 14А та 14B є блок-схемами, що ілюструють способи даного розкриття, які можуть бути використані для передачі та прийому пакетів даних з даними користувацького введення, направленими від пристрою третьої сторони. Фіг. 15А та 15B є блок-схемами, що ілюструють способи даного розкриття, які можуть бути використані для передачі та прийому пакетів даних. ДОКЛАДНИЙ ОПИС Дане розкриття в цілому описує систему, в якій бездротовий пристрій одержувача може зв'язуватися з бездротовим пристроєм одержувача. Як частина сеансу зв'язку, бездротовий пристрій джерела може передавати аудіо та відео дані на бездротовий пристрій одержувача, і бездротовий пристрій одержувача може передавати користувацькі введення, прийняті в бездротовому пристрої одержувача, зворотно на бездротовий пристрій джерела. Таким чином користувач бездротового пристрою одержувача може керувати бездротовим пристроєм джерела і керувати контентом, який передається від бездротового пристрою джерела на бездротовий пристрій одержувача. Фіг. 1A є блок-схемою, що ілюструє зразкову систему 100 джерела/одержувача, яка може реалізувати один або більше способів даного розкриття. Як показано на Фіг. 1A, система 100 включає в себе пристрій 120 джерела, який зв'язується з пристроєм 160 одержувача за допомогою каналу 150 зв'язку. Пристрій 120 джерела може включати в себе пам'ять, яка зберігає аудіо/відео (А/V) дані 121, дисплей 122, динамік 123, кодер 124 аудіо/відео (який також називається кодером 124), модуль 125 керування аудіо/відео і блок 126 передавача/приймача (TX/RX). Пристрій 160 одержувача може включати в себе дисплей 162, динамік 163, декодер 164 аудіо/відео (який також називається декодером 164), блок 166 передавача/приймача, пристрій 167 користувацького введення (UI) і модуль 168 обробки користувацького введення (UIPM). Ілюстровані компоненти складають просто одну зразкову конфігурацію для системи 100 джерела/одержувача. Інші конфігурації можуть включати в себе менше компонентів, ніж ті, які ілюстровані, або можуть включати в себе додаткові компоненти, ніж ті, які ілюстровані. У прикладі згідно з Фіг. 1A пристрій 120 джерела може відображати частину відео аудіо/відео даних 121 на дисплеї 122 і може виводити частину аудіо аудіо/відео даних 121 на динамік 123. Аудіо/відео дані 121 можуть зберігатися локально на пристрої 120 джерела, до якого одержують доступ від зовнішнього запам'ятовуючого носія, такого як файловий сервер, жорсткий диск, зовнішня пам'ять, диск blue-ray, DVD або інший фізичний запам'ятовуючий носій, або можуть бути передані потоком на пристрій 120 джерела за допомогою мережного з'єднання, такого як Інтернет. У деяких випадках аудіо/відео дані 121 можуть бути захоплені в режимі реального часу за допомогою камери та мікрофона пристрою 120 джерела. Аудіо/відео дані 121 можуть включати в себе мультимедійний контент, такий як фільми, телешоу або музика, але можуть також включати в себе контент в реальному часі, згенерований пристроєм 120 джерела. Такий контент в реальному часі, наприклад, може бути вироблений додатками, працюючими на пристрої 120 джерела, або захопленими відео даними, наприклад, як частина сеансу відео телефонії. Як буде описано більш детально, такий контент в реальному часі може в деяких 3 UA 107151 C2 5 10 15 20 25 30 35 40 45 50 55 60 випадках включати в себе відео кадр опцій користувацького введення, доступних користувачу для вибору. У деяких випадках аудіо/відео дані 121 можуть включати в себе відео кадри, які є комбінацією різних типів контенту, такого як відео кадр кіно або телепрограми, яка має опції користувацького введення, накладені на кадр відео. Додатково до відтворення аудіо/відео даних 121 локально за допомогою дисплея 122 і динаміка 123, кодер 124 аудіо/відео пристрою 120 джерела може кодувати аудіо/відео дані 121, і блок 126 передавача/приймача може передавати закодовані дані по каналу 150 зв'язку на пристрій 160 одержувача. Блок 166 передавача/приймача пристрою 160 одержувача приймає закодовані дані, і декодер 164 аудіо/відео декодує закодовані дані та виводить декодовані дані за допомогою дисплея 162 і динаміка 163. Таким чином, аудіо та відео дані, відтворені за допомогою дисплея 122 і динаміка 123, можуть бути одночасно відтворені дисплеєм 162 і динаміком 163. Аудіо дані та відео дані можуть бути скомпоновані в кадрах, і аудіо кадри можуть бути синхронізовані у часі з відео кадрами при відтворенні. Кодер 124 аудіо/відео і декодер 164 аудіо/відео можуть реалізовувати будь-яку кількість стандартів стиснення аудіо та відео, таких як стандарт ITU-T H.264, альтернативно названий MPEG-4, Частина 10, вдосконалене кодування відео (AVC) або стандарт кодування відео високої продуктивності (HEVC), що недавно з'явився, який іноді називається стандартом H.265. Також може бути використано багато інших типів, що становлять власність, або стандартизованих способів стиснення. В цілому, декодер 164 аудіо/відео сконфігурований для виконання взаємно обернених операцій кодування кодера 124 аудіо/відео. Хоча не показано на Фіг. 1A, в деяких аспектах кодер 124 А/V і декодер 164 А/V можуть бути об'єднані з кодером і декодером аудіо і можуть включати в себе відповідні блоки MUX-DEMUX або інше апаратне та програмне забезпечення, щоб керувати кодуванням як аудіо так і відео в загальному потоці даних або в окремих потоках даних. Як буде описано більш детально нижче, кодер 124 А/V може також виконувати інші функції кодування додатково до реалізації стандарту стиснення відео, як описано вище. Наприклад, кодер 124 А/V може додавати різні типи метаданих до А/V даних 121 до передачі А/V даних 121 на пристрій 160 одержувача. У деяких випадках А/V дані 121 можуть бути збережені на або прийняті в пристрої 120 джерела в закодованій формі і, таким чином, не вимагати додаткового стиснення за допомогою кодера 124 А/V. Хоча Фіг. 1A показує канал 150 зв'язку, що переносить корисні дані аудіо та корисні дані відео окремо, повинне бути зрозуміло, що в деяких випадках корисні дані відео та корисні дані аудіо можуть бути частиною загального потоку даних. Якщо застосовно, блоки MUX-DEMUX можуть відповідати протоколу мультиплексора ITU H.223 або іншим протоколам, таким як протокол користувацьких дейтаграм (UDP). Кодер 124 аудіо/відео і декодер 164 аудіо/відео можуть бути реалізовані як один або більше мікропроцесорів, цифрових сигнальних процесорів (процесорів DSP), спеціалізованих інтегральних схем (схем ASIC), програмованих користувачем вентильних матриць (матриць FPGA), дискретна логіка, програмне забезпечення, апаратне забезпечення, програмно-апаратне забезпечення або будь-які їх комбінації. Кожний з кодера 124 аудіо/відео і декодера 164 аудіо/відео може бути включений в один або більше кодерів або декодерів, будь-який з яких може бути інтегрований як частина об'єднаного кодера/декодера (кодека). Таким чином, кожний з пристрою 120 джерела і пристрою 160 одержувача може містити спеціалізовані машини, сконфігуровані для виконання одного або більше способів даного розкриття. Дисплей 122 і дисплей 162 можуть містити будь-яку множину пристроїв виведення відео, таких як електронно-променева трубка (CRT), рідкокристалічний дисплей (LCD), плазмовий дисплей, світлодіодний дисплей (LED), дисплей на органічних світлодіодах (OLED) або інший тип пристрою відображення. У цих або інших прикладах дисплеї 122 та 162 можуть бути випромінюючими дисплеями або проникними дисплеями. Дисплей 122 і дисплей 162 можуть також бути дисплеями введення дотиком, таким чином, щоб вони одночасно були як пристроями введення, так і пристроями відображення. Такі дисплеї введення дотиком можуть бути ємнісними, резистивними або іншим типом панелі введення дотиком, яка дозволяє користувачу забезпечити користувацьке введення відповідному пристрою. Динамік 123 може містити будь-яку множину пристроїв виведення аудіо, таких як навушники, система з єдиним динаміком, система з множиною динаміків або система навколишнього об'ємного звуку. Додатково, хоча дисплей 122 і динамік 123 показані як частина пристрою 120 джерела, і дисплей 162 і динамік 163 показані як частина пристрою 160 одержувача, пристрій 120 джерела і пристрій 160 одержувача можуть фактично бути системою пристроїв. Як один приклад, дисплей 162 може бути телевізором, динамік 163 може бути системою навколишнього об'ємного звуку, і декодер 164 може бути частиною зовнішнього блока, з'єднаного або дротовим 4 UA 107151 C2 5 10 15 20 25 30 35 40 45 50 55 60 або бездротовим способом з дисплеєм 162 та динаміком 163. В інших випадках пристрій 160 одержувача може бути єдиним пристроєм, таким як планшетний комп'ютер або смартфон. В інших випадках пристрій 120 джерела та пристрій 160 одержувача є аналогічними пристроями, наприклад, обидва є смартфонами, планшетними комп'ютерами тощо. В цьому випадку один пристрій може працювати як джерело, а інший може працювати як одержувач. Ці переліки можуть бути навіть змінені на зворотні в подальших сеансах зв'язку. В інших випадках пристрій джерела може містити мобільний пристрій, такий як смартфон, ноутбук або планшетний комп'ютер, і пристрій одержувача може містити більше стаціонарних пристроїв (наприклад, зі шнуром живлення змінного струму АС), коли пристрій джерела може постачати аудіо та відео дані для презентації численної аудиторії за допомогою пристрою одержувача. Блок 126 передавача/приймача і блок 166 передавача/приймача можуть включати в себе різні мікшери, фільтри, підсилювачі та інші компоненти, сконструйовані для модуляції сигналу, а також одну або більше антен та інші компоненти, сконструйовані для передачі та прийому даних. Канал 150 зв'язку в цілому представляє будь-який підходящий комунікаційний носій або колекцію різних комунікаційних носіїв для передачі відео даних від пристрою 120 джерела на пристрій 160 одержувача. Канал 150 зв'язку звичайно є каналом зв'язку відносно малої дальності, аналогічно Wi-Fi, Bluetooth тощо. Однак канал 150 зв'язку не обов'язково обмежується в цьому відношенні і може містити будь-який бездротовий або дротовий комунікаційний носій, такий як радіочастотний (RF) (РЧ) спектр або одну або більше фізичних ліній передачі, або будь-яку комбінацію бездротових і дротових носіїв. В інших прикладах канал 150 зв'язку може навіть бути частиною пакетної мережі, такою як дротова або бездротова локальна мережа, широкомасштабна мережа або глобальна мережа, така як Інтернет. Додатково, канал 150 зв'язку може бути використаний пристроєм 120 джерела та пристроєм 160 одержувача, щоб створити однорангову лінію зв'язку. Пристрій 120 джерела та пристрій 160 одержувача можуть зв'язуватися по каналу 150 зв'язку, використовуючи протокол передачі даних, такий як стандарт з групи стандартів IEEE 802.11. Пристрій 120 джерела та пристрій 160 одержувача можуть, наприклад, зв'язуватися згідно зі стандартом Wi-Fi Direct таким чином, щоб пристрій 120 джерела та пристрій 160 одержувача зв'язувалися безпосередньо один з одним без використання посередника, такого як бездротові точки доступу або так звана "гаряча точка". Пристрій 120 джерела та пристрій 160 одержувача можуть також встановити установку тунельованої прямої лінії зв'язку (TLDS), щоб уникнути або зменшити перевантаження мережі. Способи даного розкриття можуть час від часу бути описані відносно Wi-Fi, але розглядається, що аспекти цих способів можуть також бути сумісні з іншими протоколами передачі даних. За допомогою прикладу, а не обмеження, бездротовий зв'язок між пристроєм 120 джерела та пристроєм одержувача може використовувати способи ортогонального мультиплексування з частотним розділенням каналів (OFDM). Також може бути використана велика різноманітність інших способів бездротового зв'язку, що включають в себе, але не обмежуються, множинний доступ з часовим розділенням каналів (TDMA), множинний доступ з частотним розділенням каналів (FDMA), множинний доступ з кодовим розділенням каналів (CDMA) або будь-яку комбінацію OFDM, FDMA, TDMA і/або CDMA. WiFi Direct та TDLS призначені для встановлення сеансів зв'язку на відносно короткі відстані. Відносно коротка відстань в цьому контексті може відноситися, наприклад, до менше, ніж 70 метрів, хоча в шумному або утворюючому перешкоди навколишньому середовищі відстань між пристроями може бути ще коротше, наприклад, менше ніж 35 метрів. Додатково до декодування і відтворення даних, прийнятих від пристрою 120 джерела, пристрій 160 одержувача може також прийняти користувацькі введення від пристрою 167 користувацького введення. Пристрій 167 користувацького введення може, наприклад, бути клавіатурою, мишею, трекболом або сенсорним планшетом, екраном введення дотиком, модулем розпізнавання голосової команди або будь-яким іншим таким пристроєм користувацького введення. UIPM 168 форматує команди користувацького введення, прийняті пристроєм 167 користувацького введення, в структуру пакета даних, яку пристрій 120 джерела здатний інтерпретувати. Такі пакети даних передаються передавачем/приймачем 166 на пристрій 120 одержувача по каналу 150 зв'язку. Блок 126 передавача/приймача приймає пакети даних, і модуль 125 керування А/V виконує синтаксичний аналіз пакетів даних, щоб інтерпретувати команду користувацького введення, яка була прийнята пристроєм 167 користувацького введення. На основі команди, прийнятої в пакеті даних, модуль 125 керування А/V може змінити контент, закодований і переданий. Таким чином користувач пристрою 160 одержувача може керувати корисними аудіо даними та корисним відео даними, що передаються пристроєм 120 джерела, віддалено і без безпосередньої взаємодії з пристроєм 120 джерела. Приклади типів команд, які користувач пристрою 160 одержувача може передати 5 UA 107151 C2 5 10 15 20 25 30 35 40 45 50 55 60 на пристрій 120 джерела, включають в себе команди для перемотування назад, прискореного перемотування, припинення і програвання аудіо та відео даних, а також команди для зміни масштабу зображення, обертання, прокручування тощо. Користувачі можуть також зробити вибори з меню опцій, наприклад, і передати вибір назад на пристрій 120 джерела. Додатково, користувачі пристрою 160 одержувача можуть бути здатні запустити і керувати додатками на пристрої 120 джерела. Наприклад, користувач пристрою 160 одержувача може бути здатний запустити додаток редагування фотографій, збережений на пристрої 120 джерела, і використовувати цей додаток для редагування фотографії, яка локально збережена на пристрої 120 джерела. Пристрій 160 одержувача може надати користувачу користувацький досвід, який виглядає і сприймається як фотографія, яка редагується локально на пристрої 160 одержувача, в той час як фактично фотографія редагується на пристрої 120 джерела. Використовуючи таку конфігурацію, користувач пристрою може бути здатний ефективно використовувати можливості одного пристрою для використання з декількома пристроями. Наприклад, пристрій 120 джерела може бути смартфоном з великим об'ємом пам'яті та можливостями обробки на високому рівні. Користувач пристрою 120 джерела може використовувати смартфон у всіх параметрах настройки і ситуаціях, в яких звичайно використовуються смартфони. Однак при перегляді кіно користувач може захотіти дивитися кіно на пристрої з великим екраном дисплея, в цьому випадку пристрій 160 одержувача може бути планшетним комп'ютером або ще крупнішим пристроєм відображення або телевізором. Бажаючи послати або відповісти на повідомлення електронної пошти, користувач може захотіти використати пристрій з клавіатурою, в цьому випадку пристрій 160 одержувача може бути ноутбуком. В обох випадках велика частина обробки може бути все ще виконана пристроєм 120 джерела (смартфоном в цьому прикладі) навіть притому, що користувач взаємодіє з пристроєм одержувача. У цьому конкретному операційному контексті, через велику частину обробки, що виконується пристроєм 120 джерела, пристрій 160 одержувача може бути більш дешевим пристроєм з меншою кількістю ресурсів, ніж якби пристрій 160 одержувача запитали зробити обробку, зроблену пристроєм 120 джерела. Як пристрій джерела так і пристрій одержувача можуть бути здатні прийняти користувацьке введення (наприклад, команди екрана введення дотиком) в деяких прикладах, і способи даного розкриття можуть полегшити двосторонню взаємодію за допомогою узгодження і або ідентифікації можливостей пристроїв у будь-якому заданому сеансі. У деякій конфігурації модуль 125 керування А/V може бути процесом операційної системи, що виконується операційною системою пристрою 125 джерела. Однак в інших конфігураціях модуль 125 керування А/V може бути процесом програмного забезпечення додатку, працюючого на пристрої 120 джерела. У такій конфігурації команда користувацького введення може інтерпретуватися процесом програмного забезпечення таким чином, щоб користувач пристрою 160 одержувача безпосередньо взаємодіяв з додатком, працюючим на пристрої 120 джерела, на противагу операційній системі, працюючій на пристрої 120 джерела. За допомогою безпосередньої взаємодії з додатком, на противагу операційній системі, користувач пристрою 160 одержувача може мати доступ до бібліотеки команд, які не є "рідними" для операційної системи пристрою 120 джерела. Додатково, безпосередня взаємодія з додатком може дозволити команди легше передавати та обробляти пристроями, працюючими на різних платформах. Пристрій 120 джерела може відповісти на користувацькі введення, застосовані в бездротовому пристрої 160 одержувача. У такій установці інтерактивного додатку користувацькі введення, застосовані в бездротовому пристрої 160 одержувача, можуть бути послані назад на бездротове джерело дисплея по каналу 150 зв'язку. В одному прикладі архітектура зворотного каналу, яка також називається зворотним каналом користувацького інтерфейсу (UIBC), може бути реалізована, щоб дозволити пристрою 160 одержувача передавати користувацькі введення, застосовані в пристрої 160 одержувача, на пристрій 120 джерела. Архітектура зворотного каналу може включати в себе повідомлення верхнього рівня для транспортування користувацьких введень і кадри нижнього рівня для узгодження можливостей користувацького інтерфейсу в пристрої 160 одержувача та пристрої 120 джерела. UIBC може знаходитися в транспортному рівні Інтернет-протоколу (IP) між пристроєм 160 одержувача та пристроєм 120 джерела. Таким чином, UIBC може бути вище транспортного рівня в моделі зв'язку взаємодії відкритих систем (OSI). В одному прикладі зв'язок OSI включає в себе сім рівнів (1 - фізичний, 2 - лінія передачі даних, 3 - мережний, 4 - транспортний 5 - сеансовий, 6 - представлення і 7 додатків). У цьому прикладі розташування вище транспортного рівня відноситься до рівнів 5, 6 та 7. Щоб сприяти надійній передачі і послідовній доставці пакетів даних, що містять дані користувацького введення, UIBC може бути сконфігурований працюючим поверх інших 6 UA 107151 C2 5 10 15 20 25 30 35 40 45 50 55 60 протоколів пакетної передачі даних, таких як протокол керування передачею/Інтернет-протокол (TCP/IP) або протокол користувацьких дейтаграм (UDP). UDP та TCP можуть працювати паралельно в архітектурі рівня OSI. TCP/IP може дозволити пристрою 160 одержувача та пристрою 120 джерела реалізовувати способи повторної передачі у випадку втрати пакета. У деяких випадках може бути розбіжність між інтерфейсами користувацького введення, розташованими в пристрої 120 джерела та пристрої 160 одержувача. Щоб вирішити потенційні проблеми, створені такою розбіжністю, і сприяти хорошому користувацькому досвіду за таких обставин, узгодження можливостей інтерфейсу користувацького введення може мати місце між пристроєм 120 джерела та пристроєм 160 одержувача до встановлення сеансу зв'язку або в різні часи протягом сеансу зв'язку. Як частина цього процесу узгодження, пристрій 120 джерела та пристрій 160 одержувача можуть домовитися про узгоджене розрізнення екрана. Коли пристрій 160 одержувача передає дані координат, асоційовані з користувацьким введенням, пристрій 160 одержувача може масштабувати дані координат, одержані від дисплея 162, щоб зіставити з узгодженим розрізненням екрана. В одному прикладі, якщо пристрій 160 одержувача має розрізнення 1280 × 720, і пристрій 120 джерела має розрізнення 1600 × 900, пристрої можуть, наприклад, використовувати 1280 × 720 як своє узгоджене розрізнення. Узгоджене розрізнення може бути вибране на основі розрізнення пристрою 160 одержувача, хоча може також бути використане розрізнення пристрою 120 джерела або деяке інше розрізнення. У прикладі, в якому використовується пристрій одержувача з розрізненням 1280 × 720, пристрій 160 одержувача може масштабувати одержані х-координати за допомогою коефіцієнта 1600/1280 до передачі координат на пристрій 120 джерела, і аналогічно, пристрій 160 одержувача може масштабувати одержані у-координати за допомогою коефіцієнта 900/720 до передачі координат на пристрій 120 джерела. В інших конфігураціях пристрій 120 джерела може масштабувати одержані координати до узгодженого розрізнення. Масштабування може або збільшити або зменшити діапазон координат на основі того, чи використовує пристрій 160 одержувача дисплей з більш високим розрізненням, ніж пристрій 120 джерела, або навпаки. Додатково, в деяких випадках розрізнення в пристрої 160 одержувача може змінюватися під час сеансу зв'язку, потенційно створюючи розбіжність між дисплеєм 122 і дисплеєм 162. Щоб поліпшити користувацький досвід і гарантувати належні функціональні можливості, система 100 джерела/одержувача може реалізувати способи для зменшення або запобігання розбіжності користувацької взаємодії за допомогою реалізації способів для нормалізації екрана. Дисплей 122 пристрою 120 джерела і дисплей 162 пристрою 160 одержувача можуть мати різні розрізнення і/або різні співвідношення сторін. Додатково, в деяких параметрах настройки користувач пристрою 160 одержувача може мати здатність змінити розміри вікна екрана дисплея для відео даних, прийнятих від пристрою 120 джерела таким чином, щоб відео дані, прийняті від пристрою 120 джерела, були відтворені у вікні, яке охоплює менше, ніж весь дисплей 162 пристрою 160 одержувача. При інших зразкових параметрах настройки користувач пристрою 160 одержувача може мати опцію перегляду контенту або в режимі "горизонтальної орієнтації", або в режимі "портрет", кожний з яких має унікальні координати і різні співвідношення сторін. У таких ситуаціях координати, асоційовані з користувацьким введенням, прийнятим в пристрої 160 одержувача, такі як координата того, де має місце натиснення миші або подія дотику, можуть не бути здатні оброблятися пристроєм 120 джерела без зміни в координатах. Відповідно, способи даного розкриття можуть включати в себе відображення координат користувацького введення, прийнятого в пристрої 160 одержувача, в координати, асоційовані з пристроєм 120 джерела. Це відображення також називається нормалізацією в даному описі, і, як буде пояснено більш детально нижче, це відображення може бути основане або на одержувачі, або основане на джерелі. Користувацькі введення, прийняті пристроєм 160 одержувача, можуть бути прийняті модулем 167 UI на рівні драйвера, наприклад, і направлені в операційну систему пристрою 160 одержувача. Операційна система в пристрої 160 одержувача може приймати координати (xSINK, ySINK), асоційовані з тим, де на поверхні дисплея мало місце користувацьке введення. У цьому прикладі (xSINK, ySINK) можуть бути координатами дисплея 162, в якому мало місце натиснення миші або подія дотику. Вікно екрана дисплея, що відтворюється на дисплеї 162, може мати довжину х-координат (LDW) і ширину у-координат (W DW), які описують розмір вікна екрана дисплея. Вікно екрана дисплея може також мати координату верхнього лівого кута (a DW , bDW), яка описує місцеположення вікна екрана дисплея. На основі LDW , W DW і верхньої лівої координати (aDW , bDW) може бути визначена частина дисплея 162, охоплена вікном екрана дисплея. Наприклад, правий верхній кут вікна екрана дисплея може бути розташований в координаті (aDW +LDW , bDW), лівий нижній кут вікна екрана дисплея може бути розташований в координаті (aDW , bDW +W DW), і правий нижній кут вікна екрана дисплея може бути розташований в 7 UA 107151 C2 5 10 15 20 25 30 35 40 45 50 55 координаті (aDW +LDW, bDW+W DW). Пристрій 160 одержувача може обробити введення як введення UIBC, якщо це введення прийняте в координаті в межах вікна екрана дисплея. Іншими словами, введення з асоційованими координатами (x SINK, ySINK) може бути оброблене як введення UIBC, якщо задоволені наступні умови: aDW≤xSINK≤aDW+LDW bDW≤ySINK≤bDW +W DW Після визначення, що користувацьке введення є введенням UIBC, координати, асоційовані з цим введенням, можуть бути нормалізовані за допомогою UIPM 168 до передачі на пристрій 120 джерела. Введення, які визначені як поза вікном екрана дисплея, можуть бути оброблені локально пристроєм 160 одержувача як введення не-UIBC. Як згадано вище, нормалізація координат введення може бути основана або на джерелі, або основана на одержувачі. При реалізації основаної на одержувачі нормалізації пристрій 120 джерела може послати розрізнення дисплея (L SRC, W SRC), що підтримується, для дисплея 122, або з відео даними або незалежно від відео даних, на пристрій 160 одержувача. Розрізнення дисплея, що підтримується, наприклад, може бути передане як частина сеансу узгодження можливостей або може бути передане в інший час під час сеансу зв'язку. Пристрій 160 одержувача може визначити розрізнення дисплея (LSINK, W SINK) для дисплея 162, розрізнення вікна екрана дисплея (LDW, W DW) для вікна, що відображає контент, прийнятий від пристрою 120 джерела, і координату лівого верхнього кута (aDW , bDW) для вікна екрана дисплея. Як описано вище, коли координата (xSINK, ySINK), що відповідає введенню даних користувачем, визначається в межах вікна екрана дисплея, операційна система пристрою 160 одержувача може відобразити координату (xSINK, ySINK) в координати (xSRC, ySRC) джерела, використовуючи функції перетворення. Зразкові функції перетворення для перетворення (x SINK, ySINK) в (xSRC, ySRC) можуть бути наступними: xSRC=(xSINK-aDW )*(LSRC/LDW) ySRC=(ySINK-bDW )*(W SRC/W DW) Таким чином, при передачі координати, що відповідає прийнятому введенню даних користувачем, пристрій 160 одержувача може передати координату (x SRC, ySRC) для користувацького введення, прийнятого в (xSINK, ySINK). Як буде описано більш детально нижче, координата (xSRC, ySRC), наприклад, може бути передана як частина пакета даних, що використовується для передачі користувацького введення, прийнятого в пристрої 160 одержувача, на пристрій 120 джерела по UIBC. Протягом інших частин даного розкриття, в якому координати введення описані як включені в пакет даних, ці координати можуть бути перетворені в вихідні координати, як описано вище у випадках, в яких система 100 джерела/одержувача реалізовує основану на одержувачі нормалізацію. Коли система 100 джерела/одержувача реалізовує основану на джерелі нормалізацію, для користувацьких введень, визначених введеннями UIBC, на противагу локальним введенням (тобто в межах вікна екрана дисплея на противагу зовнішній стороні вікна екрана дисплея), обчислення, описані вище, можуть бути виконані в пристрої 120 джерела замість пристрою 160 одержувача. Щоб полегшити такі обчислення, пристрій 160 одержувача може передати на пристрій 120 джерела значення для LDW , W DW та інформацію місцеположення для вікна екрана дисплея (наприклад, aDW , bDW), а також координати для (xSINK, ySINK). Використовуючи ці передані значення, пристрій 120 джерела може визначити значення для (x SRC, ySRC) згідно з рівняннями 3 та 4, представленими вище. В інших реалізаціях основаної на одержувачі нормалізації пристрій 160 одержувача може передати координати (xDW, yDW) для користувацького введення, які описують, де в межах вікна екрана дисплея має місце подія користувацького введення, на противагу тому, де на дисплеї 162 має місце користувацьке введення. У такій реалізації координати (xDW, yDW ) можуть бути передані на пристрій 120 джерела поряд зі значеннями для (L DW , W DW). На основі цих прийнятих значень пристрій 120 джерела може визначити (x SRC, ySRC) згідно з наступними функціями перетворення: xSRC=xDW *(LSRC/LDW) ySRC=yDW *(W SRC/W DW) Пристрій 160 одержувача може визначити xDW та yDW на основі наступних функцій: xDW =xSINK-aDW yDW =ySINK-bDW Коли дане розкриття описує передачу координат, асоційованих з користувацьким введенням, в пакеті даних, наприклад, передача цих координат може включати в себе основану на одержувачі або основану на джерелі нормалізацію, як описано вище, і/або може включати в 8 UA 107151 C2 5 10 15 20 25 30 35 40 45 50 55 60 себе будь-яку додаткову інформацію, необхідну для виконання основаної на одержувачі або основаної на джерелі нормалізації. UIBC може бути сконструйований для транспортування різних типів даних користувацького введення, що включають в себе міжплатформні дані користувацького введення. Наприклад, пристрій 120 джерела може керувати операційною системою iOS®, в той час як пристрій 160 одержувача керує іншою операційною системою, такою як Android® або Windows®. Незалежно від платформи UIPM 168 може інкапсулювати прийняте користувацьке введення в формі, зрозумілій модулю 125 керування А/V. Ряд різних типів форматів користувацького введення можуть підтримуватися за допомогою UIBC таким чином, щоб дозволити багатьом різним типам пристроїв джерела та одержувача використовувати протокол незалежно від того, чи працюють пристрої джерела та одержувача на різних платформах. Можуть бути визначені формати родового введення, і можуть підтримуватися специфічні для платформиформати введення, таким чином забезпечуючи гнучкість способом, в якому користувацьке введення може бути передане між пристроєм 120 джерела та пристроєм 160 одержувача за допомогою UIBC. У прикладі на Фіг. 1A пристрій 120 джерела може містити смартфон, планшетний комп'ютер, ноутбук, настільний комп'ютер, телевізор з підтримкою Wi-Fi або будь-який інший пристрій, здатний передавати аудіо та відео дані. Пристрій 160 одержувача може аналогічно містити смартфон, планшетний комп'ютер, ноутбук, настільний комп'ютер, телевізор з підтримкою Wi-Fi або будь-який інший пристрій, здатний прийняти аудіо та відео дані і прийняти дані користувацького введення. У деяких випадках пристрій 160 одержувача може включати в себе систему пристроїв, таких як дисплей 162, динамік 163, пристрій 167 UI і кодер 164 А/V всіх частин окремих, але взаємодіючих пристроїв. Пристрій 120 джерела може аналогічно бути системою пристроїв, а не єдиним пристроєм. У даному розкритті термін "пристрій джерела" в цілому використовується, щоб відноситися до пристрою, який передає аудіо/відео дані, і термін "пристрій одержувача" в цілому використовується, щоб відноситися до пристрою, який приймає аудіо/відео дані від пристрою джерела. У багатьох випадках пристрій 120 джерела і пристрій 160 одержувача можуть бути аналогічними або ідентичними пристроями, з одним пристроєм, працюючим як джерело, і іншим, працюючим як одержувач. Крім того ці переліки можуть бути змінені на зворотні в різних сеансах зв'язку. Таким чином, пристрій одержувача в одному сеансі зв'язку може стати пристроєм джерела в подальшому сеансі зв'язку, або навпаки. Фіг. 1B є блок-схемою, що ілюструє зразкову систему 101 джерела/одержувача, яка може реалізувати способи даного розкриття. Система 101 джерела/одержувача включає в себе пристрій 120 джерела і пристрій 160 одержувача, кожний з яких може функціонувати і працювати так, як описано вище для Фіг. 1A. Система 101 джерела/одержувача додатково включає в себе пристрій 180 одержувача. Аналогічно пристрою 160 одержувача, описаному вище, пристрій 180 одержувача може приймати аудіо та відео дані від пристрою 120 джерела і передавати користувацькі команди на пристрій 120 джерела по встановленому UIBC. У деяких конфігураціях пристрій 160 одержувача та пристрій 180 одержувача можуть працювати незалежно один від одного, і виведення аудіо та відео даних в пристрої 120 джерела може бути одночасно виведене в пристрої 160 одержувача та пристрої 180 одержувача. У додаткових конфігураціях пристрій 160 одержувача може бути первинним пристроєм одержувача, і пристрій 180 одержувача може бути вторинним пристроєм одержувача. У такій зразковій конфігурації можуть бути приєднані пристрій 160 одержувача і пристрій 180 одержувача, і пристрій 160 одержувача може відображати відео дані, в той час як пристрій 180 одержувача виводить відповідні аудіо дані. Додатково, в деяких конфігураціях пристрій 160 одержувача може виводити передані відео дані тільки тоді, коли пристрій 180 одержувача виводить передані аудіо дані. Фіг. 2 є блок-схемою, що показує один приклад пристрою 220 джерела. Пристрій 220 джерела може бути пристроєм, аналогічним пристрою 120 джерела на Фіг. 1A, і може працювати так само, як пристрій 120 джерела. Пристрій 220 джерела включає в себе локальний дисплей 222, локальний динамік 223, процесори 231, пам'ять 232, транспортний блок 233 і бездротовий модем 234. Як показано на Фіг. 2, пристрій 220 джерела може включати в себе один або більше процесорів (тобто процесор 231), які кодують і/або декодує А/V дані для транспортування, зберігання і відображення. А/V дані можуть, наприклад, зберігатися в пам'яті 232. Пам'ять 232 може зберігати весь А/V файл або може містити буфер меншого розміру, який просто зберігає частину А/V файла, наприклад, переданого потоком від іншого пристрою або джерела. Транспортний блок 233 може обробляти закодовані А/V дані для мережного транспорту. Наприклад, закодовані А/V дані можуть бути оброблені процесором 231 та інкапсульовані транспортним блоком 233 в блоки рівня мережного доступу (NAL) для передачі 9 UA 107151 C2 5 10 15 20 25 30 35 40 45 50 55 60 через мережу. Блоки NAL можуть бути послані бездротовим модемом 234 на бездротовий пристрій одержувача за допомогою мережного з'єднання. Бездротовий модем 234 може, наприклад, бути модемом Wi-Fi, сконфігурованим для реалізації одного з групи стандартів IEEE 802.11. Пристрій 220 джерела може також локально обробляти та відображати А/V дані. Зокрема, процесор 235 дисплея може обробляти відео дані, які повинні бути відображені на локальному дисплеї 222, аудіо процесор 236 може обробляти аудіо дані для виведення на динаміку 223. Як описано вище з посиланнями на пристрій 120 джерела на Фіг. 1A, пристрій 220 джерела може також приймати команди користувацького введення від пристрою одержувача. Таким чином, бездротовий модем 234 пристрою 220 джерела приймає пакети інкапсульованих даних, наприклад, блоки NAL, і посилає блоки інкапсульованих даних в транспортний блок 233 для декапсулювання. Наприклад, транспортний блок 233 може витягнути пакети даних з блоків NAL, і процесор 231 може здійснити синтаксичний аналіз пакетів даних, щоб витягнути команди користувацького введення. На основі команд користувацького введення процесор 231 може настроювати закодовані А/V дані, що передаються пристроєм 220 джерела на пристрій одержувача. Таким чином, функціональні можливості, описані вище відносно модуля 125 керування А/V на Фіг. 1 А, можуть бути реалізовані або повністю або частково процесором 231. Процесор 231 згідно з Фіг. 2 в цілому представляє будь-яку велику різноманітність процесорів, що включають в себе, але не обмежуються, один або більше цифрових сигнальних процесорів (процесорів DSP), мікропроцесори загального призначення, спеціалізовані інтегральні схеми (схеми ASIC), програмовані користувачем вентильні матриці (матриці FPGA), іншу еквівалентну інтегровану або дискретну логічну схему, або деяку їх комбінацію. Пам'ять 232 згідно з Фіг. 2 може містити будь-яку велику різноманітність енергозалежної або енергонезалежної пам'яті, що включає в себе, але не обмежується, оперативний запам'ятовуючий пристрій (RAM), такий як синхронний динамічний оперативний запам'ятовуючий пристрій (SDRAM), постійний запам'ятовуючий пристрій (ROM), енергонезалежний оперативний запам'ятовуючий пристрій (NVRAM), електрично стираний постійний запам'ятовуючий пристрій (EEPROM), флеш-пам'ять тощо. Пам'ять 232 може містити зчитуваний комп'ютером запам'ятовуючий носій для зберігання аудіо/відео даних, а також інших видів даних. Пам'ять 232 може додатково зберігати команди і програмний код, які виконуються процесором 231, як частину виконання різних способів, описаних в даному розкритті. Фіг. 3 показує приклад пристрою 360 одержувача. Пристрій 360 одержувача може бути пристроєм, аналогічним пристрою 160 одержувача на Фіг. 1A, і може працювати так само, як пристрій 160 одержувача. Пристрій 360 одержувача включає в себе один або більше процесорів (тобто процесор 331), пам'ять 332, транспортний блок 333, бездротовий модем 334, процесор 335 дисплея, локальний дисплей 362, аудіо процесор 336, динамік 363 та інтерфейс 376 користувацького введення. Пристрій 360 одержувача приймає в бездротовому модемі 334 блок інкапсульованих даних, посланих від пристрою джерела. Бездротовий модем 334, наприклад, може бути модемом Wi-Fi, сконфігурованим для реалізації ще одного стандарту з групи стандартів IEEE 802.11. Транспортний блок 333 може декапсулювати блоки інкапсульованих даних. Наприклад, транспортний блок 333 може витягнути закодовані відео дані з блоків інкапсульованих даних і послати закодовані А/V дані на процесор 331, які повинні бути декодовані та відтворені для виведення. Процесор 335 дисплея може обробляти декодовані відео дані, які повинні бути відображені на локальному дисплеї 362, і аудіо процесор 336 може обробляти декодовані аудіо дані для виведення на динаміку 363. Додатково до відтворення аудіо та відео даних бездротовий пристрій 360 одержувача може також прийняти дані користувацького введення через інтерфейс 376 користувацького введення. Інтерфейс 376 користувацького введення може представляти будь-який з ряду пристроїв користувацького введення, що включають, але не обмежуються ними, інтерфейс сенсорного дисплея, клавіатуру, мишу, модуль голосових команд, пристрій захоплення жесту (наприклад, із основаними на камері можливостями захоплення введення даних) або будь-який інший з ряду пристроїв користувацького введення. Користувацьке введення, прийняте через інтерфейс 376 користувацького введення, може бути оброблене процесором 331. Ця обробка може включати в себе генерування пакетів даних, які включають в себе прийняту команду користувацького введення, відповідно до способів, описаних в даному розкритті. Після генерування транспортний блок 333 може обробляти пакети даних для мережного транспортування на бездротовий пристрій джерела по UIBC. Процесор 331 згідно з Фіг. 3 може містити один або більше процесорів з широкого діапазону, таких як один або більше цифрових сигнальних процесорів (процесорів DSP), мікропроцесори загального призначення, спеціалізовані інтегральні схеми (схеми ASIC), програмовані 10 UA 107151 C2 5 10 15 20 25 30 35 40 45 50 55 користувачем вентильні матриці (матриці FPGA), інші еквівалентні інтегровані або дискретні логічні схеми або деяку їх комбінацію. Пам'ять 332 згідно з Фіг. 3 може містити будь-яку велику різноманітність енергозалежної або енергонезалежної пам'яті, що включає в себе, але не обмежується ними, оперативний запам'ятовуючий пристрій (RAM), такий як синхронний динамічний оперативний запам'ятовуючий пристрій (SDRAM), постійний запам'ятовуючий пристрій (ROM), енергонезалежний оперативний запам'ятовуючий пристрій (NVRAM), електрично стираний програмований постійний запам'ятовуючий пристрій (EEPROM), флешпам'ять тощо. Пам'ять 232 може містити зчитуваний комп'ютером запам'ятовуючий носій для зберігання аудіо/відео даних, а також інших видів даних. Пам'ять 332 може додатково зберігати команди і програмний код, які виконуються процесором 331, як частину виконання різних способів, описаних в даному розкритті. Фіг. 4 показує блок-схему зразкової системи 410 передавача та системи 450 приймача, які можуть бути використані передавачем/приймачем 126 та передавачем/приймачем 166 на Фіг. 1 для зв'язку по каналу 150 зв'язку. У системі 410 передавача дані трафіку для ряду потоків даних видаються від джерела 412 даних в процесор 414 (TX) передачі даних. Кожний потік даних може бути переданий по відповідній антені передачі. Процесор 414 TX передачі даних форматує, кодує і чергує дані трафіку для кожного потоку даних на основі конкретної схеми кодування, вибраної для цього потоку даних. Закодовані дані для кожного потоку даних можуть бути мультиплексовані з даними пілотсигналу, використовуючи способи мультиплексування з ортогональним частотним розділенням каналів (OFDM). Може бути також використана велика різноманітність інших способів бездротового зв'язку, що включають в себе, але не обмежуються, множинний доступ з часовим розділенням каналів (TDMA), множинний доступ з частотним розділенням каналів (FDMA), множинний доступ з кодовим розділенням каналів (CDMA) або будь-яку комбінацію OFDM, FDMA, TDMA і/або CDMA. Відповідно до Фіг. 4, дані пілот-сигналу звичайно є відомим шаблоном даних, який обробляється відомим способом і може бути використаний в системі приймача для оцінки відповіді каналу. Мультиплексовані дані пілот-сигналу і закодовані дані для кожного потоку даних потім модулюються (наприклад, відображаються в символ) на основі конкретної схеми модуляції (наприклад, двійкової фазової маніпуляції (BPSK), квадратурної фазової маніпуляції (QPSK), М-PSK або М-QAM (квадратурної амплітудної модуляції), де М може бути ступенем двійки), вибраної для цього потоку даних, щоб видати символи модуляції. Швидкість передачі даних, кодування і модуляція для кожного потоку даних можуть бути визначені командами, виконаними процесором 430, який може бути приєднаний до пам'яті 432. Потім символи модуляції для потоків даних видаються в процесор 420 MIMO TX передачі даних, який може додатково обробляти символи модуляції (наприклад, для OFDM). Потім процесор 420 MIMO TX передачі даних може видавати N T символьних потоків модуляції в NT передавачів (TMTR) 422a-422t. У деяких аспектах процесор 420 MIMO TX передачі даних застосовує вагові коефіцієнти формування діаграми направленості до символів потоків даних і до антени, від якої передається символ. Кожний передавач 422 може приймати та обробляти відповідний символьний потік, щоб видавати один або більше аналогових сигналів, і додатково приводити до необхідних умов (наприклад, посилювати, фільтрувати і перетворювати з підвищенням частоти) аналогові сигнали, щоб видавати модульований сигнал, підходящий для передачі по каналу MIMO. Потім NT модульованих сигналів від передавачів 422a-422t передаються від NT антен 424a-424t, відповідно. У системі 450 приймача передані модульовані сигнали приймаються N R антенами 452a-452r, і прийнятий сигнал від кожної антени 452 видається у відповідний приймач (RCVR) 454a-454r. Приймач 454 приводить до необхідних умов (наприклад, фільтрує, посилює і перетворює із зниженням частоти) відповідний прийнятий сигнал, перетворює наведений до необхідних умов сигнал в цифрову форму, щоб забезпечити вибірки, і додатково обробляє вибірки для видачі відповідного "прийнятого" символьного потоку. Потім процесор 460 RX прийому даних приймає та обробляє N R прийнятих символьних потоків від NR приймачів 454 на основі конкретного способу обробки приймача для видачі N T "виявлених" символьних потоків. Потім процесор 460 RX прийому даних демодулює, виконує обернене чергування і декодує кожний виявлений символьний потік для відновлення даних трафіку для потоку даних. Обробка процесором 460 RX прийому даних може бути комплементарною до тієї, яка виконується процесором 420 MIMO TX передачі даних і процесором 414 TX передачі даних в системі 410 передавача. 11 UA 107151 C2 5 10 15 20 25 30 35 40 45 50 55 60 Процесор 470, який може бути приєднаний до пам'яті 472, періодично визначає, яку використовувати матрицю попереднього кодування. Повідомлення зворотної лінії зв'язку може містити різні типи інформації відносно лінії зв'язку і/або прийнятого потоку даних. Потім повідомлення зворотної лінії зв'язку обробляється процесором 438 TX передачі даних, який також приймає дані трафіку для ряду потоків даних від джерела 436 даних, модулюється модулятором 480, приводиться до необхідних умов передавачами 454a-454r і передається назад в систему 410 передавача. У системі 410 передавача модульовані сигнали від системи 450 приймача приймаються антенами 424, приводяться до необхідних умов приймачами 422, демодулюються демодулятором 440 та обробляються процесором 442 RX прийому даних, щоб витягнути повідомлення зворотної лінії зв'язку, передане системою 450 приймача. Процесор 430 потім визначає, яку використовувати матрицю попереднього кодування, щоб визначити вагові коефіцієнти діаграми направленості, потім обробляє витягнуте повідомлення. Фіг. 5A є блок-схемою, що ілюструє зразкову послідовність передачі повідомлень між пристроєм 520 джерела і пристроєм 560 одержувача як частину сеансу узгодження можливостей. Узгодження можливостей може мати місце як частина більшого процесу встановлення сеансу зв'язку між пристроєм 520 джерела і пристроєм 560 одержувача. Цей сеанс може, наприклад, бути встановлений за допомогою Wi-Fi Direct або TDLS як стандарт з'єднання, що лежить в основі. Після встановлення сеансу Wi-Fi Direct або TDLS пристрій 560 одержувача може ініціювати з'єднання TCP з пристроєм 520 джерела. Як частина встановлення з'єднання TCP може бути встановлений порт керування, що реалізовує протокол потокової передачі в реальному часі (RTSP), щоб керувати сеансом зв'язку між пристроєм 520 джерела і пристроєм 560 одержувача. Пристрій 520 джерела може в цілому працювати так само, як описано вище для пристрою 120 джерела на Фіг. 1A, і пристрій 560 одержувача може в цілому працювати так само, як описано вище для пристрою 160 одержувача на Фіг. 1A. Після того, як пристрій 520 джерела і пристрій 560 одержувача встановлять зв'язаність, пристрій 520 джерела і пристрій 560 одержувача можуть визначити набір параметрів, які повинні бути використані для їх подальшого сеансу зв'язку як частина обміну узгодженням можливостей. Пристрій 520 джерела та пристрій 560 одержувача можуть узгоджувати можливості через послідовність повідомлень. Повідомлення, наприклад, можуть бути повідомленнями протоколу потокової передачі в реальному часі (RTSP). На будь-якому етапі узгоджень одержувач повідомлення запиту RTSP може відповісти за допомогою відповіді RTSP, яка включає в себе код стану RTSP, крім RTSP OK, в цьому випадку обмін повідомленнями може бути повторюваний з іншим набором параметрів, або може бути закінчений сеанс узгодження можливостей. Пристрій 520 джерела може послати перше повідомлення (повідомлення запиту опцій RTSP (RTSP OPTIONS)) на пристрій 560 одержувача, щоб визначити набір способів RTSP, які підтримує пристрій 560 одержувача. Після прийому першого повідомлення від пристрою 520 джерела пристрій 560 одержувача може відповісти другим повідомленням (повідомленням відповіді RTSP OPTIONS), яке перераховує способи RTSP, що підтримуються пристроєм 560 одержувача. Друге повідомлення може також включати в себе код стану RTSP OK. Після посилання другого повідомлення на пристрій 520 джерела, пристрій 560 одержувача може послати третє повідомлення (повідомлення запиту RTSP OPTIONS), щоб визначити набір способів RTSP, які підтримує пристрій 520 джерела. Після прийому третього повідомлення від пристрою 560 одержувача, пристрій 520 джерела може відповісти четвертим повідомленням (повідомленням відповіді RTSP OPTIONS), яке перераховує способи RTSP, що підтримуються пристроєм 520 джерела. Четверте повідомлення може також включати в себе код стану RTSP OK. Після посилання четвертого повідомлення пристрій 520 джерела може послати п'яте повідомлення (повідомлення запиту GET_PARAMETER RTSP), щоб визначити список можливостей, які представляють інтерес для пристрою 520 джерела. Пристрій 560 одержувача може відповісти шостим повідомленням (повідомленням відповіді GET_PARAMETER RTSP). Шосте повідомлення може містити код стану RTSP. Якщо кодом стану RTSP є OK, то шосте повідомлення може також включати в себе параметри відповіді для параметра, визначеного в п'ятому повідомленні, які підтримуються пристроєм 560 одержувача. Пристрій 560 одержувача може ігнорувати параметри в п'ятому повідомленні, яке не підтримує пристрій 560 одержувача. На основі шостого повідомлення джерело 520 може визначити оптимальний набір параметрів, які повинні бути використані для сеансу зв'язку, і може послати сьоме повідомлення (повідомлення запиту SET_PARAMETER RTSP) на пристрій 560 одержувача. Сьоме 12 UA 107151 C2 5 10 15 20 25 30 35 40 45 50 55 60 повідомлення може містити набір параметрів, який повинен бути використаний під час сеансу зв'язку між пристроєм 520 джерела і пристроєм 560 одержувача. Сьоме повідомлення може включати в себе wfd-presentation-ur1, який описує універсальний ідентифікатор ресурсу (URI), який повинен бути використаний в запиті на встановлення RTSP, щоб встановити сеанс зв'язку. wfd-presentation-ur1 визначає URI, який може використати пристрій 560 одержувача для більш пізніх повідомлень під час обміну встановленням сеансу. Значення wfd-ur10 та wfd-ur11, визначені в цьому параметрі, можуть відповідати значенням rtp-port0 і значенням rtp-port1 в wfdclient-rtp-ports в сьомому повідомленні. RTP в цьому випадку в цілому відноситься до протоколу в реальному часі, який може працювати поверх UDP. Після прийому сьомого повідомлення пристрій 560 одержувача може відповісти восьмим повідомленням з кодом стану RTSP, що вказує, чи було успішним встановлення параметрів, як визначено в сьомому повідомленні. Як згадано вище, ролі або пристрій джерела та пристрій одержувача можуть бути змінені на зворотні або змінюватися в різних сеансах. Порядок повідомлень, які встановлюють сеанс зв'язку, може в деяких випадках визначити пристрій, який працює як джерело, і визначити пристрій, який працює як одержувач. Фіг. 5B є блок-схемою, що ілюструє іншу зразкову послідовність передачі повідомлення між пристроєм 560 джерела та пристроєм 520 одержувача як частину сеансу узгодження можливостей. Послідовність передачі повідомлення на Фіг. 5B призначена, щоб забезпечити більш докладний вигляд послідовності передачі, описаної вище для Фіг. 5A. На Фіг. 5B повідомлення "1b. GET_PARAMETER RESPONSE" показує приклад повідомлення, яке ідентифікує список категорій введення (наприклад, родового і HIDC), що підтримуються, і множину списків типів введення, що підтримуються. Кожна з категорій введення, що підтримуються, зі списку категорій введення, що підтримуються, має асоційований список типів (наприклад, generic_cap_list та hidc_cap_list), що підтримуються. На Фіг. 5B повідомлення "2a. SET_PARAMETER REQUEST" є прикладом другого повідомлення, яке ідентифікує другий список категорій введення (наприклад, родового і HIDC), що підтримуються, і множину других списків типів, що підтримуються. Кожна з категорій введення, що підтримуються, з другого списку категорій введення, що підтримуються, має асоційований другий список типів (наприклад, generic_cap_list та hidc_cap_list), що підтримуються. Повідомлення "1b. GET_PARAMETER RESPONSE" ідентифікує категорії введення і типи введення, що підтримуються пристроєм 560 одержувача. Повідомлення "2a. SET_PARAMETER REQUEST" ідентифікує категорії введення і типи введення, що підтримуються пристроєм 520 джерела, але це може не бути повним списком всіх категорій введення і типів введення, що підтримуються пристроєм 520 джерела. Замість цього повідомлення "2a. SET_PARAMETER REQUEST" може ідентифікувати тільки такі категорії введення і типи введення, ідентифіковані в повідомленні "1b. GET_PARAMETER RESPONSE", як ті, що підтримуються пристроєм 560 одержувача. Таким чином, категорії введення і типи введення, ідентифіковані в повідомленні "2a. SET_PARAMETER REQUEST", можуть складати піднабір категорій введення і типів введення, ідентифікованих в повідомленні "1b. GET_PARAMETER RESPONSE". Фіг. 6 є концептуальною діаграмою, що ілюструє один приклад пакета даних, який може бути згенерований пристроєм одержувача і переданий на пристрій джерела. Аспекти пакета 600 даних будуть пояснені з посиланнями на Фіг. 1A, але розглянуті способи можуть застосовуватися до додаткових типів систем джерела/одержувача. Пакет 600 даних може включати в себе заголовок 610 пакета даних з подальшими корисними даними 650. Корисні дані 650 можуть додатково включати в себе один або більше заголовків корисних даних (наприклад, заголовок 630 корисних даних). Пакет 600 даних може, наприклад, бути переданий від пристрою 160 одержувача Фіг. 1 на пристрій 120 джерела таким чином, щоб користувач пристрою 160 одержувача міг керувати аудіо/відео даними, що передаються пристроєм 120 джерела. У такому випадку корисні дані 650 можуть включати в себе дані користувацького введення, прийняті в пристрої 160 одержувача. Корисні дані 650 можуть, наприклад, ідентифікувати одну або більше користувацьких команд. Пристрій 160 одержувача може прийняти одну або більше користувацьких команд і на основі прийнятих команд може генерувати заголовок 610 пакета даних і корисні дані 650. На основі контенту заголовка 610 пакета даних пакета 600 даних пристрій 120 джерела може здійснити синтаксичний аналіз корисних даних 650, щоб ідентифікувати дані користувацького введення, прийняті в пристрої 160 одержувача. На основі даних користувацького введення, що містяться в корисних даних 650, пристрій 120 джерела може деяким чином змінювати аудіо та відео дані, що передаються від пристрою 120 джерела на пристрій 160 одержувача. Терміни "здійснити синтаксичний аналіз" та "виконання синтаксичного аналізу", що використовуються в даному розкритті, в цілому відносяться до процесу аналізу бітового потоку, 13 UA 107151 C2 5 10 15 20 25 30 35 40 45 50 55 60 щоб витягнути дані з бітового потоку. Після витягання дані можуть бути оброблені пристроєм 120 джерела, наприклад. Витягання даних може, наприклад, включати в себе ідентифікацію того, як форматована інформація в бітовому потоку. Як буде описано більш детально нижче, заголовок 610 пакета даних може визначити стандартизований формат, який відомий як пристрою 120 джерела так і пристрою 160 одержувача. Корисні дані 650, однак, можуть бути відформатовані одним з багатьох можливих способів. За допомогою здійснення синтаксичного аналізу заголовка 610 пакета даних пристрій 120 джерела може визначити, як форматовані корисні дані 650, і таким чином пристрій 120 джерела може здійснити синтаксичний аналіз 650 корисних даних, щоб витягнути з корисних даних 650 одну або більше команд користувацького введення. Це може забезпечити гнучкість відносно різних типів корисних даних, які можуть підтримуватися в зв'язку джерело-одержувач. Як буде описано більш детально нижче, корисні дані 650 можуть також включати в себе один або більше заголовків корисних даних, такі як заголовок 630 корисних даних. У таких випадках пристрій 120 джерела може здійснити синтаксичний аналіз заголовка 610 пакета даних, щоб визначити формат для заголовка 630 корисних даних, і потім здійснити синтаксичний аналіз заголовка 630 корисних даних, щоб визначити формат для залишку корисних даних 650. Діаграма 620 є концептуальним описом того, як може бути форматований заголовок 610 пакета даних. Числа 0-15 в ряду 615 призначені, щоб ідентифікувати місцеположення бітів у заголовку 610 пакета даних, і не призначені, щоб фактично представляти інформацію, що міститься в заголовку 610 пакета даних. Заголовок 610 пакета даних включає в себе поле 621 версії, прапор 622 часової відмітки, зарезервоване поле 623, поле 624 категорії введення, поле 625 довжини і необов'язкове поле 626 часової відмітки. У прикладі згідно з Фіг. 6 поле 621 версії є 3-бітовим полем, яке може вказати версію конкретного протоколу передачі даних, що реалізовується пристроєм 160 одержувача. Значення в полі 621 версії може інформувати пристрій 120 джерела про те, як здійснити синтаксичний аналіз залишку заголовка 610 пакета даних, а також про те, як здійснити синтаксичний аналіз корисних даних 650. У прикладі на Фіг. 6 поле 621 версії є 3-бітовим полем, яке дозволяє унікальний ідентифікатор для восьми різних версій. В інших прикладах більша або менша кількість бітів може бути виділена для поля 621 версії. У прикладі на Фіг. 6 прапор (Т) 622 часової відмітки є 1-бітовим полем, яке вказує, чи є поле 626 часової відмітки в заголовку 610 пакета даних. Поле 626 часової відмітки є 16-бітовим полем, що містить часову відмітку, основану на мультимедійних даних, які були згенеровані пристроєм 120 джерела та передані на пристрій 160 одержувача. Часова відмітка може, наприклад, бути порядковим номером, призначеним кадрам відео за допомогою пристрою 120 джерела до того, як будуть передані кадри на пристрій 160 одержувача. Прапор 622 часової відмітки може, наприклад, включати в себе "1", щоб вказати, що є поле 626 часової відмітки, і може включати в себе "0", щоб вказати, що немає поля 626 часової відмітки. Після здійснення синтаксичного аналізу заголовка 610 пакета даних і визначення, що є поле 626 часової відмітки, пристрій 120 джерела може обробити часову відмітку, включену в полі 626 часової відмітки. Після здійснення синтаксичного аналізу заголовка 610 пакета даних і визначення, що немає поля 626 часової відмітки, пристрій 120 джерела може почати здійснювати синтаксичний аналіз корисних даних 650 після здійснення синтаксичного аналізу поля 625 довжини, оскільки немає ніякого поля часової відмітки в заголовку 610 пакета даних. Якщо є, поле 626 часової відмітки може включати в себе часову відмітку для ідентифікації кадру відео даних, які були відображені в бездротовому пристрої 160 одержувача, коли були одержані дані користувацького введення корисних даних 650. Часова відмітка, наприклад, може бути додана до кадру відео за допомогою пристрою 120 джерела до того, як пристрій 120 джерела передасть кадр відео на пристрій 160 одержувача. Відповідно, пристрій 120 джерела може генерувати кадр відео і включити у відео дані кадру, як метадані, наприклад, часову відмітку. Пристрій 120 джерела може передати відео кадр з часовою відміткою на пристрій 160 одержувача, і пристрій 160 одержувача може відображати кадр відео. У той час як кадр відео відображається пристроєм 160 одержувача, пристрій 160 одержувача може прийняти користувацьку команду від користувача. Коли пристрій 160 одержувача генерує пакет даних для передачі користувацької команди на пристрій 120 джерела, пристрій 160 одержувача може включати в полі 626 часової відмітки часову відмітку кадру, який був відображений пристроєм 160 одержувача, коли була прийнята користувацька команда. Після прийому пакета 600 даних з полем 626 часової відмітки, яке є в заголовку, бездротовий пристрій 120 джерела може ідентифікувати кадр відео, що відображається в пристрої 160 одержувача, в той час як були одержані дані користувацького введення корисних даних 650, і обробити дані користувацького введення на основі контенту кадру, 14 UA 107151 C2 5 10 15 20 25 30 35 40 45 50 55 60 ідентифікованого часовою відміткою. Наприклад, якщо дані користувацького введення є командою дотику, застосованою до сенсорного дисплея, або натисненням покажчика миші, пристрій 120 джерела може визначити контент кадру, що відображається в той час, коли користувач застосував команду дотику до дисплея або клацнув мишею. У деяких випадках контент кадру може бути необхідний, щоб належно обробити корисні дані. Наприклад, користувацьке введення на основі дотику користувача або натиснення миші можуть залежати від того, що було показано на дисплеї під час дотику або натиснення. Дотик або натиснення можуть, наприклад, відповідати символу або опції меню. У випадках, в яких контент дисплея змінюється, часова відмітка, яка є в полі 626 часової відмітки, може бути використана пристроєм 120 джерела, щоб зіставити дотик або натиснення з коректним символом або опцією меню. Пристрій 120 джерела може додатково або альтернативно порівнювати часову відмітку в полі 626 часової відмітки з часовою відміткою, застосованою до кадру відео, що відтворюється в цей час. За допомогою порівняння часової відмітки поля 626 часової відмітки з поточною часовою відміткою пристрій 120 джерела може визначити час проходження сигналу "туди і назад". Час проходження сигналу "туди і назад" в цілому відповідає кількості часу, яка закінчується від моменту, коли кадр переданий пристроєм 120 джерела, до моменту, коли користувацьке введення на основі цього кадру прийняте назад в пристрої 120 джерела від пристрою 160 одержувача. Час проходження сигналу "туди і назад" може забезпечити пристрою 120 джерела індикацію системного часу очікування, і якщо час проходження сигналу "туди і назад" більше, ніж порогове значення, то пристрій 120 джерела може ігнорувати дані користувацького введення, що містяться в корисних даних 650, відповідно до припущення, що команда введення була застосована до застарілого кадру відображення. Коли час проходження сигналу "туди і назад" менше, ніж поріг, пристрій 120 джерела може обробити дані користувацького введення і пристосувати аудіо/відео контент, що передається у відповідь на дані користувацького введення. Пороги можуть бути програмованими, і різні типи пристроїв (або різні комбінації джерела-одержувача) можуть бути сконфігуровані для визначення різних порогів протягом часів проходження сигналу "туди і назад", яке є прийнятним. У прикладі на Фіг. 6 зарезервоване поле 623 є 8-бітовим полем, яке не включає в себе інформацію, що використовується за допомогою джерела 120 при здійсненні синтаксичного аналізу заголовка 610 пакета даних і корисних даних 650. Майбутні версії конкретного протоколу (як ідентифіковано в полі 621 версії), однак, можуть використовувати зарезервоване поле 623, коли пристрій 120 джерела може використовувати інформацію в зарезервованому полі 623 для здійснення синтаксичного аналізу заголовка 610 пакета даних і/або для здійснення синтаксичного аналізу корисних даних 650. Зарезервоване поле 623 разом з полем 621 версії потенційно забезпечує можливості для розширення і додавання ознак до формату пакета даних без істотної зміни формату і ознак, які вже використовуються. У прикладі на Фіг. 6 поле 624 категорії введення є 4-бітовим полем для ідентифікації категорії введення для даних користувацького введення, що містяться в корисних даних 650. Пристрій 160 одержувача може розподіляти по категоріях дані користувацького введення, щоб визначити категорію введення. Розподіл по категоріях даних користувацького введення може, наприклад, бути оснований на пристрої, від якого прийнята команда, або оснований на властивостях самої команди. Значення поля 624 категорії введення, можливо разом з іншою інформацією заголовка 610 пакета даних, ідентифікує для пристрою 120 джерела, як форматовані корисні дані 650. На основі цього форматування пристрій 120 джерела може здійснити синтаксичний аналіз корисних даних 650, щоб визначити користувацьке введення, яке було прийняте в пристрої 160 одержувача. Оскільки категорія 624 введення в прикладі на Фіг. 6 становить 4 біти, шістнадцять різних категорій введення, ймовірно, можуть бути ідентифіковані. Одна така категорія введення може бути форматом родового введення, щоб вказати, що дані користувацького введення корисних даних 650 форматуються, використовуючи родові інформаційні елементи, визначені в протоколі, що виконується як пристроєм 120 джерела, так і пристроєм 160 одержувача. Формат родового введення, який буде описаний більш детально нижче, може використовувати родові інформаційні елементи, які дозволяють користувачу пристрою 160 одержувача взаємодіяти з пристроєм 120 джерела на рівні додатку. Інша така категорія введення може бути форматом команди пристрою інтерфейсу з людиною (HIDC), щоб вказати, що дані користувацького введення корисних даних 650 форматовані на основі типу пристрою введення, що використовується для прийому даних введення. Приклади типів пристроїв включають в себе клавіатуру, мишу, сенсорний пристрій введення, джойстик, камеру, пристрій захоплення жесту (такий, як оснований на камері пристрій 15 UA 107151 C2 5 10 15 20 25 30 введення) і засіб віддаленого керування. Інші типи категорій введення, які можуть бути ідентифіковані в полі 624 категорії введення, включають в себе напрямок формату введення для вказівки, що користувацькі дані в корисних даних 650 не починалися в пристрої 160 одержувача, або специфічний для операційної системи формат і формат голосової команди, щоб вказати, що корисні дані 650 включають в себе голосову команду. Поле 625 довжини може містити 16-бітове поле для вказівки довжини пакета 600 даних. Довжина, наприклад, може бути вказана в блоках з 8 бітів. Оскільки здійснюється синтаксичний аналіз пакета 600 даних за допомогою пристрою 120 джерела в словах 16 бітів, пакет 600 даних може бути заповнений до цілого числа з 16 бітів. На основі довжини, що міститься в полі 625 довжини, пристрій 120 джерела може ідентифікувати кінець корисних даних 650 (тобто кінець пакета 600 даних) і початок нового подальшого пакета даних. Різні розміри полів, забезпечених в прикладі на Фіг. 6, просто призначені, щоб бути пояснювальними, і призначені, що поля можуть бути реалізовані, використовуючи відмінні кількості бітів, ніж кількість, яка показана на Фіг. 6. Додатково, також розглянуто, що заголовок 610 пакета даних може включати в себе менше, ніж всі поля, розглянуті вище, або може використовувати додаткові поля, не розглянуті вище. Дійсно, способи даного розкриття можуть бути гнучкими відносно фактичного формату, що використовується для різних полів даних пакетів. Після здійснення синтаксичного аналізу заголовка 610 пакета даних, щоб визначити форматування корисних даних 650, пристрій 120 джерела може здійснити синтаксичний аналіз корисних даних 650, щоб визначити команду користувацького введення, яка міститься в корисних даних 650. Корисні дані 650 можуть мати свій власний заголовок корисних даних (заголовок 630 корисних даних), що вказує вміст корисних даних 650. Таким чином, пристрій 120 джерела може здійснити синтаксичний аналіз заголовка 630 корисних даних на основі здійснення синтаксичного аналізу заголовка 610 пакета даних, і потім здійснити синтаксичний аналіз залишку корисних даних 650 на основі здійснення синтаксичного аналізу заголовка 630 корисних даних. Якщо, наприклад, поле 624 категорії введення заголовка 610 пакета даних вказує, що є родове введення в корисних даних 650, то корисні дані 650 можуть мати формат родового введення. Пристрій 120 джерела може, таким чином, здійснити синтаксичний аналіз корисних даних 650 згідно з форматом родового введення. Як частина формату родового введення, корисні дані 650 можуть включати в себе послідовність з однієї або більше подій введення з кожною подією введення, що має свій власний заголовок події введення. Таблиця 1, представлена нижче, ідентифікує поля, які можуть бути включені в заголовок введення. 35 Таблиця 1 Поле ID родового IE Довга Опис 40 45 50 Розмір (октет) 1 2 змінний Значення Див. Таблицю 2 Довжина наступних полів в октетах Деталі користувацьких введень. Див. Таблиці. Поле ідентифікації (ID) події родового введення (IE) ідентифікує ідентифікацію події родового введення для ідентифікації типу введення. Поле ID родового IE може, наприклад, бути одним октетом в довжину і може включати в себе ідентифікацію, вибрану з Таблиці 2, представленої нижче. Якщо, як в цьому прикладі, поле ID родового IE становить 8 бітів, то 256 різних типів введень (ідентифікованих 0-255) можуть бути такими, що ідентифікуються, хоча не всім 256 ідентифікаціям обов'язково потрібен асоційований тип введення. Деякі з 256 можуть бути зарезервовані для майбутнього використання з майбутніми версіями незалежно від протоколу, що реалізовується пристроєм 160 одержувача та пристроєм 120 джерела. У Таблиці 2, наприклад, ідентифікації ID 9-255 родового IE не мають асоційованих типів введення, але їм можуть бути призначені типи введення в майбутньому. Поле довжини в заголовку події введення ідентифікує довжину поля опису, в той час як поле опису включає в себе інформаційні елементи, які описують користувацьке введення. Форматування поля опису може залежати від типу введення, ідентифікованого в полі ID родового IE. Таким чином, пристрій 120 джерела може здійснити синтаксичний аналіз поля опису, що міститься на основі типу введення, ідентифікованого в полі ID родового IE. На основі поля довжини заголовка події введення пристрій 120 джерела може визначити кінець однієї події введення в корисних даних 650 і початок нової події введення. Як буде пояснено більш 16 UA 107151 C2 детально нижче, одна користувацька команда може бути описана в корисних даних 650 як одна або більше подій введення. Таблиця 2 забезпечує приклад типів введення з відповідною ID родового IE, яка може бути використана для ідентифікації типу введення. 5 Таблиця 2 ID родового Тип введення IE 0 Ліва кнопка миші вниз/дотик вниз Ліва кнопка миші вгору/ дотик 1 вгору 2 Рух мишею/рух дотику 3 Клавіша вниз 4 Клавіша вниз 5 Зміна масштабу 6 Вертикальне прокручування 7 Горизонтальне прокручування 8 Обертання 9-255 Зарезервований 10 Поля опису, асоційовані з кожним типом введення, можуть мати різний формат. Поля опису події "Ліва кнопка миші вниз/дотик вниз", події "Ліва кнопка миші вгору/дотик вгору" і події "Рух мишею/рух дотику" можуть, наприклад, включати в себе інформаційні елементи, ідентифіковані в Таблиці 3, представленій нижче, хоча інші формати можуть бути також використані в інших прикладах. Таблиця 3 Поле Розмір (октет) Кількість покажчиків (N) 1 Примітки Кількість покажчиків події руху за допомогою множинних дотиків. Коли встановлено у 1, вказує подію руху за допомогою єдиного дотику Для i=1:N{ ID покажчика X-координата 20 25 2 Y-координата} 15 1 2 Номер ідентифікації цього покажчика. Значення знаходиться в проміжку [0,1,…] X-координата для події, нормалізованої відносного узгодженого розрізнення потоку відео між пристроєм одержувача та пристроєм джерела Y-координата для події, нормалізованої відносного узгодженого розрізнення потоку відео між пристроєм одержувача і пристроєм джерела Кількість покажчиків може ідентифікувати кількість дотиків або натиснень миші, асоційованих з подією введення. Кожний покажчик може мати унікальний ID покажчика. Якщо, наприклад, подія множинних дотиків включає в себе три дотики пальцем, то подія введення може мати три покажчики, кожний з унікальним ID покажчика. Кожний покажчик (тобто, кожний дотик пальцем) може мати відповідну х-координату та у-координату, що відповідає тому, де мав місце дотик. Єдина користувацька команда може бути описана як послідовність подій введення. Наприклад, якщо ковзання трьома пальцями є командою закрити додаток, ковзання трьома пальцями може бути описане в корисних даних 650 як подія дотику вниз трьома покажчиками, подія руху дотику трьома покажчиками і подія дотику вгору трьома покажчиками. Три покажчики події дотику вниз можуть мати одні і ті самі ідентифікатори ID покажчика, що і три покажчики події руху дотику і події дотику вгору. Пристрій 120 джерела може інтерпретувати комбінацію цих трьох подій введення як ковзання трьома пальцями. Поля опис події "Клавіша вниз" або події "Клавіша вгору" можуть, наприклад, включати в себе інформаційні елементи, ідентифіковані в Таблиці 4, представленій нижче.17 UA 107151 C2 Таблиця 4 Поле Зарезервовано Код клавіші 1 (ASCII) Код клавіші 2 (ASCII) Розмір (октет) Примітки 1 зарезервовано Код клавіші першої події "клавіша вниз або вгору". Основний/розширений код ASCII використовує 2 молодший один байт. Старший один байт зарезервований для майбутнього ASCII-сумісного коду клавіші Код клавіші другої події "клавіша вниз або вгору". Основний/розширений код ASCII використовує 2 молодший один байт. Старший один байт зарезервований для майбутнього ASCII-сумісного коду клавіші Поле опису події зміни масштабу може, наприклад, включати в себе інформаційні елементи, ідентифіковані в Таблиці 5, представленій нижче. Таблиця 5 Поле Розмір (октет) X 2 Y 2 Ціле число помножити на зміну масштабу Дробове число помножити на зміну масштабу 1 Примітки Опорна X-координата для операції зміни масштабу, нормалізованої відносно узгодженого розрізнення відео потоку між пристроєм одержувача та пристроєм джерела Опорна Y-координата для операції зміни масштабу, нормалізованої відносно узгодженого розрізнення відео потоку між пристроєм одержувача та пристроєм джерела Беззнакова ціла частина кількості разів на зміну масштабу Дробова частина кількості разів на зміну масштабу 1 5 Поле опису події горизонтального прокручування або події вертикального прокручування може, наприклад, включати в себе інформаційні елементи, ідентифіковані в Таблиці 6, представлені нижче. Таблиця 6 Поле Величина для прокручування Розмір (октет) 2 Примітка Кількість пікселів для прокручування, нормалізованого відносно узгодженого розрізнення відео потоку між пристроєм одержувача та пристроєм джерела. Негативне число може вказувати на прокручування направо, і позитивне число може вказувати на прокручування наліво. 10 15 20 Вищезазначені приклади показали деякі зразкові способи, якими можуть бути відформатовані корисні дані для категорії родового введення. Якщо поле 624 категорії введення заголовка 610 пакета даних вказує відмінну категорію введення, таку як направлене користувацьке введення, то корисні дані 650 можуть мати відмінний формат введення. З направленим користувацьким введенням пристрій 160 одержувача може прийняти дані користувацького введення від пристрою третьої сторони і направити введення на пристрій 120 джерела, не інтерпретуючи дані користувацького введення. Пристрій 120 джерела може, таким чином, здійснити синтаксичний аналіз корисних даних 650 згідно з направленим форматом користувацького введення. Наприклад, заголовок 630 корисних даних корисних даних 650 може включати в себе поле для ідентифікації пристрою третьої сторони, від якого було одержане користувацьке введення. Поле може, наприклад, включати в себе адресу Інтернет-протоколу 18 UA 107151 C2 5 10 15 20 25 30 35 40 45 50 55 60 (IP) пристрою третьої сторони, MAC адресу, доменне ім'я або деякий інший такий ідентифікатор. Пристрій 120 джерела може здійснити синтаксичний аналіз залишку корисних даних на основі ідентифікатора пристрою третьої сторони. Пристрій 160 одержувача може узгодити можливості з пристроєм третьої сторони за допомогою послідовності повідомлень. Пристрій 160 одержувача може потім передати унікальний ідентифікатор пристрою третьої сторони на пристрій 120 джерела як частину встановлення сеансу зв'язку з пристроєм 120 джерела як частину процесу узгодження можливостей. Альтернативно, пристрій 160 одержувача може передати інформацію, що описує пристрій третьої сторони, на пристрій 120 джерела, і на основі цієї інформації пристрій 120 джерела може визначити унікальний ідентифікатор для пристрою третьої сторони. Інформація, що описує пристрій третьої сторони, може, наприклад, включати в себе інформацію для ідентифікації пристрою третьої сторони і/або інформацію для ідентифікації можливостей пристрою третьої сторони. Незалежно від того, чи визначені унікальні ідентифікатори за допомогою пристрою 120 джерела або пристрою 160 одержувача, коли пристрій 160 одержувача передає пакети даних з користувацьким введенням, одержаним від пристрою третьої сторони, пристрій 160 одержувача може включати унікальний ідентифікатор в пакет даних в заголовку корисних даних, наприклад, таким чином, щоб пристрій 120 джерела міг ідентифікувати походження користувацького введення. Якщо поле 624 категорії введення заголовка 610 пакета даних все ще вказує відмінну категорію введення, таку як голосова команда, то корисні дані 650 можуть всі ще мати відмінний формат введення. Для голосової команди корисні дані 650 можуть включати в себе закодоване аудіо. Кодек для кодування і декодування аудіо голосової команди може бути узгоджений між пристроєм 120 джерела і пристроєм 160 одержувача за допомогою послідовності повідомлень. Для передачі голосової команди поле 626 часової відмітки може включати в себе значення часу дискретизації мовного сигналу. У такому випадку прапор 622 часової відмітки може бути встановлений для вказівки, що є часова відмітка, але замість часової відмітки, яка описана вище, поле 626 часової відмітки може включати в себе значення часу дискретизації мовного сигналу для закодованого аудіо корисних даних 650. У деяких прикладах голосова команда може бути передана як родова команда, як описано вище, в цьому випадку поле 624 категорії введення може бути встановлене для ідентифікації формату родової команди, і одна із зарезервованих ідентифікацій родових IE може бути призначена на голосові команди. Якщо голосова команда передана як родова команда, то частота дискретизації мовного сигналу може бути присутньою в полі 626 часової відмітки заголовка 610 пакета даних або може бути присутньою в корисних даних 650. Для захоплених даних про голосову команду голосові дані можуть бути інкапсульовані множинними способами. Наприклад, дані голосової команди можуть бути інкапсульовані, використовуючи RTP, який може забезпечити тип корисних даних, щоб ідентифікувати кодек і часову відмітку, з часовою відміткою, що використовується для ідентифікації частоти дискретизації. Дані RTP можуть бути інкапсульовані, використовуючи формат родового користувацького введення, описаний вище, або з або без опційної часової відмітки. Пристрій 160 одержувача може передати дані родового введення, які переносять дані голосової команди, на пристрій 120 джерела, використовуючи TPC/IP. Як розглянуто раніше, коли координати включені як частина пакета даних, такого як пакет 600 даних, в корисні дані 650, наприклад, координати можуть відповідати координатам, масштабованим на основі узгодженого розрізнення, координатам вікна екрана дисплея, нормалізованим координатам або координатам, асоційованим з дисплеєм одержувача. У деяких випадках додаткова інформація може бути включена або в пакет даних або передана окремо для використання за допомогою пристрою джерела, щоб нормалізувати координати, прийняті в пакеті даних. Незалежно від категорії введення для конкретного пакета даних, заголовок пакета даних може бути заголовком пакета рівня додатків, і пакет даних може бути переданий по TCP/IP. TCP/IP може дозволити пристрою 160 одержувача та пристрою 120 джерела виконувати способи повторної передачі у випадку втрати пакета. Пакет даних може бути посланий від пристрою 160 одержувача на пристрій 120 джерела, щоб керувати аудіо даними або відео даними пристрою 120 джерела, або для інших цілей, наприклад, щоб керувати додатком, працюючим на пристрої 120 джерела. Фіг. 7A є блок-схемою зразкового способу узгодження можливостей між пристроєм одержувача та пристроєм джерела. Ілюстрований зразковий спосіб може бути виконаний пристроєм 160 одержувача (Фіг. 1A) або пристроєм 360 одержувача (Фіг. 3). У деяких прикладах зчитуваний комп'ютером запам'ятовуючий носій (наприклад, пам'ять 332) може зберігати 19 UA 107151 C2 5 10 15 20 25 30 35 40 45 50 55 команди, модулі або алгоритми, які при виконанні змушують один або більше процесорів (наприклад, процесор 331) виконувати один або більше ілюстрованих етапів в одній або більше з блок-схем, описаних в даному описі. Спосіб згідно з Фіг. 7A включає в себе пристрій 160 одержувача, що приймає від пристрою 120 джерела перше повідомлення (етап 701). Повідомлення може, наприклад, містити запит одержання параметра. У відповідь на перше повідомлення пристрій 160 одержувача може послати друге повідомлення на пристрій 120 джерела (етап 703). Друге повідомлення може, наприклад, містити відповідь одержання параметра, яка ідентифікує перший список категорій введення, що підтримуються, і множину перших списків типів, що підтримуються, причому кожна з категорій введення, що підтримуються, з першого списку категорій введення, що підтримуються, має асоційований перший список типів, що підтримуються. Категорії введення, що підтримуються, можуть, наприклад, відповідати тим самим категоріям, що використовуються для поля 624 категорії введення на Фіг. 6. Таблиця 2, представлена вище, представляє один приклад типів, що підтримуються, для конкретної категорії введення (родові введення в цьому прикладі). Пристрій 160 одержувача може прийняти від пристрою 120 джерела третє повідомлення (етап 705). Третє повідомлення може, наприклад, містити запит встановлення параметра, причому запит встановлення параметра ідентифікує порт для зв'язку, другий список категорій введення, що підтримуються, і множину других списків типів, що підтримуються, де кожна з категорій введення, що підтримуються, з другого списку категорій введення, що підтримуються, має асоційований другий список типів, що підтримуються, і кожний з типів, що підтримуються, з других списків включає в себе піднабір типів з перших списків. Пристрій 160 одержувача може передати на пристрій 120 джерела четверте повідомлення (етап 707). Четверте повідомлення може, наприклад, містити відповідь встановлення параметра, щоб підтвердити, що типи других списків були дозволені. Пристрій 160 одержувача може прийняти від пристрою 120 джерела п'яте повідомлення (етап 709). П'яте повідомлення може, наприклад, містити другий запит встановлення параметра, який вказує, що канал зв'язку між пристроєм 120 джерела і пристроєм 160 одержувача був дозволений. Канал зв'язку може, наприклад, містити зворотний канал користувацького введення (UIBC). Пристрій 160 одержувача може передати на пристрій 120 джерела шосте повідомлення (етап 711). Шосте повідомлення може, наприклад, містити другу відповідь встановлення параметра, яка підтверджує прийом другого запиту встановлення параметра за допомогою пристрою 160 одержувача. Фіг. 7B є блок-схемою зразкового способу узгодження можливостей між пристроєм одержувача та пристроєм джерела. Ілюстрований зразковий спосіб може бути виконаний пристроєм 120 джерела (Фіг. 1A) або пристроєм 220 джерела (Фіг. 2). У деяких прикладах зчитуваний комп'ютером запам'ятовуючий носій (наприклад, пам'ять 232) може зберігати команди, модулі або алгоритми, які при виконанні змушують один або більше процесорів (наприклад, процесор 231) виконувати один або більше ілюстрованих етапів у цій блок-схемі. Спосіб згідно з Фіг. 7B включає в себе пристрій 120 джерела, що передає на пристрій 160 одержувача перше повідомлення (702). Перше повідомлення може, наприклад, містити запит одержання параметра. Пристрій 120 джерела може прийняти друге повідомлення від пристрою 160 одержувача (704). Друге повідомлення може, наприклад, містити відповідь одержання параметра, яка ідентифікує перший список категорій введення, що підтримуються, і множину перших списків типів, що підтримуються, причому кожна з категорій введення, що підтримуються, з першого списку категорій введення, що підтримуються, має асоційований перший список типів, що підтримуються. Пристрій 120 джерела може передати на пристрій 160 одержувача третє повідомлення (706). Третє повідомлення може, наприклад, містити запит встановлення параметра, який ідентифікує порт для передачі даних, другий список категорій введення, що підтримуються, і множину других списків типів, що підтримуються, кожна з категорій введення, що підтримуються, з другого списку категорій введення, що підтримуються, має асоційований другий список типів, що підтримуються, і кожний з типів, що підтримуються, з других списків включає в себе піднабір типів з перших списків. Пристрій 120 джерела може прийняти від пристрою 160 одержувача четверте повідомлення (708). Четверте повідомлення може, наприклад, містити відповідь встановлення параметра, щоб підтвердити, що типи других списків були дозволені. Пристрій 120 джерела може передати на пристрій 160 одержувача п'яте повідомлення (710). П'яте повідомлення може, наприклад, містити другий запит встановлення параметра, який вказує, що канал зв'язку між пристроєм 120 джерела та пристроєм 160 одержувача був дозволений. Канал зв'язку може, наприклад, містити зворотний канал користувацького введення (UIBC). Пристрій 120 джерела може прийняти від пристрою 160 одержувача шосте повідомлення (712). Шосте повідомлення може, наприклад, містити другу 20 UA 107151 C2 5 10 15 20 25 30 35 40 45 50 55 60 відповідь встановлення параметра, яка підтверджує прийом другого запиту встановлення параметра за допомогою пристрою 160 одержувача. Фіг. 8 А є блок-схемою зразкового способу передачі даних користувацького введення від бездротового пристрою одержувача на бездротовий пристрій джерела відповідно до даного розкриття. Ілюстрований зразковий спосіб може бути виконаний пристроєм 160 одержувача (Фіг. 1A) або пристроєм 360 одержувача (Фіг. 3). У деяких прикладах зчитуваний комп'ютером запам'ятовуючий носій (наприклад, пам'ять 332) може зберігати команди, модулі або алгоритми, які при виконанні змушують один або більше процесорів (наприклад, процесор 331) виконувати один або більше ілюстрованих етапів у блок-схемі. Спосіб згідно з Фіг. 8A включає в себе одержання даних користувацького введення в бездротовому пристрої одержувача, такому як бездротовий пристрій 160 одержувача (801). Дані користувацького введення можуть бути одержані через компонент користувацького введення бездротового пристрою 160 одержувача, такий як, наприклад, інтерфейс 376 користувацького введення, показаний відносно бездротового пристрою 360 одержувача. Додатково, пристрій 160 одержувача може розбивати на категорії дані користувацького введення як, наприклад, родові, направлені або специфічні для операційної системи. Пристрій 160 одержувача може потім генерувати заголовок пакета даних на основі даних користувацького введення (803). Заголовок пакета даних може бути заголовком пакета рівня додатків. Заголовок пакета даних може містити, серед інших полів, поле для ідентифікації категорії введення, що відповідає даним користувацького введення. Категорія введення може містити, наприклад, формат родового введення або команду пристрою інтерфейсу людини. Пристрій 160 одержувача може додатково генерувати пакет даних (805), де пакет даних містить згенерований заголовок пакета даних та корисні дані. В одному прикладі корисні дані можуть включати в себе прийняті дані користувацького введення і можуть ідентифікувати одну або більше користувацьких команд. Пристрій 160 одержувача може потім передати згенерований пакет даних (807) на бездротовий пристрій джерела (наприклад, пристрій 120 джерела згідно з Фіг. 1A або пристрій 220 джерела згідно з Фіг. 2). Пристрій 160 одержувача може містити компоненти, які дозволяють передачу пакетів даних, що включають в себе транспортний блок 333 і бездротовий модем 334, як показано на Фіг. 3, наприклад. Пристрій 160 одержувача може передати пакет даних по TCP/IP. Фіг. 8B є блок-схемою зразкового способу прийому даних користувацького введення від бездротового пристрою одержувача в бездротовому пристрої джерела відповідно до даного розкриття. Ілюстрований зразковий спосіб може бути виконаний пристроєм 120 джерела (Фіг. 1A) або пристроєм 220 джерела (Фіг. 2). У деяких прикладах зчитуваний комп'ютером запам'ятовуючий носій (наприклад, пам'ять 232) може зберігати команди, модулі або алгоритми, які при виконанні змушують один або більше процесорів (наприклад, процесор 231) виконувати один або більше ілюстрованих етапів у блок-схемі. Спосіб згідно з Фіг. 8B включає в себе прийом пакета даних (етап 802), де пакет даних може містити, серед всього іншого, заголовок пакета даних і корисні дані. Корисні дані можуть включати в себе, наприклад, дані користувацького введення. Пристрій 120 джерела може містити компоненти зв'язку, які дозволяють передачу пакетів даних, що включають в себе транспортний блок 233 і бездротовий модем 234, наприклад, як показано з посиланнями на фіг. 2. Пристрій 120 джерела може потім здійснити синтаксичний аналіз заголовка пакета даних (804), включеного в пакет даних, щоб визначити категорію введення, асоційовану з даними користувацького введення, що містяться в корисних даних. Пристрій 120 джерела може обробити корисні дані на основі визначеної категорії введення (806). Пакети даних, описані з посиланнями на Фіг. 8А та 8B, в цілому можуть приймати форму пакетів даних, описаних з посиланнями на Фіг. 6, і можуть бути використані для керування аудіо/відео даними і додатками в пристрої джерела. Фіг. 9A є блок-схемою зразкового способу передачі даних користувацького введення від бездротового пристрою одержувача на бездротовий пристрій джерела відповідно до даного розкриття. Ілюстрований зразковий спосіб може бути виконаний пристроєм 160 одержувача (Фіг. 1A) або пристроєм 360 одержувача (Фіг. 3). У деяких прикладах зчитуваний комп'ютером запам'ятовуючий носій (наприклад, пам'ять 332) може зберігати команди, модулі або алгоритми, які при виконанні змушують один або більше процесорів (наприклад, процесор 331) виконувати один або більше ілюстрованих етапів у блок-схемі. Спосіб згідно з Фіг. 9A включає в себе одержання даних користувацького введення в бездротовому пристрої одержувача, такому як бездротовий пристрій 160 одержувача (901). Дані користувацького введення можуть бути одержані через компонент користувацького введення бездротового пристрою 160 одержувача такий як, наприклад, інтерфейс 376 користувацького введення, показаний з посиланнями на Фіг. 3. Пристрій 160 одержувача може потім генерувати 21 UA 107151 C2 5 10 15 20 25 30 35 40 45 50 55 60 корисні дані (903), де корисні дані можуть описувати дані користувацького введення. В одному прикладі корисні дані можуть включати в себе прийняті дані користувацького введення і можуть ідентифікувати одну або більше користувацьких команд. Пристрій 160 одержувача може додатково генерувати пакет даних (905), де пакет даних містить заголовок пакета даних і згенеровані корисні дані. Пристрій 160 одержувача може потім передати згенерований пакет даних (907) на бездротовий пристрій джерела (наприклад, пристрій 120 джерела згідно з Фіг. 1A або пристрій 220 джерела згідно з Фіг. 2). Пристрій 160 одержувача може містити компоненти, які дозволяють передачу пакетів даних, такі як транспортний блок 333 і бездротовий модем 334, наприклад. Пакет даних може бути переданий на бездротовий пристрій джерела по TCP/IP. Фіг. 9В є блок-схемою зразкового способу прийому даних користувацького введення від бездротового пристрою одержувача в бездротовому пристрої джерела відповідно до даного розкриття. Ілюстрований зразковий спосіб може бути виконаний пристроєм 120 джерела (Фіг. 1A) або пристроєм 220 джерела (Фіг. 2). У деяких прикладах зчитуваний комп'ютером запам'ятовуючий носій (наприклад, пам'ять 232) може зберігати команди, модулі або алгоритми, які при виконанні змушують один або більше процесорів (наприклад, процесор 231) виконувати один або більше ілюстрованих етапів у блок-схемі. Спосіб згідно з Фіг. 9B включає в себе прийом пакета даних від пристрою 360 одержувача (902), де пакет даних може містити, серед іншого, заголовок пакета даних і корисні дані. В одному прикладі корисні дані можуть містити, наприклад, дані, що описують деталі користувацького введення, наприклад, значення типу введення. Пристрій 120 джерела може містити компоненти зв'язку, які дозволяють передачу пакетів даних, що включають в себе транспортний блок 233 і бездротовий модем 234, наприклад, як показано з посиланнями на Фіг. 2. Пристрій 120 джерела може потім здійснити синтаксичний аналіз пакета даних (904), щоб визначити значення типу введення в полі типу введення в корисних даних. Пристрій 120 джерела може обробити дані, що описують деталі користувацького введення, на основі визначеного значення типу введення (906). Пакети даних, описані з посиланнями на Фіг. 9А та 9B, в цілому можуть приймати форму пакетів даних, описаних з посиланнями на Фіг. 6. Фіг. 10A є блок-схемою зразкового способу передачі даних користувацького введення від бездротового пристрою одержувача на бездротовий пристрій джерела відповідно до даного розкриття. Ілюстрований зразковий спосіб може бути виконаний пристроєм 160 одержувача (Фіг. 1A) або пристроєм 360 одержувача (Фіг. 3). У деяких прикладах зчитуваний комп'ютером запам'ятовуючий носій (наприклад, пам'ять 332) може зберігати команди, модулі або алгоритми, які при виконанні змушують один або більше процесорів (наприклад, процесор 331) виконувати один або більше ілюстрованих етапів у цій блок-схемі. Спосіб згідно з Фіг. 10A включає в себе одержання даних користувацького введення в бездротовому пристрої одержувача, такому як бездротовий пристрій 160 одержувача (1001). Дані користувацького введення можуть бути одержані через компонент користувацького введення бездротового пристрою 160 одержувача, такий як, наприклад, інтерфейс 376 користувацького введення, як показано з посиланнями на Фіг. 3. Пристрій 160 одержувача може потім генерувати заголовок пакета даних на основі користувацького введення (1003). Заголовок пакета даних може містити, серед інших полів, прапор часової відмітки (наприклад, 1-бітове поле), щоб вказати, чи є поле часової відмітки в заголовку пакета даних. Прапор часової відмітки може, наприклад, включати в себе "1", щоб вказати, що є поле часової відмітки, і може включати в себе "0", щоб вказати, що немає поля часової відмітки. Поле часової відмітки може бути, наприклад, 16-бітовим полем, що містить часову відмітку, згенеровану пристроєм 120 джерела і додану до відео даних до передачі. Пристрій 160 одержувача може додатково генерувати пакет даних (1005), де пакет даних містить згенерований заголовок пакета даних і корисні дані. В одному прикладі корисні дані можуть включати в себе прийняті дані користувацького введення і можуть ідентифікувати одну або більше користувацьких команд. Пристрій 160 одержувача може потім передати згенерований пакет даних (1007) на бездротовий пристрій джерела (наприклад, пристрій 120 джерела на Фіг. 1A або пристрій 220 джерела на Фіг. 2). Пристрій 160 одержувача може містити компоненти, які дозволяють передачу пакетів даних, що включають в себе транспортний блок 333 і бездротовий модем 334, наприклад, як показано з посиланнями на фіг. 3. Пакет даних може бути переданий на бездротовий пристрій джерела по TCP/IP. Фіг. 10B є блок-схемою зразкового способу прийому даних користувацького введення від бездротового пристрою одержувача в бездротовому пристрої джерела відповідно до даного розкриття. Ілюстрований зразковий спосіб може бути виконаний пристроєм 120 джерела (Фіг. 1A) або пристроєм 220 джерела (Фіг. 2). У деяких прикладах зчитуваний комп'ютером запам'ятовуючий носій (наприклад, пам'ять 232) може зберігати команди, модулі або алгоритми, 22 UA 107151 C2 5 10 15 20 25 30 35 40 45 50 55 60 які при виконанні змушують один або більше процесорів (наприклад, процесор 231) виконувати один або більше ілюстрованих етапів у блок-схемі. Спосіб згідно з Фіг. 10B включає в себе прийом пакета даних від бездротового пристрою 160 одержувача (1002), де пакет даних може містити, серед всього іншого, заголовок пакета даних і корисні дані. Корисні дані можуть включати в себе, наприклад, дані користувацького введення. Пристрій 120 джерела може містити компоненти зв'язку, які дозволяють передачу пакетів даних, що включають в себе транспортний блок 233 і бездротовий модем 234, наприклад, як показано з посиланнями на фіг. 2. Пристрій 120 джерела може потім здійснити синтаксичний аналіз заголовка пакета даних (1004), включеного в пакет даних. Пристрій 120 джерела може визначити, чи є поле часової відмітки в заголовку пакета даних (1006). В одному прикладі пристрій 120 джерела може зробити визначення на основі значення прапора часової відмітки, включеного в заголовок пакета даних. Якщо заголовок пакета даних включає в себе поле часової відмітки, пристрій 120 джерела може обробити корисні дані на основі часової відмітки, яка знаходиться в полі часової відмітки (1008). Пакети даних, описані з посиланнями на Фіг. 10А та 10B, в цілому можуть приймати форму пакетів даних, описаних з посиланнями на Фіг. 6, і можуть бути використані для керування аудіо/відео даними в пристрої джерела. Фіг. 11 А є блок-схемою зразкового способу передачі даних користувацького введення від бездротового пристрою одержувача на бездротовий пристрій джерела відповідно до даного розкриття. Ілюстрований зразковий спосіб може бути виконаний пристроєм 160 одержувача (Фіг. 1A) або пристроєм 360 одержувача (Фіг. 3). У деяких прикладах зчитуваний комп'ютером запам'ятовуючий носій (наприклад, пам'ять 332) може зберігати команди, модулі або алгоритми, які при виконанні змушують один або більше процесорів (наприклад, процесор 331) виконувати один або більше ілюстрованих етапів у блок-схемі. Спосіб згідно з Фіг. 11A включає в себе одержання даних користувацького введення в бездротовому пристрої одержувача, такому як бездротовий пристрій 160 одержувача (1101). Дані користувацького введення можуть бути одержані через компонент користувацького введення бездротового пристрою 160 одержувача, такий як, наприклад, інтерфейс 376 користувацького введення, показаний з посиланнями на фіг. 3. Пристрій 160 одержувача може потім генерувати заголовок пакета даних на основі користувацького введення (1103). Заголовок пакета даних може містити, серед інших полів, поле часової відмітки. Поле часової відмітки може містити, наприклад, 16-бітове поле, що містить часову відмітку, основану на мультимедійних даних, які були згенеровані бездротовим пристроєм 120 джерела і передані на бездротовий пристрій 160 одержувача. Часова відмітка могла бути додана до кадру відео даних за допомогою бездротового пристрою 120 джерела до передачі на бездротовий пристрій одержувача. Поле часової відмітки може, наприклад, ідентифікувати часову відмітку, асоційовану з кадром відео даних, що відображається в бездротовому пристрої 160 одержувача, в той час, коли були захоплені дані користувацького введення. Пристрій 160 одержувача може додатково генерувати пакет даних (1105), де пакет даних містить згенерований заголовок пакета даних і корисні дані. В одному прикладі корисні дані можуть включати в себе прийняті дані користувацького введення і можуть ідентифікувати одну або більше користувацьких команд. Пристрій 160 одержувача може потім передати згенерований пакет даних (1107) на бездротовий пристрій джерела (наприклад, пристрій 120 джерела згідно з Фіг. 1A або пристрій 220 джерела згідно з Фіг. 2). Пристрій 160 одержувача може містити компоненти, які дозволяють передачу пакетів даних, що включають в себе транспортний блок 333 і бездротовий модем 334, наприклад, як показано з посиланнями на фіг. 3. Пакет даних може бути переданий на бездротовий пристрій джерела по TCP/IP. Фіг. 11B є блок-схемою зразкового способу прийому даних користувацького введення від бездротового пристрою одержувача в бездротовому пристрої джерела відповідно до даного розкриття. Ілюстрований зразковий спосіб може бути виконаний пристроєм 120 джерела (Фіг. 1A) або пристроєм 220 джерела (Фіг. 2). У деяких прикладах зчитуваний комп'ютером запам'ятовуючий носій (наприклад, пам'ять 232) може зберігати команди, модулі або алгоритми, які при виконанні змушують один або більше процесорів (наприклад, процесор 231) виконувати один або більше ілюстрованих етапів у блок-схемі. Спосіб згідно з Фіг. 11B включає в себе прийом пакета даних від бездротового пристрою одержувача, такого як бездротовий пристрій 160 одержувача (1102), де пакет даних може містити, серед всього іншого, заголовок пакета даних і корисні дані. Корисні дані можуть включати в себе, наприклад, дані користувацького введення. Пристрій 120 джерела може містити компоненти зв'язку, які дозволяють передачу пакетів даних, що включають в себе транспортний блок 233 і бездротовий модем 234, наприклад, як показано з посиланнями на фіг. 2. Пристрій 120 джерела може потім ідентифікувати поле часової відмітки в заголовку пакета 23 UA 107151 C2 5 10 15 20 25 30 35 40 45 50 55 60 даних (1104). Пристрій 120 джерела може обробити корисні дані на основі часової відмітки, яка знаходиться в полі часової відмітки (1106). Як частина обробки даних корисних даних, на основі часової відмітки пристрій 120 джерела може ідентифікувати кадр відео даних, що відображається в бездротовому пристрої одержувача в той час, коли були одержані дані користувацького введення, і інтерпретувати корисні дані на основі контенту кадру. Як частина обробки корисних даних, на основі часової відмітки пристрій 120 джерела може порівняти часову відмітку з поточною часовою відміткою для поточного кадру відео, що передається пристроєм 120 джерела, і може виконати команду користувацького введення, описану в корисних даних, у відповідь на різницю у часі між часовою відміткою та поточною часовою відміткою, яка менше, ніж порогове значення, або не виконати команду користувацького введення, описану в корисних даних, у відповідь на різницю у часі між часовою відміткою та поточною часовою відміткою, яка більше, ніж порогове значення. Пакети даних, описані з посиланнями на Фіг. 11А та 11B, в цілому можуть приймати форму пакетів даних, описаних з посиланнями на Фіг. 6, і можуть бути використані для керування аудіо/відео даними в пристрої джерела. Фіг. 12A є блок-схемою зразкового способу передачі даних користувацького введення від бездротового пристрою одержувача на бездротовий пристрій джерела відповідно до даного розкриття. Ілюстрований зразковий спосіб може бути виконаний пристроєм 160 одержувача (Фіг. 1A) або пристроєм 360 одержувача (Фіг. 3). У деяких прикладах зчитуваний комп'ютером запам'ятовуючий носій (наприклад, пам'ять 332) може зберігати команди, модулі або алгоритми, які при виконанні змушують один або більше процесорів (наприклад, процесор 331) виконувати один або більше ілюстрованих етапів у блок-схемі. Спосіб згідно з Фіг. 12A включає в себе одержання даних користувацького введення в бездротовому пристрої одержувача, такому як бездротовий пристрій 160 одержувача (1201). В одному прикладі дані користувацького введення можуть бути даними голосової команди, які можуть бути одержані через компонент користувацького введення бездротового пристрою 160 одержувача, такий як, наприклад, модуль розпізнавання голосової команди, включений в інтерфейс 376 користувацького введення на Фіг. 3. Пристрій 160 одержувача може генерувати заголовок пакета даних на основі користувацького введення (1203). Пристрій 160 одержувача може також генерувати корисні дані (1205), де корисні дані можуть містити дані голосової команди. В одному прикладі корисні дані можуть також включати в себе прийняті дані користувацького введення і можуть ідентифікувати одну або більше користувацьких команд. Пристрій 160 одержувача може додатково генерувати пакет даних (1207), де пакет даних містить згенерований заголовок пакета даних і корисні дані. Пристрій 160 одержувача може потім передати згенерований пакет даних (1209) на бездротовий пристрій джерела (наприклад, пристрій 120 джерела згідно з Фіг. 1A або пристрій 220 джерела згідно з Фіг. 2). Пристрій 160 одержувача може містити компоненти, які дозволяють передачу пакетів даних, що включають в себе транспортний блок 333 і бездротовий модем 334, наприклад, як показано з посиланнями на фіг. 3. Пакет даних може бути переданий на бездротовий пристрій джерела по TCP/IP. Фіг. 12B є блок-схемою зразкового способу прийому даних користувацького введення від бездротового пристрою одержувача в бездротовому пристрої джерела відповідно до даного розкриття. Ілюстрованийзразковий спосіб може бути виконаний пристроєм 120 джерела (Фіг. 1 А) або пристроєм 220 джерела (Фіг. 2). У деяких прикладах зчитуваний комп'ютером запам'ятовуючий носій (наприклад, пам'ять 232) може зберігати команди, модулі або алгоритми, які при виконанні змушують один або більше процесорів (наприклад, процесор 231) виконувати один або більше ілюстрованих етапів у блок-схемі. Спосіб згідно з Фіг. 12B включає в себе прийом пакета даних (1202), де пакет даних може містити, серед всього іншого, заголовок пакета даних і корисні дані. Корисні дані можуть включати в себе, наприклад, дані користувацького введення, такі як дані голосової команди. Пристрій 120 джерела може містити компоненти зв'язку, які дозволяють передачу пакетів даних, що включають в себе транспортний блок 233 і бездротовий модем 234, наприклад, як показано з посиланнями на фіг. 2. Пристрій 120 джерела може потім здійснити синтаксичний аналіз корисних даних (1204), включених в пакет даних, щоб визначити, чи містять корисні дані дані голосової команди. Пакети даних, описані з посиланнями на Фіг. 12А та 12B, в цілому можуть приймати форму пакетів даних, описаних з посиланнями на Фіг. 6, і можуть бути використані для керування аудіо/відео даними в пристрої джерела. Фіг. 13 А є блок-схемою зразкового способу передачі даних користувацького введення від бездротового пристрою одержувача на бездротовий пристрій джерела відповідно до даного розкриття. Ілюстрований зразковий спосіб може бути виконаний пристроєм 160 одержувача (Фіг. 1A) або пристроєм 360 одержувача (Фіг. 3). У деяких прикладах зчитуваний комп'ютером 24 UA 107151 C2 5 10 15 20 25 30 35 40 45 50 55 60 запам'ятовуючий носій (наприклад, пам'ять 332) може зберігати команди, модулі або алгоритми, які при виконанні змушують один або більше процесорів (наприклад, процесор 331) виконувати один або більше ілюстрованих етапів у блок-схемі. Спосіб згідно з Фіг. 13A включає в себе одержання даних користувацького введення в бездротовому пристрої одержувача, такому як бездротовий пристрій 160 одержувача (1301). В одному прикладі дані користувацького введення можуть бути жестом множинних дотиків, який може бути одержаний через компонент користувацького введення бездротового пристрою 160 одержувача, такий як, наприклад, UI 167 або інтерфейс 376 користувацького введення Фіг. 3. В одному прикладі жест множинних дотиків може містити перше введення даних дотиком і друге введення даних дотиком. Пристрій 160 одержувача може генерувати заголовок пакета даних на основі користувацького введення (1303). Пристрій 160 одержувача може також генерувати корисні дані (1305), де корисні дані можуть асоціювати дані користувацького введення для першої події введення дотиком з першою ідентифікацією покажчика і дані користувацького введення для другої події введення дотиком з другою ідентифікацією покажчика. Пристрій 160 одержувача може додатково генерувати пакет даних (1307), де пакет даних містить згенерований заголовок пакета даних і корисні дані. Пристрій 160 одержувача може потім передати згенерований пакет даних (1309) на бездротовий пристрій джерела (наприклад, пристрій 120 джерела згідно з Фіг. 1A пристрій 220 джерела згідно з Фіг. 2). Пристрій 160 одержувача може містити компоненти, які дозволяють передачу пакетів даних, що включають в себе транспортний блок 333 і бездротовий модем 334, наприклад, як показано з посиланнями на фіг. 3. Пакет даних може бути переданий на бездротовий пристрій джерела по TCP/IP. Фіг. 13B є блок-схемою зразкового способу прийому даних користувацького введення від бездротового пристрою одержувача в бездротовому пристрої джерела відповідно до даного розкриття. Ілюстрований зразковий спосіб може бути виконаний пристроєм 120 джерела (Фіг. 1A) або пристроєм 220 джерела (Фіг. 2). У деяких прикладах зчитуваний комп'ютером запам'ятовуючий носій (наприклад, пам'ять 232) може зберігати команди, модулі або алгоритми, які при виконанні змушують один або більше процесорів (наприклад, процесор 231) виконувати один або більше ілюстрованих етапів у блок-схемі. Спосіб згідно з Фіг. 13B включає в себе прийом пакета даних (1302), де пакет даних може містити, серед всього іншого, заголовок пакета даних і корисні дані. Корисні дані можуть включати в себе, наприклад, дані користувацького введення, такі як жест множинних дотиків. Пристрій 120 джерела може містити компоненти зв'язку, які дозволяють передачу пакетів даних, що включають в себе транспортний блок 233 і бездротовий модем 234, наприклад, як показано на Фіг. 2. Пристрій 120 джерела може потім здійснити синтаксичний аналіз корисних даних (1304), включених в пакет даних, щоб ідентифікувати дані користувацького введення, включені в корисні дані. В одному прикладі ідентифіковані дані можуть включати в себе дані користувацького введення для першої події введення дотиком з першою ідентифікацією покажчика і дані користувацького введення для другої події введення дотиком з другою ідентифікацією покажчика. Пристрій 120 джерела може потім інтерпретувати дані користувацького введення для першої події введення дотиком і дані користувацького введення для другої події введення дотиком як жест множинних дотиків (1306). Пакети даних, описані з посиланнями на Фіг. 13А та 13B, в цілому можуть приймати форму пакетів даних, описаних з посиланнями на Фіг. 6, і можуть бути використані для керування аудіо/відео даними в пристрої джерела. Фіг. 14A є блок-схемою зразкового способу передачі даних користувацького введення від бездротового пристрою одержувача на бездротовий пристрій джерела відповідно до даного розкриття. Ілюстрований зразковий спосіб може бути виконаний пристроєм 160 одержувача (Фіг. 1A) або пристроєм 360 одержувача (Фіг. 3). У деяких прикладах зчитуваний комп'ютером запам'ятовуючий носій (наприклад, пам'ять 332) може зберігати команди, модулі або алгоритми, які при виконанні змушують один або більше процесорів (наприклад, процесор 331) виконувати один або більше ілюстрованих етапів у блок-схемі. Спосіб згідно з Фіг. 14A включає в себе одержання даних користувацького введення в бездротовому пристрої 360 одержувача від зовнішнього пристрою (1401). В одному прикладі зовнішній пристрій може бути пристроєм третьої сторони, з'єднаним з пристроєм одержувача. Пристрій 160 одержувача може генерувати заголовок пакета даних на основі користувацького введення (1403). В одному прикладі заголовок пакета даних може ідентифікувати дані користувацького введення як направлені дані користувацького введення. Пристрій 160 одержувача може також генерувати корисні дані (1405), де корисні дані можуть містити дані користувацького введення. Пристрій 160 одержувача може додатково генерувати пакет даних (1407), де пакет даних може містити згенерований заголовок пакета даних і корисні дані. 25 UA 107151 C2 5 10 15 20 25 30 35 40 45 50 55 Пристрій 160 одержувача може потім передати згенерований пакет даних (1409) на бездротовий пристрій джерела (наприклад, пристрій 120 джерела згідно з Фіг. 1A пристрій 220 джерела згідно з Фіг. 2). Пристрій 160 одержувача може містити компоненти, які дозволяють передачу пакетів даних, що включають в себе транспортний блок 333 і бездротовий модем 334, наприклад, як показано з посиланнями на Фіг. 3. Пакет даних може бути переданий на бездротовий пристрій джерела по TCP/IP. Фіг. 14B є блок-схемою зразкового способу прийому даних користувацького введення від бездротового пристрою одержувача в бездротовому пристрої джерела відповідно до даного розкриття. Ілюстрований зразковий спосіб може бути виконаний пристроєм 120 джерела (Фіг. 1A) або пристроєм 220 джерела (Фіг. 2). У деяких прикладах зчитуваний комп'ютером запам'ятовуючий носій (наприклад, пам'ять 232) може зберігати команди, модулі або алгоритми, які при виконанні змушують один або більше процесорів (наприклад, процесор 231) виконувати один або більше ілюстрованих етапів у блок-схемі. Спосіб згідно з Фіг. 14B включає в себе прийом пакета даних (1402), де пакет даних може містити, серед всього іншого, заголовок пакета даних і корисні дані. Корисні дані можуть включати в себе, наприклад, дані користувацького введення, такі як команда направленого користувацького введення, що вказує, що дані користувацького введення були направлені від пристрою третьої сторони. Пристрій 120 джерела може містити компоненти зв'язку, які дозволяють передачу пакетів даних, що включають в себе транспортний блок 233 і бездротовий модем 234, наприклад, як показано з посиланнями на фіг. 2. Пристрій 120 джерела може потім здійснити синтаксичний аналіз заголовка пакета даних і може визначити, що корисні дані містять команду направленого користувацького введення (1404). Пристрій 120 джерела може потім здійснити синтаксичний аналіз корисних даних (1406), включених в пакет даних, щоб ідентифікувати ідентифікацію, асоційовану з пристроєм третьої сторони, відповідно до команди направленого користувацького введення. Пристрій 120 джерела може потім обробити корисні дані на основі ідентифікованої ідентифікації пристрою третьої сторони (1408). Пакети даних, описані з посиланнями на Фіг. 14А та 14B, загалом можуть приймати форму пакетів даних, описаних з посиланнями на Фіг. 6, і можуть бути використані для керування аудіо/відео даними в пристрої джерела. Фіг. 15A є блок-схемою зразкового способу передачі користувацьких даних від бездротового пристрою одержувача на бездротовий пристрій джерела відповідно до даного розкриття. Ілюстрований зразковий спосіб може бути виконаний пристроєм 160 одержувача (Фіг. 1A) або пристроєм 360 одержувача (Фіг. 3). У деяких прикладах зчитуваний комп'ютером запам'ятовуючий носій (наприклад, пам'ять 332) може зберігати команди, модулі або алгоритми, які при виконанні змушують один або більше процесорів (наприклад, процесор 331) виконувати один або більше ілюстрованих етапів у блок-схемі. Спосіб згідно з Фіг. 15A включає в себе одержання даних користувацького введення в бездротовому пристрої одержувача (1501). Дані користувацького введення можуть мати асоційовані дані координат. Асоційовані дані координат можуть, наприклад, відповідати місцеположенню події натиснення миші або місцеположенню події дотику. Пристрій 160 одержувача може потім нормалізувати асоційовані дані координат, щоб генерувати нормалізовані дані координат (1503). Пристрій 160 одержувача може потім генерувати пакет даних, який включає в себе нормалізовані дані координат (1505). Нормалізація даних координат може включати в себе масштабування асоційованих даних координат на основі відношення розрізнення вікна екрана дисплея і розрізнення дисплея джерела, такого як дисплей 22 пристрою 120 джерела. Розрізнення вікна екрана дисплея може бути визначене пристроєм 160 одержувача, і розрізнення дисплея пристрою джерела може бути прийняте від пристрою 120 джерела. Пристрій 160 одержувача може потім передати пакет даних з нормалізованими координатами на бездротовий пристрій 120 джерела (1507). Як частина способу згідно з Фіг. 15A, пристрій 160 одержувача може також визначити, чи знаходяться асоційовані дані координат в межах вікна екрана дисплея, для контенту, прийнятого від бездротового пристрою джерела, і, наприклад, обробити користувацьке введення локально, якщо асоційовані дані координат знаходяться поза вікном екрана дисплея, або інакше нормалізувати координати, як описано, якщо введення знаходиться в межах вікна екрана дисплея. Фіг. 15B є блок-схемою зразкового способу прийому даних користувацького введення від бездротового пристрою одержувача в бездротовому пристрої джерела відповідно до даного розкриття. Ілюстрований зразковий спосіб може бути виконаний пристроєм 120 джерела (Фіг. 1 А) або пристроєм 220 джерела (Фіг. 2). У деяких прикладах зчитуваний комп'ютером запам'ятовуючий носій (наприклад, пам'ять 232) може зберігати команди, модулі або алгоритми, 26 UA 107151 C2 5 10 15 20 25 30 35 40 45 50 55 60 які при виконанні змушують один або більше процесорів (наприклад, процесор 231) виконувати один або більше ілюстрованих етапів у блок-схемі. Спосіб згідно з Фіг. 15B включає в себе прийом пакета даних в бездротовому пристрої джерела, де пакет даних містить дані користувацького введення з асоційованими даними координат (1502). Асоційовані дані координат можуть, наприклад, відповідати місцеположенню події натиснення миші або місцеположенню події дотику в пристрої одержувача. Пристрій 120 джерела може потім нормалізувати асоційовані дані координат, щоб генерувати нормалізовані дані координат (1504). Пристрій 120 джерела може нормалізувати дані координат за допомогою масштабування асоційованих даних координат на основі відношення розрізнення вікна екрана дисплея і розрізнення дисплея джерела. Пристрій 120 джерела може визначити розрізнення дисплея пристрою джерела і може прийняти розрізнення вікна екрана дисплея від бездротового пристрою одержувача. Пристрій джерела може потім обробити пакет даних на основі нормалізованих даних координат (1506). Пакети даних, описані з посиланнями на Фіг. 15А та 15B, в цілому можуть приймати форму пакетів даних, описаних з посиланнями на Фіг. 6, і можуть бути використані для керування аудіо/відео даними в пристрої джерела. Для простоти пояснення аспекти даного розкриття були описані окремо з посиланнями на Фіг. 7-15. Однак розглянуто, що ці різні аспекти можуть бути об'єднані і використані разом один з одним, а не просто окремо. В цілому, функціональні можливості і/або модулі, описані в даному описі, можуть бути реалізовані в будь-якому одному або в обох з: бездротового пристрою джерела і бездротового пристрою одержувача. Таким чином, можливості користувацького інтерфейсу, описані в поточному прикладі, можуть бути використані навперемінно між бездротовим пристроєм джерела та бездротовим пристроєм одержувача. Способи даного розкриття можуть бути реалізовані у великій різноманітності пристроїв або приладів, що включають в себе бездротову телефонну трубку та інтегральну схему (IC) або набір схем IC (тобто, чіпсет). Будь-які компоненти, модулі або блоки, які були описані, забезпечені, щоб підкреслити функціональні аспекти, і не обов'язково потрібна реалізація за допомогою різних блоків апаратного забезпечення. Відповідно, способи, описані в даному описі, можуть бути реалізовані в апаратному забезпеченні, програмному забезпеченні, програмно-апаратному забезпеченні або будь-якій їх комбінації. Якщо реалізовані в апаратному забезпеченні, будь-які ознаки, описані як модулі, блоки або компоненти, можуть бути реалізовані разом в інтегрованому логічному пристрої або окремо як дискретні, але взаємодіючі логічні пристрої. Якщо реалізовані в програмному забезпеченні, способи можуть бути реалізовані щонайменше частково за допомогою зчитуваного комп'ютером носія, що містить команди, які при виконанні в процесорі виконують один або більше способів, описаних вище. Зчитуваний комп'ютером носій може містити матеріальний і нечасовий зчитуваний комп'ютером запам'ятовуючий носій і може бути частиною комп'ютерного програмного продукту, який може включати в себе пакувальні матеріали. Зчитуваний комп'ютером запам'ятовуючий носій може містити оперативний запам'ятовуючий пристрій (RAM), такий як синхронний динамічний оперативний запам'ятовуючий пристрій (SDRAM), постійний запам'ятовуючий пристрій (ROM), енергонезалежний оперативний запам'ятовуючий пристрій (NVRAM), електрично стираний програмований постійний запам'ятовуючий пристрій (EEPROM), флеш-пам'ять, магнітні або оптичні запам'ятовуючі носії даних тощо. Способи додатково або альтернативно можуть бути реалізовані щонайменше частково за допомогою комунікаційного зчитуваного комп'ютером носія, який переносить або передає код в формі команд або структур даних, і який може бути доступний, зчитаний і/або виконаний комп'ютером. Код може бути виконаний одним або більше процесорами, такими як один або більше цифрові сигнальні процесори (процесори DSP), мікропроцесори загального призначення, спеціалізовані інтегральні схеми (схеми ASIC), програмовані користувачем вентильні матриці (матриці FPGA) або інша еквівалентна інтегральна або дискретна логічна схема. Відповідно, термін "процесор", який використовується в даному описі, може відноситися до будь-якої попередньої структури або будь-якої іншої структури, підходящої для реалізації способів, описаних в даному описі. Додатково, в деяких аспектах функціональні можливості, описані в даному описі, можуть бути забезпечені в межах виділених модулів програмного забезпечення або модулів апаратного забезпечення, сконфігурованих для кодування і декодування, або включених в об'єднаний кодек відео. Крім того, способи можуть бути повністю реалізовані в одній або більше схемах або логічних елементах. Були описані різні аспекти даного розкриття. Ці та інші аспекти знаходяться в рамках наступної формули винаходу. Посилальні позиції 27 UA 107151 C2 5 10 15 20 25 30 35 40 45 50 55 60 100 система джерела/одержувача 120 пристрій джерела 121 пам'ять 122 дисплей 123 динамік 124 кодер аудіо/відео 125 модуль керування аудіо/відео 126 блок передавача/приймача (TX/RX) 150 канал зв'язку 160, 180, 360, 560 пристрій одержувача 162 дисплей 163 динамік 164 декодер аудіо/відео 166 блок передавача/приймача 167 пристрій користувацького введення 168 модуль обробки користувацького введення 220, 520 пристрій джерела 222, 362 локальний дисплей 223 локальний динамік 231, 331 процесори 232, 332 пам'ять 233, 333 транспортний блок 234, 334 бездротовий модем 235, 335 процесор дисплея 236, 336 аудіо процесор 363 динамік 376 інтерфейс користувацького введення 410 система передавача 412 джерело даних 414 процесор (TX) передачі даних 420 процесор MIMO TX передачі даних 422 передавач 424 передавальна антена 430, 470 процесор 432, 472 пам'ять 436 джерело даних 438 процесор TX передачі даних 450 система приймача 452 приймальна антена 454 приймач 460 процесор RX прийому даних 480 модулятор 600 пакет даних 610 заголовок пакета даних 620 діаграма 621 поле версії 622 прапор часової відмітки 623 зарезервоване поле 624 поле категорії введення 625 поле довжини 626 необов'язкове поле часової відмітки 630 заголовок корисних даних 650 корисні дані ФОРМУЛА ВИНАХОДУ 1. Спосіб передачі даних користувацького введення від бездротового пристрою одержувача на бездротовий пристрій джерела, причому спосіб включає: одержання в бездротовому пристрої одержувача даних користувацького введення від пристрою третьої сторони; 28