Корекція помилок відео, основана на інформації зворотної лінії зв’язку

1. Спосіб корекції помилок відеоданих, який містить етапи, на яких: кодують відеодані; формують пакет інтернет-протоколу (IP) з кодованими відеоданими; передають згаданий пакет в мережу доступу через безпровідний канал; приймають негативне квітирування (NAK) від мережі доступу в рівні керування доступом до середовища передачі (МАС); визначають, чи асоційоване прийняте NAK з пакетом, який містить відеодані; визначають, який пакет IP містить дані, які були втрачені протягом передачі; виконують корекцію помилок, якщо прийняте NAK асоційоване з пакетом, який містить відеодані. 2. Спосіб за п. 1, в якому пакет містить макроблоки (MB) відеоданих, при цьому згаданий спосіб додатково містить етап, на якому передають інформацію про макроблоки від відеокодера до рівня транспортного протоколу в реальному часі (RTP). 2 (19) 1 3 92508 4 вим розділенням з розвитком по оптимізації перекодера до рівня транспортного протоколу в реальдачі даних). ному часі (RTP). 11. Спосіб за п. 1, в якому безпровідний канал міс20. Машиночитана пам'ять за п. 18, в якій інструктить канал високошвидкісного пакетного доступу ції додатково сконфігуровані для того, щоб: по висхідній лінії зв'язку (HSUPA) широкосмугового запитувати рівень МАС, після кодування кадру множинного доступу з кодовим розділенням канавідеоданих, але до кодування нового кадру відеолів (WCDMA). даних, для визначення, чи прийняв NAK рівень 12. Спосіб корекції помилок відеоданих, який місМАС; і тить етапи, на яких: виконувати корекцію помилок, якщо рівень МАС кодують перший кадр відеоданих; прийняв NAK. формують пакет з кодованим першим кадром ві21. Машиночитана пам'ять за п. 18, в якій інструкдеоданих; ції додатково сконфігуровані для того, щоб інфорпередають згаданий пакет в мережу доступу через мувати модуль протоколу об'єднання пакетів безпровідний канал; (РСР) про прийняте NAK. перед кодуванням другого кадру відеоданих ви22. Машиночитана пам'ять за п. 18, в якій інструкзначають, чи прийняв рівень керування доступом ції додатково сконфігуровані для того, щоб інфордо середовища передачі (МАС) негативне квітирумувати модуль протоколу роботи радіолінії (RLP) вання (NAK) від мережі доступу; про прийняте NAK, якщо прийняте NAK асоційовавизначають, чи асоційоване прийняте NAK з пакене з пакетом, який містить відеодані. том, який містить відеодані; і 23. Машиночитана пам'ять за п. 22, в якій інструквиконують корекцію помилок, якщо прийняте NAK ції додатково сконфігуровані для того, щоб визнаасоційоване з пакетом, який містить відеодані. чати, яка черга RLP містить пакет, в якому виникли 13. Спосіб за п. 12, в якому на етапі визначення, помилки протягом передачі. чи прийняв від мережі доступу рівень керування 24. Машиночитана пам'ять за п. 18, в якій інструкдоступом до середовища передачі (МАС) негативції додатково сконфігуровані для того, щоб інфорне квітирування (NAK), перевіряють, чи встановмувати рівень додатків про пакет, асоційований з лений в модулі протоколу роботи радіолінії зв'язку прийнятим NAK. (RLP) прапор. 25. Машиночитана пам'ять за п. 18, в якій інструк14. Спосіб за п. 12, який додатково містить етап, ції додатково сконфігуровані для того, щоб: на якому інформують рівень додатків про прийняпідтримувати карту відповідності між пакетами те NAK. інтернет-протоколу (IP) і макроблоками відеода15. Спосіб за п. 12, який додатково містить етап, них; на якому інформують відеокодер про прийняте після визначення, який пакет IP містить дані, які NAK. були втрачені протягом передачі, використовувати 16. Спосіб за п. 12, який додатково містить етап, карту відповідності для перетворення пакета IP в на якому в модулі протоколу роботи радіолінії макроблоки кадру відео, щоб визначити, які мак(RLP) встановлюють однобітовий прапор, який роблоки були втрачені протягом передачі; і вказує, що рівень МАС прийняв NAK. виконувати корекцію помилок для макроблоків, які 17. Спосіб за п. 12, в якому корекція помилок були втрачені протягом передачі. включає в себе щонайменше одне з: 26. Машиночитана пам'ять за п. 25, в якій корекцію (а) кодування другого кадру у вигляді І-кадру, помилок включає в себе щонайменше одне з: (b) збільшення відсоткового відношення інтрако(а) обмеження діапазону пошуку оцінки руху так, дованих макроблоків, і щоб пошкоджена частина не використовувалася (с) використання кадру перед першим кадром як як прогнозування, опорного для оцінки руху. (b) інтракодування суміщених макроблоків і сусід18. Машиночитана пам'ять, що зберігає набір інніх макроблоків, і струкцій, сконфігурованих для того, щоб здійсню(с) використання відмінних опорних кадрів для вати корекцію помилок відеоданих, причому згасуміщених макроблоків. дані інструкції при виконанні змушують комп'ютер: 27. Машиночитана пам'ять за п. 18, в якій безпрокодувати відеодані; відний канал містить канал, що відповідає версії А формувати пакет інтернет-протоколу (IP) з кодостандарту CDMA2000 1х EV-DO (множинного досваними відеоданими; тупу з кодовим розділенням каналів з розвитком передавати мережі доступу цей пакет через безпо оптимізації передачі даних). провідний канал; 28. Машиночитана пам'ять за п. 18, в якій безпроприймати від мережі доступу негативне квітирувідний канал містить канал широкосмугового мновання (NAK) на рівні керування доступом до сережинного доступу з кодовим розділенням каналів довища передачі (МАС); (WCDMA) з високошвидкісним пакетним доступом визначати, чи асоційоване прийняте NAK з пакепо висхідній лінії зв'язку (HSUPA). том, який містить відеодані; визначати, який пакет 29. Машиночитана пам'ять, що зберігає набір інIP містить дані, які втрачені протягом передачі; і струкцій, сконфігурованих для того, щоб здійснювиконувати корекцію помилок, якщо прийняте NAK вати корекцію помилок відеоданих, причому згаасоційоване з пакетом, який містить відеодані. дані інструкції при виконанні змушують комп'ютер: 19. Машиночитана пам'ять за п. 18, причому згакодувати перший кадр відеоданих; даний пакет містить макроблоки (MB) відеоданих, формувати пакет з кодованим першим кадром яка додатково містить інструкції, сконфігуровані відеоданих; для передачі інформації про макроблоки від відео 5 92508 6 передавати мережі доступу цей пакет через безмодуль, сконфігурований для того, щоб формувапровідний канал; ти пакет інтернет-протоколу з кодованими відеовизначати перед кодуванням другого кадру відеоданими; даних, чи прийняв від мережі доступу рівень керуприймач-передавач, сконфігурований для того, вання доступом до середовища передачі (МАС) щоб (а) передавати мережі доступу згаданий пакет негативне квітирування (NAK); через безпровідний канал і (b) приймати від меревизначати, чи асоційоване прийняте NAK з пакежі доступу в рівні керування доступом до середотом, який містить відеодані; і вища передачі (МАС) негативне квітирування NAK; виконувати корекцію помилок, якщо прийняте NAK при цьому згаданий модуль сконфігурований для асоційоване з пакетом, який містить відеодані. того, щоб визначати, чи асоційоване прийняте 30. Машиночитана пам'ять за п. 29, в якій при виNAK з пакетом, який містить відеодані, і визначати, значенні, чи прийняв від мережі доступу рівень який пакет IP містить дані, які були втрачені протякерування доступом до середовища передачі гом передачі; і (МАС) негативне квітирування (NAK), перевіряють, відеокодер, сконфігурований для того, щоб викочи встановлений в модулі протоколу роботи ранувати корекцію помилок, якщо прийняте NAK діолінії зв'язку (RLP) прапор. асоційоване з пакетом, який містить відеодані. 31. Машиночитана пам'ять за п. 29, в якій інструк36. Пристрій, для здійснення корекції помилок віції додатково сконфігуровані для того, щоб інфордеоданих, який містить: мувати рівень додатків про прийняте NAK. відеокодер, сконфігурований для того, щоб коду32. Машиночитана пам'ять за п. 29, в якій інструквати перший кадр відеоданих; ції додатково сконфігуровані для того, щоб інфорперший модуль, сконфігурований для того, щоб мувати відеокодер про прийняте NAK. формувати пакет з кодованим першим кадром 33. Машиночитана пам'ять за п. 29, в якій інструквідеоданих; ції додатково сконфігуровані для того, щоб встаприймач-передавач, сконфігурований для того, новлювати в модулі протоколу роботи радіолінії щоб (а) передавати мережі доступу згаданий пакет (RLP) однобітовий прапор для вказівки, що рівень через безпровідний канал і (b) приймати негативне МАС прийняв NAK. квітирування (NAK) від мережі доступу в рівні ке34. Машиночитана пам'ять за п. 29, в якій корекція рування доступом до середовища передачі (МАС); помилок містить щонайменше одне з: другий модуль, сконфігурований для того, щоб (а) кодування другого кадру у вигляді І-кадру, визначати, чи прийняв від мережі доступу NAK (b) збільшення відсоткового відношення інтракорівень МАС, перш ніж кодувати другий кадр, і видованих макроблоків, і значати, чи асоційоване прийняте NAK з пакетом, (с) використання кадру перед першим кадром як який містить відеодані; і опорного для оцінки руху. модуль корекції помилок, сконфігурований для 35. Пристрій для здійснення корекції помилок вітого, щоб виконувати корекцію помилок, якщо придеоданих, який містить: йняте NAK асоційоване з пакетом, який містить відеокодер, сконфігурований для того, щоб кодувідеодані. вати відеодані; Ця патентна заявка є частковим продовженням патентної заявки від даного заявника і заявляє пріоритет заявки №11/315399, поданої 21 грудня 2005 року і озаглавленої «Methods and systems for adaptive encoding of realtime information in packet-switched wireless communication systems» (номер справи в реєстрі повіреного 051126), і за якою заявляється пріоритет попередньої заявки U.S. №60/729017, поданої 21 жовтня 2005 року, весь вміст якої включений в цей документ за допомогою посилання. Галузь техніки, якої стосується винахід Даний опис має відношення до відеокодування, а більш конкретно - до нижнього рівня зворотної лінії зв'язку, сприяючого корекції помилок відео. Рівень техніки Стільниковий телефон може включати в себе пристрій захоплення аудіо, такий як мікрофон або синтезатор мови, і пристрій кодування аудіо для формування пакетів аудіо (або кадрів). Телефон може використовувати рівні протоколу комунікації і модулі, такі як модуль протоколу роботи радіолінії зв'язку (RLP), рівень керування доступом до сере довища передачі (МАС) і фізичний (PHY) рівень. Телефон може вмістити пакети аудіо в чергу RLP. Модуль рівня МАС може формувати пакети рівня МАС з контенту черги RLP. Пакети рівня МАС можуть бути перетворені в пакети рівня PHY для передачі через канал зв'язку ще одному пристрою зв'язку. Розкриття винаходу Один аспект стосується способу, який містить етапи, на яких: кодують відеодані; формують пакет інтернет-протоколу (IP) із закодованими відеоданими; передають пакет через безпровідний канал до мережі доступу; приймають від мережі доступу в рівні керування доступом до середовища передачі (МАС) негативне повідомлення (NAK); визначають, чи асоційована прийнята NAK з пакетом, який містить відеодані; визначають, який пакет IP містить дані, які були втрачені протягом передачі; і виконують корекцію помилок, якщо прийнята NAK асоційована з пакетом, який містить відеодані. Ще один аспект стосується способу, який містить етапи, на яких: кодують перший кадр відеоданих; формують пакет з кодованим першим кадром відеоданих; передають пакет через 7 92508 8 безпровідний канал до мережі доступу; визначаМАС від мережі доступу NAK, і визначати, чи асоють, чи прийняв від мережі доступу рівень керуційована прийнята NAK з пакетом, який містить вання доступом до середовища передачі (МАС) відеодані; і модуль корекції помилок, сконфігуронегативне повідомлення (NAK), перш ніж кодувати ваний для того, щоб виконувати корекцію помилок, другий кадр відеоданих; визначають, чи асоційоякщо прийнята NAK асоційована з пакетом, який вана одержана NAK з пакетом, який містить відеомістить відеодані. дані; а потім виконують корекцію помилок, якщо Деталі одного або більше варіантів здійснення прийнята NAK асоційована з пакетом, який містить даного винаходу викладені нижче в супроводжуювідеодані. чих кресленнях та описі. Ще один аспект стосується пристрою, який міКороткий опис креслень стить машинозчитувану пам'ять, що зберігає набір Фіг. 1 - ілюстрація системи зв'язку з пристроєм інструкцій, сконфігурованих для того, щоб: кодувакодування відео та аудіо, що посилає дані через ти відеодані; формувати пакет інтернет-протоколу канал передачі пристрою декодування. (IP) з кодованими відеоданими; передавати пакет Фіг. 2 - ілюстрація способу і структури для через безпровідний канал мережі доступу; прийпершого методу виявлення і корекції помилок, мати від мережі доступу негативне повідомлення який може бути використаний в системі, ілюстро(NAK) в рівні керування доступом до середовища ваній на фіг. 1. передачі (МАС); визначати, чи асоційована прийнФіг. 3 - ілюстрація способу і структури для друята NAK з пакетом, який містить відеодані; визнагого методу виявлення і корекції помилок, який чати, який пакет IP містить дані, які були втрачені може бути використаний в системі, ілюстрованій в передачі; виконувати корекцію помилок, якщо на фіг. 1. прийнята NAK асоційована з пакетом, який містить Фіг. 4 - подальша ілюстрація першого і другого відеодані. методів, ілюстрованих на фіг. 1 і фіг. 2. Ще один аспект стосується пристрою, який міФіг. 5 - ілюстрація прикладу виявлення втрастить машинозчитувану пам'ять, що зберігає набір ченого пакета і прискорення інтра-оновлення, яке інструкцій, сконфігурованих для того, щоб: кодувамінімізує поширення помилок, викликаних втрачети перший кадр відеоданих; формувати пакет з ним пакетом. кодованим першим кадром відеоданих; передаваЗдійснення винаходу ти пакет через безпровідний канал мережі достуКодування і передача відео та аудіо пу; визначати, чи прийняв від мережі доступу ріФіг. 1 - ілюстрація системи 10 зв'язку з привень керування доступом до середовища передачі строєм 12 кодування відео та аудіо, що посилає (МАС) негативне повідомлення (NAK), перш ніж дані через канал 16 передачі (включаючи компокодувати другий кадр відеоданих; визначати, чи нент 15 мережі доступу) пристрою 14 декодуванасоційована прийнята NAK з пакетом, який містить ня. Пристрій 12 кодування і пристрій 14 декодувідеодані, а потім виконувати корекцію помилок, вання можуть бути розподілені по всій системі 10. якщо прийнята NAK асоційована з пакетом, який Пристрій 12 кодування і пристрій 14 декодування містить відеодані. можуть являти собою різні типи пристроїв, такі як Ще один аспект стосується пристрою, який мібезпровідний телефон, стільниковий телефон, стить: відеокодер, сконфігурований для того, щоб ноутбук, безпровідний пристрій мультимедіа, карту кодувати відеодані; модуль, сконфігурований для безпровідного зв'язку персонального комп'ютера того, щоб формувати пакет інтернет-протоколу (IP) (PC), «кишеньковий» комп'ютер (PDA), зовнішній з кодованими відеоданими; приймач-передавач, або внутрішній модем, або будь-який пристрій, сконфігурований для того, щоб: (а) передавати який обмінюється інформацією через безпровідмережі доступу пакет через безпровідний канал, і ний канал. (b) приймати від мережі доступу в рівні керування І пристрій 12 кодування, і пристрій 14 декодудоступом до середовища передачі (МАС) негативвання можуть мати різні назви, такі як термінал не повідомлення (ΝAK); при цьому модуль сконфідоступу (AT), блок доступу, абонентський блок, гурований для того, щоб визначати, чи асоційовамобільна станція, мобільний пристрій, мобільний на прийнята NAK з пакетом, який містить блок, мобільний телефон, мобільна віддалена відеодані, і визначати, який пакет IP містить дані, станція, віддалений термінал, віддалений блок, які були втрачені в передачі; і якщо прийнята NAK користувацький пристрій, користувацьке обладасоційована з пакетом, який містить відеодані, нання, кишеньковий пристрій тощо. відеокодер сконфігурований для того, щоб виконуКожний пристрій, 12, 14, може обмінюватися вати корекцію помилок. інформацією з компонентом 15 мережі доступу Пристрій, який містить: відеокодер, сконфігу(AN) по прямій лінії зв'язку (FL) і/або зворотній лінії рований для того, щоб кодувати перший кадр візв'язку (RL). FL (низхідна лінія зв'язку) відповідає деоданих; перший модуль, сконфігурований для передачі від AN 15 до пристроїв 12, 14. Зворотна того, щоб формувати пакет з кодованим першим лінія зв'язку (або висхідна лінія зв'язку) відповідає кадром відеоданих; приймач-передавач, сконфігупередачі від пристрою 12, 14 до AN 15. AN 15 морований для того, щоб: (а) передавати мережі доже відповідати мережній частині системи зв'язку і ступу пакет через безпровідний канал і (b) прийможе включати в себе (але не як обмеження) або мати від мережі доступу в рівні керування реалізовувати функцію базової станції (BS), прийдоступом до середовища передачі (МАС) негативмально-передавальної системи базової станції не повідомлення (NAK); другий модуль, сконфігу(BTS), точки доступу (АР), приймач-передавача рований для того, щоб перш ніж кодувати другий модемного пулу (МРТ), Вузла В (наприклад, в сискадр відеоданих визначати, чи прийняв рівень темі типу WCDMA) тощо. 9 92508 10 Пристрій 12 кодування може знаходитися в ренції, а аудіо дозволить почути голос цього учаспершому пристрої відеозв'язку і може включати в ника, що говорить. себе джерело 17 аудіо, джерело 18 відео, відеокоМодуль 26 перетворення RTP/UDP/IP одержує дер 20, аудіокодер 22, транспортний протокол в пакети відео та аудіоданих від відеокодера 20 та реальному часі (RТР)/протокол користувацьких аудіокодера 22. Модуль 26 перетворення дейтаграм (UDР)/модуль 26 перетворення інтерRTP/UDP/IP може додати відповідну інформацію нет-протоколу (IP), чергу 28 протоколу роботи разаголовка RTP/UDP/IP до пакетів аудіо і відеодадіолінії зв'язку (RLP), модуль 30 рівня МАС і моних, прийнятих від аудіокодера 22 і відеокодера дуль 32 фізичного рівня (PHY). Інші варіанти 20, і вмістити пакети даних в чергу 28 RLP. RTP здійснення пристрою 12 кодування можуть вклюможе функціонувати вверху UDP. UDP може фунчати в себе інші елементи замість або в доповкціонувати вверху IP. У визначеній конфігурації IP нення до елементів, які показані на фіг. 1. Інші може функціонувати на верхньому рівні протоколу варіанти здійснення пристрою 12 кодування мопередачі від точки до точки (РРР). жуть включати в себе менше елементів, ніж покаМодуль 30 рівня МАС може відновити пакети зано на фіг. 1. RLP з черги 28 RLP і сформувати пакети рівня Пристрій 14 декодування може знаходитися в МАС. Кожний пакет рівня МАС може переносити іншому пристрої відеозв'язку і може включати в інформацію заголовка RTP/UDP/IP і пакет аудіо себе модуль 34 рівня PHY, модуль 36 рівня МАС, або відеоданих, які знаходяться в межах черги 28 чергу 38 RLP, модуль 40 перетворення RLP. RTP/UDP/IP, відеодекодер 42, аудіодекодер 44, Пакети аудіо можуть бути вставлені в чергу 28 блок 46 виведення аудіо і блок 48 виведення віRLP незалежно від пакетів відео. У деяких випаддео. Інші варіанти здійснення пристрою 14 декодуках пакет рівня МАС, сформований з контенту червання можуть включати в себе інші елементи заги 28 RLP, буде переносити тільки інформацію мість або в доповнення до елементів, які показані заголовка і пакет відеоданих. В інших випадках на фіг. 1. Інші варіанти здійснення пристрою 14 пакет рівня МАС буде переносити тільки інформадекодування можуть включати в себе менше елецію заголовка і пакет аудіоданих. В інших випадках ментів, ніж показано на фіг. 1. пакет рівня МАС буде переносити інформацію Через канал 16 система 10 може забезпечувазаголовка, пакет аудіоданих і пакет відеоданих, ти двонаправлену передачу відео та аудіо, таку як залежно від контенту черги 28 RLP. Пакети рівня відеотелефонія (VT). Аналогічні - кодування, декоМАС можуть бути сконфігуровані відповідно до дування і модулі перетворення можуть бути надані протоколу роботи радіолінії зв'язку (RLP) і можуть на протилежних кінцях каналу 16. У деяких варіанзгадуватися як пакети МАС RLP. тах здійснення даного винаходу пристрій 12 кодуМодуль 32 рівня PHY може перетворити пакевання і пристрій 14 декодування можуть бути втіти МАС RLP в пакети рівня PHY для передачі по лені в межах пристроїв відеозв'язку, таких як каналу 16. Канал 16 переносить пакети рівня PHY безпровідні мобільні термінали, обладнані для на пристрій 14 декодування. потокового відео, VT, або обох. Мобільні термінаУ пристрої 14 декодування модуль 34 рівня ли можуть підтримувати VT відповідно до стандарPHY і модуль 36 рівня МАС можуть працювати тів пакетної комутації, таких як RTP, UDP або IP. аналогічним чином. Модуль 34 рівня PHY може Джерело 18 відео може бути пристроєм заховідрізнити пакети рівня МАС від пакетів рівня PHY плення відеозображень, таким як відеокамера, і перетворити/перекомпонувати пакети рівня PHY, одним або більше відеоархівів, або комбінацією прийняті з каналу 16 в пакети МАС RLP. відеокамери і відеоархівів. Відеокодер 20 формує Модуль 36 рівня МАС може перекомпонувати кодовані пакети відеоданих відповідно до способу контент пакетів МАС RLP, щоб надати пакети вістиснення відеозображення, такого як MPEG-4. део та аудіо для вставки пакетів МАС RLP в чергу Можуть бути використані інші способи стиснення 38 RLP. Модуль 40 перетворення RTP/UDP/IP мовідеозображення, такі як Н.263 Міжнародного союже усунути/зняти супровідну інформацію заголовка зу з телекомунікацій (ITU), H.264 ITU, або способи з даних в черзі 38 RLP і перекомпонувати відео та MPEG-2. Відеокодер 20 може забезпечити схему аудіодані для доставки на відеодекодер 42 та аукерування швидкістю джерела відео, яка в більшодіодекодер 44, відповідно. сті випадків залежить від кодека. Наприклад, відеВідеодекодер 42 декодує кадри відеоданих окодер 20 може бути виконаний з можливістю кодля того, щоб створити потік відеоданих для викодування відео відповідно до MPEG4, Н.263 ITU ристання в роботі пристрою 48 відображення (приабо H.264 ITU. Відеокодер 20 може бути реалізострій виведення відео). Аудіодекодер 44 декодує ваний за допомогою DSP або вбудованого логічноаудіодані, щоб створити аудіоінформацію для го ядра. представлення користувачеві, наприклад, через Джерело 17 аудіо може бути пристроєм захопдинамік 46 (пристрій виведення аудіо). лення аудіо, таким як мікрофон, або пристроєм Відеотелефонія (VT) відповідає передачі в ресинтезатора мови. Аудіокодер 22 може кодувати альному часі пакетів аудіо і відео щонайменше між аудіодані і формувати пакети аудіо для супроводвома пристроями, такими як системи 12 та 14. дження відеоданих. Аудіодані можуть бути кодоЗастосовно до мобільної VT пристрій VT (безпровані відповідно до способу стиснення аудіо, такого відний термінал) приймає пакети рівня PHY через як адаптивна мультишвидкісна вузька смуга часбезпровідну пряму лінію зв'язку (FL) (тобто «низтот (AMR-NB) або інших методик. Застосовно до хідну лінію зв'язку») від базової станції. Пристрій VT відео дозволить побачити учасника VT конфеVT передає пакети рівня PHY через безпровідну 11 92508 12 зворотну лінію зв'язку (RL) (тобто «висхідну лінію Фіг. 5 - ілюстрація прикладу виявлення втразв'язку») базової станції. ченого пакета і прискорення інтра-оновлення, яке Система 10 і канал 16 можуть бути виконані з мінімізує поширення помилок, викликаних втрачеможливістю підтримувати одну або більше техноним пакетом. логій безпровідного зв'язку, таких як множинний Нижче використовується зворотна лінія зв'язку доступ з кодовим розділенням каналів (CDMA), CDMA2000 Ix EV-DO Версії А, як один приклад множинний доступ з частотним розділенням канаприйому/витягання інформації про помилку від лів (FDMA), множинний доступ з часовим роздірівня 30 МАС. Способи також можуть бути застоленням каналів (TDMA), мультиплексування з орсовані до інших систем зв'язку, таких як система тогональним розділенням частот (OFDM) або інша WCDMA з високошвидкісним пакетним доступом підходяща безпровідна методика. Вищезазначені по висхідній лінії зв'язку (HSUPA), які використотехнології безпровідного зв'язку можуть бути реавують H-ARQ, NAK або інший подібний метод вилізовані відповідно до будь-якої з множини метоявлення помилок передачі і/або втраченої інфордик радіодоступу. Наприклад, CDMA може бути мації. реалізована відповідно до стандартів CDMA2000 Описані нижче способи можуть забезпечити або широкосмугових CDMA (WCDMA). TDMA може оптимізацію, що виконується по всіх рівнях, для бути реалізована відповідно до стандарту глобахарактеристик помилок в плані мультимедіа по льна система мобільного зв'язку (GSM). Стандарт безпровідних мережах, включаючи відеотелефоуніверсальна система мобільних телекомунікацій нію і спільне використання відео, де помилки пе(UMTS) допускає роботу WCDMA або GSM. Для редачі можуть бути неминучі. додатків VT система 10 може бути виконана з моВідносно помилок передачі по прямій лінії жливістю підтримувати технології стандарту висозв'язку (низхідна лінія зв'язку) деякі способи мокої швидкості передачі даних (HDR), такі як жуть використовувати крізний зворотний зв'язок CDMA2000 Ix EV-DO, Редакція 0, Версія А або для надання інформації про помилки. Однак якщо подальші версії EV-DO. ці способи виключно покладаються на крізний звоСтан каналу може бути невеликою проблемою ротний зв'язок, вони не можуть досить швидко для безпровідних каналів, але може бути особлиреагувати на помилки передачі RL, щоб зменшити во проблематичним для додатків мобільної VT, в артефакти, викликані втраченими пакетами. Опиякій стан каналу може постраждати від загасання сані в цьому документі способи RL можуть доповабо мережного перевантаження. нювати метод крізного зворотного зв'язку. Корекція помилок відео Корекція помилок відео за допомогою МАС, За допомогою нижнього рівня способи корекції використовуючи інформацію NAK помилок відео можуть адресувати помилки, які Цей розділ описує два способи корекції помивідбуваються з відеоданими протягом передачі, по лок відео за допомогою МАС, які використовують зворотній лінії зв'язку. Способи можуть надати інформацію негативного повідомлення (NAK) від можливість відеокодеру 20 використовувати інфомережі 15 доступу. В обох способах відеокодер 20 рмацію про помилки каналу від рівня 30 МАС і неабо модуль 206 корекції помилок може запитувати гайно застосовувати корекцію помилок, не чекаюрівень 30 МАС на покадровій основі, тобто перш чи зворотного зв'язку від приймального пристрою ніж кодувати новий кадр, відеокодер 20 може при14. Способи можуть використовувати механізми, йняти інформацію про помилки від одного або біщоб витягнути/прийняти інформацію про помилки, льше нижніх рівнів і, якщо необхідно, виконати яка може бути зрозуміла відеокодеру 20. Залежно корекцію помилок. Виходячи з типу повідомлення від бажаної складності реалізації, інформація про інформації про помилки, відеокодер 20 може реапомилки від рівня 30 МАС може бути перетворена лізувати відмінні схеми корекції помилок для зав два відмінні формати. глушення поширення помилок. Після прийому від нижніх рівнів повідомлень Перший метод: корекція помилок, використопро помилки відеокодер 20 може: (а) використовувуючи NAK пакета IP потоку відео вати для нового кадру відмінний опорний кадр, (b) Фіг. 2 - ілюстрація способу і структури для збільшити швидкість оновлення інтра-макроблока першого методу, де відеокодер 20 або модуль 206 (MB) або (с) вставити інтра-кадр (ключовий кадр корекції помилок інформуються, які макроблоки або І-кадр), щоб зупинити поширення помилок в (MB) у відеокадрі були втрачені протягом передаприймачі. Вставка І-кадру по суті та сама, що і чі. Кожний кадр відео може містити багато макроприскорення інтра-оновлення. У І-кадрі кожний MB блоків. інтра-кодований, тобто не залежить від попередКоли стаються помилки передачі, мережа 15 нього кадру, що може зупинити поширення помидоступу посилає NAK в зворотний канал трафіку лок. Для оновлення інтра-МВ тільки деякі MB інрівня 30 МАС (RTCMAC). Рівень 30 МАС інформує тра-кодуються. Варіант (с) можна обійти, модуль 210 протоколу об'єднання пакетів (РСР) використовуючи І-кадри (або зменшення швидкості про пакет МАС, асоційований з цією NAC. оновлення інтра-кадру), що повторюються, для Модуль 210 РСР визначає, чи містить втрачеполіпшення ефективності кодування і затримки ний пакет МАС які-небудь дані потоку відео. Аудіо і відео, а також забезпечення кращої якості відео, відеодані можуть бути вміщені в один і той самий коли відбуваються помилки. Якість відео може пакет МАС, навіть якщо якість сервісу (QoS) підтполіпшитися, оскільки відеокодер 20 може усунути римується в зворотній лінії зв'язку EV-DO Версії А. помилки відразу, замість того, щоб поступово оноЯкщо у втраченому пакеті МАС є відеодані, то мовлювати кожний MB в послідовності кадрів. дуль 210 РСР за допомогою NAK пакета RLP інформує модуль 208 RLP, яка черга RLP (може 13 92508 14 бути декілька черг RLP) містить пакет, в якому в модулі 208 RLP, який інформує відеокодер 20, виникли помилки протягом передачі. якщо були втрачені які-небудь дані в потоку відео Модуль 208 RLP визначає, який пакет IP місвідтоді, як був зроблений останній запит рівня 30 тить втрачені дані. Модуль 208 RLP має інформаМАС. В одному варіанті здійснення даного винацію про пакет IP. Для EV-DO Версії А потік відео ходу рівень 30 МАС може автоматично посилати конфігурований так, щоб блок даних потоку лінії NAK модулю 210 РСР, який посилає NAK модулю зв'язку був IP пакетом. Потім за допомогою NAK 208 RLP, який встановлює прапор без яких-небудь пакета IP потоку відеомодуль 208 RLP інформує в запитів рівнів 210 РСР або 30 МАС. рівні додатків рівень 202 RTP, який пакет IP був Між кодуванням двох кадрів відео відеокодеру втрачений. 20 може бути тільки потрібно знати, чи були якіРівень 202 RTP підтримує карту або таблицю, небудь дані втрачені в попередньому кадрі, таким яка перетворює втрачений пакет IP у втрачені в чином, відеокодер 20 або модуль 206 корекції покадрі MB. Потім інформація про втрачену MB буде милок може виконувати корекцію помилок на попередана до модуля 206 корекції помилок і/або точному кадрі. Оскільки кодер 20 або модуль 206 відеокодеру 20 для подальшої корекції помилок. корекції помилок запитує модуль 208 RLP на покаЦей перший метод може включати в себе модровій основі, тобто перш ніж кодувати новий дифікації в трьох відмінні рівнях: кадр, знання, чи є яка-небудь помилка передачі, - Відеокодер 20 передає рівню 202 RTP інфоможе бути так само корисним, як і знання, який рмацію MB в кожному пакеті. пакет IP був втрачений. - Рівень 202 RTP підтримує карту або таблицю Якщо рівнем МАС використовується автомаперетворення між пакетами IP (індексованими за тичний повторний запит (MARQ) для потоку відео, допомогою порядкових номерів) і макроблоками. цей прапор повинен бути встановлений тільки, Якщо пакет IP втрачений, рівень 202 RTP може коли пакет MARQ, що містить відео дані, не підтперетворити пакет IP в макроблоки та інформуваверджений (АСК) позитивно в фізичному рівні. ти відеокодер 20 про втрачену MB. Асоційований з Цей другий метод може дуже спростити склакожним пакетом IP порядковий номер також може дність реалізації і надати корисну для відеокодера бути переданий модулю 208 RLP. 20 інформацію для того, щоб виконати належну - Модуль 208 RLP відстежує, як пакети IP фракорекцію помилок. Однак, оскільки прапор може гментуються в пакети RLP, і за допомогою перевітільки вказати, була помилка чи ні, відеокодер 20 рки порядкового номера визначає, який пакет IP може не знати, яка частина кадру втрачена. Тому втрачений. корекція помилок повинна передбачати, що помиДля корекції помилок, оскільки відеокодер 20 лка може статися в будь-якій частині будь-якого знає, які MB втрачені, відеокодер 20 або модуль кадру, починаючи з останнього запиту. 206 корекції помилок може реалізувати один або Як тільки цей прапор встановлений, відеокобільше нижченаведених способів корекції помидер 20 може виконати один або більше нижченалок: ведених способів корекції помилок, які можуть від- Обмеження діапазону пошуку оцінки руху так, різнятися від першого методу: щоб пошкоджена (втрачена) частина не викорис- Кодування поточного кадру у вигляді І-кадру. товувалася як прогнозування. - Збільшення відсотку інтра-кодованих MB. - Інтра-кодування суміщених MB та їх сусідніх - Використання для оцінки руху кадру перед MB. попереднім кадром як опорного. - Використання відмінних опорних кадрів для Фіг. 4 - подальша ілюстрація першого і другого суміщених MB. методу. Резервний канал лінії зв'язку EV-DO Версії Другий метод: корекція помилок, використовуА використовується як приклад, але можуть бути ючи NAK потоку відео використані інші типи каналів, стандартів і протоОписаний вище перший метод може надати колів зв'язку. Як ілюстровано в нижній частині фіг. хорошу можливість корекції помилок і продуктив4, рівень 30 МАС посилає пакет МАС, що містить ність, але складність реалізації може бути відносаудіо і відеодані, фізичному рівню 32 у вигляді но високою. першого підпакета у часовому слоті n. Наприклад, Перший метод може мати необхідність в зміні в рівні 30 МАС може бути 50 пакетних передач в RTP і рівнів 202, 208 RLP. Другий метод може насекунду, вважаючи 12-й слот завершенням, і всі ці дати більш простий, але ефективний метод корекпакети МАС переносять відеодані. Фізичний рівень ції помилок. EV-DO може надати можливість терміналу доступу Фіг. 3 - ілюстрація способу та структури для майже миттєво виявити втрачений пакет по звородругого методу. У порівнянні з ілюстрованим на тній лінії зв'язку. Фіг. 2, для Фіг. 3 може не потребуватися модифіРівень 30 МАС приймає від базової станції кації рівня 202 RTF. Фактично, другий метод може NAK через канал гібридного ARQ (H-ARQ). Рівень не потребувати виконання яких-небудь операцій в 30 МАС намагається послати другий підпакет прорівні 202 RTP. Замість цього відеокодер або мотягом часового слота n+3. Рівень 30 МАС приймає дуль 206 корекції помилок може зробити запит від базової станції другу NAK знову через канал Hмодуля 208 RLP до кодування кожного нового кадARQ. Рівень 30 МАС намагається послати третій ру відеоданих, а інформація про помилку для копідпакет протягом часового слота n+6. Рівень 30 рекції помилок може бути передана безпосередМАС приймає від базової станції третій NAK знову ньо на відеокодер 20 або модуль 206 корекції через канал H-ARQ. Рівень 30 МАС намагається помилок. Це повідомлення про помилки може пропослати четвертий підпакет протягом часового сто бути прапором (наприклад, біт), встановленим слота n+9. Рівень МАС 30 приймає від базової 15 92508 16 станції NAK через канал останнього ARQ (L-ARQ), (FPGA), або інших еквівалентних логічних приа також приймає від базової станції NAK через строях. Наприклад, пристрій 12 кодування відео, канал пакетного ARQ (P-ARQ). Це ініціює рівень 30 пристрій 14 декодування відео та асоційовані комМАС інформувати модуль 210 РСР. поненти і модулі можуть бути реалізовані як склаДругий підхід може дозволити відеокодеру 20 дові процесу кодування або процесу кодуваншвидко відновлюватися після помилок і користуня/декодування (CODEC), запущеного на вач може не помітити погіршення якості відео. цифровому процесорі сигналів (DSP) або іншому Другий метод може вставляти І-кадр відразу після пристрої обробки. Відповідно, компоненти, описані помилок, щоб негайно зупинити поширення помияк модулі, можуть формувати програмовані можлок. Коли помилок немає, за допомогою І-кадрів ливості такого процесу або окремого процесу. другий метод може забезпечити кращу якість і Пристрій 12 кодування відео може включати в меншу кількість пропусків кадру, ніж інші способи. себе виділену пам'ять для того, щоб зберігати інПристрій 12 кодування відео може включати в струкції і дані, а також виділені апаратні засоби, себе виділену пам'ять для того, щоб зберігати інпрограмні засоби, вбудоване програмне забезпеструкції і дані, а також виділені апаратні засоби, чення або їх комбінації. Якщо реалізовані в пропрограмні засоби, вбудоване програмне забезпеграмних засобах, ці методики можуть бути реалічення або їх комбінації. Якщо реалізовані в прозовані як інструкції, що виконуються одним або грамних засобах, ці методики можуть бути реалібільше процесорами. Інструкції можуть зберігатизовані як інструкції на машинозчитуваному носії, ся на машинозчитуваному носії, такому як оператакому як оперативний запам'ятовуючий пристрій тивний запам'ятовуючий пристрій (RAM), постійний (RAM), постійний запам'ятовуючий пристрій запам'ятовуючий пристрій (ROM), енергонезалеж(ROM), енергонезалежний оперативний запам'ятоний оперативний запам'ятовуючий пристрій вуючий пристрій (NVRAM), електрично стираний (NVRAM), електрично стираний програмований програмований постійний запам'ятовуючий припостійний запам'ятовуючий пристрій (EEPROM), стрій (EEPROM), флеш-пам'ять тощо. Згадані інфлеш-пам'ять, магнітний або оптичний пристрій струкції приписують одному або більше процесозберігання даних тощо. Згадані інструкції припирам виконувати конкретні аспекти функціональних сують одному або більше процесорам виконувати можливостей, розкритих в даному описі. конкретні аспекти функціональних можливостей, Описані в даному винаході методики можуть розкритих в даному описі. бути реалізовані в рамках універсального мікропОписані різні варіанти здійснення даного винароцесора, цифрового процесора сигналів (DSP), ходу. Ці та інші варіанти здійснення даного винаспеціалізованої інтегральної схеми (ASIC), вентиходу знаходяться в межах нижченаведеної форльної матриці, програмованої користувачем мули винаходу. 17 92508 18 19 Комп’ютерна верстка М. Мацело 92508 Підписне 20 Тираж 26 прим. Міністерство освіти і науки України Державний департамент інтелектуальної власності, вул. Урицького, 45, м. Київ, МСП, 03680, Україна ДП “Український інститут промислової власності”, вул. Глазунова, 1, м. Київ – 42, 01601