Концепція кодування, яка дозволяє паралельну обробку даних, транспортний демультиплексор і відеобітовий потік

Реферат: Корисну інформацію необробленої послідовності байтів, яка описує картинку у вирізках, вкладених потоках WPP або мозаїках і кодована з використанням адаптивного до контексту UA 114618 C2 (12) UA 114618 C2 арифметичного кодування, підрозбивають або розрізають на транші з продовженням адаптації ймовірності адаптивного до контексту арифметичного кодування крізь межі траншів. Завдяки цьому заходу межі траншів, додатково введені у вирізках, вкладених потоках WPP або мозаїках, не приводять до зниження ефективності ентропійного кодування цих елементів. Однак, з іншого боку, транші менші за первинні вирізки, вкладені потоки WPP або мозаїки і, відповідно, вони можуть передаватися раніше, тобто з малою затримкою, ніж нерозрізані первинні об'єкти, тобто вирізки, вкладені потоки WPP або мозаїки. У відповідності з іншим аспектом, який здатен поєднуватися з першим аспектом, блоки NAL маркерів вкладених потоків використовуються в послідовності блоків NAL відеобітового потоку для надання можливості транспортному демультиплексору присвоювати дані вирізок в блоках NAL відповідним вкладеним потокам або мозаїкам для надання можливості паралельно живити декодери з багатьма послідовностями команд відповідними вкладеними потоками або мозаїками. UA 114618 C2 5 10 15 20 25 30 35 40 45 50 55 60 Представлений винахід стосується концепцій кодування, які дозволяють паралельну обробку даних, таку як у розроблюваному стандарті HEVC, транспортного демультиплексора і відеобітового потоку. Розпаралелювання роботи кодера і декодера є дуже важливим внаслідок зростаючих вимог стандарту HEVC до обробки даних, а також очікуваного збільшення роздільної здатності відеозображення. Багатоядерні архітектури стають доступними в широкому різновиді сучасних електронних пристроїв. Тому, ефективні способи надають можливість використання необхідних багатоядерних архітектур. Кодування або декодування LCUs (найбільша кодувальна чарунка) відбувається в растровій розгортці, за допомогою якої ймовірності CABAC (контекстно-адаптивне бінарне арифметичне кодування) адаптуються до специфічних ознак кожного зображення. Між сусідніми LCUs існують просторові залежності. Кожна LCU залежить від своїх лівих, верхніх, верхніх лівих і верхніх правих сусідніх LCUs, завдяки різним компонентам, наприклад, вектору руху, прогнозу, інтрапрогнозу та інших. Для надання можливості розпаралелювання в процесі декодування, ці залежності типово потребують переривання або перериваються у застосуваннях рівня техніки. Були запропоновані деякі концепції розпаралелювання, зокрема хвильова обробка даних з використанням ентропійних вирізок [3], операції хвильової паралельної обробки даних (WPP) з використанням вкладених потоків [2] [4], [11], або мозаїк [5]. Останнє не обов‘язково потребує об‘єднання з хвильовою обробкою даних для надання можливості розпаралелювання роботи декодера або кодера. З цієї точки зору, мозаїки подібні до вкладених потоків WPP. Нашим початковим мотиватором для подальшого вивчення концепції ентропійної вирізки є використання технологій, які знижують втрату ефективності кодування і, таким чином, зменшують навантаження на потік бітів для наближень розпаралелювання операцій в кодері та декодері. Для забезпечення кращого розуміння, зокрема використання LCUs, можна спершу розглянути структуру стандарту H.264/AVC [1]. Кодована відеопослідовність в стандарті H.264/AVC складається з ряду блоків доступа, які збираються в потоці блоків NAL, і вони використовують тільки один набір параметрів послідовності. Кожна відеопослідовність може незалежно декодуватися. Кодована послідовність складається з послідовності кодованих картинок. Кодований кадр може бути цілим кадром або єдиним полем. Кожна картинка розбивається на макроблоки фіксованого розміру (в стандарті HEVC [5]: LCUs). Декілька макроблоків або LCUs можуть об‘єднуватися між собою в одну вирізку. Тому, картинка є сукупністю однієї або більшої кількості вирізок. Ціллю цього розділення даних є надання можливості незалежного декодування зразків на ділянці картинки, яка представлена вирізкою, без використання даних від інших вирізок. Технологія, яка часто називається "ентропійними вирізками" [3], полягає у розбитті традиційної вирізки на додаткові субвирізки. Точніше, це означає фрагментацію ентропійно кодованих даних єдиної вирізки. Розташування ентропійних вирізок у вирізці може мати різні варіанти. Найпростішим варіантом є використання кожного рядка LCUs/макроблоків в кадрі як одну ентропійну вирізку. Альтернативно, стовпчики або окремі ділянки можуть використовуватися як ентропійні вирізки, які навіть можуть перериватися і з‘єднуватися між собою, наприклад вирізка 1 на Фіг. 1. Очевидною ціллю концепції ентропійної вирізки є надання можливості паралельного використання CPU(Центральний Процесор)/GPU(Графічний Процесор) і багатоядерних архітектур для покращення тривалості процесу декодування, тобто для прискорення процесу. Поточна вирізка може ділитися на частини, які можуть піддаватися синтаксичному аналізу і відновлюватися без посилання на інші дані вирізки. Хоча може досягатися пара переваг з використанням наближення ентропійної вирізки, таким чином створюючи деякі проблеми. Концепція ентропійної вирізки була додатково поширена на хвильову обробку вкладеного потоку даних (WPP), як запропоновано в документах [2], [10], [11], і частково включено в роботу [5]. Тут визначається схема повторення вкладених потоків, яка має кращу ініціалізацію ентропійного стану на рядок порівняно з ентропійними вирізками. Концепція мозаїки дозволяє розділення інформації картинки, яка кодується, тоді як кожна мозаїка має свій власний порядок растрової розгортки. Мозаїка визначається спільною структурою, яка повторюється в кадрі. Мозаїка може також мати певну ширину стовпчика і висоту рядка в термінах LCUs або CUs. Мозаїки можуть також незалежно кодуватися і можуть також кодуватися у такий спосіб, що вони не вимагають сумісної обробки з іншими мозаїками так, що послідовності команд декодера можуть обробляти мозаїки Блока Доступу повністю або принаймні для деяких етапів операції кодування незалежним чином, тобто ентропійно кодувати і кодувати з перетворенням. 1 UA 114618 C2 5 10 15 20 25 30 35 40 45 50 55 Тому, мозаїка в значній мірі дозволяє запускати кодери мозаїки, а також декодери повністю або частково незалежно паралельним чином – в останньому випадку, наприклад, до етапу фільтрування кодека HEVC. Для повного використання технологій розпаралелювання в уловлюванні, кодуванні, передачі, декодуванні і презентаційному ланцюгу системи відеозв'язку або подібних системах, передача і доступ до даних між учасниками зв‘язку є важливим і довготривалим етапом для введення наскрізної затримки. Це головним чином є проблемою, якщо використовувати технології розпаралелювання, такі як мозаїки, вкладені потоки або ентропійні вирізки. Наближення даних вкладених потоків WPP припускають, що кодовані дані частин, якщо вони обробляються, не мають локалізації даних, тобто єдина послідовність команд, яка декодує Блок Доступу, потребує перестрибувати через потенційно великі частини пам‘яті для доступу до даних наступного вкладеного потоку WPP. Декодувальна система з багатьма послідовностями команд потребує очікування на передачу певних даних, тобто вкладених потоків WPP, для роботи повністю розпаралеленим чином з використанням хвильової обробки даних. В потоковому відео надання можливості використання вищих роздільних здатностей (FullHD, QUAD-HD і так далі) приводить до більшої кількості даних, які повинні передаватися. Для чутливих до часу сценаріїв, так званих випадків використання Малої Затримки, таких як відеоконференція ( 1, то ці синтаксичні елементи також містять прапорець, який вказує, чи інтракодований вкладений потік/мозаїка (дозволяє поступове оновлення декодера). Відповідний синтаксис зображений на Фіг. 10. Можуть застосовуватися наступні обмеження: forbidden_zero_bit повинен дорівнювати 0. nal_ref_flag повинен дорівнювати 0. nal_unit_type повинен дорівнювати 0x19. substream_ID: лічильник величин, який починаючи з 0 для першої вирізки, що належить картинці, збільшується на інкремент з кожною додатковою вирізкою або ентропійною вирізкою, яка належить ті й же картинці. is_intra : якщо ‘1’, то наступний блок NAL містить інтракодовану вирізку або інтракодовану ентропійну вирізку. Спосіб інкапсуляції потоку відеоданих в транспортному мультиплексорі зображений на Фіг. 11, де кожна вирізка або ентропійна вирізка передається окремо в цілій кількості пакетів транспортного потоку. Якщо розмір корисної інформації точно не відповідає доступним байтам в TS пакетах фіксованого розміру, то останній TS пакет містить поле адаптації. Слід відзначити, що подібна поведінка Елементарного Потоку Транспортного Потоку MPEG2 може також забезпечуватися RTP Сесією або потоком Транспортного Протоколу в Реальному часі (RTP), як зображено на Фіг. 19. В RTP 0 потік RTP (ідентифікований типом середовища і типом корисної інформації, як вказано в SDP 0) може міститися у своїй власній RTP сесії, де RTP Сесія ідентифікується (IP) мережевою адресою, (UDP) портом, а також ідентифікатором джерела (SSRC). Інформаційна сесія, як вказано в SDP, може містити багато RTP сесій, кожна з яких містить різний тип інформації. Але також можна передавати той же потік інформації (наприклад, відеоінформацію) в різних RTP потоках, де RTP потоки можуть міститися в однаковій RTP сесії (аналогічно до випадку 1, наведеного нижче) або може міститися у своїх власних RTP сесіях (аналогічно нижченаведеному випадку 2.). Фіг. 19 зображає випадок 2. Формати корисної інформації RTP 0 [13] мають номер порядку декодування (DON), який дозволяє відновлювати порядок декодування блоків NAL в приймачі у випадку, коли вони навмисне передаються не в порядку декодування для протистояння похибкам, як описано в документах 00. Тому, додаткові маркери MKR не потрібні. У випадку передачі траншів вкладених потоків WPP або мозаїк в порядку, коли вони стають доступними з процесів кодування, DON може також використовуватися для відновлення порядку декодування траншів перед надсиланням їх до єдиного декодера. Але у цьому випадку, в декодер повинна вводитися додаткова затримка внаслідок окремого процесу усунення перемежовування перед процесом декодування. Описана тут система може надавати кодовані транші безпосередньо до процесів декодування різних WPP вкладених потоків або мозаїк з одночасним надходженням даних до приймача. Ідентифікація траншів, пов‘язана з вкладеним потоком WPP або мозаїкою, може отримуватися згідно з адресою вирізки в заголовку сегмента вирізки і порядком передачі 7 UA 114618 C2 5 10 15 20 25 30 35 40 45 50 55 60 пакетів, як вказано номером RTP послідовності в RTP заголовку. В цьому сценарії DON використовується тільки для зворотної сумісності, тобто, для декодерів, які не забезпечують покращеної сумісності декодування траншів вкладених потоків WPP або мозаїк, які не відповідають порядку декодування при надходженні. Надсилання даних траншу з порушенням порядку декодування застосовується тільки стосовно вкладеного потоку WPP і рівня мозаїк, тобто, у переданих даних, при цьому транші єдиного вкладеного потоку WPP або мозаїка передаються в порядку декодування, де дані різних вкладених потоків WPP або мозаїки перемежовуються. Існує два можливі варіанти: 1. Усі вирізки і ентропійні вирізки містяться в однаковому елементарному потоці, тобто однаковий PID(ідентифікатор пакета) присвоюється усім TS пакетам такого відеопотоку; в подальшому тексті цей спосіб називається інкапсуляцією єдиного елементарного потоку (ES). 2. Різні PIDs присвоюються вирізкам і ентропійним вирізкам однакового потоку відеобітів; в подальшому тексті цей спосіб називається інкапсуляцією багатьох елементарних потоків (ES). Фіг. 11 дійсна для обох варіантів, якщо перший варіант стосується спеціального випадку більш загальної структури встановленням однакового PID для усіх ES. Ефективніший спосіб інкапсуляції в єдиному ES зображений на Фіг. 12. Тут, вимагається щонайбільше одне поле адаптації на структуру. Ефективніший спосіб інкапсуляції в багатьох ES зображений на Фіг. 13. Тут, адаптаційні поля уникаються; замість цього, інша вирізка, наприклад, сумісна мозаїка наступної картинки, починається безпосередньо у тому ж пакеті транспортного потоку. Можлива структура передавального демультиплексора для інкапсуляції з одним єдиним елементарним потоком (ES), який націлює декодер з багатьма послідовностями команд, зображена на Фіг. 14. Ентропійна вирізка на фігурі може містити дані спеціального вкладеного потоку WPP або мозаїки. Передавальний Буфер (TB) збирає дані, які належать до транспортного пакету і направляє їх до Мультиплексного Буфера (MB). На виході MB оцінюються заголовки блоків NAL і скидаються маркери вкладених потоків, тоді як дані, які переносяться в маркері вкладеного потоку, зберігаються. Дані кожної вирізки або ентропійної вирізки зберігаються в окремому Буфері Вирізок (SB), звідки вони беруться декодером з багатьма послідовностями команд, як тільки він стає доступним. Можлива структура транспортного демультиплексора для інкапсуляції з багатьма елементарними потоками, які націлюють декодер з багатьма послідовностями команд, зображена на Фіг. 15. Вищенаведені концепції знову описуються нижче іншими словами. Тому, нижченаведений опис може поєднуватися з додатковими деталями окремо наведеного вище опису. Фіг. 16 зображає загальну структуру кодера у відповідності з варіантом виконання представленого винаходу. Кодер 10 може втілюватися здатним працювати в багатопотоковому режимі або ні, тобто просто в однопотоковому режимі. Тобто, кодер 10 може, наприклад, втілюватися з використанням багатоядерного центрального процесора (CPU). Іншими словами, кодер 10 може підтримувати паралельну обробку, але не повинен це робити. Концепція кодування представленого винаходу дозволяє кодерам з паралельною обробкою ефективно здійснювати паралельну обробку, однак, без порушення ефективності стискання. Що стосується здатності до паралельної обробки, то подібні твердження дійсні для декодера, який описується далі стосовно Фіг. 17. Кодер 10 є відеокодером, але загалом кодер 10 може бути також кодером картинки. Картинка 12 відеозображення 14 показана як та, що надходить до кодера 10 на вхід 16. Кодер 10 є гібридним кодером, тобто картинка 12 прогнозується в предикторі 18, а залишок прогнозування 20, як він одержаний елементом 22 для визначення залишку прогнозування, таким як блок віднімання, піддається перетворенню, такому як спектральний розклад, такий як Дискретне Косинусне Перетворення (DCT), і дискретизації в модулі 24 перетворення/дискретизації. Дискретизований таким чином одержаний залишок 26 піддається ентропійному кодуванню в ентропійному кодері 28, зокрема адаптивному до контексту бінарному арифметичному кодуванню. Здатний до відтворення залишок, як він доступний для декодера, тобто деквантизований і повторно перетворений залишковий сигнал 30, відновлюється модулем 31 повторного перетворення і повторної дискретизації і поєднуватися з прогнозувальним сигналом 32 предиктора 18 об‘єднувальним елементом 33, таким чином забезпечуючи відновлення 34 картинки 12. Однак, кодер 10 працює на блочній основі. Відповідно, відновлений сигнал 34 страждає від розривів на границях блоків і, відповідно, фільтр 36 може застосовуватися до відновленого сигналу 34 для надання еталонної картинки 8 UA 114618 C2 5 10 15 20 25 30 35 40 45 50 55 60 38, на основі якої предиктор 18 прогнозує послідовно кодовані картинки. Як зображено пунктирними лініями на Фіг. 16, предиктор 18 може, однак, також використовувати відновлений сигнал 34 безпосередньо без фільтра 36 або проміжного варіанта. У випадку кодування картинки, фільтр 36 може усуватися. Предиктор 18 може вибирати різні режими прогнозування для прогнозування певних блоків картинки 12. Тут може бути тимчасовий режим прогнозування, згідно з яким блок прогнозується на основі попередньо кодованих картинок, режим просторового прогнозування, згідно з яким блок прогнозується на основі попередньо кодованих блоків однієї і тієї ж картинки, режими міжшарового прогнозування, згідно з якими блок картинки, який показує сцену на вищому шарі, як, наприклад, при вищій просторовій роздільній здатності або з додаткової точки огляду, прогнозується на основі відповідної картинки, яка показує цю сцену на нижчому шарі, як, наприклад, з меншою просторовою роздільною здатністю або з іншої точки огляду. Певний синтаксис використовується для збору дискретизованих залишкових даних 26, тобто рівнів коефіцієнтів перетворення та інших залишкових даних, а також дані режиму кодування, які містять, наприклад, режими прогнозування і параметри прогнозування для окремих блоків картинки 12, як визначено предиктором 18, і ці синтаксичні елементи піддаються ентропійному кодуванню ентропійним кодером 28. Таким чином одержаний потік даних як вихід ентропійного кодера 28 називається корисною інформацією 40 необробленої послідовності байтів. Елементи кодера 10 з Фіг. 16 з‘єднані між собою, як зображено на Фіг. 16. Фіг. 17 зображає декодер, який відповідає кодеру з Фіг. 16, тобто здатний декодувати корисну інформацію необробленої послідовності байтів. Декодер з Фіг. 17 головним чином вказується позицією 50 і містить ентропійний декодер 52, модуль 54 повторного перетворення/деквантизації, об‘єднувальний елемент 56, фільтр 58 і предиктор 60. Ентропійний декодер 42 приймає корисну інформацію 40 необробленої послідовності байтів і виконує ентропійне декодування з використанням адаптивного до контексту бінарного арифметичного декодування для відновлення залишкового сигналу 62 і кодувальних параметрів 64. Модуль 54 повторного перетворення/деквантизації деквантизує і повторно перетворює залишкові дані 62 і направляє таким чином одержаний залишковий сигнал до об‘єднувального елемента 56. Об‘єднувальний елемент 56 також приймає прогнозувальний сигнал 66 від предиктора 60, який, у свою чергу, формує прогнозувальний сигнал 66 з використанням кодувальних параметрів 64 на основі відновленого сигналу 68, визначеного об‘єднувальним елементом 56 шляхом об‘єднання прогнозувального сигналу 66 і залишкового сигналу 65. Як вже пояснювалося вище стосовно Фіг. 16, предиктор 60 може використовувати відфільтрований варіант відновленого сигналу 68 або деякий його проміжний варіант, альтернативно або додатково. Картинка, яка, врешті решт, відтворюється і видається на вихід 70 декодера 50, може подібним чином визначатися на нефільтрованому варіанті комбінованого сигналу 68 або деякому його відфільтрованому варіанті. У відповідності з концепцією мозаїки картинку 12 підрозбивають на мозаїки і принаймні прогнози блоків в цих мозаїках обмежуються використанням просто даними як основи для просторового прогнозування, які відносяться до однієї і тієї ж мозаїки. Завдяки цьому заходу, принаймні прогнозування може виконуватися паралельно індивідуально для кожної мозаїки. Тільки для ілюстрації, Фіг. 16 зображає картинку 12, підрозбиту на дев‘ять мозаїк. Підрозбиття кожної мозаїки на дев‘ять блоків, як зображено на Фіг. 16, також просто служить як приклад. Окрім того, для повноти, відзначається, що спосіб окремого кодування мозаїк може не обмежуватися просторовим прогнозуванням (інтрапрогнозуванням). Скоріше, будь-яке прогнозування кодувальних параметрів відповідної мозаїки крізь її межі і будь-яка залежність вибору контексту в ентропійному кодуванні відповідної мозаїки крізь її відповідні межі може також заборонятися для обмеження тільки залежністю від даних однієї і тієї ж мозаїки. Таким чином, декодер здатен виконувати паралельно тільки що згадані операції, зокрема в блоках мозаїк. Для передачі по деякому каналу передачі даних, синтаксичні елементи повинні ентропійно кодуватися ентропійним кодером 28 по вирізкам. Для цього, ентропійний кодер 28 проходить блоки мозаїк, проходячи блоки спершу першої мозаїки, потім блоки наступної мозаїки в порядку розташування мозаїк і так далі. Порядок растрової розгортки може, наприклад, використовуватися для проходження блоків в мозаїках і, відповідно, мозаїк. Вирізки потім пакуються в блоки NAL, які є найменшими блоками для передачі. Перед ентропійним кодуванням вирізки ентропійний кодер 28 ініціалізує свої ймовірності CABAC, тобто ймовірності, використовувані для арифметичного кодування синтаксичного елемента такої вирізки. Ентропійний декодер 52 робить те ж саме, тобто ініціалізує свої ймовірності на початках вирізок. Однак, кожна ініціалізація негативно впливає на ефективність ентропійного кодування, оскільки 9 UA 114618 C2 5 10 15 20 25 30 35 40 45 50 55 60 ймовірності безперервно адаптуються до реальної статистики ймовірності символів різних контекстів і, відповідно, скидування ймовірностей CABAC представляє відхилення від адаптованого стану. Як відомо фахівцю у цій галузі, ентропійне кодування приводить до оптимального стискання тільки, якщо ймовірності відповідають реальній статистиці ймовірності символів. Відповідно, декодер у відповідності з варіантом виконання представленого винаходу працює, як зображено на Фіг. 18. Декодер приймає на етапі 80 корисну інформацію необробленої послідовності байтів, яка описує картинку 12 в мозаїках 82, в траншах мозаїк. На Фіг. 18 перша мозаїка 82 в порядку 84 розташування мозаїк ілюстративно зображена розрізаною або поділеною на два транші 86a і 86b, кожен з яких ілюстративно покриває підпослідовність послідовності блоків в такій мозаїці. Потім, на етапі 82 транші 86a і 86b ентропійно кодуються. Однак, в ентропійному декодуванні траншів 86a і 86b адаптація ймовірності CABAC продовжується крізь границі траншів. Тобто, під час декодування траншу 86a, ймовірності CABAC безперервно адаптуються до реальної символьної статистики і стан в кінці ентропійного декодування траншу 86a адаптується в початковому ентропійному декодуванні траншу 86b. На етапі 90 таким чином ентропійно декодована корисна інформація необробленої послідовності байтів декодується для одержання картинки 12. Внаслідок продовження адаптації ймовірності CABAC через межі 92 траншів, розташованих всередині мозаїк 82, ці межі траншів не впливають негативно на ефективність ентропійного кодування після підрозбиття картинки 12 на мозаїки 82. З іншого боку, все ще можлива паралельна обробка. Після цього, можна індивідуально передавати транші і, коли транші менші за мозаїки 82, можна починати етап 90 декодування кожної мозаїки, як тільки прийнятий і ентропійно декодований перший транш відповідної мозаїки. Опис Фіг. 16 - 18 головним чином стосується використання мозаїк. Як описано вище, мозаїки одержуються з просторового розбиття картинки. Подібно до мозаїк, вирізки також просторово підрозбивають картинку. Вирізки, відповідно, також є засобамидля надання можливості паралельного кодування/декодуваня. Подібно до мозаїк, прогнозування і так далі заборонено таким чином, що вирізки здатні декодуватися окремо. Відповідно, опис Фіг. 16 - 18 також дійсний для розбиття вирізок на транші. Те ж саме застосовується при використанні вкладених потоків WPP. Вкладені потоки WPP також представляють просторове розбиття картинки 12, зокрема на вкладені потоки WPP. На противагу до мозаїк і вирізок, вкладені потоки WPP не накладають обмеження на прогнози і на вибори вкладених потоків WPP. Вкладені потоки WPP проходять вздовж рядів блоків, таких як ряди LCU, як зображено на Фіг. 4, і для надання можливості паралельної обробки просто робиться один компроміс по відношенню до ентропійного кодування CABAC в порядку, визначеному серед вкладених потоків WPP (дивіться Фіг. 4) 92 і для кожного з вкладених потоків WPP 92, за виключенням першого вкладеного потоку WPP, ймовірності CABAC не повністю скидаються, а адаптуються, або встановлюється рівними ймовірностям CABAC, які одержуються після ентропійного декодування безпосередньо попереднього вкладеного потоку WPP, його другого LCU 94, з порядком LCU, який починається для кожного вкладеного потоку WPP на однаковій стороні картинки 12, як, наприклад, на лівій стороні, як зображено на Фіг. 4. Відповідно, дотримуючись деякої затримки в кодуванні між послідовністю вкладених потоків WPP, ці вкладені потоки WPP 92 здатні декодуватися паралельно так, що частини, на яких паралельно декодується картинка 12, тобто, одночасно, формують фронт хвилі 96, який похило рухається по картинці зліва на право. Тобто, при перенесенні опису Фіг. 16 - 18 на вкладені потоки WPP, будь-який вкладений потік WPP 92 (Фіг. 4) може також підрозбиватися на транші 98a і 98b без переривання адаптації ймовірності CABAC на межі 100 між цими траншами 98a і 98b всередині відповідного вкладеного потоку WPP 92, таким чином, уникаючи проблем стосовно ефективності ентропійного кодування внаслідок індивідуальної здатності до передавання обох траншів 98a і 98b, але зберігаючи здатність використовувати паралельну хвильову обробку і здатність починати цю паралельну хвильову обробку раніше, оскільки транші менші за усі вкладені потоки WPP 92. Як описано вище стосовно Фіг. 1 - 15, існує декілька можливостей передачі траншів, пакетованих в блоки NAL. Посилання робиться на Фіг. 3, де мозаїки або вкладені потоки або вирізки таких траншів, або вкладені потоки розділені на транші в арифметично кодованій області із заголовком, який передує n-му траншу кожного вкладеного потоку або мозаїці, і представляє інформацію, яка дозволяє локалізацію меж траншу. Інший варіант виконання представлений на Фіг. 9. Тут, підрозбиття мозаїк або вкладених потоків WPP на транші виконувалося незначною зміною структури вирізки: вирізки, які починаються на мозаїці або межі 10 UA 114618 C2 5 10 15 20 25 30 35 40 45 50 55 60 вкладеного потоку WPP, тобто, які починаються на початку мозаїки або вкладеного потоку WPP, не мають no_cabac_reset_flag, встановленого в нуль, таким чином виконуючи звичайну ініціалізацію/скидування ймовірності CABAC. Однак, вирізки, які містять транші, які починаються всередині мозаїки або вкладеного потоку WPP, мають no_cabac_reset_flag, встановлений в одиницю, таким чином виконуючи вищеописане продовження адаптації ймовірності CABAC. Настільки, наскільки це стосується усунення перемежовування, яке має місце на етапі 80 прийому, для кожного траншу визначається, якому вкладеному потоку WPP або мозаїці належить відповідний транш. Вище були описані різні можливості, такі як, наприклад, карусельне циклювання крізь ряд вкладених потоків WPP або мозаїки поточної картинки. Альтернативно, у випадку використання заголовків вирізок для передачі траншів, заголовки вирізок можуть містити індикатор, який дозволяє локалізацію початку відповідної вирізку в поточній картинці 12. З цього приводу, відзначається, що розбиття вирізок, вкладених потоків WPP або мозаїк на транші виконується в порядку декодування, визначеному в кожній вирізці, вкладеному потоці WPP або мозаїці: тобто, в кожній вирізці, вкладеному потоці WPP або мозаїці частина картинки, просторово покрита відповідною вирізкою, вкладеним потоком WPP або мозаїкою, кодується в або декодується з відповідної вирізки, вкладеного потоку WPP або мозаїки в такому порядку декодування і кожен транш відповідної вирізки, вкладеного потоку WPP або мозаїки покриває суцільну частину відповідної вирізки, вкладений потік WPP або мозаїку в такому порядку декодування. У цей спосіб, порядок визначається серед траншів, які належать одній і тій же вирізці, вкладеному потоку WPP або мозаїці, зокрема порядок кодування/декодування і кожен транш має ранг в такому порядку. Оскільки підрозбиття картинки на вкладені потоки WPP або мозаїки сигналізується декодеру, то декодер знає про підрозбиття. Відповідно, для зв‘язування кожного траншу з відповідним вкладеним потоком WPP або мозаїкою, наприклад, повинно бути достатнім, щоб кожен транш мав початкову адресу, яка ідентифікує початкове положення, з якого відповідний транш неперервно покриває картинку з використанням порядку кодування/декодування мозаїки/вкладених потоків WPP, частиною яких є відповідний транш. Навіть порядок серед траншів, які належать певній мозаїці або вкладеному потоку WPP, наприклад, може відновлюватися в транспортному демультиплексорі або декодером з використанням початкових положень. Однак, для повторного упорядковування, може також використовуватися інформація заголовків транспортних пакетів нижніх OSI шарів, як описано вище стосовно RTP передачі, така як номер порядку декодування, тобто DON’s. Транспортний демультиплексор тільки що згаданого типу може конфігуруватися подібно до вищеописаного транспортного демультиплексора для зберігання даних траншів однакового вкладеного потоку WPP або мозаїки в одному буфері вирізок і даних траншів різних вкладених потоків WPP або мозаїк в різних буферах вирізок. Як згадано вище, структура вирізки, тобто заголовки вирізок, можуть використовуватися для подачі траншів. Далі, посилання робиться на варіанти виконання з Фіг. 11 - 15 для повторного їх опису іншими словами. Як зображено на цих фігурах, вирізки Si пакетуються в блоки NAL, при цьому кожен блок 110 NAL (дивіться Фіг. 11) містить заголовок 112. Слід відзначити, що вирізки Si можуть бути нормальними вирізками або вирізками, які містять транші, у відповідності з Фіг. 9. Відповідно, ці вирізки містять тільки дані, які стосуються одного вкладеного потоку WPP або мозаїки поточної картинки, зокрема i-го вкладеного потоку WPP або, відповідно, мозаїки. За допомогою фрагментації блоки 110 NAL передаються пакетами 114 транспортного потоку (TS), зокрема їх корисною інформацією 116. Роблячи це, кожен блок 110 NAL і відповідна вирізка Si передується відповідним маркером MKR вкладеного потоку, який вказує i, тобто, вкладений потік WPP або мозаїку, який безпосередньо слідує за вирізкою безпосередньо наступного блока 110 NAL, якій їй належить. Блоки 110 NAL, які містять вирізки, які належать різним вкладеним потокам WPP або мозаїкам, можуть розподілятися по більше ніж одному елементарному потоку (ES) або по одному і тому ж елементарному потоку, як пояснюється на Фіг. 11 - 13. Як згадується вище, "елементарний потік" може також ідентифікувати окремий RTP потік у своїй власній RTP сесії. Як пояснюється стосовно Фіг. 14 і 15, транспортний демультиплексор може містити мультиплексний буфер MB, буфер вирізок SB і транспортний буфер TB. Буфери вирізок SB беруться декодером MTD з багатьма послідовностями команд, який дозволяє паралельне декодування картинки у вкладених потоках WPP або мозаїках. Транспортний буфер TB сконфігурований для збирання даних, які належать до TS пакета наперед визначеного елементарного потоку відеобітів, і направлення даних до мультиплексного буфера MB. Транспортний демультиплексор потім конфігурується для оцінки заголовків блоків NAL послідовності блоків NAL, пакетованих в TS пакети на виході мультиплескного буфера MB, для 11 UA 114618 C2 5 10 15 20 25 30 35 40 45 50 55 60 скидування маркера MKR блоків NAL вкладеного потоку із збереженням даних маркера вкладеного потоку, які переносяться в блоках NAL маркера вкладеного потоку, і зберігання даних вирізок вкладених потоків або мозаїк в блоках NAL, які відповідають блокам NAL маркера вкладеного потоку, поле даних яких ідентифікує однаковий вкладений потік WPP або мозаїку в одному, тобто одному і тому ж буфері вирізок SB, і дані вирізок вкладених потоків WPP або мозаїк в блоках NAL, які відповідають блокам NAL маркера вкладеного потоку, поле даних яких ідентифікує різні вкладені потоки WPP або мозаїки в різних буферах вирізок SB. Як зображено на Фіг. 15, транспортний демультиплексор може включати демультиплексор, названий TS demux на Фіг. 15, і сконфігурований для прийому потоку відеобітів і розбиття TS пакетів потоку відеобітів на різні елементарні потоки, тобто, для розподілення TS пакету потоку відеобітів по різним елементарним потокам. Демультиплексор виконує це розбиття або розподіл згідно з PIDs, які містяться в заголовках TS пакету, так, що кожен елементарний потік складається з TS пакетів з PID, відмінного від PIDs TS пакетів інших елементарних потоків. Тобто, якщо вирізки відповідають траншам в сенсі варіанта виконання з Фіг. 9, то MTD, тобто декодер з багатьма послідовностями команд, здатен починати обробку більше ніж одного вкладеного потоку WPP або мозаїки поточної картинки як тільки відповідний буфер вирізок SB відповідного вкладеного потоку WPP або мозаїки буде містити дані, таким чином зменшуючи затримку. Хоча були описані деякі аспекти в контексті пристрою, зрозуміло, що ці аспекти також представляють опис відповідного способу, де блок або пристрій відповідають етапу способу або ознаці етапу способу. Аналогічно, аспекти, описані в контексті етапу способу, також представляють опис відповідного блока або деталі або ознаки відповідного пристрою. Деякі або усі етапи способу можуть виконуватися (або використовуючи) апаратний засіб, такий як, наприклад, мікропроцесор, програмований комп‘ютер або електронна схема. В деяких варіантах виконання деякий один або більша кількість найважливіших етапів способу може виконуватися таким пристроєм. Кодований потік бітів винаходу можна зберігати на середовищі для збереження цифрових даних або можна передавати по передавальному середовищі, такому як середовище безпровідної передачі даних або середовище проводової передачі даних, таке як Інтернет. Ці вищезгадані досягнення, між тим, описують способи інкапсуляції з малою затримкою і передачі структурованих відеоданих, наданих новим стандартам кодування HEVC, таких як структуровані в мозаїках вкладені потоки хвильової обробки даних (WPP), вирізки або ентропійні вирізки. Між тим, були представлені технології, які дозволяють передачу даних з малою затримкою в розпаралеленому середовищі кодер-передавач-приймач-декодер за допомогою перемежованої передачі ентропійних вирізок/вирізок/мозаїк/вкладених потоків. Для вирішення проблем критичного параметра, описаних у вступній частині опису, і для мінімізації часу затримки в передачі і декодуванні даних, тобто наскрізної затримки, була представлена технологія для перемежованої схеми ентропійної вирізки для паралельної передачі і обробки даних. В залежності від певних вимог до втілення, варіанти виконання винаходу можуть втілюватися в апаратних засобах або в програмних засобах. Втілення може здійснюватися з використанням середовища для зберігання цифрових даних, наприклад дискети, DVD, Blu-Ray, CD, ROM, PROM, EPROM, EEPROM або флеш-пам‘яті, яке містить збережені в собі здатні до електронного читання керувальні сигнали, які взаємодіють (або здатні взаємодіяти) з програмованою комп‘ютерною системою так, що виконується відповідний спосіб. Тому, середовище для зберігання цифрових даних може читатися комп‘ютером. Деякі варіанти виконання згідно з винаходом включають носій даних, який має здатні до електронного читання керувальні сигнали, які здатні взаємодіяти з програмованою комп‘ютерною системою так, що виконується один із описаних тут способів. Головним чином, варіанти виконання представленого винаходу можуть втілюватися як комп‘ютерна програма з програмним кодом, який виконується для виконання одного із способів, коли програма виконується на комп‘ютері. Програмний код може, наприклад, зберігатися на носії, який здатен читатися машиною. Інші варіанти виконання включають комп‘ютерну програму для виконання одного з описаних тут способів, збережену на носії, який здатен читатися машиною. Іншими словами, варіант виконання способу винаходу є, тому, комп‘ютерною програмою, яка має програмний код для виконання одного з описаних тут способів, коли комп‘ютерна програма виконується на комп‘ютері. Тому, подальший варіант виконання способів винаходу є носієм даних (або середовищем для зберігання цифрових даних або здатним до читання комп‘ютером середовищем), який 12 UA 114618 C2 5 10 15 20 25 містить записану в собі комп‘ютерну програму для виконання одного з описаних тут способів. Носій даних, середовище для зберігання цифрових даних або середовище запису є типово матеріальними і/або неперехідними. Подальший варіант виконання способу винаходу є, тому, потік даних або послідовність сигналів, які представляють комп‘ютерну програму для виконання одного з описаних тут способів. Потік даних або послідовність сигналів може, наприклад, конфігуруватися для передачі по з‘єднанню для передачі даних, наприклад по Інтернету. Подальший варіант виконання включає засоби обробки, наприклад комп‘ютер або програмований логічний пристрій, сконфігуровані або адаптовані для виконання одного з описаних тут способів. Подальший варіант виконання включає комп‘ютер, який має встановлену на ньому комп‘ютерну програму для виконання одного з описаних тут способів. Подальший варіант виконання згідно з винаходом включає пристрій або систему, сконфігуровану для передачі до приймача (наприклад, електронно або оптично) комп‘ютерної програми для виконання одного з описаних тут способів. Приймач може, наприклад, бути комп‘ютером, мобільним пристроєм, запам‘ятовуючим пристроєм або подібним. Пристрій або система може, наприклад, включати файловий сервер для передачі комп‘ютерної програми до приймача. В деяких варіантах виконання програмований логічний пристрій (наприклад, програмована логічна інтегральна схема) може використовуватися для виконання деяких або усіх функцій описаних тут способів. В деяких варіантах виконання програмована логічна інтегральна схема може об‘єднуватися з мікропроцесором для виконання одного з описаних тут способів. Головним чином, способи переважно виконуються будь-яким апаратним засобом. Вищеописані варіанти виконання є просто ілюстративними для принципів представленого винаходу. Зрозуміло, що модифікації і різні описані тут варіанти схем та деталі стануть очевидними для фахівців у цій галузі. Тому, наміром є обмежитися тільки об‘ємом правового захисту доданої формули винаходу, а не спеціальними деталями, представленими у вигляді опису і пояснень варіантів виконання. 13 UA 114618 C2 5 10 15 20 Протиставлені Документи [1] Thomas Wiegand, Gary J. Sullivan, Gisle Bjontegaard, Ajay Luthra, "Overview of the H.264/AVC Video Coding Standard", IEEE Trans. Circuits Syst. Video Technol., vol. 13, N7, July 2003. [2] JCTVC-E196, "Wavefront Parallel Processing", 5th JCT-VC Meeting, Geneva 2011. [3] JCTVC-D070, "Lightweight slicing for entropy coding", 4th Meeting, Daegu, 2011. [4] JCTVC-D073, "Periodic initialization for wavefront coding functionality", 4th Meeting, Daegu, 2011. [5] HEVC WD5: Working Draft 5 °F High-Efficiency Video Coding JTCVC-G1103, 5th JCT-VC Meeting, Geneva Meeting November 2011. [6] JTCVC-D243, "Analysis of entropy slices approaches", 4th Meeting, Daegu, 2011. [7] ISO/IEC 13818-1/2011, MPEG-2 Transport Stream including AMDs 1 - 6. [8] IETF Real-time transport protocol, RTP RFC 3550. [9] IETF RTP Payload Format, IETF RFC 6184. [10] JCTVC-F275, Wavefront and Cabac Flush: Different Degrees of Parallelism Without Transcoding, , Torino Meeting [11] JCT-VC-F724, Wavefront Parallel Processing for HEVC Encoding and Decoding, Torino Meeting** at end of description [12] IETF Session Description Protocol (SDP), RFC 4566 [13] IETF RTP Payload Format for High Efficiency Video Coding, draft-schierl-payload-h265 ФОРМУЛА ВИНАХОДУ 25 30 35 40 45 50 55 1. Декодер, сконфігурований для прийому корисної інформації необробленої послідовності байтів, яка описує картинку у вкладених потоках WPP з одним вкладеним потоком WPP на рядок LCU картинки, і кодованої з використанням САВАС, від кодера в траншах, на які розбиті вкладені потоки WPP, таким чином вводячи в них межі траншів; для ентропійного декодування траншів з продовженням адаптації ймовірності САВАС крізь межі траншів, введених у вкладені потоки WPP; і для декодування корисної інформації необробленої послідовності байтів для одержання картинки. 2. Декодер за п. 1, який відрізняється тим, що транші пакетують з використанням заголовків вирізок і, при прийомі траншів, декодер сконфігурований для реагування, при прийомі нової вирізки, на прапорець в заголовку нової вирізки, на тип нової вирізки або на тип блока NAL, який містить нову вирізку, або для переривання адаптації ймовірності САВАС скиданням ймовірностей САВАС або для продовження адаптації ймовірності САВАС. 3. Декодер за п. 1 або п. 2, який відрізняється тим, що сконфігурований для усунення перемежовування траншів шляхом ідентифікації для кожного траншу вкладеного потоку WPP, якому належить відповідний транш, при прийомі траншів. 4. Декодер за будь-яким із попередніх пунктів, який відрізняється тим, що транші пакетують в пакети у такий спосіб, що кожен пакет містить один транш кожного вкладеного потоку WPP картинки або підмножини вкладених потоків WPP картинки, розташованих в порядку, визначеному серед вкладених потоків WPP, при цьому кожен пакет містить заголовок, який показує положення і/або довжини траншів, запакованих у відповідний пакет, або маркери, які відокремлюють транші у відповідному пакеті один від іншого, при цьому декодер сконфігурований для використання інформації, яка міститься в заголовках або маркерах, для доступу до траншів в пакетах при прийомі корисної інформації необробленої послідовності байтів. 5. Декодер за п. 4, який відрізняється тим, що пакети, які містять перші у відповідності з порядком, визначеним серед вкладених потоків WPP або мозаїк, транші вкладених потоків WPP або мозаїк картинки, містять індикатор малої затримки, і пакети, які містять другі або наступні у відповідності з порядком, визначеним серед вкладених потоків WPP або мозаїк, транші вкладених потоків WPP або мозаїк картинки, містять індикатор продовження процесу. 6. Декодер за п. 4 або п. 5, який відрізняється тим, що пакети є блоками NAL або вирізками. 7. Декодер, сконфігурований для прийому корисної інформації необробленої послідовності байтів, яка описує картинку у вкладених потоках WPP, і кодованої з використанням САВАС, від кодера в траншах, на які розбиті вкладені потоки WPP, таким чином вводячи в них межі траншів; 14 UA 114618 C2 5 10 15 20 25 30 35 40 45 50 55 60 для ентропійного декодування траншів з продовженням адаптації ймовірності САВАС крізь межі траншів, введених у вкладені потоки WPP, шляхом приймання, при запуску ентропійного декодування одного траншу вкладеного потоку WPP, ймовірностей САВАС в кінці ентропійного декодування іншого траншу вкладеного потоку WPP; і для декодування корисної інформації необробленої послідовності байтів для одержання картинки. 8. Декодер за п. 1 або п. 7, який відрізняється тим, що сконфігурований для декодування картинки в шарах, які відповідають різним точкам огляду, з необробленої послідовності байтів. 9. Декодер за п. 1 або п. 7, який відрізняється тим, що сконфігурований для декодування картинки в шарах з необробленої послідовності байтів. 10. Кодер, сконфігурований для формування корисної інформації необробленої послідовності байтів шляхом кодування картинки для опису картинки у вкладених потоках WPP з одним вкладеним потоком WPP на рядок LCU картинки з ентропійним кодуванням необробленої послідовності байтів з використанням САВАС, з передачею необробленої послідовності байтів в траншах, на які розбиваються вкладені потоки WPP, таким чином, вводячи в них межі траншів, і з продовженням адаптації ймовірності САВАС в ентропійному кодуванні крізь межі траншів, введених у вкладені потоки WPP. 11. Кодер за п. 10, який відрізняється тим, що сконфігурований для формування необробленої послідовності байтів так, що транші відповідають максимальному розміру передавального блока. 12. Кодер за п. 10, який відрізняється тим, що сконфігурований для кодування картинки в шарах, які відповідають різним точкам огляду, з одержанням необробленої послідовності байтів. 13. Кодер за п. 10, який відрізняється тим, що сконфігурований для кодування картинки в шарах з одержанням необробленої послідовності байтів. 14. Машиночитаний носій, який містить відеобітовий потік, який містить корисну інформацію необробленої послідовності байтів, яка описує картинку у вкладених потоках WPP з одним вкладеним потоком WPP на рядок LCU картинки, і кодовану з використанням САВАС, при цьому відеобітовий потік розбивають на транші вкладених потоків WPP, на які розбиваються вкладені потоки WPP, таким чином вводячи в них межі траншів, з продовженням адаптації ймовірності САВАС крізь межі траншів, при цьому кожен транш містить явний індикатор свого рангу серед траншів, на які послідовно розбивається вкладений потік WPP, якому належить відповідний транш. 15. Машиночитаний носій за п. 14, який відрізняється тим, що транші пакетують в пакети у такий спосіб, що кожен пакет містить один транш кожного вкладеного потоку WPP або мозаїки картинки, або підмножини вкладених потоків WPP або мозаїк картинки, розташованих в порядку, визначеному серед вкладених потоків WPP або мозаїк, при цьому кожен пакет містить заголовок, який містить положення і/або довжини траншів, пакетованих у відповідний пакет, або маркери, які відокремлюють транші у відповідному пакеті один від іншого. 16. Машиночитаний носій за п. 14 або п. 15, який відрізняється тим, що пакети, які містять перші у відповідності з порядком, визначеним серед вкладених потоків WPP або мозаїк, транші вкладених потоків WPP або мозаїк картинки, містять індикатор малої затримки і пакети, які містять другі або наступні у відповідності з порядком, визначеним серед вкладених потоків WPP або мозаїк, транші вкладених потоків WPP або мозаїк картинки, містять індикатор продовження процесу. 17. Машиночитаний носій за будь-яким із пп. 14-16, який відрізняється тим, що пакети є блоками NAL або вирізками. 18. Машиночитаний носій за п. 10, який відрізняється тим, що корисна інформація необробленої послідовності байтів має кодовану картинку в шарах, які відповідають різним точкам огляду. 19. Машиночитаний носій за п. 10, який відрізняється тим, що корисна інформація необробленої послідовності байтів має кодовану картинку в шарах. 20. Спосіб декодування, у якому приймають корисну інформацію необробленої послідовності байтів, яка описує картинку у вкладених потоках WPP з одним вкладеним потоком WPP на рядок LCU картинки, і кодовану з використанням САВАС, від кодера в траншах вкладених потоків WPP, на які розбивають вкладені потоки WPP, таким чином вводячи в них межі траншів; ентропійно декодують транші з продовженням адаптації ймовірності САВАС крізь межі траншів, введені у вкладені потоки WPP; і декодують корисну інформацію необробленої послідовності байтів для одержання картинки. 21. Спосіб транспортного демультиплексування, у якому приймають відеобітовий потік, який містить корисну інформацію необробленої послідовності байтів, яка описує картинку у 15 UA 114618 C2 5 10 вкладених потоках WPP з одним вкладеним потоком WPP на рядок LCU картинки, і кодовану з використанням САВАС, при цьому відеобітовий потік розбивають на транші вкладених потоків WPP, на які розбиваються вкладені потоки WPP, таким чином вводячи в них межі траншів, з продовженням адаптації ймовірності САВАС крізь межі траншів, при цьому кожен транш містить інформацію, яка ідентифікує для кожного траншу вкладений потік WPP або мозаїку, якому належить відповідний транш, і зв'язує транші з вирізками, вкладеними потоками WPP або мозаїками з використанням цієї інформації. 22. Спосіб кодування, у якому формують корисну інформацію необробленої послідовності байтів шляхом кодування картинки для опису картинки у вкладених потоках WPP з одним вкладеним потоком WPP на рядок LCU картинки з ентропійним кодуванням необробленої послідовності байтів з використанням САВАС, з передачею необробленої послідовності байтів в траншах, на які розбиваються вкладені потоки WPP, таким чином вводячи в них межі траншів, і з продовженням адаптації ймовірності САВАС в ентропійному кодуванні крізь межі траншів, введених у вкладені потоки WPP. 16 UA 114618 C2 17 UA 114618 C2 18 UA 114618 C2 19 UA 114618 C2 20 UA 114618 C2 21 UA 114618 C2 22 UA 114618 C2 23 UA 114618 C2 Комп’ютерна верстка О. Гергіль Міністерство економічного розвитку і торгівлі України, вул. М. Грушевського, 12/2, м. Київ, 01008, Україна ДП “Український інститут інтелектуальної власності”, вул. Глазунова, 1, м. Київ – 42, 01601 24