Обробка міжрівневого еталонного зображення для масштабованості стандартів кодування

Реферат: Відеодані кодують у бітовому потоці з декількома рівнями стандартів кодування. Для заданого сигналу базового рівня (BL) і одного або декількох сигналів рівнів розширення (EL) сигнал BL кодують у кодований потік BL з використанням кодера BL, сумісного з першим стандартом UA 111797 C2 (12) UA 111797 C2 кодування. У відповідь на сигнал BL і сигнал EL блок обробки еталона (RPU) визначає параметри обробки даних RPU. У відповідь на параметри обробки даних RPU і сигнал BL RPU генерує міжрівневий еталонний сигнал. З використанням кодера EL, сумісного з другим стандартом кодування, сигнал EL кодують у кодований потік EL, при цьому кодування сигналу EL щонайменше частково засноване на міжрівневому еталонному сигналі. Приймачі з RPU і відеодекодерами, сумісними як з першим, так і з другим стандартом кодування, можуть декодувати як кодований потік BL, так і кодований потік EL. UA 111797 C2 5 10 15 20 25 30 35 40 45 50 55 60 Перехресне посилання на споріднені заявки [0001] Цією заявкою заявляється пріоритет попередньої заявки на патент США №61/706480, поданої 27 вересня 2012 р., яка посиланням повністю включається в це розкриття. ОБЛАСТЬ ТЕХНІКИ [0002] Цей винахід загалом відноситься до зображень. Конкретніше, один з варіантів здійснення цього винаходу відноситься до обробки міжрівневого еталонного зображення для масштабованості стандартів кодування. ПЕРЕДУМОВИ [0003] Стиснення звуку та відеозображень є ключовим компонентом при розробці, зберіганні, розповсюдженні та споживанні мультимедійного вмісту. Вибір способу стиснення містить у собі компроміси між ефективністю кодування, складністю кодування та затримкою. У міру того як відношення обчислювальної потужності до обчислювальних витрат збільшується, стає можливою розробка більш складних методик стиснення, що роблять можливим більш ефективне стиснення. Наприклад, для стиснення відеозображень Експертна група з питань рухомого зображення (MPEG) з Міжнародної організації з стандартизації (ISO) продовжила вдосконалювання первісного відеостандарту MPEG-1, випустивши стандарти кодування MPEG2, MPEG-4 (part 2) і H.264/AVC (або MPEG-4, part 10). [0004] Незважаючи на ефективність стиснення й успішність H.264, сьогодні у процесі розробки перебуває технологія стиснення відеозображень нового покоління, відома як Високоефективне кодування відеозображень (HEVC). Як очікується, HEVC, проект якого доступний у документі JCTVC-J1003, «High efficiency video coding (HEVC) text specification draft 8», Об'єднана спільна група (JCT-VC) з кодування відеозображень ITU-T/ISO/IEC, липень 2012 р., авторів B. Bross, W.-J. Han, G. J. Sullivan, J.-R. Ohm і T. Wiegand, який посиланням повністю включається в це розкриття, буде забезпечувати поліпшену здатність до стиснення в порівнянні з існуючим стандартом H.264 (також відомий як AVC), опублікованим як «Advanced Video Coding for generic audio-visual services», ITU T Rec. H.264 і ISO/IEC 14496-10, який посиланням включається в це розкриття. Як стало зрозуміло авторам винаходу, очікується, що протягом наступних декількох років H.264, як і раніше, буде переважним стандартом кодування відеозображень, використовуваним в усьому світі для поширення цифрових відеозображень. Крім того, також стало зрозуміло, що більш нові стандарти, такі як HEVC, повинні передбачати зворотну сумісність із існуючими стандартами. [0005] У рамках цього розкриття, термін «стандарт кодування» позначає алгоритми стиснення (кодування) і розущільнення (декодування), які можуть бути як заснованими на стандартах, що так і мають відкритий вихідний код або бути закритими, як, наприклад, стандарти MPEG, Windows Media Video (WMV), flash video, VP8 і т.п. [0006] Підходи, описувані в цьому розділі, являють собою підходи, які можуть здійснюватися, але необов'язково є підходами, які були розроблені або здійснені раніше. Тому, якщо не зазначено інше, не слід вважати, що які-небудь підходи, описувані в даному розділі, кваліфікуються як відомий рівень техніки лише в силу їх включення в цей розділ. Аналогічно, якщо не зазначено інше, проблеми, встановлені у відношенні одного або декількох підходів, не слід уважати загальновизнаними з будь-якого рівня техніки на підставі цього розділу. КОРОТКИЙ ОПИС ГРАФІЧНИХ МАТЕРІАЛІВ [0007] Один з варіантів здійснення цього винаходу проілюстрований як приклад, а не для обмеження на фігурах супровідних графічних матеріалів, у яких подібні посилальні позиції відносяться до подібних елементів і в яких: [0008] фіг. 1 зображує один із прикладів реалізації системи кодування, що підтримує масштабованість стандартів кодування, відповідно до одного з варіантів здійснення цього винаходу; [0009] фіг. 2A і фіг. 2B зображують приклади реалізацій системи кодування, що підтримує масштабованість кодеків AVC/H.264 і HEVC, відповідно до одного з варіантів здійснення цього винаходу; [0010] фіг. 3 зображує один із прикладів багаторівневого кодування з вікном обрізання відповідно до одного з варіантів здійснення цього винаходу; [0011] фіг. 4 зображує один із прикладів міжрівневої обробки для черезрядкових зображень відповідно до одного з варіантів здійснення цього винаходу; [0012] фіг. 5А и фіг. 5В зображують приклади міжрівневої обробки, що підтримує масштабованість стандартів кодування, відповідно до одного з варіантів здійснення цього винаходу; [0013] фіг. 6 зображує один із прикладів обробки даних RPU для масштабованості моделі кодування сигналу відповідно до одного з варіантів здійснення цього винаходу; 1 UA 111797 C2 5 10 15 20 25 30 35 40 45 50 55 [0014] фіг. 7 зображує один із прикладів процесу кодування відповідно до одного з варіантів здійснення цього винаходу; [0015] фіг. 8 зображує один із прикладів процесу декодування відповідно до одного з варіантів здійснення цього винаходу; і [0016] фіг. 9 зображує один із прикладів процесу декодування RPU відповідно до одного з варіантів здійснення цього винаходу. ОПИС ІЛЮСТРАТИВНИХ ВАРІАНТІВ ЗДІЙСНЕННЯ ВИНАХОДУ [0017] У цьому розкритті описується обробка міжрівневого еталонного зображення для масштабованості стандартів кодування. Для заданого сигналу базового рівня, кодовуваного кодером базового рівня (BL), сумісним з першим стандартом кодування (наприклад, Н.264), процес блоку обробки еталона (RPU) генерує еталонні зображення та параметри RPU відповідно до характеристик вхідних сигналів на базовому рівні та на одному або декількох рівнях розширення. Ці міжрівневі еталонні кадри можуть бути використані кодером рівня розширення (EL), сумісним із другим стандартом кодування (наприклад, HEVC), для стиснення (кодування) одного або декількох сигналів рівня розширення і їх об'єднання з базовим рівнем для формування масштабованого бітового потоку. У приймачі після декодування потоку BL декодером BL, сумісним з першим стандартом кодування, декодер RPU може застосовувати отримані параметри RPU для генерування міжрівневих еталонних кадрів на підставі декодованого потоку BL. Ці еталонні кадри можуть бути використані декодером EL, сумісним із другим стандартом кодування, для декодування кодованого потоку EL. [0018] У нижченаведеному описі з метою роз'яснення та для забезпечення повного розуміння цього винаходу викладені численні конкретні подробиці. Проте буде зрозуміло, що цей винахід можна застосовувати на практиці без цих конкретних подробиць. У інших випадках добре відомі конструкції та пристрої не описуються у вичерпних подробицях щоб уникнути зайвого ускладнення розуміння цього винаходу. ОГЛЯД [0019] Ілюстративні варіанти здійснення винаходу, описувані в цьому розкритті, відносяться до обробки міжрівневого еталонного зображення для масштабованості стандартів кодування. У одному з варіантів здійснення винаходу відеодані кодують у бітовий потік з декількома рівнями стандартів кодування. Для заданих сигналів базового рівня (BL) і рівня розширення (EL) сигнал BL кодують у потік BL, використовуючи кодер BL, сумісний з першим стандартом кодування. У відповідь на сигнал BL і сигнал EL блок обробки еталона (RPU) визначає параметри обробки даних RPU. У відповідь на параметри обробки даних RPU і сигнал BL RPU генерує міжрівневий еталонний сигнал. Використовуючи кодер EL, сумісний із другим стандартом кодування, сигнал EL кодують у кодований потік EL, при цьому кодування сигналу EL щонайменше частково засноване на міжрівневому еталонному сигналі. [0020] У іншому варіанті здійснення винаходу приймач розщільнює прийнятий масштабований бітовий потік для генерування кодованого потоку BL, кодованого потоку EL і потоку даних RPU. Декодер BL, сумісний з першим стандартом кодування, декодує кодований потік BL для генерування декодованого сигналу BL. Приймач із RPU також може декодувати потік даних RPU для визначення параметрів процесу RPU. У відповідь на параметри обробки даних RPU і сигнал BL RPU може генерувати міжрівневий еталонний сигнал. Декодер EL, сумісний із другим стандартом кодування, може декодувати кодований потік EL для генерування декодованого сигналу EL, при цьому декодування кодованого потоку EL щонайменше частково засноване на міжрівневому еталонному сигналі. МАСШТАБОВАНІСТЬ СТАНДАРТІВ КОДУВАННЯ НА БАГАТОРІВНЕВІЙ ОСНОВІ [0021] Для доставки цифрового вмісту за допомогою різноманітних носіїв, таких як диски DVD або диски Blu-ray, або для віщання по повітрю, по кабелях або широкосмугових каналах в усьому світі використовують такі стандарти стиснення, як MPEG-2, MPEG-4 (part 2), H.264, flash і т.п. У міру розробки нових стандартів, таких як HEVC, прийняття нових стандартів можна було б прискорити, якби вони підтримували певну зворотну сумісність з існуючими стандартами. [0022] Фіг. 1 зображує один з варіантів здійснення однієї з ілюстративних реалізацій системи, що підтримує масштабованість стандартів кодування. Кодер містить кодер (110) базового рівня (BL) і кодер (120) рівня розширення (EL). У одному з варіантів здійснення винаходу, кодер 110 BL являє собою успадкований кодер, такий як кодер MPEG-2 або H.264, а кодер 120 EL являє собою кодер нового стандарту, такий як кодер HEVC. Проте ця система застосовна до будь-якої комбінації як відомих, так і майбутніх кодерів, чи є вони заснованими на стандартах або закритими. Систему також можна розширити для підтримки більш ніж двох стандартів або алгоритмів кодування. 2 UA 111797 C2 5 10 15 20 25 30 35 40 45 50 55 60 [0023] Згідно з фіг. 1 вхідний сигнал може містити два або більше сигналів, наприклад сигнал 102 базового рівня (BL) і один або декілька сигналів рівнів розширення (EL), наприклад EL 104. Сигнал 102 BL стискується (або кодується) кодером 110 BL для генерування кодованого потоку 112 BL. Сигнал 104 EL стискується кодером 120 EL для генерування кодованого потоку 122 EL. Ці два потоки ущільнюють (наприклад, за допомогою MUX 125) для генерування кодованого масштабованого бітового потоку 127. У приймачі демультиплексор (DEMUX 130) може розділяти ці два кодовані бітові потоки. Успадкований декодер (наприклад, декодер 140 BL) може декодувати тільки базовий рівень 132 для генерування вихідного сигналу 142 BL. Проте декодер, що підтримує новий спосіб кодування (кодер 120 EL), також може декодувати додаткову інформацію, що доставляється кодованим потоком 134 EL, для генерування вихідного сигналу 144 EL. Декодер 140 BL (наприклад, декодер MPEG-2 або H.264) відповідає кодеру 110 BL. Декодер 150 EL (наприклад, декодер HEVC) відповідає кодеру 120 EL. [0024] Така масштабована система може підвищувати ефективність кодування в порівнянні із системою одночасної передачі шляхом належного виявлення міжрівневого передбачення, тобто шляхом кодування сигналу рівня розширення (наприклад, 104) з урахуванням інформації, доступної з більш низьких рівнів (наприклад, 102). Оскільки кодер BL і кодер EL відповідають різним стандартам кодування, у одному з варіантів здійснення винаходу, масштабованості стандартів кодування можна досягти за допомогою окремого блоку обробки даних, блоку 115 обробки еталона кодування (RPU). [0025] RPU 115 можна вважати розширенням конструкції RPU, описаної в заявці PCT PCT/US2010/040545, «Encoding and decoding architecture for format compatible 3D video delivery», авторів A. Tourapis та ін., поданої 30 червня 2010 р. і опублікованої як WO 2011/005624, яка посиланням включається в це розкриття у всіх відношеннях. Якщо не зазначене інше в протилежному значенні, нижченаведені описи RPU застосовні як до RPU кодера, так і до RPU декодера. Після прочитання даного розкриття фахівці в областях техніки, що відносяться до кодування відеозображень, зрозуміють різницю та будуть здатні провести відмінності між специфічними для кодера, специфічними для декодера та загальними описами, функціями й процесами RPU. У межах контексту системи кодування відеозображень, зображеної на фіг. 1, RPU (115) генерує міжрівневі еталонні кадри на основі декодованих зображень із кодера 110 BL відповідно до набору правил вибору різних фільтрів і процесів RPU. [0026] RPU 115 дозволяє обробці даних бути адаптивною на рівні області, де кожну область зображення/послідовності обробляють відповідно до характеристик цієї області. RPU 115 може використовувати горизонтальні, вертикальні або двовимірні (2D) фільтри, фільтри, що залежать від області та адаптивні до країв або на частотній основі, і/або фільтри повторення пікселів, або інші способи або засоби для черезрядкової розгортки, перетворення черезрядкової розгортки в прогресивну, фільтрації, підвищувальної дискретизації і іншої обробки даних зображення. [0027] Кодер може вибирати процеси RPU і виводити сигнали обробки даних для областей, які доставляються як вхідні дані в декодер RPU (наприклад, 135). Сигналізація (наприклад, 117) може задавати спосіб обробки даних на основі області. Наприклад, параметри, що відносяться до атрибутів області, таких як номер, розмір, форма й інші характеристики, можна задати в заголовку даних, що відноситься до даних RPU. Деякі фільтри можуть містити фіксовані коефіцієнти фільтра, і в цьому випадку немає необхідності в сигналізації в явному вигляді заданих коефіцієнтів фільтра за допомогою RPU. Інші режими обробки даних можуть включати явні режими, у яких параметри обробки даних, такі як значення коефіцієнтів, сигналізують у явному вигляді. Процеси RPU також можуть бути задані для кожної колірної складової. [0028] Сигналізація 117 даних RPU може або впроваджуватися в кодований бітовий потік (наприклад, 127), або передаватися в декодер окремо. Дані RPU можна сигналізувати поряд з рівнем, на якому виконувалася обробка даних RPU. На додаток або в якості альтернативи, дані RPU усіх рівнів можна сигналізувати в одному пакеті даних RPU, впровадженому в бітовий потік або перед, або після впровадження кодованих даних EL. Надання даних RPU може бути необов'язковим для даного шару. У випадку якщо дані RPU недоступні, для підвищувального перетворення цього шару, таким чином, можна використовувати схему, задану за замовчуванням. Не будучи відмінним, надання кодованого бітового потоку рівня розширення також необов'язкове. [0029] Один з варіантів здійснення винаходу допускає кілька можливих способів вибору етапів обробки даних в RPU. При визначенні обробки даних RPU можна окремо або в комбінації використовувати безліч критеріїв. Критерії вибору RPU можуть включати якість декодованого бітового потоку базового рівня, якість декодованих бітових потоків рівнів розширення, бітову швидкість передачі даних, необхідну для кодування кожного рівня, що містить дані RPU, і/або складність декодування й обробки даних RPU. 3 UA 111797 C2 5 10 15 20 25 30 35 40 45 50 55 60 [0030] RPU 115 може служити в якості ступеня попередньої обробки, що обробляє інформацію з кодера 110 BL перед використанням цієї інформації як потенційного параметра передбачення для рівня розширення в кодері 120 EL. Інформацію, що відноситься до обробки даних RPU, можна повідомити (наприклад, як метадані) у декодер так, як це показано на фіг. 1, використовуючи потік 136 рівня RPU. Обробка даних RPU може включати безліч операцій обробки зображення, таких як перетворення колірного простору, нелінійне квантування, підвищувальна дискретизація яскравості й кольоровості, а також фільтрація. У одній з типових реалізацій сигнали EL 122, BL 112 і даних 117 RPU ущільнюють у єдиний кодований бітовий потік (127). [0031] Декодер RPU 135 відповідає кодеру RPU 115 і під управлінням уведення 136 даних RPU може сприяти декодуванню рівня 134 EL, виконуючи операції, відповідні до операцій, виконаних кодером RPU 115. [0032] Варіант здійснення винаходу, зображений на фіг. 1, можна легко поширити на підтримку більш ніж двох рівнів. Більше того, його можна поширити на підтримку додаткових характерних ознак масштабованості, у тому числі на тимчасову масштабованість, просторову масштабованість, масштабованість SNR, масштабованість кольоровості, масштабованість бітової глибини й багаторакурсну масштабованість. Масштабованість стандартів кодування H.264 і HEVC [0033] У одному з ілюстративних варіантів здійснення винаходу фіг. 2А и фіг. 2В зображують один з ілюстративних варіантів здійснення масштабованості стандартів кодування на багаторівневій основі так, як його можна застосовувати до стандартів HEVC і H.264. Без втрати спільності фіг. 2А и фіг. 2В зображують тільки два рівні, проте ці способи можна легко поширити на системи, що підтримують кілька рівнів розширення. [0034] Як зображено на фіг. 2А, як кодер 110 Н.264, так і кодер 120 HEVC містять внутрішнє передбачення, міжрівневе передбачення, пряме перетворення й квантування (FT), зворотні перетворення й квантування (IFT), ентропійне кодування (EC), фільтри видалення блочності (DF) і буфери декодованих зображень (DPB). Крім того, кодер HEVC також містить блок адаптивного зсуву відліків (SAO). У одному з варіантів здійснення винаходу, як буде роз'яснено пізніше, RPU 115 може одержувати доступ до даних BL або перед фільтром видалення блочності (DF), або з DPB. Аналогічно в мультистандартному декодері (див. фіг. 2В) декодер RPU 135 також може одержувати доступ до даних BL або перед фільтром (DF) видалення блочності, або з DPB. [0035] У масштабованому кодуванні відеозображень термін «багатоконтурний розв'язок» позначає багаторівневий декодер, де зображення на рівні розширення декодуються на основі еталонних зображень, які добуваються як з того ж рівня, так і з інших підрівнів. Зображення базового рівня/рівнів розширення відтворюють і зберігають у буфері декодованих зображень (DPB). Ці зображення базового рівня, які називаються міжрівневими еталонними зображеннями, можуть служити в якості додаткових еталонних зображень при декодуванні рівня розширення. Тоді рівень розширення має можливості використання або тимчасових еталонних зображень, або міжрівневих еталонних зображень. Загалом, міжрівневе передбачення допомагає підвищити ефективність кодування EL у масштабованій системі. Оскільки AVC і HEVC являють собою два різні стандарти кодування, що використовують різні процеси кодування, для забезпечення того, щоб зображення, кодовані AVC, вважалися припустимими еталонними зображеннями для HEVC, може знадобитися додаткова міжрівнева обробка даних. У одному з варіантів здійснення винаходу цю обробку даних може виконувати RPU 115, як буде роз'яснено згодом для різних випадків, що представляють інтерес. Для кодування стандартної масштабованості використання RPU 115 спрямоване на усунення відмінностей або конфліктів, що виникають у результаті використання двох різних стандартів як на високому синтаксичному рівні, так і на рівні інструментальних засобів кодування. Лічильник послідовності зображення (POC) [0036] HEVC і AVC мають кілька відмінностей у високорівневому синтаксисі. Крім того, той самий синтаксис може мати різне значення в кожному зі стандартів. RPU може діяти в якості «перекладача» високорівневого синтаксису між базовим рівнем і рівнем розширення. Одним таким прикладом є синтаксис, що відноситься до лічильника послідовності зображення (POC). При міжрівневому передбаченні важливо синхронізувати міжрівневі еталонні зображення з базового рівня з зображеннями, кодованими на рівні розширення. Така синхронізація є ще більш важливою, коли базовий рівень і рівні розширення використовують різні структури кодування зображень. Як для AVC, так і для HEVC термін «лічильник послідовності зображення (POC)» використовується для зазначення порядку демонстрації кодованих зображень. Проте в AVC існує три способи сигналізації інформації POC (вказуються змінною pic_order_cnt_type), у 4 UA 111797 C2 5 той час як в HEVC допускається тільки один спосіб, що є таким же, як pic_order_cnt_type=0 у випадку AVC. У одному з варіантів здійснення винаходу, якщо pic_order_cnt_type не рівна 0 у бітовому потоці AVC, то RPU (135) буде потрібно перевести її в значення POC, що узгоджується з синтаксисом HEVC. У одному з варіантів здійснення винаходу кодер RPU (115) може сигналізувати додаткові дані, що відносяться до РОС, використовуючи нову змінну pic_order_cnt_lsb, як показано в Таблиці 1. В іншому варіанті здійснення винаходу кодер RPU може просто змушувати кодер AVC базового рівня використовувати тільки pic_order_cnt_type=0. Таблиця 1 Синтаксис POC Дескриптор u(1) POC( ) { pic_order_cnt_lsb } 10 15 20 [0037] У Таблиці 1 pic_order_cnt_lsb задає модуль лічильника послідовності зображення MaxPicOrdercntLsb для поточного міжрівневого еталонного зображення. Довжина синтаксичного елемента pic_order_cnt_lsb становить log2_max_pic_order_cnt_lsb_minus4+4 бітів. Значення pic_order_cnt_lsb повинне перебувати в інтервалі від 0 до MaxPicOrdercntLsb-1 включно. Якщо pic_order_cnt_lsb відсутня, pic_order_cnt_lsb уважають рівною 0. Вікно обрізання [0038] У кодуванні AVC роздільна здатність зображення повинна бути кратною 16. У HEVC роздільна здатність повинна бути кратною 8. При обробці міжрівневого еталонного зображення в RPU для звільнення від пікселів, заповнених в AVC, можна використовувати вікно обрізання. Якщо базовий рівень і рівень розширення мають різну просторову роздільну здатність (наприклад, базовий рівень — 1920×1080, а рівень розширення — 4K) або якщо форматні співвідношення (PAR) різні (тобто PAR 16:9 — для рівня розширення, а PAR 4:3 — для базового рівня), зображення необхідно обрізати та можна відповідним чином змінити його розмір. Один із прикладів синтаксису RPU, що відноситься до вікна обрізання, показано в Таблиці 2. Таблиця 2 Синтаксис обрізання зображення Дескриптор u(1) pic_cropping( ) { pic_cropping_flag if ( pic_cropping_flag ) { pic_crop_left_offset pic_crop_right_offset pic_crop_top_offset pic_crop_bottom_offset } } ue(v) ue(v) ue(v) ue(v) 25 30 35 40 [0039] У Таблиці 2 pic_cropping_flag, що дорівнює 1, указує, що далі йдуть параметри зсуву обрізання зображення. Якщо pic_cropping_flag=0, то параметри зсуву обрізання зображення відсутні, і обрізання не потрібне. [0040] pic_crop_left_offset, pic_crop_right_offset, pic_crop_top_offset і pic_crop_bottom_offset задають кількість відліків у зображеннях кодованої відеопослідовності, що є вхідними в процес декодування RPU, у вираженні прямокутної області, заданої на зображенні в координатах зображення, для введення RPU. [0041] Слід зазначити, що оскільки процес RPU виконується для кожного міжрівневого еталона, то параметри вікна обрізання можуть змінюватися на покадровій основі. Таким чином, з використанням підходу панорамування-(зміна масштабу)-розгортка підтримується адаптивне перенастроювання відеозображення на основі області, що представляє інтерес. [0042] Фіг. 3 зображує один із прикладів багаторівневого кодування, де базовий рівень HD (наприклад, 1920×1080) кодують, використовуючи H.264, і створюють зображення, придатне для декодування всіма успадкованими декодерами HD. Рівень розширення з більш низькою роздільною здатністю (наприклад, 640×480) можна використовувати для забезпечення 5 UA 111797 C2 5 10 15 20 25 30 необов'язкової характерної ознаки «зміна масштабу». Рівень EL має меншу роздільну здатність, ніж BL, але його можна кодувати в HEVC для зменшення загальної бітової швидкості передачі даних. Міжрівневе кодування, описуване в цьому розкритті, може додатково підвищувати ефективність кодування цього рівня EL. Фільтр видалення блочності в циклі кодування [0043] Як AVC, так і HEVC задіють фільтр видалення блочності (DF) у процесах кодування та декодування. Фільтр видалення блочності призначений для зменшення блокових артефактів, викликаних кодуванням на основі блоків. Проте його конструкції в кожному зі стандартів є досить різними. У AVC фільтр видалення блочності застосовують на основі структури відліків розміру 4×4, проте в HEVC фільтр видалення блочності застосовують тільки по краях, вирівняних за структурою відліків розміру 8×8. У HEVC інтенсивністю фільтра видалення блочності управляють за допомогою значень декількох синтаксичних елементів, подібних з AVC, проте AVC підтримує п'ять інтенсивностей, у той час як HEVC підтримує тільки три інтенсивності. У HEVC існує менше випадків фільтрації в порівнянні з AVC. Наприклад, один із трьох випадків обраний для яскравості: відсутність фільтрації, сильна фільтрація та слабка фільтрація. Для кольоровості існує тільки два випадки: відсутність фільтрації й нормальна фільтрація. Для вирівнювання операцій фільтра видалення блочності між еталонним зображенням базового рівня та тимчасовим еталонним зображенням з рівня розширення можна застосувати кілька підходів. [0044] У одному з варіантів здійснення винаходу RPU може одержувати безпосередній доступ до еталонного зображення без видалення блочності AVC і без подальшої постобробки. У іншому варіанті здійснення винаходу RPU може застосовувати фільтр видалення блочності HEVC до міжрівневого еталонного зображення. Ухвалення рішення фільтром в HEVC засновано на значенні декількох синтаксичних елементів, таких як коефіцієнти перетворення, індекс еталона та вектори руху. Може бути дійсно важко, якщо для ухвалення рішення фільтром RPU потрібно аналізувати всю цю інформацію. Замість цього можна в явному вигляді сигналізувати індекс фільтра на рівні блоку розміру 8×8, рівні CU (одиниці кодування), рівні LCU/CTU (найбільшої одиниці кодування або одиниці дерева кодування), рівні, кратному рівню LCU, рівні групи макроблоків або рівні зображення. Можна сигналізувати індекси фільтра яскравості й кольоровості окремо, або вони можуть спільно використовувати той самий синтаксис. Таблиця 3 показує один із прикладів того, яким чином рішення фільтра видалення блочності може бути зазначене як частина потоку даних RPU. Таблиця 3 Синтаксис фільтра видалення блочності Дескриптор ue(v) deblocking(rx, ry ) { filter_idx } 35 40 45 50 [0045] У Таблиці 3 filter_idx задає індекс фільтра для складових яскравості та кольоровості. Для яскравості filter_idx, рівний 0, задає відсутність фільтрації, filter_idx, рівний 1, задає слабку фільтрацію, а filter_idx, рівний 2, задає сильну фільтрацію. Для кольоровості filter_idx, рівний 0 або 1, задає відсутність фільтрації, а filter_idx, рівний 2, задає нормальну фільтрацію. Адаптивний зсув відліків (SAO) [0046] SAO являє собою процес, що модифікує відліки після фільтра видалення блочності (DF) за допомогою довідкової таблиці. Як зображено на фіг. 2А і фіг. 2В, воно є тільки частиною стандарту HEVC. Завданням SAO є поліпшене відтворення амплітуд первісного сигналу шляхом використання довідкової таблиці, описуваної декількома додатковими параметрами, які можна визначити шляхом аналізу гістограми на стороні кодера. У одному з варіантів здійснення винаходу RPU може обробляти міжрівневе еталонне зображення з видаленням блочності або без видалення блочності з базового рівня AVC, використовуючи точно такий самий процес SAO, як процес, описаний в HEVC. Сигналізація може бути заснована на області, адаптованій на рівні CTU (LCU), декількох рівнях LCU, рівні групи макроблоків або рівні зображення. Таблиця 4 показує один із прикладів синтаксису для повідомлення параметрів SAO. У Таблиці 4 позначення синтаксису є такими самими, як позначення, описані в технічних умовах HEVC. 6 UA 111797 C2 Таблиця 4 Синтаксис адаптивного зсуву відліків Sao( rx, ry ){ if ( rx > 0 ) { sao_merge_left_flag } if( ry > 0 && !sao_merge_left_flag ) { sao_merge_up_flag } if( !sao_merge_up_flag && !sao_merge_left_flag ) { for( cIdx = 0; cIdx 0 ) ) { if( cIdx = = 0 ) Sao_type_idx_luma if ( cIdx = = 1 ) Sao_type_idx_chroma if( SaoTypeIdx[ cidx ][ rx ][ ry ] != 0 ) { for( i = 0; i < 4; i++ ) sao_offset_abs[ cIdx ][ rx][ ry ][ i ] if( SaoTypeIdx[ cIdx ][ rx ][ ry ] = = 1 ) { for( i = 0; i < 4; i++ ) { if( sao_offset_abs[ cIdx ][ rx ][ ry ][ i ] != 0 ) sao_offset_sign[ cIdx ][ rx ][ ry ][ i ] sao_band_position[ cIdx ][ rx ][ ry ] } else { if( cIdx = = 0 ) sao_eo_class_luma if( cIdx = = 1 ) sao_eo_class_chroma } } } } } } 5 10 15 20 Дескриптор ue(v) ue(v) ) || ue(v) ue(v) ue(v) ae(v) ae(v) ae(v) ae(v) Адаптивний петльовий фільтр (ALF) [0047] У ході розробки HEVC у якості блоку обробки даних, що йде за SAO, також оцінювали адаптивний петльовий фільтр (ALF); проте ALF не є частиною першої версії HEVC. Оскільки обробка ALF, якщо вона буде реалізовуватися декодером у майбутньому, може поліпшувати міжрівневе кодування, вона є ще одним етапом обробки даних, який також повинен бути реалізований RPU. Адаптація ALF може бути заснованою на області, адаптовуваній на рівні CTU (LCU), декількох рівнях LCU, рівні групи макроблоків або рівні зображення. Один із прикладів параметрів ALF описаний за допомогою alf_picture_info() у документі JCTVC-I1003, «High efficiency video coding (HEVC) text specification draft 7», авторів B. Bross, W.-J. Han, G. J. Sullivan, J.-R. Ohm і T. Wiegand, Об'єднана спільна група ITU-T/ISO/IEC з кодування відеозображень (JCT-VC), травень 2012 р., який посиланням повністю включається в це розкриття. Черезрядкова та прогресивна розгортка [0048] AVC підтримує інструментальні засоби кодування як для прогресивного, так і для черезрядкового вмісту. Для черезрядкових послідовностей допускається як покадрове кодування, так і польове кодування. У HEVC у явному вигляді не присутні інструментальні засоби, що підтримують використання черезрядкової розгортки. HEVC передбачає тільки синтаксис метаданих (синтаксис повідомлення Field Indication SEI і VUI), що дозволяє кодеру вказувати, яким чином закодовано черезрядковий вміст. Розглянуті наступні сценарії. Сценарій 1: Як базовий рівень, так і рівень розширення є черезрядковими 7 UA 111797 C2 5 10 15 20 25 30 35 40 45 50 55 60 [0049] Для цього сценарію можна розглянути кілька способів. У першому варіанті здійснення винаходу кодер може бути обмежений зміною кодування базового рівня в покадровому або польовому режимі тільки на основі послідовності. Рівень розширення буде додержуватися рішення про кодування, прийнятого на базовому рівні. Тобто якщо базовий рівень AVC використовує польове кодування в одній послідовності, то рівень розширення HEVC також буде використовувати у відповідній послідовності польове кодування. Аналогічно, якщо базовий рівень AVC використовує покадрове кодування в одній послідовності, рівень розширення HEVC також буде використовувати у відповідній послідовності покадрове кодування. Слід зазначити, що для польового кодування вертикальною роздільною здатністю, що сигналізується у синтаксисі AVC, є висота кадра; проте в HEVC вертикальною роздільною здатністю, що сигналізується у синтаксисі, є висота поля. При повідомленні цієї інформації в бітовому потоці необхідно дотримуватися особливої обережності, особливо при використанні вікна обрізання. [0050] У іншому варіанті здійснення винаходу кодер AVC може використовувати адаптивне покадрове або польове кодування на рівні зображення, у той час як кодер HEVC виконує адаптивне покадрове або польове кодування на рівні послідовності. У обох випадках RPU може обробляти міжрівневі еталонні зображення одним з наступних способів: а) RPU може обробляти міжрівневе еталонне зображення як поля незалежно від рішення про покадрове або польове кодування на базовому рівні AVC; або b) RPU може адаптувати обробку міжрівневих еталонних зображень на основі рішення про покадрове/польове кодування на базовому рівні AVC. Тобто якщо базовий рівень AVC є кодованим по кадрах, то RPU буде обробляти міжрівневе еталонне зображення як кадр, інакше він буде обробляти міжрівневе еталонне зображення як поля. [0051] Фіг. 4 зображує один із прикладів Сценарію 1. Позначення Di або Dp означає частоту кадрів і те, чи є формат черезрядковим або прогресивним. Так, Di позначає D черезрядкових кадрів у секунду (або 2D полів у секунду), а Dp позначає D прогресивних кадрів у секунду. У цьому прикладі базовий рівень містить послідовність зі стандартною роздільною здатністю (SD), 720×480, 30i, кодовану з використанням AVC. Рівень розширення являє собою послідовність із високою роздільною здатністю (HD), 1920×1080, 60i, кодовану з використанням HEVC. Цей приклад поєднує масштабованість кодека, тимчасову масштабованість і просторову масштабованість. Тимчасову масштабованість обробляє декодер рівня розширення HEVC, використовуючи ієрархічну структуру тільки з тимчасовим передбаченням (HEVC підтримує цей режим на єдиному рівні). Просторову масштабованість обробляє RPU, що коректує та синхронізує групи макроблоків міжрівневого еталонного поля/кадра з відповідними йому групами макроблоків поля/кадра на рівні розширення. Сценарій 2: базовий рівень є черезрядковим, а рівень розширення є прогресивним [0052] У цьому сценарії базовий рівень AVC являє собою черезрядкову послідовність, а рівень розширення HEVC являє собою прогресивну послідовність. Фіг. 5А зображує один з ілюстративних варіантів здійснення, де вхідний сигнал (502), 4K, 120p, кодований як три рівні: потік (532) BL, 1080, 30i, потік (537) першого рівня розширення (EL0), кодований як 1080, 60p, і потік (517) другого рівня розширення (EL1), кодований як 4K, 120p. Сигнали BL і EL0 закодовані з використанням кодера H.264/AVC, у той час як сигнал EL1 може бути закодований з використанням HEVC. У кодері, починаючи із сигналу (502) з високою роздільною здатністю та високою частотою кадрів, 4K, 120p, кодер застосовує тимчасову та просторову понижувальну дискретизацію (510) для генерування прогресивного сигналу 512, 1080, 60p. Використовуючи методику (520) перетворення прогресивної розгортки в черезрядкову шляхом доповнення, кодер також може генерувати два черезрядкових сигнали BL 522-1 і EL0 522-2, 1080, 30i, що доповнюють один одного. У рамках цього розкриття термін «методика перетворення прогресивної розгортки в черезрядкову шляхом доповнення» позначає схему, яка генерує два черезрядкових сигнали з того самого прогресивного введення, при цьому обидва черезрядкових сигнали мають однакову роздільну здатність, але один черезрядковий сигнал містить поля із прогресивного сигналу, що не є частиною другого черезрядкового сигналу. Наприклад, якщо вхідний сигнал у момент часу Ti, i=0, 1,…., n розділяється на верхнє й нижнє черезрядкові поля (Top-Ti, Bottom-Ti), то перший черезрядковий сигнал може бути побудований з використанням (Top-T0, Bottom-T1), (Top-T2, Bottom-T3) тощо, у той час як другий черезрядковий сигнал може бути побудований з використанням інших полів, тобто (Top-T1, Bottom-T0), (Top-T3, Bottom-T2) тощо. [0053] У цьому прикладі сигнал 522-1 BL являє собою обернено сумісний черезрядковий сигнал, який можуть декодувати успадковані декодери, у той час як сигнал 522-2 EL0 представляє доповнювальні відліки з первісного прогресивного сигналу. Для складання кінцевого зображення з повною частотою кадрів кожне відтворене польове зображення із сигналу BL необхідно об'єднати з польовим зображенням з тієї ж одиниці доступу, але із 8 UA 111797 C2 5 10 15 20 25 30 протилежною парністю поля. Кодер 530 може являти собою кодер AVC, що містить два кодери AVC (530-1 і 530-2) і процесор 530-3 RPU. Кодер 530 може використовувати міжрівневу обробку даних для стиснення сигналу EL0 з використанням еталонних кадрів як із сигналу BL, так і із сигналу EL0. RPU 530-3 можна використовувати для підготовки еталонних кадрів BL, використовуваних кодером 530-2. Також його можна використовувати для створення прогресивного сигналу 537, що підлягає використанню при кодуванні сигналу 502 EL1 кодером 515 EL1. [0054] У одному з варіантів здійснення винаходу для перетворення виводу (537), 1080, 60p з RPU 530-3 у сигнал 4K, 60p, що підлягає використанню кодером 515 HEVC у ході міжрівневого передбачення, використовують процес підвищувальної дискретизації в RPU (535). Сигнал 502 EL1 можна кодувати, використовуючи тимчасову та просторову масштабованість, для генерування стиснутого потоку 517, 4K, 120p. Декодери можуть застосовувати аналогічний процес для декодування сигналу 1080, 30i, сигналу 1080, 60i або сигналу 4K, 120p. [0055] Фіг. 5В зображує інший приклад реалізації черезрядкової/прогресивної системи відповідно до одного з варіантів здійснення винаходу. Ця система являє собою дворівневу систему, де сигнал (522) базового рівня 1080, 30i кодують із використанням кодера (540) AVC, генеруючи кодований потік 542 BL, а сигнал (502) рівня розширення 4K, 120p кодують із використанням кодера (515) HEVC, генеруючи кодований потік 552 EL. Два ці потоки можна ущільнити з утворенням кодованого масштабованого бітового потоку 572. [0056] Як зображено на фіг. 5В, RPU 560 може включати два процеси: процес перетворення черезрядкової розгортки в прогресивну, що перетворює сигнал 522 BL у сигнал 1080, 60p, і процес підвищувальної дискретизації для перетворення сигналу 1080, 60p назад у сигнал 4K, 60p, і, таким чином, вивід RPU можна використовувати в якості еталонного сигналу в ході міжрівневого передбачення в кодері 515. Сценарій 3: базовий рівень є прогресивним, а рівень розширення є черезрядковим У цьому сценарії, у одному з варіантів здійснення винаходу, RPU може перетворювати прогресивне міжрівневе еталонне зображення в черезрядкове зображення. Ці черезрядкові зображення можна обробляти за допомогою RPU як а) завжди поля незалежно від того, використовує кодер HEVC покадрове або польове кодування на основі послідовності, або як b) поля або кадри залежно від режиму, використовуваного кодером HEVC. Таблиця 5 зображує один із прикладів синтаксису, який можна використовувати для спрямування декодера RPU на процес кодера. Таблиця 5 Синтаксис обробки черезрядкової розгортки Дескриптор u(1) u(1) interlace_process( ) { base_field_seq_flag enh_field_seq_flag } 35 40 [0057] У Таблиці 5 base_field_seq_flag, рівний 1, вказує, що кодована відеопослідовність базового рівня передає зображення, що представляють поля. base_field_seq_flag, рівний 0, указує, що кодована відеопослідовність базового рівня передає зображення, що представляють кадри. [0058] enh_field_seq_flag, рівний 1, вказує, що кодована відеопослідовність рівня розширення передає зображення, що представляють поля. enh_field_seq_flag, рівний 0, вказує, що кодована відеопослідовність рівня розширення передає зображення, що представляють кадри. [0059] Таблиця 6 показує, яким чином RPU може обробляти еталонні зображення, ґрунтуючись на base_field_seq_flag або enh_field_seq_flag. 9 UA 111797 C2 Таблиця 6 Обробка даних RPU для послідовностей прогресивної/черезрядкової розгортки base_field_seq_flag 1 1 0 10 15 20 25 30 35 40 45 1 0 5 enh_field_seq_flag 1 0 0 Обробка даних RPU поле перетворення черезрядкової розгортки в прогресивну + кадр черезрядкова розгортка + поле кадр Масштабованість моделі кодування сигналів [0060] Імовірно, гамма-кодування є найбільше широко використовуваною моделлю кодування сигналів через його ефективність при представленні зображень зі стандартним динамічним діапазоном (SDR). У сучасних дослідженнях формування зображень із розширеним динамічним діапазоном (HDR) було виявлено, що для зображень деяких типів більш ефективно можуть представляти дані інші моделі кодування сигналів, такі як перцепційний квантувач (PQ), описаний у публікації «Parameter values for UHDTV», поданої в SG6 WP 6C, WP6C/USA002, автора Craig Todd, або в попередній заявці на патент США №61/674503, поданої 23 липня 2012 р. і названої «Perceptual luminance nonlinearity-based image data exchange across different display capabilities», авторів Jon S. Miller і ін., при цьому обидві вони посиланням повністю включаються в це розкриття. Тому можливо, що масштабована система може містити один рівень із SDRвмістом, який є гамма-кодованим, і інший рівень із вмістом, що має розширений динамічний діапазон і кодований з використанням інших моделей кодування сигналів. [0061] Фіг. 6 ілюструє один з варіантів здійснення винаходу, де RPU 610 (наприклад, RPU 115 на фіг. 1) може бути встановлений на коректування квантувача сигналу базового рівня. Для заданого сигналу 102 BL (наприклад, 8-бітного відеосигналу SDR, гамма-кодованого в 4:2:0 Rec. 709) і сигналу 104 EL (наприклад, 12-бітного відеосигналу HDR, кодованого PQ в 4:4:4 у колірному просторі Р3) обробка даних в RPU 610 може включати: гамма-декодування, інші зворотні відображення (наприклад, перетворення колірного простору, перетворення бітової глибини, дискретизація кольоровості тощо) і перцепційне квантування (PQ) SDR в HDR. Спосіб декодування та кодування сигналів (наприклад, гамма-кодування й PQ) і пов'язаних з ними параметрів може становити частину метаданих, переданих разом з кодованим бітовим потоком, або вони можуть становити частину синтаксису HEVC у майбутньому. Таку обробку даних RPU можна об'єднати з іншою обробкою даних RPU, що відноситься до масштабованості інших типів, таких як масштабованість бітової глибини, формату кольоровості та колірного простору. Як зображено на фіг. 1, аналогічну обробку даних RPU також можна виконати за допомогою декодера RPU під час декодування масштабованого бітового потоку 127. [0062] Поширення масштабованості може включати декілька інших категорій, таких як просторова масштабованість або масштабованість SNR, тимчасова масштабованість, масштабованість бітової глибини та масштабованість роздільної здатності кольоровості. Отже, RPU може бути виконаний з можливістю обробки міжрівневих еталонних зображень за чисельними сценаріями кодування. Для поліпшення сумісності кодера та декодера кодери можуть містити спеціальний синтаксис бітового потоку, пов'язаний з RPU, для керування відповідним декодером RPU. Синтаксис можна обновляти на чисельних рівнях кодування, у тому числі на рівні групи макроблоків, рівні зображення, рівні GOP, рівні сцени або на рівні послідовності. Також він може бути включений у різні допоміжні дані, такі як заголовок блоку NAL, набір параметрів послідовності (SPS) і його розширення, SubSPS, набір параметрів зображення (PPS), заголовок групи макроблоків, повідомлення SEI або заголовок нового блоку NAL. Оскільки можуть існувати чисельні пов'язані з RPU інструментальні засоби обробки даних, для максимальної гнучкості й простоти реалізації, в одному з варіантів здійснення винаходу, ми пропонуємо зарезервувати блок NAL нового типу для RPU, щоб зробити його окремим бітовим потоком. У цій реалізації в модулі кодера та декодера додають окремий модуль RPU для взаємодії з базовим рівнем і одним або декількома рівнями розширення. Таблиця 7 показує один із прикладів синтаксису даних RPU, що включає rpu_header_data() (показано в Таблиці 8) і rpu_payload_data() (показано в Таблиці 9), у новому блоці NAL. У цьому прикладі допускають кілька розділів, що дозволяють ухвалювати рішення про видалення блочності й SAO. 10 UA 111797 C2 Таблиця 7 Синтаксис даних RPU Дескриптор rpu_data () { rpu_header_data() rpu_payload_data() rbsp_trailing_bits() } Таблиця 8 Синтаксис даних заголовка RPU Дескриптор u(6) rpu_header_data () { rpu_type POC() pic_cropping( ) deblocking_present_flag sao_present_flag alf_present_flag if (alf_present_flag) alf_picture_info() interlace_process( ) num_x_partitions_minus1 num_y_partitions_minus1 } u(1) u(1) u(1) ue(v) ue(v) 5 Таблиця 9 Синтаксис даних корисного навантаження RPU rpu_payload_data () { for (y = 0, y