Індикація та активація наборів параметрів для кодування відео
Формула / Реферат
1. Спосіб декодування відеоданих, причому спосіб містить:
декодування потоку бітів, який включає в себе відеодані та інформацію синтаксису для декодування відеоданих, в якому інформація синтаксису містить повідомлення додаткової інформації розширення (SEI) активних наборів параметрів одиниці доступу, в якому повідомлення SEI активних наборів параметрів вказує множину наборів параметрів послідовності (SPSs) і набір параметрів відео (VPS) для декодування відеоданих одиниці доступу, і при цьому повідомлення SEI активних наборів параметрів включає в себе перший елемент синтаксису, який задає кількість з множини наборів SPS, і один або більше додаткових елементів синтаксису, які містять відповідні ідентифікатори для кожного з множини наборів SPS;
активування множини наборів SPS та VPS на основі індикації множини наборів SPS та VPS в повідомленні SEI активних наборів параметрів; і
декодування відеоданих одиниці доступу на основі множини активованих наборів SPS і активованого VPS, вказаних в повідомленні SEI активних наборів параметрів.
2. Спосіб за п. 1, в якому повідомлення SEI активних наборів параметрів передує в порядку декодування першій частині відеоданих одиниці доступу.
3. Спосіб за п. 1, в якому перший елемент синтаксису містить елемент синтаксису num_sps_ids_minus1, і один або більше додаткових елементів синтаксису містять елементи синтаксису active_sps_id [і] для і=0; i£num_additional_sps_ids_minus1; і ++.
4. Спосіб за п. 1,
в якому відеодані містять щонайменше одне з множини рівнів або множини видів,
в якому кожний з множини наборів SPS асоційований з відповідними одним або більше з множини рівнів або множини видів, і
в якому декодування відеоданих одиниці доступу на основі множини наборів SPS та VPS містить, для кожного з рівнів або видів, декодування відеоданих рівня або виду на основі SPS, асоційованого з рівнем або видом.
5. Спосіб за п. 4, який додатково містить:
визначення ідентифікаторів, які відповідно асоційовані з множиною рівнів або видів, в якому визначення ідентифікаторів містить щонайменше одне з:
декодування щонайменше одного з ідентифікаторів, або
виведення щонайменше одного з ідентифікаторів на основі ієрархічної позиції відповідного рівня або виду; і
визначення множини наборів SPS для того, щоб відповідно декодувати відеодані множини рівнів або видів на основі індикації в повідомленні SEI і визначених ідентифікаторів.
6. Спосіб за п. 4, в якому кожний з множини наборів SPS асоційований з відповідними одним або більше з множини рівнів, і щонайменше один з множини наборів SPS містить SPS активного рівня.
7. Спосіб за п. 4, в якому відеодані містять щонайменше одне з кодування відеоданих відео з множинними видами, тривимірних відеоданих або масштабованих даних відео.
8. Пристрій, який містить відеодекодер, сконфігурований, щоб:
декодувати потік бітів, який включає в себе відеодані та інформацію синтаксису для декодування відеоданих, при цьому інформація синтаксису містить повідомлення додаткової інформації розширення (SEI) активних наборів параметрів одиниці доступу, в якому повідомлення SEI активних наборів параметрів вказує множину наборів параметрів послідовності (SPSs) і набір параметрів відео (VPS) для декодування відеоданих одиниці доступу, і при цьому повідомлення SEI активних наборів параметрів включає в себе перший елемент синтаксису, який задає кількість з множини наборів SPS, і один або більше додаткових елементів синтаксису, які містять відповідні ідентифікатори для кожного з множини наборів SPS;
активувати множину наборів SPS та VPS на основі індикації множини наборів SPS та VPS в повідомленні SEI активних наборів параметрів; і
декодувати відеодані одиниці доступу на основі множини активованих наборів SPS і активованого VPS, вказаного в повідомленні SEI активних наборів параметрів.
9. Пристрій за п. 8, в якому повідомлення SEI активних наборів параметрів передує, в порядку декодування, першій частині відеоданих одиниці доступу.
10. Пристрій за п. 8, в якому перший елемент синтаксису містить елемент синтаксису num_sps_ids_minus1, і один або більше додаткових елементів синтаксису містять елементи синтаксису active_sps_id [і] для і=0; i£num_additional_sps_ids_minus1; і ++.
11. Пристрій за п. 8,
в якому відеодані містять щонайменше одне з множини рівнів або множини видів,
в якому кожний з множини наборів SPS асоційований з відповідними одним або більше з множини рівнів або множини видів, і
в якому для кожного з рівнів або видів відеодекодер конфігурується, щоб декодувати відеодані рівня або виду на основі SPS, асоційованого з рівнем або видом.
12. Пристрій за п. 11, в якому відеодекодер також конфігурується, щоб:
визначати ідентифікатори, які відповідно асоційовані з множиною рівнів або видів, в якому визначення ідентифікаторів містять щонайменше одне з:
декодування щонайменше одного з ідентифікаторів, або
виведення щонайменше одного з ідентифікаторів на основі ієрархічної позиції відповідного рівня або виду; і
визначати множину наборів SPS для того, щоб відповідно декодувати відеодані множини рівнів або видів на основі індикації в повідомленні SEI і визначених ідентифікаторів.
13. Пристрій за п. 12, в якому кожний з множини наборів SPS асоційований з відповідними одним або більше з множини рівнів, і щонайменше один з множини наборів SPS містить SPS активного рівня.
14. Пристрій за п. 12, в якому відеодані містять щонайменше одне з кодування відеоданих відео з множинними видами, тривимірних відеоданих або масштабованих даних відео.
15. Пристрій за п. 8, в якому пристрій містить щонайменше одне з:
інтегральної схеми, що реалізовує відеодекодер;
мікропроцесора, що реалізовує відеодекодер; і
пристрою бездротового зв'язку, що включає в себе відеодекодер.
16. Пристрій, який містить:
засіб для кодування потоку бітів, який включає в себе відеодані та інформацію синтаксису для кодування відеоданих, в якому інформація синтаксису містить повідомлення додаткової інформації розширення (SEI) активних наборів параметрів одиниці доступу, при цьому повідомлення SEI активних наборів параметрів вказує множину наборів параметрів послідовності (SPSs) і набір параметрів відео (VPS) для кодування відеоданих одиниці доступу, і при цьому повідомлення SEI активних наборів параметрів включає в себе перший елемент синтаксису, який задає кількість з множини наборів SPS, і один або більше додаткових елементів синтаксису, які містять відповідні ідентифікатори для кожного з множини наборів SPS;
засіб для того, щоб активувати множину наборів SPS та VPS на основі індикації множини наборів SPS та VPS в повідомленні SEI активних наборів параметрів; і
засіб для кодування відеоданих одиниці доступу на основі множини активованих наборів SPS і активованого VPS, вказаних в повідомленні SEI активних наборів параметрів.
17. Пристрій за п. 16,
в якому відеодані містять щонайменше одне з множини рівнів або множини видів,
в якому кожний з множини наборів SPS асоційований з відповідними одним або більше з множини рівнів або множини видів, і
в якому засіб для кодування відеоданих одиниці доступу на основі множини наборів SPS та VPS містить засіб для, для кожного з рівнів або видів, кодування відеоданих рівня або виду на основі SPS, асоційованого з рівнем або видом.
18. Пристрій за п. 17, в якому відеодані містять щонайменше одне з кодування відеоданих відео з множинними видами, тривимірних відеоданих або масштабованих даних відео.
19. Зчитуваний комп'ютером запам'ятовуючий носій, що містить інструкції, збережені на ньому, які, коли виконуються одним або більше процесорами відеокодувальника, змушують відеокодувальник:
кодувати потік бітів, який включає в себе відеодані та інформацію синтаксису для кодування відеоданих, в якому інформація синтаксису містить повідомлення додаткової інформації розширення (SEI) активних наборів параметрів одиниці доступу, при цьому повідомлення SEI активних наборів параметрів вказує множину наборів параметрів послідовності (SPSs) і набір параметрів відео (VPS) для кодування відеоданих одиниці доступу, і при цьому повідомлення SEI активних наборів параметрів включає в себе перший елемент синтаксису, який визначає кількість з множини наборів SPS, і один або більше додаткових елементів синтаксису, які містять відповідні ідентифікатори для кожного з множини наборів SPS;
активувати множину наборів SPS та VPS на основі індикації множини наборів SPS та VPS в повідомленні SEI активних наборів параметрів; і
кодувати відеодані одиниці доступу на основі множини активованих наборів SPS і активованого VPS, вказаного в повідомленні SEI активних наборів параметрів.
20. Зчитуваний комп'ютером запам'ятовуючий носій за п. 19,
в якому відеодані містять щонайменше одне з множини рівнів або множини видів,
в якому кожний з множини наборів SPS асоційований з відповідними одним або більше з множини рівнів або множини видів, і
в якому інструкції, які змушують один або більше процесорів кодувати відеодані одиниці доступу на основі множини наборів SPS та VPS, містять інструкції, які змушують один або більше процесорів, для кожного з рівнів або видів, кодувати відеодані рівня або виду на основі SPS, асоційованого з рівнем або видом.
21. Зчитуваний комп'ютером запам'ятовуючий носій за п. 20, в якому відеодані містять щонайменше одне з кодування відеоданих відео з множинними видами, тривимірних відеоданих або масштабованих даних відео.
Текст
УКРАЇНА (19) UA (11) 114929 (13) C2 (51) МПК H04N 19/50 (2014.01) H04N 19/70 (2014.01) H04N 19/46 (2014.01) H04N 19/30 (2014.01) МІНІСТЕРСТВО ЕКОНОМІЧНОГО РОЗВИТКУ І ТОРГІВЛІ УКРАЇНИ ОПИС ДО ПАТЕНТУ НА ВИНАХІД (21) Номер заявки: a 2015 03745 (22) Дата подання заявки: 14.08.2013 (24) Дата, з якої є чинними 28.08.2017 права на винахід: (31) Номер попередньої заявки відповідно до Паризької конвенції: 61/704,214, 13/964,599 (32) Дата подання попередньої заявки відповідно до Паризької конвенції: (33) Код держави-учасниці Паризької конвенції, до якої подано попередню заявку: 21.09.2012, 12.08.2013 US, US (41) Публікація відомостей 10.08.2015, Бюл.№ 15 про заявку: (46) Публікація відомостей 28.08.2017, Бюл.№ 16 про видачу патенту: (86) Номер та дата подання міжнародної заявки, поданої відповідно до Договору PCT PCT/US2013/054980, 14.08.2013 (72) Винахідник(и): Ван Є-Куй (US) (73) Власник(и): КВЕЛКОММ ІНКОРПОРЕЙТЕД, Attn: International IP Administration, 5775 Morehouse Drive, San Diego, California 92121-1714, United States of America (US) (74) Представник: Мошинська Ніна Миколаївна, реєстр. №115 (56) Перелік документів, взятих до уваги експертизою: BROSS B ET AL, "Proposed Editorial Improvements for High efficiency video coding (HEVC) Text Specification Draft 8", 11. JCT-VC MEETING; 102. MPEG MEETING; 10-10-2012 - 19-10-2012; SHANGHAI; (JOINT COLLABORATIVE TEAM ON VIDEO CODING OF ISO/IEC JTC1/SC29/ WG11 AND ITU-T SG.16); URL: HTTP://WFTP3.ITU.INT/ AV-ARCH/JCTVC-SITE/, PAGES I, 52-69 AND 217238, (20120912), no. JCTVC-K0030v1, XP002722601 [XD] 1,8,11 * sections 7.4.2.1, 7.4.2.2, D.1.1, D.1.7, D.1.21, D.2.1, D.2.7 and D.2.21 * [A] 9, 10, 24, 25, 39, 40, 55, 56 [Y] 2-7, 12, 14, 17-22, 28, 30, 32-37, 42,44, 48-53, 59, 61, 64, 65, 67, 71, 72, 74 [I] 13, 15, 16, 23, 26, 27, 29, 31, 38, 41, 43, 4547, 54, 57, 58, 60, 62, 63, 66, 68-70, 73, 75, 76 (56) Перелік документів, взятих до уваги експертизою: THANG (UOA) T C ET AL, "AHG9: Signaling of VPS Activation", 10. JCT-VC MEETING; 101. MPEG MEETING; 11-7-2012 - 20-7-2012; STOCKHOLM; (JOINT COLLABORATIVE TEAM ON VIDEO CODING OF ISO/IEC JTC1/SC29/WG11 AND ITU-T SG.16); URL: HTTP://WFTP3.ITU.INT/ AVARCH/JCTVC-SITE/, (20120717), no. JCTVCJ0261r1, XP002722600 [X] 1,8 * abstract * * section 3 * [A] 9-11, 14, 24, 25, 27, 30, 39-41, 44, 55, 56, 58, 61 [Y] 2-7, 12, 13, 15, 17-22, 28, 29, 32-37, 42, 43, 45, 48-53, 59, 60, 64, 65, 67, 71, 72, 74 [I] 16, 23, 26, 31, 38, 46, 47, 54, 57, 62, 63, 66, 68-70, 73, 75, 76 THOMAS RUSERT (ERICSSON), "3D-HEVC HLS: Inter-layer SPS Prediction", 1. JCT-3V MEETING; 101. MPEG MEETING; 16-7-2012 - 20-7-2012; STOCKHOLM; (THE JOINT COLLABORATIVE TEAM ON 3D VIDEO CODING EXTENSION DEVELOPMENT OF ISO/IEC JTC1/SC29/WG11 AND ITU-T SG.16); URL: HTTP://PHENIX.INTEVRY.FR/JCT2/, (20120710), no. JCT3V-A0021, XP030130020 [Y] 2, 3, 12-15, 17, 18, 28-30, 32, 33, 42-45 ,48, 49, 59-61, 64, 65, 67, 71, 72, 74 * abstract * * sections 2., 2.1 and 2.3 * [A] 1, 4-11, 16, 19-27, 31, 34-41, 46, 47, 50-58, 62, 63, 66, 68-70, 73, 75, 76 HANNUKSELA (NOKIA) M M, "AHG10 Hooks for Scalable Coding: Sequence Parameter Set Design", 10. JCT-VC MEETING; 101. MPEG MEETING; 117-2012 - 20-7-2012; STOCKHOLM; (JOINT COLLABORATIVE TEAM ON VIDEO CODING OF ISO/IEC JTC1/SC29/WG11 AND ITU-T SG.16); URL: HTTP://WFTP3.ITU.INT/AV-ARCH/JCTVCSITE/, (20120702), no. JCTVC-J0074, XP030112436 [Y] 2, 3, 12, 13, 15, 17, 18, 28, 29, 32, 33, 42, 43, 45, 48, 49, 59, 60, 64, 65, 67, 71, 72, 74 * abstract * * sections 2 "Problem Setting" and 5 "Envisioned Specification Text Modifications for HEVC Scalable Extensions" * * page 5, lines 10-16 * * page 6; table 1 * * page 7, section "7.4.1.2.1" * [A] 1, 4-11, 14, 16, 19-27, 30, 31, 34-41, 44,4 6, 47, 5058, 61-63, 66, 68-70, 73, 75, 76 SUZUKI, T.; HANNUKSELA, M.; CHEN, Y. AND HATTORI, S., "Text of ISO/IEC 1449610:2012/PDAM2 MVC extension for inclusion of depth maps", 100. MPEG MEETING;30-4-2012 - 45-2012; GENEVA; (MOTION PICTURE EXPERT GROUP OR ISO/IEC JTC1/SC29/WG11),, (20120507), no. N12731, XP030019204 [Y] 4-7,1922,34-37,50-53 * page 1, page 3 with first table, sections I.7.4.1.2.1, I.7.4.1.2.3, I.7.4.2.1-I.7.4.2.1.5 and in particular I.13.1.1 * [A] 1-3, 8-18, 23-33, 3849, 54-76 (54) ІНДИКАЦІЯ ТА АКТИВАЦІЯ НАБОРІВ ПАРАМЕТРІВ ДЛЯ КОДУВАННЯ ВІДЕО (57) Реферат: UA 114929 C2 (12) UA 114929 C2 У деяких прикладах відеокодер включає в себе множинні ID наборів параметрів послідовності (SPS) в повідомленні SEI таким чином, що множинні активні набори SPS можуть бути вказані для відеодекодера. У деяких прикладах відеодекодер активує набір параметрів відео (VPS) і/або один або більше наборів SPS за допомогою посилання на повідомлення SEI, наприклад, на основі включення ID VPS і одного або більше ID SPS в повідомлення SEI. Повідомлення SEI може бути, як приклад, повідомленням SEI активних наборів параметрів або повідомленням SEI періоду буферизації. UA 114929 C2 5 10 15 20 25 30 35 40 45 50 55 60 Дана заявка заявляє пріоритет попередньої заявки на патент США № 61/704,214, поданої 21 вересня 2012, весь зміст якої включений в даний опис за посиланням. Галузь техніки Дане розкриття стосується кодування відео і, більш детально, наборів параметрів, що використовуються при кодуванні відео. Опис рівня техніки Цифрові відео здатності можуть бути включені у широкий діапазон пристроїв, який включає в себе цифрові телевізори, цифрові системи прямого мовлення, бездротові системи мовлення, персональні цифрові помічники (PDA), ноутбуки або настільні комп'ютери, планшетні комп'ютери, електронні книги, цифрові камери, цифрові пристрої запису, цифрові медіаплеєри, пристрої відео ігор, пульти відеоігор, стільникові або супутникові радіотелефони, так звані "смартфони", пристрої організації відео телеконференцій, пристрої потокової передачі відео тощо. Цифрові відео пристрої реалізовують способи кодування відео, такі як описані в стандартах, визначених MPEG-2, MPEG-4, ITU-T H.263, ITU-T H.264/MPEG-4, Частина 10, Вдосконалене відео кодування (AVC) (H.264/AVC), стандарт високоефективного кодування відео (HEVC), що розвивається, і розширеннях таких стандартів. H.264/AVC має, як приклади, розширення масштабованого кодування відео (SVC) і кодування відео з множинними видами (MVC). Відео пристрої можуть передавати, приймати, кодувати, декодувати і/або зберігати цифрову відео інформацію більш ефективно, реалізовуючи такі способи кодування відео. Способи кодування відео включають в себе просторове (всередині картинки) прогнозування і/або часове (між картинками) прогнозування, щоб зменшити або видалити надмірність, властиву відео послідовностям. Для основаного на блоці кодування відео вирізка відео (наприклад, картинка або частина картинки) може бути розділена на блоки відео, які можуть також згадуватися як блоки дерева, одиниці кодування (CUs) і/або вузли кодування. Блоки відео у внутрішньо кодованій (I) вирізці картинки закодовані, використовуючи просторове прогнозування відносно опорних вибірок у сусідніх блоках в тій самій картинці. Блоки відео у зовні кодованій (Р або В) вирізці картинки можуть використовувати просторове прогнозування відносно опорних вибірок у сусідніх блоках в тій самій картинці або часове прогнозування відносно опорних вибірок в інших опорних картинках. Просторове або часове прогнозування призводить до прогнозуючого блока для блока, який повинен бути закодований. Залишкові дані представляють піксельні різниці між первинним блоком, який повинен бути закодований, і прогнозуючим блоком. Зовні кодований блок кодують згідно з вектором руху, який вказує на блок опорних вибірок, які формують прогнозуючий блок, і залишковими даними, які вказують різницю між закодованим блоком і прогнозуючим блоком. Внутрішньо кодований блок кодують згідно з режимом внутрішнього кодування і залишковими даними. Для подальшого стиснення залишкові дані можуть бути перетворені з піксельної ділянки в ділянку перетворення, призводячи до залишкових коефіцієнтів перетворення, які потім можуть квантуватися. Квантовані коефіцієнти перетворення, спочатку розміщені в двовимірному масиві, можуть скануватися, щоб сформувати одновимірний вектор коефіцієнтів перетворення, і ентропійне кодування може бути застосоване, щоб досягнути навіть більшої величини стиснення. Суть винаходу В цілому дане розкриття описує способи для того, щоб вказати, які набори параметрів є активними для кодування відео і, в деяких прикладах, підтримувати активацію таких наборів параметрів. У деяких прикладах відео кодер включає в себе множинні ідентифікатори наборів параметрів послідовності (SPS) (ID) в повідомленні SEI, наприклад, повідомленні SEI активних наборів параметрів або повідомленні SEI періоду буферизації, таким чином, що множинні активні набори SPS можуть бути вказані для відео декодера. У деяких прикладах відео декодер активує набір параметрів відео (VPS) і/або один або більше наборів SPS за допомогою посилання на повідомлення SEI, наприклад, на основі включення ID VPS і одного або більше ID SPS в повідомленні SEI. Повідомлення SEI може бути, наприклад, повідомленням SEI повідомлення SEI активних наборів параметрів періоду буферизації. В одному прикладі спосіб декодування відео даних містить декодування потоку бітів, який включає в себе відео дані та інформацію синтаксису для декодування відео даних, в якому інформація синтаксису містить повідомлення додаткової інформації розширення (SEI) одиниці доступу, і в якому повідомлення SEI вказує множину наборів параметрів послідовності (SPS) і набір параметрів відео (VPS) для декодування відео даних одиниці доступу. Спосіб далі містить декодування відео даних одиниці доступу на основі множини наборів SPS та VPS, вказаних в повідомленні SEI. В іншому прикладі спосіб кодування відео даних містить кодування потоку бітів, який 1 UA 114929 C2 5 10 15 20 25 30 35 40 45 50 55 60 включає в себе відео дані та інформацію синтаксису для кодування відео даних, при цьому інформація синтаксису містить повідомлення додаткової інформації розширення (SEI) одиниці доступу, і при цьому повідомлення SEI вказує множину наборів параметрів послідовності (SPS) і набір параметрів відео (VPS) для декодування відео даних одиниці доступу. Спосіб далі містить кодування відео даних одиниці доступу на основі множини наборів SPS та VPS, вказаних в повідомленні SEI. В іншому прикладі пристрій містить відео декодер, сконфігурований, щоб декодувати потік бітів, який включає в себе відео дані та інформацію синтаксису для декодування відео даних, в якому інформація синтаксису містить повідомлення додаткової інформації розширення (SEI) одиниці доступу, і в якому повідомлення SEI вказує множину наборів параметрів послідовності (SPSs) і набір параметрів відео (VPS) для декодування відео даних одиниці доступу. Відео декодер далі конфігурується, щоб декодувати відео дані одиниці доступу на основі множини наборів SPS та VPS, вказаних в повідомленні SEI. В іншому прикладі пристрій містить відео кодер, сконфігурований, щоб закодувати потік бітів, який включає в себе відео дані та інформацію синтаксису для кодування відео даних, в якому інформація синтаксису містить повідомлення додаткової інформації розширення (SEI) одиниці доступу, і в якому повідомлення SEI вказує множину наборів параметрів послідовності (SPS) і набір параметрів відео (VPS) для декодування відео даних одиниці доступу. Відео кодер далі конфігурується, щоб закодувати відео дані одиниці доступу на основі множини наборів SPS та VPS, вказаних в повідомленні SEI. В іншому прикладі пристрій містить засіб для кодування потоку бітів, який включає в себе відео дані та інформацію синтаксису для кодування відео даних, в якому інформація синтаксису містить повідомлення додаткової інформації розширення (SEI) одиниці доступу, і в якому повідомлення SEI вказує множину наборів параметрів послідовності (SPS) і набір параметрів відео (VPS) для кодування відео даних одиниці доступу. Пристрій далі містить засіб для кодування відео даних одиниці доступу на основі множини наборів SPS та VPS, вказаних в повідомленні SEI. В іншому прикладі зчитуваний комп'ютером запам'ятовуючий носій має інструкції, збережені на ньому, які, коли виконуються одним або більше процесорами відео кодувальника, змушують відео кодувальник кодувати потік бітів, який включає в себе відео дані та інформацію синтаксису для кодування відео даних, в якому інформація синтаксису містить повідомлення додаткової інформації розширення (SEI) одиниці доступу, і в якому повідомлення SEI вказує множину наборів параметрів послідовності (SPSs) і набір параметрів відео (VPS) для кодування відео даних одиниці доступу. Інструкції далі змушують відео кодувальник кодувати відео дані одиниці доступу на основі множини наборів SPS та VPS, вказаних в повідомленні SEI. Подробиці одного або більше аспектів розкриття сформульовані в супровідних кресленнях та описі нижче. Інші ознаки, об'єкти та переваги способів, описаних в даному розкритті, будуть очевидні з опису та креслень і з формули винаходу. Короткий опис креслень Фіг. 1 є блок-схемою, що ілюструє зразкову систему кодування і декодування відео, яка може використовувати способи для того, щоб вказувати активні набори параметрів та активувати набори параметрів, описані в даному розкритті. Фіг. 2 є блок-схемою, що ілюструє відео кодер, показаний в прикладі на Фіг. 1 більш детально. Фіг. 3 є блок-схемою, що ілюструє відео декодер, показаний в прикладі на Фіг. 1 більш детально. Фіг. 4 є блок-схемою, що ілюструє зразковий набір пристроїв, які формують частину мережі. Фіг. 5 є блок-схемою, що ілюструє зразковий спосіб для кодування потоку бітів, щоб включати в себе повідомлення додаткової інформації розширення (SEI), яке вказує відео декодеру активний набір параметрів відео (VPS) і множину активних наборів параметрів послідовності (SPSs) для того, щоб декодувати закодовані відео дані в потоці бітів. Фіг. 6 є блок-схемою, що ілюструє зразковий спосіб для декодування потоку бітів, який включає в себе повідомлення SEI, яке вказує активний VPS і множину активних наборів SPS для декодування відео даних потоку бітів. Фіг. 7 є блок-схемою, що ілюструє зразковий спосіб для кодування потоку бітів, щоб включати повідомлення SEI, яке вказує відео декодеру VPS і один або більше наборів SPS, які повинні бути активовані відео декодером для декодування відео даних потоку бітів. Фіг. 8 є блок-схемою, що ілюструє зразковий спосіб для декодування потоку бітів, який включає в себе повідомлення SEI, і активування VPS і одного або більше наборів SPS для декодування відео даних потоку бітів, на основі посилання на VPS і один або більше наборів 2 UA 114929 C2 5 10 15 20 25 30 35 40 45 50 55 60 SPS в повідомленні SEI. Докладний опис В цілому дане розкриття описує способи для того, щоб вказати, які набори параметрів є активними для кодування відео і, в деяких прикладах, підтримувати активацію таких наборів параметрів. У деяких прикладах відео кодер включає множинні ідентифікатори (ID) наборів параметрів послідовності (SPS) в повідомленні SEI, наприклад, повідомлення SEI активних наборів параметрів або повідомлення SEI періоду буферизації, таким чином, що множинні активні набори SPS можуть бути вказані для відео декодера. У деяких прикладах закодовані відео дані можуть містити множину рівнів і/або видів, і кожний з наборів SPS може використовуватися для кодування, наприклад, кодування або декодування, відповідного одного або більше рівнів і/або видів. У деяких прикладах, в яких активні набори SPS асоційовані з відповідними рівнями, активні набори SPS можуть згадуватися як активні набори SPS рівнів. Включення множинних ID SPS в повідомлення SEI може полегшити кодування відео з множинними видами, 3D відео (3DV) і/або масштабоване кодування відео. У деяких прикладах відео декодер активує набір параметрів відео (VPS) і/або один або більше наборів SPS за допомогою посилання на повідомлення SEI, наприклад, на основі включення ID VPS і одного або більше ID SPS в повідомленні SEI. Повідомлення SEI може бути, наприклад, повідомленням SEI активних наборів параметрів. У таких прикладах повідомлення SEI активних наборів параметрів, надане відео кодером, не тільки вказує активний VPS і один або більше активних наборів SPS, але також і змушує відео декодер активувати їх для декодування відео даних. В інших прикладах кодер можуть не забезпечувати повідомлення SEI активних наборів параметрів, і замість цього може включати ID VPS в повідомлення SEI періоду буферизації (яке може вже включати в себе єдиний ID SPS згідно з існуючою специфікацією HEVC) як перший елемент синтаксису. У таких прикладах відео кодер може включати множинні ID SPS в повідомлення SEI періоду буферизації, і відео декодер може активувати VPS і один або більше наборів SPS за допомогою посилання на повідомлення SEI періоду буферизації. Знову, закодовані відео дані можуть містити множину рівнів і/або видів, і кожний з множини наборів SPS може використовуватися для кодування, наприклад, кодування або декодування, відповідного одного або більше рівнів і/або видів. У таких прикладах активація множинних наборів SPS за допомогою посилання на повідомлення SEI, наприклад, відео декодером, може полегшити кодування відео з множинними видами, 3DV і/або масштабоване кодування відео. Способи даного опису можуть бути реалізовані у відео кодувальниках, наприклад, відео кодерах і відео декодерах, які працюють згідно з будь-яким з множини стандартів кодування відео. Наприклад, способи даного розкриття можуть бути реалізовані у відео кодувальниках, які працюють згідно зі стандартом HEVC, що розвивається в цей час, який може також згадуватися як H.265. Стандарт HEVC може також згадуватися як ISO/IEC 23008-HEVC, який призначений, щоб бути стандартним номером для поставленої версії HEVC. Зусилля із стандартизації основані на моделі пристрою кодування відео, яка називається тестовою моделлю HEVC (HM). HM передбачає декілька різних здатностей пристроїв кодування відео відносно пристроїв, працюючих згідно з попередніми стандартами кодування, такими як ITU-T H.264/AVC. Наприклад, тоді як H.264 забезпечує дев'ять режимів кодування з внутрішнім прогнозуванням, HM забезпечує цілих тридцять п'ять режимів кодування з внутрішнім прогнозуванням. Недавній робочий проект (WD) HEVC, названий "HEVC Робочий Проект 6" або "WD6", описаний в документі JCTVC-H1003, Bross et al., "High-Efficiency Video Coding (HEVC) text specification draft 6,» Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, 8th Meeting: San Jose, California, USA, Feb. 2012, який включений тут за посиланням повністю, і який на 13 травня 2013 може бути знайдений за адресою: . Далі, інший недавній робочий проект HEVC, Робочий Проект 8, названий "HEVC Робочий Проект 8" або "WD8", описаний в документі HCTVC-J1003_d7, Bross et al., "High Efficiency Video Coding (HEVC) Text Specification draft 8,» JCT-VC of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, 10th Meeting: Stockholm, Sweden, July, 2012, який включений тут посиланням повністю, і який на 13 травня 2013 може бути знайдений за адресою: . Стандарт HEVC продовжує розвиватися, і новіший проект стандарту, названий "HEVC, Робочий Проект 10", або "WD10", описаний в документі JCTVC-L1003_v18, Bross et al., "High Efficiency Video Coding (HEVC) Text Specification Draft 10,» Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11, 12th Meeting: Geneva, Switzerland, 14-23 January 2013, який на 13 травня 2013 може бути знайдений за адресою: 3 UA 114929 C2 5 10 15 20 25 30 35 40 45 50 55 60 . Весь вміст WD10 тим самим включений в даний опис за посиланням. H.264/AVC ввів концепцію наборів параметрів як спосіб передати інформацію синтаксису, яка полегшує кодування цифрової відео інформації від відео кодера до відео декодера. Набори параметрів були введені в H.264/AVC у відповідь на негативні ефекти втрати заголовка послідовності і заголовка картинки, якщо картинка розділена на множинні сегменти, наприклад, вирізки, і ці сегменти транспортуються у їх власному транспортному блоці, наприклад, пакет транспортного протоколу в реальному часі (RTP). Розділення картинки на сегменти, які транспортуються у їх власному транспортному блоці, є бажаним для узгодження максимального розміру блока передачі (MTU). Однак, втрата першого пакета картинки, який несе не тільки дані сегмента першої картинки, але також і заголовок картинки, і іноді групи картинок (GOP) і заголовок послідовності, може призвести до неправильної реконструкції картинки, і іноді також наступних картинок, відео декодером. У деяких випадках неправильна реконструкція може відбутися, навіть якщо всі інші пакети не були втрачені. Деякі реалізації відео декодера можуть навіть не намагатися декодувати прийняті пакети картинки, якщо пакет із заголовком картинки був втрачений. До H.264/AVC, як початкова спроба дозволити цю уразливість, були введені основані на транспортному рівні механізми. Наприклад, формат корисних даних RTP для H.263, визначений в RFC 2429, враховував перенесення надмірної копії заголовка картинки в стільки пакетів скільки вибрано відео кодером або модулем пакетування. Під час конструювання H.264/AVC, однак, було визнано, що уразливість, викликана за допомогою включення інформації синтаксису в заголовку картинки, є архітектурною проблемою самого відео кодека, а не транспортною проблемою. У відповідь на цю реалізацію набори параметрів були введені в H.264/AVC як спосіб передати інформацію синтаксису. Набір параметрів є синтаксичною структурою, яка включає в себе елементи синтаксису, які дозволяють відео декодеру відновлювати закодоване відео. Різні елементи синтаксису включені в різні набори параметрів на основі частоти, з якою елементи синтаксису, як очікується, будуть змінюватися. Наприклад, набір параметрів послідовності (SPS) включає в себе елементи синтаксису, які, як очікується, залишаться незмінними для послідовності картинок, в той час як набір параметрів картинки (PPS) включає в себе елементи синтаксису, які можуть змінюватися від картинки до картинки для в межах послідовності. Відео кодер може генерувати і виводити набори параметрів. Відео декодер може прийняти набори параметрів, і використовувати набори параметрів при декодуванні відео даних із закодованого потоку бітів. Відео кодер може забезпечити набори параметрів як частину потоку бітів відео або за допомогою передачі поза частотним діапазоном, використовуючи надійний канал між відео кодером і декодером. В інших прикладах набори параметрів можуть бути такими, що складно кодуються в кодері і декодері. Набір параметрів містить ідентифікаційну інформацію ("ID"), на яку посилаються, прямо або непрямо, із заголовка вирізки. Наприклад, кожний SPS може включати в себе ID SPS, і кожний PPS може включати в себе ID PPS і посилається на SPS, додатково включаючи ID SPS. Далі, кожний заголовок вирізки може послатися на PPS, використовуючи ID PPS. Відповідно, на основі ID PPS в заголовку вирізки відео декодер може активувати PPS. Відео декодер може також активувати SPS на основі ID SPS в PPS. Концепція активації за допомогою посилання була введена, серед інших причин, оскільки неявна активація на основі позиції інформації в потоці бітів (як є звичайним для інших елементів синтаксису відео кодека) не доступна у випадку наборів параметрів, прийнятих відео декодером за допомогою передачі поза частотним діапазоном. Подібно до H.264/AVC, HEVC використовує набори параметрів, щоб передати інформацію синтаксису, яка полегшує кодування цифрової відео інформації. Однак, HEVC вводить додатковий набір параметрів, набір параметрів відео (VPS). Крім іншого, VPS може бути використаний для передачі інформації, яка застосовна до множинних рівнів, так само як підрівнів, і/або множинних видів. Відповідно, VPS може полегшити кодування відео даних, яке включає в себе множинні рівні, наприклад, для масштабованого кодування відео, або множинні види, наприклад, для кодування 3D відео або множинних видів. Кожний рівень або вид заданої відео послідовності можуть бути, але не обов'язково, закодовані згідно з відповідним SPS. Однак, кожний рівень або вид заданої відео послідовності, незалежно від того, чи мають вони одні і ті самі або різні набори, посилаються на один і той самий VPS. H.264/AVC не містив набір параметрів, порівнянний з VPS, і замість цього вимагав складного моделювання структури багаторівневого представлення в цілях, наприклад, обміну можливостями та узгодження сеансу. У розширенні H.264/AVC масштабованого кодування 4 UA 114929 C2 5 10 15 20 25 30 35 40 45 50 55 60 відео (SVC) повідомлення додаткової інформації розширення (SEI) інформації масштабованості запропонувало приблизно той самий контент як VPS в HEVC. Однак, за своєю природою, будучи повідомленням SEI, більша частина тієї самої інформації в повідомленні SEI інформації масштабованості повинне було бути повторюване в наборах SPS в H.264/AVC, що в деяких сценаріях застосування також повинне було бути передане поза діапазоном, і отже спричинило збільшену початкову затримку, особливо коли повторна передача була використана для гарантії надійності передач поза діапазоном. У випадках мовлення і багатоадресного мовлення з передачею всередині діапазону наборів параметрів, таке повторення однієї і тієї самої інформації призвело до істотних службових витрат, оскільки набори параметрів повинні були бути повторювані в кожній точці довільного доступу для перемикання і настроювання каналу. VPS HEVC може вирішувати ці недоліки, так само як забезпечити чисту і структуру високого рівня багаторівневих кодеків, що розширюється. Інформація, яка може бути передана в VPS, включає в себе, наприклад: (1) загальні елементи синтаксису, що спільно використовуються множинними рівнями або точками операції (робочими точками), щоб уникнути непотрібних дублювань; (2) істотну інформацію точок операції, необхідних для узгодження сеансу, включаючи, наприклад, профіль і рівень; і (3) іншу специфічну для точок операції інформацію, яка не належить одному SPS, наприклад, параметри гіпотетичного опорного декодера (HRD) для рівнів або підрівнів. Синтаксичний розбір істотної інформації кожної точки операції не вимагає кодування із змінною довжиною коду, і таким чином вважається полегшеним для більшості елементів мережі. Очікується, що розширення VPS, яке може бути визначене в розширеннях HEVC, може містити більше елементів синтаксису, ніж такі в поточному VPS, для ефективної сигналізації параметрів, гнучкого і полегшеного узгодження сеансу, так само як вдосконаленої адаптації потоку бітів, наприклад, на основі ідентифікатора виду в розширенні 3DV. Згідно з HEVC WD8, деяка інформація дубльована між VPS і наборам SPS, що належать рівню. Це дублювання було введене, щоб дозволити декодеру версії 1 ігнорувати одиницю рівня абстракції мережі VPS (NAL) і все ще мати доступною всю інформацію, необхідну, щоб декодувати потік бітів. Згідно з H.264/AVC, так само як в HEVC, набори SPS містять інформацію, яка належить до всіх вирізок закодованої відео послідовності, наприклад, послідовності картинок. У HEVC закодована відео послідовність починається з картинки миттєвого оновлення декодування (IDR), або картинки доступу з розірваним посиланням (BLA), або картинки чистого довільного доступу (CRA), яка є першою картинкою в потоці бітів. Закодована відео послідовність включає в себе всі подальші картинки, які не є картинкою IDR або BLA. Потік бітів складається з однієї або більше закодованих послідовностей відео. Контент SPS може бути приблизно поділений на шість категорій: (1) посилання на самого себе, наприклад, його власний ID; (2) інформація, що належить до точки операції декодера, наприклад, профіль, рівень, розмір картинки, і кількість підрівнів; (3) прапори дозволу для деяких інструментів у межах профілю, і асоційовані параметри інструмента кодування у випадку, якщо інструмент дозволений; (4) інформація, що обмежує гнучкість структур і кодування коефіцієнтів перетворення; (5) керування часовою масштабованістю, яке може бути подібним до H.264/SVC; і (6) інформація візуальної зручності і простоти використання (VUI), який включає в себе інформацію HRD. PPS HEVC містить таку інформацію, яка може змінюватися від картинки до картинки. PPS включає в себе інформацію, грубо порівнянну з тим, що було частиною PPS в H.264/AVC, включаючи (1) посилання на самого себе, наприклад, свій власний ID; (2) початкову інформацію керування картинками, таку як початковий параметр квантування (QP), кількість прапорів, які вказують використання, або присутність, деяких інструментів або інформації керування в заголовку вирізки; і (3) інформацію мозаїчного розміщення. Заголовок вирізки містить інформацію, яка може змінюватися від вирізки до вирізки, так само як таку інформацію, що належить до картинки, яка є відносно малою або релевантною тільки деяким типам вирізки або картинки. Розмір заголовка вирізки може бути помітно більшим ніж PPS, особливо коли є мозаїчне розміщення або зміщення точки входу фронту хвилі в заголовку вирізки і вибір опорної картинки, ваги прогнозування, або модифікації списку опорних картинок явно сигналізовані. Активація наборів параметрів в HEVC подібна до H.264/AVC. Заголовок вирізки містить посилання на PPS. PPS, в свою чергу, містить посилання на SPS, і SPS містить посилання на VPS. Одна загальна стратегія реалізації для наборів параметрів полягає в тому, щоб зберігати всі набори параметрів заданого типу (PPS, SPS та VPS) в таблицях, максимальний розмір яких непрямо визначений діапазоном нумерації ідентифікаторів ID набору параметрів. Згідно з такою стратегією реалізації, активація набору параметрів може бути досягнута за допомогою: (1) 5 UA 114929 C2 5 10 15 20 25 30 35 40 45 50 55 60 доступу до таблиць PPS на основі інформації, наприклад, ID PPS, в заголовку вирізки, і копіюванні інформації, знайденої для PPS в таблицях PPS в релевантні структури даних декодера; (2) з подальшим зверненням, наприклад, до ID SPS, в PPS до релевантного SPS в таблицях SPS, і копіювання інформації, знайденої для SPS в таблицях SPS, в релевантні структури даних декодера; і (3) з подальшим зверненням, наприклад, до ID VPS, в SPS до релевантного VPS в таблицях VPS, і копіювання інформації, знайденої для VPS в таблицях VPS в релевантні структури даних декодера. Оскільки ці операції може бути необхідно виконати (найбільше) тільки одноразово для кожної картинки, цю операцію можна вважати легкою. Згідно з пропозиціями для стандарту HEVC, SPS може також бути активований, за допомогою звернення до нього в повідомленні SEI періоду буферизації. Для активації SPS за допомогою звернення до нього в повідомленні SEI періоду буферизації, повідомлення SEI періоду буферизації може включати в себе ID SPS для SPS, який повинен бути активований. Додатково, HEVC WD8 визначає повідомлення SEI активних наборів параметрів. Згідно з HEVC WD8, повідомлення SEI активних наборів параметрів може вказувати в даний час активний VPS і в даний час активний SPS, наприклад, за допомогою включення VPS і ID SPS для в даний час активного VPS та SPS. Згідно з HEVC WD8, відео декодер не активує VPS та SPS за допомогою посилання в повідомленні SEI активних наборів параметрів. Замість цього відео кодер включає повідомлення SEI активних наборів параметрів у потік бітів, щоб вказати, які набори параметрів відео декодер повинен в даний час мати активними для декодування відео даних, і таким чином, дозволити відео декодеру підтверджувати належну операцію декодування. Як описано вище, відео кодер може видати набори параметрів відео декодеру як частину потоку бітів відео або за допомогою передачі поза діапазоном, використовуючи надійний канал між відео кодером і декодером. Відео декодер може зберегти прийняті набори параметрів у структурах даних, наприклад, відповідних таблицях для кожного типу набору параметрів (PPS, SPS та VPS), витягнути один або більше наборів параметрів для кожного типу з таблиць, коли пізніше активовані за допомогою посилання, і завантажувати витягнуті набори параметрів у відповідні структури даних декодування для декодування відео даних в потоці бітів. У деяких прикладах відео кодер може включати набори параметрів в одиниці рівня абстракції мережі (NAL) набору параметрів. Обробка прийому одиниці NAL набору параметрів, незалежно від її типу, може бути прямою, при якій одиниці NAL набору параметрів не повинні містити залежності синтаксичного розбору, що означає, що вони є самостійними і не вимагають контексту, виведеного з інших одиниць NAL для синтаксичного розбору. Хоча генерування одиниць NAL без залежності синтаксичного розбору може коштувати ще декілька бітів, воно може дозволити прямий синтаксичний розбір і зберігання наборів параметрів в їх відповідних записах таблиці. Кожний тип набору параметрів може містити механізм розширення, який може дозволити розширювати набір параметрів у майбутніх версіях HEVC, не порушуючи зворотну сумісність і не створюючи залежність синтаксичного розбору до інформації профілю/рівня, яка переноситься в VPS та SPS. Стандарти кодування відео звичайно включають в себе специфікацію моделі буферизації відео. У H.264/AVC і HEVC, модель буферизації згадується як гіпотетичний опорний декодер (HRD). HRD включає в себе модель буферизації як буфер закодованих картинок (CPB) так і буфер декодованих картинок (DPB), і математично визначає поведінки CPB та DPB. HRD безпосередньо накладає обмеження на різне тактування, розміри буфера і частоту проходження бітів, і непрямо накладає обмеження на характеристики потоку бітів і статистику. Повний набір параметрів HRD включає в себе п'ять основних параметрів, початкову затримку видалення CPB, розмір CPB, частоту проходження бітів, початкову затримку виведення DPB, і розмір DPB. У H.264/AVC та HEVC відповідність потоку бітів і відповідність декодера задані як частини специфікації HRD. Хоча назва HRD передбачає, що HRD є декодером, HRD типово використовується на боці кодера, щоб гарантувати відповідність потоку бітів, і типово не є необхідним на боці декодера. HRD визначає два типи потоку бітів або відповідності HRD - а саме, Тип I і Тип II. Крім того, HRD визначає два типи відповідності декодера - а саме, відповідність декодера тактуванню виведення і відповідність декодера порядку виведення. У моделях HRD H.264/AVC та HEVC декодування або видалення CPB є основаним на одиниці доступу, і передбачається, що декодування картинки є миттєвим. У практичних застосуваннях, якщо відповідний декодер строго дотримується сигналізованих часів декодування, наприклад, в повідомленнях SEI тактування картинки, щоб почати декодування одиниці доступу, то найбільш ранній час, щоб вивести конкретну декодовану картинку, дорівнює часу декодування цієї конкретної картинки плюс час, необхідний для того, щоб декодувати цю конкретну картинку. Час, необхідний для того, щоб декодувати картинку в практичних 6 UA 114929 C2 5 10 15 20 25 30 35 40 45 50 55 60 застосуваннях, не може бути рівним нулю. У HEVC WD8, HRD визначений в Додатку С. У HEVC WD8, HRD покладається на параметри HRD. Параметри HRD можуть бути надані в потоці бітів у синтаксичній структурі hrd_parameters (). Синтаксична структура hrd_parameters () може бути включена в, як приклади, VPS і/або SPS, повідомлення SEI періоду буферизації, і повідомлення SEI тактування картинок. Як описано вище, HEVC дозволяє SPS бути активованим відео декодером, за допомогою звернення до нього, наприклад, за допомогою його ID SPS, в повідомленні SEI періоду буферизації. У цьому способі повідомлення SEI періоду буферизації дозволяє SPS бути активованим незалежно від активації PPS за допомогою посилання в заголовку вирізки. HEVC WD8 також задає повідомлення SEI активних наборів параметрів, яке дозволяє відео кодеру вказати активний VPS та активний SPS відео декодеру. Однак, є проблеми, асоційовані з цими існуючими способами для активації наборів параметрів та індикації активних наборів параметрів. Наприклад, в розширеннях кодування відео з множинними видами 3DV і/або масштабованому кодуванні відео HEVC, в будь-який момент часу можуть бути множинні активні набори SPS. Зокрема, відео кодувальник, наприклад, відео кодер або відео декодер, може кодувати, наприклад, закодувати або декодувати, відео дані деяких рівнів і/або видів, використовуючи різні набори SPS. У прикладах, в яких відео кодувальник кодує різні рівні згідно з різними активними наборами SPS, деякі з активних наборів SPS можуть згадуватися як набори SPS активного рівня. Однак, хоча повідомлення SEI активних наборів параметрів, запропоноване для стандарту HEVC, може використовуватися відео кодером, щоб вказувати активний VPS та єдиний активний SPS відео декодеру, в цей час неможливо вказати множинні активні набори SPS через повідомлення SEI активних наборів параметрів або будь-яке інше повідомлення SEI. Як інший приклад, в HEVC WD8, в той час як параметри HRD можуть бути включені в VPS, повідомлення SEI періоду буферизації може містити ID SPS, але не містити ID VPS. Відповідно, в деяких випадках HRD може ініціалізувати з одиниці доступу, яка містить повідомлення SEI періоду буферизації, але щонайменше деякі з вибраних параметрів HRD для операції HRD включені в VPS, який, на відміну від SPS, не активований за допомогою SEI періоду буферизації. У таких випадках здатності відео декодера синтаксично розібрати деякі елементи синтаксису в повідомленні SEI періоду буферизації можуть залежати від інформації в VPS. Відповідно, відео кодувальник може мати необхідність непрямо активувати VPS, наступний за SPS, на основі посилання на VPS в SPS, який був активований з повідомлення SEI періоду буферизації. Потреба в послідовній і непрямій активізації VPS в таких випадках може бути в обчислювальному відношенні неефективною реалізацією відео декодера. Дане розкриття описує способи для того, щоб вказати, які набори параметрів є активними для кодування відео і, в деяких прикладах, підтримувати активацію таких наборів параметрів, які можуть вирішити вищезазначені проблеми. У деяких прикладах відео кодер включає множинні ID SPS в повідомлення SEI, наприклад, повідомлення SEI активних наборів параметрів або повідомлення SEI періоду буферизації, таким чином, що множинні активні набори SPS можуть бути вказані для відео декодера. У деяких прикладах закодовані відео дані можуть містити множину рівнів і/або видів, і кожний з наборів SPS може використовуватися для того, щоб кодувати, наприклад, кодувати або декодувати, відповідні один або більше рівнів і/або видів. У деяких прикладах, в яких активні набори SPS асоційовані з відповідними рівнями, активні набори SPS можуть згадуватися як набори SPS активного рівня. Включення множинних ID SPS в повідомлення SEI може полегшити більш повну індикацію активних наборів параметрів для кодування відео з множинними видами, 3DV і/або масштабованого кодування відео. У деяких прикладах відео декодер активує VPS і один або більше наборів SPS за допомогою посилання на повідомлення SEI, наприклад, на основі включення ID VPS і одного або більше ID SPS в повідомлення SEI. Повідомлення SEI може бути, наприклад, повідомленням SEI активних наборів параметрів. У таких прикладах повідомлення SEI активних наборів параметрів, надане в потоці бітів відео кодером, не тільки вказує активний VPS і один або більше активних наборів SPS, але також і змушує відео декодер активувати їх для декодування відео даних потоку бітів. У таких прикладах відео кодер може видалити ID SPS з повідомлення SEI періоду буферизації. Далі, відео кодер може генерувати потік бітів у таких прикладах таким чином, що, для кожної одиниці доступу, яка включає в себе повідомлення SEI періоду буферизації, є також повідомлення SEI активних наборів параметрів, яке є першим повідомленням SEI в першій одиниці NAL SEI одиниці доступу. В інших прикладах відео кодер може не забезпечувати повідомлення SEI активних наборів параметрів, і замість цього може включати ID VPS в повідомлення SEI періоду буферизації, 7 UA 114929 C2 5 10 15 20 25 30 35 40 45 50 55 60 наприклад, як перший елемент синтаксису, який може бути закодованим кодом фіксованої довжини, наприклад, з чотирма бітами. Згідно з пропозиціями для стандарту HEVC, повідомлення SEI періоду буферизації може включати в себе єдиний ID SPS. У прикладах згідно з даним описом відео кодер може включати множинні ID SPS, наприклад, поряд з ID VPS, в повідомлення SEI періоду буферизації. Додатково, в деяких прикладах, відео декодер може активувати VPS і один або більше наборів SPS за допомогою посилання на повідомлення SEI періоду буферизації. Знов, закодовані відео дані можуть містити множину рівнів і/або видів, і кожний з множини наборів SPS може використовуватися для того, щоб кодувати, наприклад, кодувати або декодувати, відповідні один або більше рівнів і/або видів. У таких прикладах активація множинних наборів SPS за допомогою посилання на повідомлення SEI періоду буферизації, наприклад, відео декодером, може полегшити кодування відео з множинними видами, 3DV і/або масштабоване кодування відео. Фіг. 1 є блок-схемою, що ілюструє зразкову систему 10 кодування і декодування відео, яка може використовувати способи для того, щоб вказувати активні набори параметрів і активувати набори параметрів, описані в даному розкритті. Як показано на Фіг. 1, система 10 включає в себе вихідний пристрій 12, який генерує закодовані відео дані, які повинні бути декодовані в більш пізній час пристроєм 14 призначення. Вихідний пристрій 12 і пристрій 14 призначення може містити будь-який з широкого діапазону пристроїв, що включає в себе настільні комп'ютери, портативні комп'ютери (тобто, ноутбуки), планшетні комп'ютери, телевізійні приставки, телефонні трубки, такі як так звані "смарт" телефони, так звані "смарт" клавіатури, телевізори, камери, пристрої відображення, цифрові медіаплеєри, пульти відео ігор, пристрій потокової передачі відео, або подібне. У деяких випадках вихідний пристрій 12 і пристрій 14 призначення може бути обладнаний для бездротового зв'язку. Пристрій 14 призначення може прийняти закодовані відео дані, які повинні бути декодовані, через лінію зв'язку 16. Лінія зв'язку 16 може містити будь-який тип носія або пристрою, здатного до переміщення закодованих відео даних від вихідного пристрою 12 до пристрою 14 призначення. В одному прикладі лінія зв'язку 16 може містити комунікаційний носій, щоб дозволити вихідному пристрою 12 передати закодовані відео дані безпосередньо до пристрою 14 призначення в реальному часі. Закодовані відео дані можуть бути модульованими згідно зі стандартом зв'язку, таким як протокол бездротового зв'язку, і передані до пристрою 14 призначення. Комунікаційний носій може містити будь-який бездротовий або дротовий комунікаційний носій, такий як радіочастотний (RF) спектр або одна або більше фізичних ліній передачі. Комунікаційний носій може бути частиною основаної на пакетній передачі мережі, такої як локальна мережа, регіональна мережа, або глобальна мережа, така як Інтернет. Комунікаційний носій може включати в себе маршрутизатори, комутатори, базові станції, або будь-яке інше обладнання, яке може бути корисним, щоб полегшити зв'язок від вихідного пристрою 12 до пристрою 14 призначення. Альтернативно, закодовані дані можуть бути виведені з інтерфейсу 22 виведення на запам'ятовуючий пристрій 36. Аналогічно, закодовані дані можуть бути доступні із запам'ятовуючого пристрою 36 за допомогою інтерфейсу 28 введення з пристрою 14 призначення. Запам'ятовуючий пристрій 36 може включати в себе будь-який з множини розподілених або локально доступних запам'ятовуючих носіїв даних, таких як накопичувач на жорстких дисках, диски Blu-ray, DVD, CD-ROM, флеш-пам'ять, енергозалежна або енергонезалежна пам'ять, або будь-які інші придатні цифрові запам'ятовуючі носії для того, щоб зберігати закодовані відео дані. В іншому прикладі запам'ятовуючий пристрій 36 може відповідати файловому серверу або іншому проміжному пристрою зберігання, який може зчитати закодовані відео дані, згенеровані вихідним пристроєм 12. Пристрій 14 призначення може одержати доступ до збережених відео даних із запам'ятовуючого пристрою 36 за допомогою потокової передачі або завантаження. Файловий сервер може бути будь-яким типом сервера, здатного до того, щоб зберігати закодовані відео дані і передавати ці закодовані відео дані до пристрою 14 призначення. Файлові сервери прикладу включають в себе web-сервер (наприклад, для вебсайта), сервер FTP, пристрої приєднаних до мережі запам'ятовуючих пристроїв (NAS), або локальний дисковод. Пристрій 14 призначення може одержати доступ до закодованих відео даних через будь-яке стандартне з'єднання даних, включаючи інтернетз'єднання. Це може включати в себе бездротовий канал (наприклад, з'єднання Wi-Fi), дротове з'єднання (наприклад, DSL, кабельний модем, тощо), або комбінацію обох, яка є придатною для того, щоб одержати доступ до закодованих відео даних, що зберігаються на файловому сервері. Передача закодованих відео даних із запам'ятовуючого пристрою 36 може бути потоковою передачею, передачею завантаження, або комбінацією обох. Способи даного розкриття не обов'язково обмежені бездротовими додатками або 8 UA 114929 C2 5 10 15 20 25 30 35 40 45 50 55 60 параметрами настройки. Способи можуть бути застосовані до кодування відео в підтримку будь-якого з множини мультимедійних додатків, таких як ефірне телебачення, передачі кабельного телебачення, передачі супутникового телебачення, потокові відео передачі, наприклад, через Інтернет, кодування цифрового відео для зберігання на запам'ятовуючому носії даних, декодування цифрового відео, збереженого на запам'ятовуючому носії даних, або інших додатків. У деяких прикладах система 10 може бути сконфігурована, щоб підтримувати односторонню або двосторонню передачу відео, щоб підтримувати додатки, такі як потокова передача відео, відтворення відео, мовлення відео, і/або відео телефонія. У прикладі на Фіг. 1 вихідний пристрій 12 включає в себе відео джерело 18, відео кодер 20 та інтерфейс 22 виведення. У деяких випадках інтерфейс 22 виведення може включати в себе модулятор/демодулятор (модем) і/або передавач. У вихідному пристрої 12 відео джерело 18 може включати в себе джерело, таке як пристрій захоплення відео, наприклад, відео камера, відео архів, що містить раніше захоплене відео, інтерфейс подачі відео, щоб прийняти відео від постачальника відео контенту, і/або систему комп'ютерної графіки для того, щоб генерувати дані комп'ютерної графіки як вихідне відео, або комбінацію таких джерел. Як один приклад, якщо відео джерело 18 є відео камерою, вихідний пристрій 12 і пристрій 14 призначення можуть сформувати так звані камерофони або відео телефони. Однак, способи, описані в даному розкритті, можуть бути застосовними до кодування відео взагалі, і можуть бути застосовані до бездротових і/або дротових додатків. Захоплене, заздалегідь захоплене або машинно-генероване відео може бути закодоване відео кодером 20. Закодовані відео дані можуть бути передані безпосередньо до пристрою 14 призначення через інтерфейс 22 виведення з вихідного пристрою 12. Закодовані відео дані можуть також (або альтернативно) зберігатися на запам'ятовуючий пристрій 36 для більш пізнього доступу пристроєм 14 призначення або іншими пристроями, для декодування і/або відтворення. Пристрій 14 призначення включає в себе інтерфейс 28 введення, відео декодер 30, і пристрій 32 відображення. У деяких випадках інтерфейс 28 введення може включати в себе приймач і/або модем. Інтерфейс 28 введення з пристрою 14 призначення може прийняти закодовані відео дані по лінії зв'язку 16. Закодовані відео дані, передані по лінії зв'язку 16, або надані на запам'ятовуючому пристрої 36, можуть включати в себе множину елементів синтаксису, що генеруються відео кодером 20, для використання відео декодером, таким як відео декодер 30, при декодуванні відео даних. Такі елементи синтаксису можуть бути включені із закодованими відео даними, переданими на комунікаційному носії, збережені на запам'ятовуючому носії, або збережені на файловому сервері. Пристрій 32 відображення може бути інтегрованим з, або бути зовнішнім до пристрою 14 призначення. У деяких прикладах пристрій 14 призначення може включати в себе інтегрований пристрій відображення і також бути сконфігурованим, щоб з'єднуватися із зовнішнім пристроєм відображення. В інших прикладах пристрій 14 призначення може бути пристроєм відображення. Взагалі, пристрій 32 відображення відображає декодовані відео дані користувачу, і може містити будь-який з множини пристроїв відображення, таких як рідкокристалічний дисплей (LCD), плазмовий дисплей, дисплей на органічних світловипромінюючих діодах (OLED), або інший тип пристрою відображення. Відео кодер 20 і відео декодер 30 можуть працювати згідно зі стандартом стиснення відео, таким як стандарт високоефективного кодування відео (HEVC), що розвивається, і можуть відповідати тестовій моделі HEVC (HM). Альтернативно, відео кодер 20 і відео декодер 30 можуть працювати згідно з іншими стандартами, що становлять власність, або стандартами промисловості, такими як Стандарт ITU-T H.264, альтернативно названий MPEG-4, Частина 10, Вдосконалене відео кодування (AVC), або розширеннями таких стандартів, наприклад, розширеннями з кодування відео з множинними видами (MVC) або масштабованим кодуванням відео (SVC). Способи даного розкриття, однак, не обмежені ніяким конкретним стандартом кодування. Інші приклади стандартів стиснення відео включають в себе MPEG-2 та ITU-T H.263. Хоча не показано на Фіг. 1, в деяких аспектах відео кодер 20 і відео декодер 30 можуть кожний інтегруватися з аудіо кодером і декодером, і можуть включати в себе відповідні блоки MUX-DEMUX (мультиплексор - демультиплексор, або інше апаратне забезпечення і програмне забезпечення, обробляти кодування як аудіо так і відео в загальному потоці даних або окремих потоках даних. Якщо застосовно, в деяких прикладах, блоки MUX-DEMUX можуть відповідати протоколу ITU H.223 мультиплексора, або іншим протоколам, таким як протокол дейтаграм користувача (UDP). Відео кодер 20 і відео декодер 30 кожний може бути реалізований як будь-яка з множини придатних схем кодера, наприклад, як один або більше мікропроцесорів, цифрові сигнальні 9 UA 114929 C2 5 10 15 20 25 30 35 40 45 50 55 60 процесори (DSPs), спеціалізовані інтегральні схеми (ASICs), програмовані користувачем вентильні матриці (FPGAs), дискретна логіка, програмне забезпечення, апаратне забезпечення, програмно-апаратні засоби або будь-які їх комбінації. Коли способи реалізовані частково в програмному забезпеченні, пристрій може зберегти інструкції для програмного забезпечення у придатному нечасовому зчитуваному комп'ютером носії і виконувати інструкції в апаратному забезпеченні, використовуючи один або більше процесорів, щоб виконати способи даного розкриття. Кожний з відео кодера 20 і відео декодера 30 може бути включений в один або більше кодерів або декодерів, будь-який з яких може інтегруватися як частина об'єднаного кодера/декодера (кодек) у відповідному пристрої. В цілому робоча модель HM описує, що відео кадр або картинка можуть бути розділені на послідовність блоків дерева або найбільших одиниць кодування (LCU), які включають в себе вибірки як яскравості так і кольоровості. Блок дерева має аналогічну мету як макроблок стандарту H.264. Вирізка включає в себе множину послідовних блоків дерева в порядку кодування. Відео кадр або картинка можуть бути розділені на одну або більше вирізок. Кожний блок дерева може бути розділений на одиниці кодування (CUs) згідно з квадродеревом. Наприклад, блок дерева, як кореневий вузол квадродерева, може бути розділений на чотири дочірніх вузли, і кожний дочірній вузол може в свою чергу бути батьківським вузлом і бути розділений ще на чотири дочірніх вузли. Заключний, неподілений дочірній вузол, як листовий вузол квадродерева, містить вузол кодування, тобто, закодований блок відео. Дані синтаксису, асоційовані із закодованим потоком бітів, можуть визначити максимальну кількість разів, скільки блок дерева може бути розділений, і може також визначити мінімальний розмір вузлів кодування. CU включає в себе вузол кодування і одиниці прогнозування (одиниці PU), і одиниці перетворення (TUs), асоційовані з вузлом кодування. Розмір CU відповідає розміру вузла кодування і повинен бути квадратним за формою. Розмір CU може ранжуватися від 8 × 8 пікселів до розміру блока дерева з максимумом 64 × 64 пікселів або більше. Кожна CU може містити одну або більше одиниць PU і одну або більше одиниць TU. Дані синтаксису, асоційовані з CU, можуть описувати, наприклад, розділення CU в одну або більше одиниць PU. Режими розділення можуть відрізнятися між тим, чи є CU закодованою в режимі пропускання або прямому режимі, закодованою в режимі внутрішнього прогнозування або режимі зовнішнього прогнозування. Одиниці PU можуть бути розділені, щоб бути неквадратними за формою. Дані синтаксису, асоційовані з CU, можуть також описувати, наприклад, розділення CU в одну або більше одиниць TU згідно з квадродеревом. TU може бути квадратною або неквадратною за формою. Стандарт HEVC забезпечує перетворення згідно з одиницями TU, які можуть бути різними для різних одиниць CU. Одиниці TU типово мають розміри на основі розміру одиниць PU в межах заданої CU, визначеної для розділеної LCU, хоча це може не завжди мати місце. Одиниці TU типово мають той самий розмір або менший, що одиниці PU. У деяких прикладах залишкові вибірки, що відповідають CU, можуть бути поділені на менші блоки, використовуючи структуру квадродерева, відому як "залишкове квадродерево" (RQT). Листові вузли RQT можуть згадуватися як одиниці перетворення (TUs). Значення піксельної різниці, асоційовані з одиницями TU, можуть бути перетворені, щоб сформувати коефіцієнти перетворення, які можуть бути квантовані. Взагалі, PU включає в себе дані, що належать до процесу прогнозування. Наприклад, коли PU є закодованою у внутрішньому режимі, PU може включати в себе дані, що описують режим внутрішнього прогнозування для PU. Як інший приклад, коли PU є закодованою у зовнішньому режимі, PU може включати в себе дані, що визначають вектор руху для PU. Дані, що визначають вектор руху для PU, можуть описувати, наприклад, горизонтальний компонент вектора руху, вертикальний компонент вектора руху, розрізнення для вектора руху (наприклад, піксельну точність в одну чверть або піксельну точність в одну восьму), опорну картинку, на яку вектор руху вказує, і/або список опорних картинок (наприклад, Список 0 або Список 1) для вектора руху. Взагалі, TU використовується для процесів квантування і перетворення. Задана CU, що має одну або більше одиниць PU, може також включати в себе одну або більше одиниць перетворення (TU). Дотримуючись прогнозування, відео кодер 20 може обчислити залишкові значення, що відповідають PU. Залишкові значення містять значення піксельної різниці, які можуть бути перетворені в коефіцієнти перетворення, квантовані і скановані, використовуючи одиниці TU, щоб сформувати перетворені в послідовну форму коефіцієнти перетворення для ентропійного кодування. Дане розкриття типово використовує термін "блок відео", щоб посилатися на вузол кодування одиниці CU. У деяких конкретних випадках дане розкриття може 10 UA 114929 C2 5 10 15 20 25 30 35 40 45 50 55 60 також використовувати термін "блок відео", щоб посилатися на блок дерева, тобто, LCU, або CU, яка включає в себе вузол кодування і одиниці PU та TU. Відео послідовність типово включає в себе послідовність відео кадрів або картинок. Група картинок (GOP) звичайно містить послідовність з однієї або більше відео картинок. GOP може включати дані синтаксису в заголовок GOP, заголовок однієї або більше картинок або в інше місце, яке описує множину картинок, включених в GOP. Кожна вирізка картинки може включати в себе дані синтаксису вирізки, які описують режим кодування для відповідної вирізки. Відео кодер 20 типово оперує над блоками відео в межах індивідуальних відео вирізок, щоб закодувати відео дані. Блок відео може відповідати вузлу кодування в межах CU. Блоки відео можуть мати фіксований або змінний розміри, і можуть відрізнятися за розміром згідно з вказаним стандартом кодування. Як приклад, HM підтримує прогнозування в PU різних розмірів. Передбачаючи, що розмір конкретної CU рівний 2N2N, HM підтримує внутрішнє прогнозування в розмірах PU 2N2N або NN, і зовнішнє прогнозування в симетричних розмірах PU 2N2N, 2NN, N2N, або NN. HM також підтримує асиметричне розділення для зовнішнього прогнозування в розмірах PU 2NnU, 2NnD, nL2N, і nR2N. При асиметричному розділенні один напрямок CU не розділяється, в той час як інший напрямок розділяється на 25 % та 75 %. Частина CU, що відповідає 25 %-ому розділенню, позначена "n", з подальшою індикацією "верхній" "нижній", "лівий, або "правий". Таким чином, наприклад, "2NnU" належить до 2N2N CU, яка розділена горизонтально з 2N0,5N PU зверху і 2N1,5N PU внизу. У даному розкритті "NN" і "N на N" можуть використовуватися взаємозамінно, щоб посилатися на піксельні вимірювання блока відео в термінах вертикального і горизонтального вимірювань, наприклад, 1616 пікселів або 16 на 16 пікселів. Взагалі, блок 1616 має 16 пікселів у вертикальному напрямку (у=16) і 16 пікселів у горизонтальному напрямку (х=16). Аналогічно, блок NN звичайно має N пікселів у вертикальному напрямку і N пікселів у горизонтальному напрямку, де N представляє ненегативне цілочисельне значення. Пікселі в блоці можуть бути розміщені в рядах і колонках. Крім того, блоки не обов'язково повинні мати ту саму кількість пікселів у горизонтальному напрямку, як у вертикальному напрямку. Наприклад, блоки можуть містити NM пікселів, де М не обов'язково рівне N. Після кодування з внутрішнім прогнозуванням або зовнішнім прогнозуванням, використовуючи одиниці PU в CU, відео кодер 20 може обчислити залишкові дані для одиниць TU в CU. Одиниці PU можуть містити піксельні дані в просторовій ділянці (яка також називається піксельною ділянкою), і одиниці TU можуть містити коефіцієнти в ділянці перетворення після застосування перетворення, такого як дискретне косинусне перетворення (DCT), цілочисельне перетворення, вейвлет перетворення, або концептуально подібне перетворення, до залишкових відео даних. Залишкові дані можуть відповідати піксельним різницям між пікселями незакодованої картинки і значеннями прогнозування, що відповідають одиницям PU. Відео кодер 20 може сформувати одиниці TU, що включають в себе залишкові дані для CU, і потім перетворити одиниці TU, щоб сформувати коефіцієнти перетворення для CU. Після будь-якого перетворення, щоб сформувати коефіцієнти перетворення, відео кодер 20 може виконати квантування коефіцієнтів перетворення. Квантування взагалі належить до процесу, в якому коефіцієнти перетворення квантуються, щоб можливо зменшити обсяг даних, використаних для представлення коефіцієнтів, забезпечуючи подальше стиснення. Процес квантування може зменшити бітову глибину, асоційовану з деякими або всіма коефіцієнтами. Наприклад, n-бітове значення може бути округлене в менший бік до m-бітового значення під час квантування, де n більше ніж m. У деяких прикладах відео кодер 20 може використовувати заздалегідь заданий порядок сканування, щоб сканувати квантовані коефіцієнти перетворення, щоб сформувати перетворений в послідовну форму вектор, який може бути ентропійно кодований. В інших прикладах відео кодер 20 може виконати адаптивне сканування. Після сканування квантованих коефіцієнтів перетворення, щоб сформувати одновимірний вектор, відео кодер 20 може ентропійно кодувати одновимірний вектор, наприклад, згідно з контекстно-адаптивним кодуванням із змінною довжиною коду (CAVLC), контекстно-адаптивним двійковим арифметичним кодуванням (CABAC), основаним на синтаксисі контекстно-адаптивним двійковим арифметичним кодуванням (SBAC), ентропійним кодуванням з розділенням інтервалу імовірності (PIPE) або іншою методологією ентропійного кодування. Відео кодер 20 може також ентропійно кодувати елементи синтаксису, асоційовані із закодованими відео даними, для використання відео декодером 30 при декодуванні відео даних. Щоб виконати CABAC, відео кодер 20 може призначити контекст в межах контекстної моделі 11 UA 114929 C2 5 10 15 20 25 30 35 40 45 50 55 60 символу, який повинен бути переданий. Контекст може належати до того, наприклад, чи є сусідні значення символу ненульовими чи ні. Щоб виконати CAVLC, відео кодер 20 може вибрати код із змінною довжиною слова для символу, який повинен бути переданий. Кодові слова в VLC можуть бути побудовані таким чином, що відносно більш короткі коди відповідають більш імовірним символам, в той час як більш довгі коди відповідають менш імовірним символам. Таким чином, використання VLC може досягнути економії бітів, наприклад, використовуючи кодові слова рівної довжини для кожного символу, який повинен бути переданий. Визначення імовірності може бути основане на контексті, призначеному на символ. Відео кодер 20 може також послати дані синтаксису, такі як основані на блоці дані синтаксису, основані на кадрі дані синтаксису, і основані на GOP дані синтаксису, до відео декодера 30, наприклад, в заголовку кадру, заголовку блока, заголовку вирізки, або заголовку GOP. Дані синтаксису GOP можуть описувати множину кадрів у відповідній GOP, і дані синтаксису кадру можуть вказувати режим кодування/прогнозування, використаний для відповідного кадру. Крім того, відео кодер 20 може декодувати закодовані картинки, наприклад, за допомогою зворотного квантування і зворотного перетворення залишкових даних, і об'єднати залишкові дані з даними прогнозування. У цьому способі відео кодер 20 може моделювати процес декодування, виконаний відео декодером 30. Як відео кодер 20 так і відео декодер 30 тому будуть мати доступ до по суті одних і тим самих декодованих картинок для використання в прогнозуванні між картинками. Взагалі, відео декодер 30 може виконати процес декодування, який є інверсією процесу кодування, що виконується відео кодером. Наприклад, відео декодер 30 може виконати ентропійне декодування, використовуючи інверсію способів ентропійного кодування, що використовуються відео кодером, щоб ентропійно кодувати квантовані відео дані. Відео декодер 30 може далі зворотно квантувати відео дані, використовуючи інверсію способів квантування, що використовуються відео кодером 20, і може виконати інверсію перетворення, що використовується відео кодером 20, щоб сформувати коефіцієнти перетворення, які квантовані. Відео декодер 30 може потім застосувати результуючі залишкові блоки до суміжних опорних блоків (внутрішнє прогнозування) або опорних блоків від іншої картинки (зовнішнє прогнозування), щоб сформувати блок відео для можливого відображення. Відео декодер 30 може бути сконфігурований, проінструктований, керований або приписаний виконувати інверсію різних процесів, виконаних відео кодером 20, на основі елементів синтаксису, наданих відео кодером 20 із закодованими відео даними в потоці бітів, прийнятому відео декодером 30. У деяких прикладах відео кодер 20 і відео декодер 30 можуть використовувати способи для кодування відео з множинними видами, наприклад, кодування відео даних, що включає в себе два або більше видів. У таких прикладах відео кодер 20 може закодувати потік бітів, який включає в себе закодовані відео дані для двох або більше видів, і відео декодер 30 може декодувати закодовані відео дані, щоб забезпечити два або більше видів, наприклад, на пристрій 32 відображення. У деяких прикладах відео декодер 30 може забезпечити множинні види відео даних, щоб дозволити пристрою 32 відображення відобразити 3D відео. У деяких прикладах відео кодер 20 і відео декодер 30 можуть відповідати 3D-HEVC - розширенню стандарту HEVC, наприклад, в якому використовуються кодування множинних видів або процеси кодування множинних видів плюс глибина. Розширення HEVC для процесів кодування 3D-HEVC в цей час знаходиться в розвитку і, як тепер запропоновано, використовує кодування множинних видів або процеси кодування множинних видів плюс глибина. 3DV розширення HEVC може згадуватися основане на HEVC 3DV або 3D-HEVC. 3D-HEVC базується щонайменше, частково, на рішеннях, запропонованих в Schwarz et al, "Description of 3D Video Coding Technology Proposal by Fraunhofer HHI (HEVC compatible configuration А), ISO/IEC JTC1/SC29/WG11, Doc. MPEG11/M22570, Geneva, Switzerland, November/December 2011, в подальшому "m22570" і Schwarz et al, "Description of 3D Video Coding Technology Proposal by Fraunhofer HHI (HEVC compatible configuration В), ISO/IEC JTC1/SC29/WG11, Doc. MPEG11/M22571, Geneva, Switzerland, November/December 2011, в подальшому "m22571". Довідковий опис програмного забезпечення для 3D-HEVC доступний в Schwarz et al, "Test Model under Consideration for HEVC based 3D video coding, » ISO/IEC JTC1/SC29/WG11 MPEG2011/N12559, San Jose, USA, Feb. 2012. Довідкове програмне забезпечення, а саме, версія 3.0 HTM доступна, на 21 травня 2013, за адресою: . Кодування множинних видів або 3D відео кодування може залучати кодування двох або більше видів текстури і/або видів, включаючи компоненти текстури і глибини. У деяких прикладах відео дані, закодовані відео кодером 20 і декодовані відео декодером 30, включають 12 UA 114929 C2 5 10 15 20 25 30 35 40 45 50 55 60 в себе дві або більше картинок в будь-який заданий момент часу, тобто, в межах "одиниці доступу", або дані, з яких дві або більше картинок в будь-який заданий момент часу можуть бути виведені. У деяких прикладах пристрій, наприклад, відео джерело 18, може генерувати ці дві або більше картинок, наприклад, використовуючи дві або більше просторово зміщених камери, або інші пристрої захоплення відео, щоб захопити загальну сцену. Дві картинки однієї і тієї самої сцени, захопленої одночасно, або майже одночасно, з горизонтальних позицій, що трохи розрізнюються, можуть бути використані для формування тривимірного ефекту. У деяких прикладах відео джерело 18 (або інший компонент вихідного пристрою 12) може використовувати інформацію глибини або інформацію диспарантності, щоб генерувати другу (або іншу додаткову) картинку і другий (або інший додатковий) вид в заданий момент часу з першої картинки першого виду в цей заданий момент часу. У цьому випадку вид в межах одиниці доступу може включати в себе компонент текстури, що відповідає першому виду, і компонент глибини, який може використовуватися з компонентом текстури, щоб генерувати другий вид. Інформація глибини або диспарантності може бути визначена пристроєм захоплення відео, захоплюючим перший вид, наприклад, основані на камері параметри або іншу інформацію, відому відносно конфігурації пристрою захоплення відео і захоплення відео даних для першого виду. Інформація глибини або диспарантності може додатково або альтернативно бути обчислена, наприклад, відео джерелом 18 або іншим компонентом вихідного пристрою 12 з параметрів камери і/або відео даних в першому виді. Щоб представити 3D відео, пристрій 32 відображення може одночасно, або майже одночасно, показувати дві картинки, асоційовані з різними видами загальної сцени, які були захоплені одночасно або майже одночасно. У деяких прикладах користувач пристрою 14 призначення може носити активні окуляри, щоб швидко і навперемінно закривати ліву і праву лінзи, і пристрій 32 відображення може швидко перемикатися між лівим видом і правим видом в синхронізації з активними окуляри. В інших прикладах пристрій 32 відображення може показати два види одночасно, і користувач може носити пасивні окуляри, наприклад, з поляризованими лінзами, які фільтрують види, щоб змусити належні види пройти через очі користувача. В інших прикладах пристрій 32 відображення може містити автостереоскопічний дисплей, який не вимагає, щоб окуляри для користувача відчували ефект 3D. У випадку кодування множинних видів, наприклад, в 3D-HEVC, прогнозування між картинками може включати в себе прогнозування поточного блока відео, наприклад, PU, від іншого блока відео на часово різній картинці, тобто, від іншої одиниці доступу як поточної картинки, так само як прогнозування від іншої картинки в тій самій одиниці доступу як поточної картинки, але асоційованої з іншим видом, ніж поточна картинка. В останньому випадку зовнішнє прогнозування може згадуватися як кодування між видами. При кодуванні картинки небазового виду, наприклад, залежного виду, картинка з тієї самої одиниці доступу, але іншого виду, наприклад, з опорного виду, може бути додана в список опорних картинок. Опорна картинка між видами може бути вміщена в будь-яку позицію списку опорних картинок, як має місце з будь-якою опорною картинкою із зовнішнім прогнозуванням (наприклад, часовою або між видами). При кодуванні множинних видів є два види векторів прогнозування. Один є вектором руху, який вказує на блок у часовій опорній картинці, і відповідне зовнішнє прогнозування згадується як прогнозування з компенсацією руху (MCP). Іншим типом вектора прогнозування є вектор диспарантності, який вказує на блок на картинці в тій самій поточній картинці одиниці доступу, але іншого виду. З вектором диспарантності відповідне зовнішнє прогнозування згадується як прогнозування з компенсацією диспарантності (DCP). У деяких прикладах відео кодер 20 і відео декодер 30 можуть використовувати способи для масштабованого кодування відео, наприклад, кодування потоку бітів високоякісного відео, який також містить один або більше потоків бітів піднабору. Потік бітів відео піднабору може бути виведений за допомогою відкидання пакетів з більшого потоку бітів високоякісного відео, щоб зменшити смугу пропускання, необхідну для потоку бітів піднабору. Потік бітів піднабору може надати більш низьке просторове розрізнення (менший екран), більш низьке часове розрізнення (більш низьку частоту кадрів), або сигнал відео зниженої якості. Різні потоки бітів можуть згадуватися як рівні і підрівні. Масштабоване кодування відео може включати в себе визначення або конструювання точок операції, коли рівні представлені в різних організаціях. У деяких прикладах відео кодер 20 і відео декодер 30 можуть відповідати розширенню масштабованого кодування відео стандарту кодування відео, такого як HEVC. Масштабоване кодування відео може включати в себе часову масштабованість для рівнів з різними розрізненнями. Для масштабованого кодування відео GOP може включати в себе так 13 UA 114929 C2 5 10 15 20 25 30 35 40 45 50 55 60 звану ключову картинку, і всі картинки, які розташовані в порядку виведення/відображення між цією ключовою картинкою і попередньою ключовою картинкою. Ключова картинка може бути закодована з регулярними або нерегулярними інтервалами, і може бути або внутрішньо кодованою або зовні кодованою з використанням попередньої ключової картинки як посилання для прогнозування з компенсацією руху. Неключові картинки можуть бути ієрархічно прогнозовані з картинок з більш низькими часовими рівнями, і ключова картинка може мати найнижчий часовий рівень. Масштабоване кодування відео може також включати в себе прогнозування між рівнями для просторової масштабованості і масштабованості відношення сигналу до шуму (SNR), на основі текстури, залишку і руху. Просторова масштабованість може бути узагальнена до будь-якого відношення розрізнень між двома рівнями. Масштабованість SNR може реалізуватися масштабованість грубого ступеня деталізування (CGS), масштабованість середнього ступеня деталізування (MDS), або масштабованість дрібного зерна (FGS). Два просторових або рівня CGS можуть належати рівням різної залежності, в той час як два рівні MDS можуть бути в рівні однієї і тієї самої залежності. Масштабоване кодування відео може забезпечити способи прогнозування між рівнями, які можуть бути використані, щоб зменшити надмірність між рівнями. Вони загалом називаються як прогнозування текстури між рівнями, прогнозування залишку між рівнями, і прогнозування руху між рівнями. Відео кодер 20 генерує потік бітів для прийому і/або пошуку відео декодером 30. Потік бітів може включати в себе закодовані дані, наприклад, закодовані відео дані та інформацію синтаксису, і може згадуватися як закодований потік бітів. Відео кодер 20 може організувати відео дані в потоці бітів в одиниці рівня абстракції мережі (NAL), кожна з яких може бути по суті пакетом з цілою кількістю байтів. Відео кодер 20, інтерфейс 22 виведення, інший компонент вихідного пристрою 12, або інший пристрій можуть об'єднувати в кадр або інкапсулювати одиниці NAL в пакети транспортного протоколу системи, наприклад, пакети інтернет-протоколу (IP) або пакети транспортного протоколу в реальному часі (RTP), для передачі через лінію зв'язку 16 або збереження в запам'ятовуючому пристрої 36. Одиниці NAL можуть включати в себе одиниці NAL рівня кодування відео (VCL) і одиниці NAL не-VCL. Одиниці NAL VCL включають в себе закодовані відео дані, які, як описано вище, можуть включати в себе множину рівнів і/або видів. Одиниці NAL не-VCL можуть включати в себе будь-яку асоційовану додаткову інформацію, таку як інформація синтаксису, використану для допомоги відео декодеру 30 при декодуванні і/або відображенні відео картинок, представлених закодованими відео даними, або для забезпечення стійкості до помилок. Інформація синтаксису, надана відео кодером 20, може включати в себе набори параметрів, такі як PPSs, SPSs та VPSs, як описано вище. У деяких прикладах відео кодер 20 може забезпечити набори параметрів через канал, який несе одиниці NAL VCL, до яких вони застосовуються, наприклад, перед одиницями NAL VCL, до яких вони застосовуються за допомогою одиниць NAL не-VCL, що може згадуватися як передача наборів параметрів "всередині діапазону". В інших прикладах відео кодер 20 може забезпечити набори параметрів відео декодеру 30 через інший транспортний механізм, наприклад, "поза діапазоном", що може бути більш надійним ніж відео канал безпосередньо. В інших прикладах відео кодер 20 і/або відео декодер 30 можуть бути таким, що складно кодується з наборами параметрів. Як описано вище, відео декодер 30 може зберегти набори параметрів у відповідних структурах даних для кожного типу набору параметрів, наприклад, таблиці PPS, що включає в себе множину PPS, таблиці SPS, що включає в себе множину SPS, і таблиці VPS, що включає в себе множину VPS, кожний набір параметрів в одній зі структур даних включає в себе різні значення для набору параметрів. Відео декодер 30 може активувати один або більше наборів параметрів кожного типу в будь-який заданий момент, щоб декодувати закодовані відео дані, наприклад, за допомогою копіювання даних набору параметрів у відповідні структури даних декодування, і застосування цих даних в структурах декодування, щоб декодувати закодовані відео дані. Відео декодер 30 може активувати набори параметрів, щоб декодувати відео дані однієї або більше одиниць NAL VCL у відповідь на звернення до них, прямо або непрямо, в одній або більше одиниць NAL VCL, наприклад, в заголовку вирізки одиниці NAL VCL. Як описано вище, кожний набір параметрів може включати в себе ID, на який можна також послатися в іншому наборі параметрів (наприклад, на ID VPS посилаються в SPS і на ID SPS посилаються в PPS), або в межах заголовка вирізки або в іншому місці в межах одиниці NAL VCL. Відео декодер 30 може активувати PPS на основі посилання на його ID PPS в заголовку вирізки або в іншому місці в межах одиниці NAL VCL, активувати SPS на основі посилання на його ID SPS в активованому PPS, і активувати VPS на основі посилання на його ID VPS в активованому SPS. 14 UA 114929 C2 5 10 15 20 25 30 35 40 45 Інформація синтаксису, яку відео кодер 20 надає відео декодеру 30, може також включати в себе повідомлення додаткової інформації розширення (SEI). Деякі повідомлення SEI є рівнем послідовності (що, наприклад, належать до закодованої групи картинок (GOP) або іншої послідовності закодованих відео картинок), в той час як інші можуть належати до конкретної закодованої картинки. Повідомлення SEI типово передаються з конкретною закодованою картинкою. Таким чином, щоб витягнути повідомлення SEI, відео декодер звичайно повинен витягувати закодовану картинку, яка включає в себе повідомлення SEI. Одне або більше повідомлень SEI можуть бути включені в одиницю NAL не-VCL, яка може згадуватися як одиниця NAL SEI. Набір одиниць NAL у вказаній формі може згадуватися як одиниця доступу. Декодування кожної одиниці доступу відео декодером 30 може призвести до однієї або більше декодованих картинок або кадрів. У випадку кодування відео з множинними видами декодування кожної одиниці доступу відео декодером 30 може призвести до двох або більше картинок, або кадрів, асоційованих з відповідними видами в той самий (або по суті той самий) момент часу. У випадку масштабованого кодування відео кожна одиниця доступу може включати в себе множину рівнів і/або підрівнів відео даних для єдиної картинки або кадру. Одиниця доступу, що генерується відео кодером 20, може включати в себе одну або більше одиниць NAL VCL, і одну або більше одиниць NAL не-VCL, наприклад, одиниці NAL SEI, які містять інформацію синтаксису, наприклад, повідомлення SEI, що використовуються відео декодером, щоб декодувати відео дані в межах одиниць NAL VCL одиниці доступу. Як описано вище, повідомлення SEI, включені в закодований потік бітів відео кодером 20, можуть включати в себе, як приклади, повідомлення SEI активних наборів параметрів і повідомлення SEI періоду буферизації. Згідно з пропозиціями про стандарт HEVC, SPS, додатково до того, щоб бути активованим, за допомогою звернення до нього в PPS, може бути активований за допомогою звернення до нього в повідомленні SEI періоду буферизації. У таких прикладах відео кодер 20 може закодувати повідомлення SEI періоду буферизації таким чином, що воно включає в себе ID SPS для SPS, який повинен бути активований. Відео декодер 30 активує SPS, асоційований з ID SPS, в декодованому повідомленні SEI періоду буферизації. Додатково, згідно з HEVC WD8, відео кодер 20 може закодувати повідомлення SEI активних наборів параметрів, щоб вказувати в цей час активний VPS і в цей час активний SPS, наприклад, за допомогою включення VPS і ID SPS для в цей час активного VPS та SPS в повідомлення SEI активних наборів параметрів. Згідно з HEVC WD8, відео декодер 30 не активує VPS та SPS за допомогою VPS та SPS, на які посилаються в повідомленні SEI активних наборів параметрів. Замість цього відео кодер 20 може включати повідомлення SEI активних наборів параметрів у закодований потік бітів, щоб вказувати відео декодеру 30, які набори параметрів відео декодер повинні в цей час бути активними для декодування відео даних, і таким чином дозволяти відео декодеру підтвердити належну операцію декодування. Взагалі, повідомлення SEI активних наборів параметрів, визначене за допомогою HEVC WD8, вказує, який VPS є активним і який SPS є активним для одиниць NAL VCL одиниці доступу, асоційованої з повідомленням SEI активних наборів параметрів, наприклад, в межі якого включене повідомлення SEI активних наборів параметрів. Повідомлення SEI активних наборів параметрів може також надати іншу інформацію. Згідно з HEVC WD8, повідомлення SEI активних наборів параметрів передує, в порядку декодування, першій частині відео даних, наприклад, першій одиниці NAL VCL, в одиниці доступу, наприклад, в одиниці NAL не-VCL, яка передує першій одиниці NAL VCL в одиниці доступу. Синтаксис і семантика повідомлення SEI активних наборів параметрів у специфікації HVEC WD8 є наступними: Дескриптор u(4) ue(v) u(1) active_parameter_sets(payloadSize) { active_vps_id active_seq_param_set_id active_param_set_sei_extension_flag } 50 55 active_vps_id вказує VPS, який є активним для одиниць NAL VCL одиниці доступу, асоційованої з повідомленням SEI активних наборів параметрів. active_seq_param_set_id вказує ідентифікатор єдиного SPS, який є активним для одиниць NAL VCL одиниці доступу, асоційованих з повідомленням SEI активних наборів параметрів. Значення active_seq_param_set_id може бути в діапазоні від 0 до 31, включно. active_param_set_sei_extension_flag коли дорівнює 0, вказує, що ніякі додаткові дані не йдуть 15 UA 114929 C2 5 10 15 20 25 30 в повідомленні SEI активних наборів параметрів. Є вимога відповідності потоку бітів, що значення active_param_set_sei_extension_flag повинне бути рівним 0. Значення 1 для active_param_set_sei_extension_flag збережене для майбутнього використання ITU-T ISO/IEC. Декодери повинні ігнорувати значення active_param_set_sei_extension_flag в повідомленні SEI активних наборів параметрів і повинні ігнорувати всі дані, які йдуть в повідомленні SEI активних наборів параметрів після значення 1 для active_param_set_sei_extension_flag. Як описано вище, в деяких прикладах згідно з даним описом, відео кодер 20 може включати множинні ID SPS в повідомлення SEI таким чином, що множинні активні набори SPS (деякі з яких можуть згадуватися як набори SPS активного рівня) можуть бути вказані. У деяких прикладах, замість єдиного ID SPS, заданого за допомогою HEVC WD8, відео кодер 20 може включати множинні ID SPS в повідомлення SEI активних наборів параметрів. Відео кодер 20 може вказувати множинні активні набори SPS, кожний з яких може використовуватися відео декодером 30, щоб декодувати один або більше рівнів і/або видів, щоб полегшити кодування відео з множинними видами, 3DV, або масштабоване кодування відео. У прикладах, в яких відео кодер 20 включає множинні ID SPS в повідомлення SEI активних наборів параметрів, це повідомлення SEI активних наборів параметрів вказує, який VPS є активним і які набори SPS є активними для одиниць NAL VCL одиниці доступу, асоційованої з повідомленням SEI активних наборів параметрів. У різних прикладах згідно з даним описом, описаним тут та описаним надалі, припускається, що всі набори SPS спільно використовують один і той самий простір значень для їх ID SPS і різні рівні або види можуть спільно використовувати набори SPS. Якщо різні рівні або види спільно не використовують набори SPS, то ID рівня або ID виду також повинен бути повідомлений, або ID рівня або ID виду може бути неявно виведений додатково до ID SPS, щоб ідентифікувати SPS. Наприклад, якщо SPS застосовується тільки до базового рівня або базового виду, ID рівня або ID виду може бути неявно виведений як рівний 0. Відповідно, відео кодувальник може вивести ID рівня на основі ієрархічної позиції рівня або виду відносно інших рівнів або видів. Один приклад синтаксису і семантики повідомлення SEI активних наборів параметрів, яке може бути надане відео кодером 20, щоб вказувати множинні набори SPS згідно зі способами даного розкриття, є наступними: Дескриптор u(4) ue(v) f(1) ue(v) active_parameter_sets(payloadSize) { active_vps_id active_seq_param_set_id bit_equal_to_one num_additional_sps_ids_minus1 for(i=0; i
ДивитисяДодаткова інформація
Назва патенту англійськоюIndication and activation of parameter sets for video coding
Автори англійськоюWang, Ye-Kui
Автори російськоюВан Е-Куй
МПК / Мітки
МПК: H04N 19/70, H04N 19/30, H04N 19/50, H04N 19/46
Мітки: кодування, активація, наборів, параметрів, відео, індикація
Код посилання
<a href="https://ua.patents.su/39-114929-indikaciya-ta-aktivaciya-naboriv-parametriv-dlya-koduvannya-video.html" target="_blank" rel="follow" title="База патентів України">Індикація та активація наборів параметрів для кодування відео</a>
Індикація та активація наборів параметрів для кодування відео
Номер патенту: 114339
Опубліковано: 25.05.2017
Автор: Ван Є-Куй
МПК: H04N 19/70, H04N 19/46, H04N 19/30
Мітки: відео, активація, наборів, параметрів, індикація, кодування
Формула / Реферат:
1. Спосіб декодування відеоданих, причому спосіб включає:декодування потоку бітів, який включає в себе відеодані та інформацію синтаксису для декодування відеоданих, при цьому інформація синтаксису містить повідомлення додаткової інформації розширення (SEI) активних наборів параметрів, при цьому повідомлення SEI активних наборів параметрів вказує один або більше наборів параметрів послідовності (SPS) і набір параметрів відео (VPS),...
Кодування наборів параметрів і заголовків одиниць nal для кодування відео
Номер патенту: 113752
Опубліковано: 10.03.2017
МПК: H04N 19/31, H04N 19/70, H04N 19/46
Мітки: наборів, заголовків, параметрів, кодування, одиниць, відео
Формула / Реферат:
1. Спосіб кодування відеоданих, який включає етапи, на яких:кодують набір параметрів відео (VPS) для бітового потоку, який містить множину рівнів відеоданих, при цьому кожний із згаданої множини рівнів відеоданих звертається до VPS, і при цьому кодування VPS містить:кодування даних VPS, що вказують деяке число кадрів, які повинні бути переупорядковані в щонайменше одному зі згаданої множини рівнів відеоданих,кодування...
Кодування одиниць nal sei для кодування відео
Номер патенту: 113446
Опубліковано: 25.01.2017
Автор: Ван Є-Куй
МПК: H04N 7/00
Мітки: відео, кодування, одиниць
Формула / Реферат:
1. Спосіб декодування даних відео, причому спосіб містить:визначення, для одиниці рівня абстракції мережі (NAL) додаткової інформації розширення (SEI) потоку бітів, чи вказує значення типу одиниці NAL для одиниці NAL SEI, що одиниця NAL містить одиницю NAL SEI префікса, яка включає в себе повідомлення SEI префікса, або одиницю NAL SEI суфікса, яка включає в себе повідомлення SEI суфікса; ідекодування даних відео потоку бітів...
Кодування коефіцієнтів перетворення для кодування відео
Номер патенту: 107157
Опубліковано: 25.11.2014
Автори: Джоши Раджан Лаксман, Соле Рохальс Хоель, Карчевіч Марта
МПК: H04N 19/00
Мітки: кодування, відео, перетворення, коефіцієнтів
Формула / Реферат:
1. Спосіб кодування множини коефіцієнтів перетворення, асоційованих із залишковими відеоданими в процесі кодування відео, причому спосіб включає:кодування інформації, що вказує значущі коефіцієнти для множини коефіцієнтів перетворення згідно з порядком сканування; ікодування інформації, що вказує рівні значущих коефіцієнтів множини коефіцієнтів перетворення згідно із згаданим порядком сканування,причому згаданий порядок...
Кодування коефіцієнтів перетворення для кодування відео
Номер патенту: 106704
Опубліковано: 25.09.2014
Автори: Джоши Раджан Лаксман, Карчевіч Марта, Соле Рохальс Хоель
МПК: H04N 19/00
Мітки: перетворення, відео, коефіцієнтів, кодування
Формула / Реферат:
1. Спосіб кодування коефіцієнтів перетворення, асоційованих із залишковими даними відео, в процесі кодування відео, причому спосіб включає:компонування блока коефіцієнтів перетворення в один або більше піднаборів коефіцієнтів перетворення на основі порядку сканування;кодування першої частини рівнів коефіцієнтів перетворення в кожному піднаборі, причому перша частина рівнів включає в себе щонайменше значущість коефіцієнтів...
Попередній патент: З’єднувач для барил
Наступний патент: Час надходження в і номінальний час видалення з буфера кодованих картинок при кодуванні відео
Випадковий патент: Термоелектричний термостатуючий пристрій для елементів твердотільної електроніки