Керування буфером декодованих зображень

Реферат: Описані способи, пов'язані з виведенням і видаленням декодованих зображень з буфера декодованих зображень (DPB). Зразкові способи дозволяють видаляти декодоване зображення з DPB перед кодуванням поточного зображення. Наприклад, зразкові способи можуть видаляти декодоване зображення, якщо це декодоване зображення не ідентифіковане в наборі опорних зображень поточного зображення. UA 111233 C2 (12) UA 111233 C2 UA 111233 C2 5 10 15 20 25 30 35 40 45 50 55 60 По даній заявці вимагається пріоритет: попередньої заявки США № 61/538,787, яка подана 23 вересня 2011 року; попередньої патентної заявки США № 61/539,433, яка подана 26 вересня 2011 року; і попередньої патентної заявки США № 61/542,034, яка подана 30 вересня 2011 року, повний зміст кожної з яких включений в даний документ по посиланню в повному обсязі. ГАЛУЗЬ ТЕХНІКИ Це розкриття стосується кодування відео і, більш конкретно, способів кодування відеоданих. РІВЕНЬ ТЕХНІКИ Підтримання цифрового відео можна вбудовувати в широкий діапазон пристроїв, включаючи цифрове телебачення, цифрові системи прямого мовлення, бездротові широкомовні системи, персональні цифрові помічники (PDA), портативні або настільні комп'ютери, планшетні комп'ютери, пристрої для читання електронних книг, цифрові камери, цифрові пристрої запису, цифрові медіапрогравачі, відеоігрові пристрої, відеоігрові консолі, стільникові або супутникові радіотелефони, так звані "смартфони", пристрої відеотелеконференцій, пристрої потокової передачі відео і т. п. В цифрових відеопристроях реалізовують способи стиснення відео, такі як ті, що описані в стандартах, визначуваних MPEG2, MPEG-4, ITU-T H.263, ITU-T H.264/MPEG-4, частина 10, Advanced Video Coding (AVC), розроблюваному на даний час стандарті High Efficiency Video Coding (HEVC) і розширеннях таких стандартів. Відеопристрої можуть передавати, приймати, кодувати, декодувати і/або зберігати інформацію про цифрове відео більш ефективно за допомогою реалізації таких способів стиснення відео. Способи стиснення відео здійснюють просторове прогнозування (всередині зображення) і/або часове (між зображеннями) прогнозування для того, щоб знижувати або видаляти надмірність, властиву відеопослідовностям. Для блокового кодування відео, відеослайс (тобто відеозображення або частина відеозображення) можна розділяти на відеоблоки, які також можна позначати як деревовидні блоки, деревовидні блоки кодування (CTB), деревовидні одиниці кодування (CTU), одиниці кодування (CU) і/або вузли кодування. Відеоблоки в слайсі з інтракодуванням (I) зображення кодують з використанням просторового прогнозування відносно опорних вибірок в сусідніх блоках на одному і тому ж зображенні. Відеоблоки в слайсі з інтеркодуванням (Р або В) зображення можуть використовувати просторове прогнозування відносно опорних вибірок в сусідніх блоках на одному і тому ж зображенні або часове прогнозування відносно опорних вибірок на інших опорних зображеннях. Зображення можна позначати як кадри, а опорні зображення можна позначати як опорні кадри. Результатом просторового або часового прогнозування є блок прогнозування для блока, що підлягає кодуванню. Залишкові дані представляють пікселні різниці між вихідним блоком, що підлягає кодуванню, і блоком прогнозування. Блок з інтеркодуванням кодують відповідно до вектора руху, який вказує блок опорних вибірок, формуючий блок прогнозування, і залишкових даних, що відображають різницю між кодованим блоком і блоком прогнозування. Блок з інтракодуванням кодують відповідно до режиму інтракодування і залишкових даних. Для додаткового стиснення, залишкові дані можна перетворювати з пікселної області в область перетворення, що веде до залишкових коефіцієнтів перетворення, які потім можна квантувати. Квантовані коефіцієнти перетворення, спочатку розташовані в двовимірному масиві, можна сканувати для того, щоб одержувати одновимірний вектор коефіцієнтів перетворення, і можна застосовувати ентропійне кодування для того, щоб домагатися ще більшого стиснення. СУТЬ ВИНАХОДУ Загалом, в цьому розкритті описані способи, пов'язані з одержанням набору опорних зображень для використання в кодуванні відео. Наприклад, набір опорних зображень може складати комбінацію множини піднаборів опорних зображень. Кожний з піднаборів опорних зображень може ідентифікувати множину потенційних опорних зображень, але менше, ніж всі потенційні опорні зображення. У зразкових способах, описаних в цьому розкритті, кодер відео (кодер або декодер) може створювати множину списків, кожний з яких містить ідентифікатори піднаборупотенційних опорних зображень. З цієї множини списків кодер відео може створювати множину піднаборів опорних зображень, результатом чого є те, що кодер відео одержує набір опорних зображень. На доповнення до способів, пов'язаних з одержанням набору опорних зображень, в цьому розкритті описаний спрощений спосіб ініціалізації списку опорних зображень. Така ініціалізація списку опорних зображень може видаляти необхідність переупорядковувати опорні зображення. Наприклад, якщо модифікація списку опорних зображень не потрібна, то початкові списки опорних зображень можуть формувати кінцеві списки опорних зображень, і яке-небудь додаткове переупорядковування може не вимагатися. Способи також можуть бути направлені 1 UA 111233 C2 5 10 15 20 25 30 35 40 45 50 55 60 на створення списку опорних зображень таким чином, що кодер відео повторно додає опорні зображення в список опорних зображень доти, поки записи в списку опорних зображень не стануть дорівнювати максимальному допустимому числу записів. У деяких прикладах, способи направлені на модифікацію списку опорних зображень. Наприклад, кодер відео може модифікувати початковий список опорних зображень за допомогою звернення до одного або більше піднаборів опорних зображень і включення одного або більше зображень в піднаборі опорних зображень в список опорних зображень після створення початкового списку опорних зображень. У деяких прикладах, кодер відео може здійснювати керування буфером декодованих зображень (DPB). У цих прикладах, кодер відео може видаляти декодовані зображення з DPB, якщо декодоване зображення не належить до набору опорних зображень. У деяких випадках, кодер відео може видаляти декодоване зображення перед кодуванням поточного зображення. У одному з прикладів, в розкритті описаний спосіб кодування відеоданих, який включає кодування інформації, що вказує опорні зображення, які належать до набору опорних зображень. У цьому прикладі набір опорних зображень ідентифікує опорні зображення, які потенційно можна використовувати для інтерпрогнозування (зовнішнього прогнозування, міжкадрового прогнозування) поточного зображення і можна потенційно використовувати для інтерпрогнозування одного або більше зображень, що ідуть за поточним зображенням в порядку декодування. Спосіб також включає створення множини піднаборів опорних зображень, кожний з яких ідентифікує нуль або більше опорних зображень з набору опорних зображень, і кодування поточного зображення, основуючись на множині піднаборів опорних зображень. У одному з прикладів, в розкритті описаний пристрій для кодування відеоданих. Пристрій містить кодер відео, який виконаний з можливістю кодування інформації, що вказує опорні зображення, які належать до набору опорних зображень. У цьому прикладі набір опорних зображень ідентифікує опорні зображення, які можна потенційно використовувати для інтерпрогнозування поточного зображення і можна потенційно використовувати для інтерпрогнозування одного або більше зображень, що ідуть за поточним зображенням в порядку декодування. Кодер відео також виконаний з можливістю створювати множину піднаборів опорних зображень, кожний з яких ідентифікує нуль або більше опорних зображень набору опорних зображень, і кодувати поточне зображення, основуючись на множині піднаборів опорних зображень. У одному з прикладів, в розкритті описаний комп'ютерочитаний запам'ятовуючий носій, який містить збережені на ньому інструкції, які, при виконанні, призначають процесору пристрою для кодування відеоданих кодувати інформацію, що вказує опорні зображення, які належать до набору опорних зображень. У цьому прикладі, набір опорних зображень ідентифікує опорні зображення, які можна потенційно використовувати для інтерпрогнозування поточного зображення і можна потенційно використовувати для інтерпрогнозування одного або більше зображень, що ідуть за поточним зображенням в порядку декодування. Інструкції також призначають процесору створювати множину піднаборів опорних зображень, кожний з яких ідентифікує нуль або більше опорних зображень набору опорних зображень, і кодувати поточне зображення, основуючись на множині піднаборів опорних зображень. У одному з прикладів, в розкритті описаний пристрій для кодування відеоданих. Пристрій містить засіб для кодування інформації, що вказує опорні зображення, які належать до набору опорних зображень. У цьому прикладі, набір опорних зображень ідентифікує опорні зображення, які можна потенційно використовувати для інтерпрогнозування поточного зображення і можна потенційно використовувати для інтерпрогнозування одного або більше зображень, що ідуть за поточним зображенням в порядку декодування. Пристрій також містить засіб для створення множини піднаборів опорних зображень, кожний з яких ідентифікує нуль або більше опорних зображень набору опорних зображень, і засіб для кодування поточного зображення, основуючись на множині піднаборів опорних зображень. У одному з прикладів, в розкритті описаний спосіб кодування відеоданих, спосіб включає кодування інформації, що вказує опорні зображення, які належать до набору опорних зображень. У цьому прикладі, набір опорних зображень ідентифікує опорні зображення, які можна потенційно використовувати для інтерпрогнозування поточного зображення і можна потенційно використовувати для інтерпрогнозування одного або більше зображень, що ідуть за поточним зображенням в порядку декодування. Спосіб також включає створення множини піднаборів опорних зображень, кожний з яких ідентифікує нуль або більше опорних зображень набору опорних зображень, додавання опорних зображень з першого піднабору з множини піднаборів опорних зображень, за якими ідуть опорні зображення з другого піднабору з множини піднаборів опорних зображень і за якими ідуть опорні зображення з третього піднабору з 2 UA 111233 C2 5 10 15 20 25 30 35 40 45 50 55 60 множини піднаборів опорних зображень, в список опорних зображень доти, поки число записів списку опорних зображень не більше, ніж максимальне число допустимих записів опорного списку, і кодування поточного зображення, основуючись на списку опорних зображень. У одному з прикладів, в розкритті описаний пристрій для кодування відеоданих. Пристрій містить кодер відео, виконаний з можливістю кодувати інформацію, що вказує опорні зображення, які належать до набору опорних зображень. У цьому прикладі, набір опорних зображень ідентифікує опорні зображення, які можна потенційно використовувати для інтерпрогнозування поточного зображення і можна потенційно використовувати для інтерпрогнозування одного або більше зображень, що ідуть за поточним зображенням в порядку декодування. Кодер відео також виконаний з можливістю створювати множину піднаборів опорних зображень, кожний з яких ідентифікує нуль або більше опорних зображень набору опорних зображень, додавати опорні зображення з першого піднабору з множини піднаборів опорних зображень, за якими ідуть опорні зображення з другого піднабору з множини піднаборів опорних зображень і за якими ідуть опорні зображення з третього піднабору з множини піднаборів опорних зображень, в список опорних зображень доти, поки число записів списку опорних зображень не більше, ніж максимальне число допустимих записів опорного списку, і кодувати поточне зображення, основуючись на списку опорних зображень. У одному з прикладів, в розкритті описаний комп'ютерочитаний запам'ятовуючий носій, який містить збережені на ньому інструкції, які, при виконанні, призначають процесору пристрою для кодування відеоданих кодувати інформацію, що вказує опорні зображення, які належать до набору опорних зображень. У цьому прикладі, набір опорних зображень ідентифікує опорні зображення, які можна потенційно використовувати для інтерпрогнозування поточного зображення і можна потенційно використовувати для інтерпрогнозування одного або більше зображень, що ідуть за поточним зображенням в порядку декодування. Інструкції також призначають процесору створювати множину піднаборів опорних зображень, кожний з яких ідентифікує нуль або більше опорних зображень набору опорних зображень, додавати опорні зображення з першого піднабору з множини піднаборів опорних зображень, за якими ідуть опорні зображення з другого піднабору з множини піднаборів опорних зображень і за якими ідуть опорні зображення з третього піднабору з множини піднаборів опорних зображень, в список опорних зображень доти, поки число записів списку опорних зображень не більше, ніж максимальне число допустимих записів опорного списку, і кодувати поточне зображення, основуючись на списку опорних зображень. У одному з прикладів, в розкритті описаний пристрій для кодування відеоданих. Пристрій містить засіб для кодування інформації, що вказує опорні зображення, які належать до набору опорних зображень. У цьому прикладі, набір опорних зображень ідентифікує опорні зображення, які можна потенційно використовувати для інтерпрогнозування поточного зображення і можна потенційно використовувати для інтерпрогнозування одного або більше зображень, що ідуть за поточним зображенням в порядку декодування. Пристрій також містить засіб для створення множини піднаборів опорних зображень, кожний з яких ідентифікує нуль або більше опорних зображень набору опорних зображень, засіб для додавання опорних зображень з першого піднабору з множини піднаборів опорних зображень, за якими ідуть опорні зображення з другого піднабору з множини піднаборів опорних зображень і за якими ідуть опорні зображення з третього піднабору з множини піднаборів опорних зображень, в список опорних зображень доти, поки число записів списку опорних зображень не більше, ніж максимальне число допустимих записів опорного списку, і засіб для кодування поточного зображення, основуючись на списку опорних зображень. У одному з прикладів, в розкритті описаний спосіб кодування відеоданих, спосіб включає кодування інформації, що вказує опорні зображення, які належать до набору опорних зображень. У цьому прикладі, набір опорних зображень ідентифікує опорні зображення, які можна потенційно використовувати для інтерпрогнозування поточного зображення і можна потенційно використовувати для інтерпрогнозування одного або більше зображень, що ідуть за поточним зображенням в порядку декодування. Спосіб також включає створення множини піднаборів опорних зображень, кожний з яких ідентифікує нуль або більше опорних зображень набору опорних зображень, додавання опорних зображень з множини піднаборів опорних зображень в перший набір записів в списку опорних зображень, визначення того, чи дорівнює число записів в списку опорних зображень максимальному числу допустимих записів в списку опорних зображень, коли число записів в списку опорних зображень не дорівнює максимальному числу допустимих записів в списку опорних зображень, повторне додавання одного або більше опорних зображень щонайменше з одного з піднаборів опорних зображень в записи в списку опорних зображень, які ідуть за першим набором записів, доти, поки число 3 UA 111233 C2 5 10 15 20 25 30 35 40 45 50 55 60 записів в списку опорних зображень не буде дорівнювати максимальному числу допустимих записів в списку опорних зображень, і кодування поточного зображення, основуючись на списку опорних зображень. У одному з прикладів, в розкритті описаний пристрій для кодування відеоданих. Пристрій містить кодер відео, виконаний з можливістю кодувати інформацію, що вказує опорні зображення, які належать до набору опорних зображень. У цьому прикладі, набір опорних зображень ідентифікує опорні зображення, які можна потенційно використовувати для інтерпрогнозування поточного зображення і можна потенційно використовувати для інтерпрогнозування одного або більше зображень, що ідуть за поточним зображенням в порядку декодування. Кодер відео також виконаний з можливістю створювати множину піднаборів опорних зображень, кожний з яких ідентифікує нуль або більше опорних зображень набору опорних зображень, додавати опорні зображення з множини піднаборів опорних зображень в перший набір записів в списку опорних зображень, визначати, чи дорівнює число записів в списку опорних зображень максимальному числу допустимих записів в списку опорних зображень, коли число записів в списку опорних зображень не дорівнює максимальному числу допустимих записів в списку опорних зображень, повторно додавати одне або більше опорних зображень щонайменше з одного з піднаборів опорних зображень в записи в списку опорних зображень, які ідуть за першим набором записів, доти, поки число записів в списку опорних зображень не буде дорівнювати максимальному числу допустимих записів в списку опорних зображень, і кодувати поточне зображення, основуючись на списку опорних зображень. У одному з прикладів, в розкритті описаний комп'ютерочитаний запам'ятовуючий носій, який містить збережені на ньому інструкції, які, при виконанні, призначають процесору пристрою для кодування відеоданих кодувати інформацію, що вказує опорні зображення, які належать до набору опорних зображень. У цьому прикладі, набір опорних зображень ідентифікує опорні зображення, які можна потенційно використовувати для інтерпрогнозування поточного зображення і можна потенційно використовувати для інтерпрогнозування одного або більше зображень, що ідуть за поточним зображенням в порядку декодування. Інструкції також призначають процесору створювати множину піднаборів опорних зображень, кожний з яких ідентифікує нуль або більше опорних зображень набору опорних зображень, додавати опорні зображення з множини піднаборів опорних зображень в перший набір записів в списку опорних зображень, визначати, чи дорівнює число записів в списку опорних зображень максимальному числу допустимих записів в списку опорних зображень, коли число записів в списку опорних зображень не дорівнює максимальному числу допустимих записів в списку опорних зображень, повторно додавати одне або більше опорних зображень щонайменше з одного з піднаборів опорних зображень в записи в списку опорних зображень, які ідуть за першим набором записів, доти, поки число записів в списку опорних зображень не буде дорівнювати максимальному числу допустимих записів в списку опорних зображень, і кодувати поточне зображення, основуючись на списку опорних зображень. У одному з прикладів, в розкритті описаний пристрій для кодування відеоданих. Пристрій містить засіб для кодування інформації, що вказує опорні зображення, які належать до набору опорних зображень. У цьому прикладі, набір опорних зображень ідентифікує опорні зображення, які можна потенційно використовувати для інтерпрогнозування поточного зображення і можна потенційно використовувати для інтерпрогнозування одного або більше зображень, що ідуть за поточним зображенням в порядку декодування. Пристрій також містить засіб для створення множини піднаборів опорних зображень, кожний з яких ідентифікує нуль або більше опорних зображень набору опорних зображень, засіб для додавання опорних зображень з множини піднаборів опорних зображень в перший набір записів в списку опорних зображень, засіб для визначення, чи дорівнює число записів в списку опорних зображень максимальному числу допустимих записів в списку опорних зображень, коли число записів в списку опорних зображень не дорівнює максимальному числу допустимих записів в списку опорних зображень, засіб для повторного додавання одного або більше опорних зображень щонайменше з одного з піднаборів опорних зображень в записи в списку опорних зображень, які ідуть за першим набором записів, доти, поки число записів в списку опорних зображень не буде дорівнювати максимальному числу допустимих записів в списку опорних зображень, і засіб для кодування поточного зображення, основуючись на списку опорних зображень. У одному з прикладів, в розкритті описаний спосіб кодування відеоданих, спосіб включає кодування інформації, що вказує опорні зображення, які належать до набору опорних зображень. У цьому прикладі, набір опорних зображень ідентифікує опорні зображення, які можна потенційно використовувати для інтерпрогнозування поточного зображення і можна потенційно використовувати для інтерпрогнозування одного або більше зображень, що ідуть за 4 UA 111233 C2 5 10 15 20 25 30 35 40 45 50 55 60 поточним зображенням в порядку декодування. Спосіб також включає створення множини піднаборів опорних зображень, кожний з яких ідентифікує нуль або більше опорних зображень набору опорних зображень, створення початкового списку опорних зображень, основуючись на створених піднаборах опорних зображень, і, коли необхідна модифікація опорного зображення, ідентифікацію опорного зображення щонайменше в одному зі створених піднаборів опорних зображень, і додавання ідентифікованого опорного зображення в поточному записі початкового опорного зображення для того, щоб створювати модифікований список опорних зображень. Спосіб додатково включає кодування поточного зображення, основуючись на модифікованому списку опорних зображень. У одному з прикладів, в розкритті описаний пристрій для кодування відеоданих. Пристрій містить кодер відео, виконаний з можливістю кодувати інформацію, що вказує опорні зображення, які належать до набору опорних зображень. У цьому прикладі, набір опорних зображень ідентифікує опорні зображення, які можна потенційно використовувати для інтерпрогнозування поточного зображення і можна потенційно використовувати для інтерпрогнозування одного або більше зображень, що ідуть за поточним зображенням в порядку декодування. Кодер відео також виконаний з можливістю створювати множину піднаборів опорних зображень, кожний з яких ідентифікує нуль або більше опорних зображень набору опорних зображень, створювати початковий список опорних зображень, основуючись на створених піднаборах опорних зображень, і, коли необхідна модифікація опорного зображення, ідентифікувати опорне зображення щонайменше в одному зі створених піднаборів опорних зображень, і додавати ідентифіковане опорне зображення в поточний запис початкового опорного зображення для того, щоб створювати модифікований список опорних зображень. Кодер відео також виконаний з можливістю кодування поточного зображення, основуючись на модифікованому списку опорних зображень. У одному з прикладів, в розкритті описаний комп'ютерочитаний запам'ятовуючий носій, який містить збережені на ньому інструкції, які, при виконанні, призначають процесору пристрою для кодування відеоданих кодувати інформацію, що вказує опорні зображення, які належать до набору опорних зображень. У цьому прикладі, набір опорних зображень ідентифікує опорні зображення, які можна потенційно використовувати для інтерпрогнозування поточного зображення і можна потенційно використовувати для інтерпрогнозування одного або більше зображень, що ідуть за поточним зображенням в порядку декодування. Інструкції також призначають процесору створювати множину піднаборів опорних зображень, кожний з яких ідентифікує нуль або більше опорних зображень набору опорних зображень, створювати початковий список опорних зображень, основуючись на створених піднаборах опорних зображень, і, коли необхідна модифікація опорного зображення, ідентифікувати опорне зображення щонайменше в одному зі створених піднаборів опорних зображень, і додавати ідентифіковане опорне зображення в поточний запис початкового опорного зображення для того, щоб створювати модифікований список опорних зображень. Інструкції також призначають процесору кодувати поточне зображення, основуючись на модифікованому списку опорних зображень. У одному з прикладів, в розкритті описаний пристрій для кодування відеоданих. Пристрій містить засіб для кодування інформації, що вказує опорні зображення, які належать до набору опорних зображень. У цьому прикладі, набір опорних зображень ідентифікує опорні зображення, які можна потенційно використовувати для інтерпрогнозування поточного зображення і можна потенційно використовувати для інтерпрогнозування одного або більше зображень, що ідуть за поточним зображенням в порядку декодування. Пристрій також містить засіб для створення множини піднаборів опорних зображень, кожний з яких ідентифікує нуль або більше опорних зображень набору опорних зображень, засіб для створення початкового списку опорних зображень, основуючись на створених піднаборах опорних зображень, і, коли необхідна модифікація опорного зображення, засіб для ідентифікації опорного зображення щонайменше в одному зі створених піднаборів опорних зображень, і засіб для додавання ідентифікованого опорного зображення в поточний запис початкового опорного зображення для того, щоб створювати модифікований список опорних зображень. Пристрій також містить засіб для кодування поточного зображення, основуючись на модифікованому списку опорних зображень. У одному з прикладів, в розкритті описаний спосіб кодування відеоданих, спосіб включає кодування інформації, що вказує опорні зображення, які належать до набору опорних зображень. У цьому прикладі, набір опорних зображень ідентифікує опорні зображення, які можна потенційно використовувати для інтерпрогнозування поточного зображення і можна потенційно використовувати для інтерпрогнозування одного або більше зображень, що ідуть за поточним зображенням в порядку декодування. Спосіб включає одержання набору опорних 5 UA 111233 C2 5 10 15 20 25 30 35 40 45 50 55 60 зображень на основі кодованої інформації, визначення того, чи не потрібне виведення декодованого зображення, збереженого в буфері декодованих зображень (DPB), і чи не ідентифіковане воно в наборі опорних зображень, коли не потрібне виведення декодованого зображення і воно не ідентифіковане в наборі опорних зображень, видалення декодованого зображення з DPB, і, після видалення декодованого зображення, кодування поточного зображення. У одному з прикладів, в розкритті описаний пристрій для кодування відеоданих. Пристрій містить кодер відео, виконаний з можливістю кодувати інформацію, що вказує опорні зображення, які належать до набору опорних зображень. У цьому прикладі, набір опорних зображень ідентифікує опорні зображення, які можна потенційно використовувати для інтерпрогнозування поточного зображення і можна потенційно використовувати для інтерпрогнозування одного або більше зображень, що ідуть за поточним зображенням в порядку декодування. Кодер відео також виконаний з можливістю одержувати набір опорних зображень, основуючись на кодованій інформації, визначати, чи не потрібне виведення декодованого зображення, збереженого в буфері декодованих зображень (DPB), і чи не ідентифіковане воно в наборі опорних зображень, коли не потрібне виведення декодованого зображення і воно не ідентифіковане в наборі опорних зображень, видаляти декодоване зображення з DPB, і, після видалення декодованого зображення, кодувати поточне зображення. У одному з прикладів, в розкритті описаний комп'ютерочитаний запам'ятовуючий носій, який містить збережені на ньому інструкції, які, при виконанні, призначають процесору пристрою для кодування відеоданих кодувати інформацію, що вказує опорні зображення, які належать до набору опорних зображень. У цьому прикладі, набір опорних зображень ідентифікує опорні зображення, які можна потенційно використовувати для інтерпрогнозування поточного зображення і можна потенційно використовувати для інтерпрогнозування одного або більше зображень, що ідуть за поточним зображенням в порядку декодування. Інструкції також призначають процесору одержувати набір опорних зображень, основуючись на кодованій інформації, визначати, чи не потрібне виведення декодованого зображення, збереженого в буфері декодованих зображень (DPB), і чи не ідентифіковане воно в наборі опорних зображень, коли не потрібне виведення декодованого зображення і воно не ідентифіковане в наборі опорних зображень, видаляти декодоване зображення з DPB, і, після видалення декодованого зображення, кодувати поточне зображення. У одному з прикладів, в розкритті описаний пристрій для кодування відеоданих. Пристрій містить засіб для кодування інформації, що вказує опорні зображення, які належать до набору опорних зображень. У цьому прикладі, набір опорних зображень ідентифікує опорні зображення, які можна потенційно використовувати для інтерпрогнозування поточного зображення і можна потенційно використовувати для інтерпрогнозування одного або більше зображень, що ідуть за поточним зображенням в порядку декодування. Пристрій також містить засіб для одержання набору опорних зображень на основі кодованої інформації, засіб для визначення того, чи не потрібне виведення декодованого зображення, збереженого в буфері декодованих зображень (DPB), і чи не ідентифіковане воно в наборі опорних зображень, коли не потрібне виведення декодованого зображення і воно не ідентифіковане в наборі опорних зображень, засіб для видалення декодованого зображення з DPB, і, після видалення декодованого зображення, засіб для кодування поточного зображення. У одному з прикладів, в розкритті описаний спосіб кодування відеоданих, спосіб включає кодування синтаксичних елементів, що вказують можливі довгострокові опорні зображення, ідентифіковані в наборі параметрів. У цьому прикладі, одне або більше можливих довгострокових опорних зображень належать до набору опорних зображень поточного зображення. Також, в цьому прикладі, набір опорних зображень ідентифікує опорні зображення, які можна потенційно використовувати для інтерпрогнозування поточного зображення і можна потенційно використовувати для інтерпрогнозування одного або більше зображень, що ідуть за поточним зображенням в порядку декодування. Спосіб також включає кодування синтаксичних елементів, які вказують те, які можливі довгострокові опорні зображення, ідентифіковані в наборі параметрів, належать до набору опорних зображень поточного зображення, і створення щонайменше одного з множини піднаборів опорних зображень, основуючись на указанні того, які можливі довгострокові опорні зображення належать до набору опорних зображень поточного зображення. У цьому прикладі, множина піднаборів опорних зображень утворює набір опорних зображень. У одному з прикладів, в розкритті описаний пристрій для кодування відеоданих. Пристрій містить кодер відео, виконаний з можливістю кодувати синтаксичні елементи, що вказують можливі довгострокові опорні зображення, ідентифіковані в наборі параметрів. У цьому 6 UA 111233 C2 5 10 15 20 25 30 35 40 45 50 55 60 прикладі, одне або більше можливих довгострокових опорних зображень належать до набору опорних зображень поточного зображення. Також, в цьому прикладі, набір опорних зображень ідентифікує опорні зображення, які можна потенційно використовувати для інтерпрогнозування поточного зображення і можна потенційно використовувати для інтерпрогнозування одного або більше зображень, що ідуть за поточним зображенням в порядку декодування. Кодер відео також виконаний з можливістю кодування синтаксичних елементів, що вказують, які можливі довгострокові опорні зображення, ідентифіковані в наборі параметрів, належать до набору опорних зображень поточного зображення, і створення щонайменше одного з множини піднаборів опорних зображень, основуючись на указанні того, які можливі довгострокові опорні зображення належать до набору опорних зображень поточного зображення. У цьому прикладі, множина піднаборів опорних зображень утворює набір опорних зображень. У одному з прикладів, в розкритті описаний комп'ютерочитаний запам'ятовуючий носій, який містить збережені на ньому інструкції, які, при виконанні, призначають процесору пристрою для кодування відеоданих кодувати синтаксичні елементи, що вказують можливі довгострокові опорні зображення, ідентифіковані в наборі параметрів. У цьому прикладі, одне або більше можливих довгострокових опорних зображень належать до набору опорних зображень поточного зображення. Також, в цьому прикладі, набір опорних зображень ідентифікує опорні зображення, які можна потенційно використовувати для інтерпрогнозування поточного зображення і можна потенційно використовувати для інтерпрогнозування одного або більше зображень, що ідуть за поточним зображенням в порядку декодування. Інструкції також призначають процесору кодувати синтаксичні елементи, що вказують, які можливі довгострокові опорні зображення, ідентифіковані в наборі параметрів, належать до набору опорних зображень поточного зображення, і створювати щонайменше один з множини піднаборів опорних зображень, основуючись на указанні того, які можливі довгострокові опорні зображення належать до набору опорних зображень поточного зображення. У цьому прикладі, множина піднаборів опорних зображень утворює набір опорних зображень. У одному з прикладів, в розкритті описаний пристрій для кодування відеоданих. Пристрій містить засіб для кодування синтаксичних елементів, що вказують можливі довгострокові опорні зображення, ідентифіковані в наборі параметрів. У цьому прикладі, одне або більше можливих довгострокових опорних зображень належать до набору опорних зображень поточного зображення. Також, в цьому прикладі, набір опорних зображень ідентифікує опорні зображення, які можна потенційно використовувати для інтерпрогнозування поточного зображення і можна потенційно використовувати для інтерпрогнозування одного або більше зображень, що ідуть за поточним зображенням в порядку декодування. Пристрій також містить засіб для кодування синтаксичних елементів, що вказують, які можливі довгострокові опорні зображення, ідентифіковані в наборі параметрів, належать до набору опорних зображень поточного зображення, і засіб для створення щонайменше одного з множини піднаборів опорних зображень, основуючись на указанні того, які можливі довгострокові опорні зображення належать до набору опорних зображень поточного зображення. У цьому прикладі, множина піднаборів опорних зображень утворює набір опорних зображень. Подробиці відносно одного або більше прикладів викладені нижче на супровідних кресленнях і в описі. Інші ознаки, цілі і переваги очевидні з опису і креслень, а також з формули винаходу. КОРОТКИЙ ОПИС КРЕСЛЕНЬ На фіг. 1 представлена блокова діаграма, яка ілюструє зразкову систему кодування і декодування відео, в якій можна використовувати способи, описані в цьому розкритті. На фіг. 2 представлена концептуальна діаграма, яка ілюструє приклад відеопослідовності, що містить множину зображень, які кодують і передають. На фіг. 3 представлена блокова діаграма, яка ілюструє зразковий кодер відео, який може реалізувати способи, описані в цьому розкритті. На фіг. 4 представлена блокова діаграма, що ілюструє зразковий декодер відео, який може реалізувати способи, описані в цьому розкритті. На фіг. 5 представлена блок-схема, яка ілюструє зразкову операцію одержання набору опорних зображень. На фіг. 6 представлена блок-схема, яка ілюструє зразкову операцію створення списку опорних зображень. На фіг. 7 представлена блок-схема, яка ілюструє іншу зразкову операцію створення списку опорних зображень. На фіг. 8 представлена блок-схема, яка ілюструє зразкову операцію модифікації початкового списку опорних зображень. 7 UA 111233 C2 5 10 15 20 25 30 35 40 45 50 55 60 На фіг. 9 представлена блок-схема, яка ілюструє зразкову операцію видалення декодованого зображення. На фіг. 10 представлена блок-схема, яка ілюструє зразкову операцію визначення того, які довгострокові опорні зображення належать до набору опорних зображень поточного зображення. ДОКЛАДНИЙ ОПИС Способи за цим розкриттям загалом направлені на керування опорними зображеннями, які використовують для інтерпрогнозування. Наприклад, кодер відео (наприклад, кодер відео або декодер відео) містить буфер декодованих зображень (DPB). У DPB зберігають декодовані зображення, включаючи опорні зображення. Опорні зображення являють собою зображення, які можна потенційно використовувати для інтерпрогнозування зображення. Іншими словами, кодер відео може прогнозувати зображення, під час кодування (кодування або декодування) цього зображення, основуючись на одному або більше опорних зображеннях, що зберігаються в DPB. Для ефективного використання DPB процес керування DPB може бути точно визначений, наприклад процес зберігання декодованих зображень в DPB, процес надання мітки опорним зображенням, процес виведення і видалення декодованих зображень з DPB і так далі. Загалом, в деяких сучасних і розроблюваних стандартах кодування відео керування DPB може включати один або більше з наступних аспектів: ідентифікація зображення і ідентифікація опорного зображення, створення списку опорних зображень, надання мітки опорному зображенню, виведення зображення з DPB, внесення зображення в DPB і видалення зображення з DPB. Щоб сприяти розумінню, далі наведений короткий опис того, як надання мітки опорному зображенню і створення списку опорних зображень може відбуватися відповідно до деяких стандартів кодування відео. Деякі зі способів, описаних в цьому розкритті, направлені на питання, які можуть бути пов'язані з наданням мітки опорному зображенню, створенням списку опорних зображень і видаленням і виведенням зображення з DPB з тим, щоб підвищувати ефективність використання DPB. Для надання мітки опорному зображенню, максимальне число, позначуване як M (num_ref_frames), опорних зображень, використовуваних для інтерпрогнозування, вказують в наборі параметрів активної послідовності. Коли опорне зображення декодують, йому надають мітку "використовуване як опорне". Якщо декодування опорного зображення привело до більше ніж M зображень, яким надана мітка "використовуване як опорне", щонайменше одному зображенню необхідно надавати мітку "не використовуване як опорне". Тоді процес видалення DPB видаляє зображення, яким надана мітка "не використовувані як опорні", з DPB, якщо вони також не потрібні для виведення. Коли зображення декодують, воно може являти собою неопорне зображення або опорне зображення. Опорне зображення може являти собою довгострокове опорне зображення або короткострокове опорне зображення, і, коли йому надають мітку "не використовуване як опорне", воно може стати більше не потрібне як опорне. У деяких стандартах кодування відео, можуть мати місце операції надання мітки опорному зображенню, які міняють стан опорних зображень. Можуть мати місце операції надання мітки опорному зображенню двох типів: ковзне вікно і адаптивне керування пам'яттю. Режим роботи для надання мітки опорному зображенню можна відбирати на основі зображення; наприклад, операція ковзного вікна може працювати як черга в порядку надходження з фіксованим числом короткострокових опорних зображень. Іншими словами, короткострокові опорні зображення з найбільш раннім часом декодування можуть першими підлягати видаленню (надана мітка як зображення, не використовуваного як опорне), неявним чином. Однак, адаптивне керування пам'яттю видаляє короткострокові або довгострокові зображення в явній формі. Воно також робить можливим перемикання стану короткострокових і довгострокових зображень і т. д. Наприклад, при адаптивному керуванні пам'яттю, кодер відео може передавати синтаксичні елементи, які точно визначають, яким зображенням потрібно надавати мітку як використовуваним як опорні. Декодер відео може приймати синтаксичні елементи і надавати мітки зображенням, як визначено. При ковзному вікні, кодеру відео може не вимагатися передавати, яким зображенням потрібно надавати мітки як використовуваним як опорні. Швидше, декодер відео може неявно (тобто без одержання синтаксичних елементів) визначати, яким зображенням потрібно надавати мітки як використовуваним як опорні, основуючись на тих зображеннях, які знаходяться всередині ковзного вікна. Кодер відео також може мати завдання на створення списків опорних зображень, які вказують, які опорні зображення можна використовувати для цілей інтерпрогнозування. Два з 8 UA 111233 C2 5 10 15 2025 30 35 40 45 50 55 60 цих списків опорних зображень позначають як Список 0 (List 0) і Список 1 (List 1), відповідно. Кодер відео спочатку використовує способи створення за умовчанням для того, щоб створювати Список 0 і Список 1 (наприклад, попередньо сконфігуровані схеми створення для створення Списку 0 і Списку 1). Необов'язково, після того, як створюють початковий Список 0 і Список 1, декодер відео може декодувати синтаксичні елементи, коли присутні, які повідомляють декодеру відео модифікувати початкові Список 0 і Список 1. Кодер відео може передавати синтаксичні елементи, які вказують ідентифікатор(и) опорних зображень в DPB, і кодер відео також може передавати синтаксичні елементи, які містять індекси, всередині Списку 0, Списку 1, або як Списку 0, так і Списку 1, які вказують те, яке опорне зображення або опорні зображення використовувати для того, щоб декодувати кодований блок поточного зображення. Декодер відео, в свою чергу, використовує одержаний ідентифікатор для того, щоб ідентифікувати значення індексу для опорного зображення або опорних зображень, перерахованих в Списку 0, Списку 1, або як в Списку 0, так і в Списку 1. Виходячи із значення (значень) індексу, а також ідентифікатора(ів) опорного зображення або опорних зображень, декодер відео здійснює вибірку опорного зображення або опорних зображень, або їх частини (частин), з DPB, і декодує кодований блок поточного зображення, основуючись на вибірці з опорного зображення або зображень і одному або більше векторах руху, що ідентифікують блоки всередині опорного зображення або зображень, які використовують для декодування кодованого блока. Наприклад, створення списку опорних зображень для першого або другого списку опорних зображень із зображення з подвійним прогнозуванням включає дві стадії: ініціалізація списку опорних зображень і модифікація списку опорних зображень (що також позначається як переупорядковування списку опорних зображень). Ініціалізація списку опорних зображень може являти собою неявний механізм, який поміщує опорні зображення в пам'ять опорних зображень (також відому як буфер декодованих зображень) в список, основуючись на порядку значень POC (порядковий номер зображення, співпадає з порядком відображення зображення). Механізм переупорядковування списку опорних зображень може модифікувати положення зображення, яке помістили в список під час ініціалізації списку опорних зображень, на якенебудь нове положення, або помістити яке-небудь опорне зображення в пам'яті опорних зображень в якому-небудь положенні, хоч зображення і не належить до ініціалізованого списку. Деякі зображення, після переупорядковування (модифікації) списку опорних зображень, можна поміщати в найбільш дальнє положення в списку. Однак, якщо положення зображення перевищує число активних опорних зображень в списку, зображення не рахують як запис кінцевого списку опорних зображень. Число активних опорних зображень можна передавати в заголовок слайса для кожного списку. Способи, описані в цьому розкритті, можна застосовувати до різних стандартів кодування відео. Приклади стандартів кодування відео включають ITU-T H.261, ISO/IEC MPEG-1 Visual, ITU-T H.262 або ISO/IEC MPEG-2 Visual, ITU-T H.263, ISO/IEC MPEG-4 Visual і ITU-T H.264 (також відомий як ISO/IEC MPEG-4 AVC), включаючи їх розширення Scalable Video Coding (SVC) і Multiview Video Coding (MVC). Крім того, має місце новий стандарт кодування відео, а саме High Efficiency Video Coding (HEVC), який розробляє Joint Collaboration Team on Video Coding (JCT-VC) з ITU-T Video Coding Experts Group (VCEG) і ISO/IEC Motion Picture Experts Group (MPEG). Тільки в ілюстративних цілях способи описані в контексті стандарту HEVC. Актуальний Working Draft (WD) для HEVC, далі в цьому документі позначуваний як HEVC WD8, з 20 липня 2012 року доступний за адресою http://phenix.intevry.fr/jct/doc_end_user/documents/10_Stockholm/wg11/JCTVC-J1003-v8.zip. Як описано вище, способи, описані в цьому розкритті, можуть бути направлені на питання, які можуть бути пов'язані з існуючими рішеннями для керування буфером декодованих зображень (DPB). Як один з прикладів, в деяких зразкових способах, описаних в цьому розкритті, надання міток опорним зображенням "не використовувані як опорні" може не вимагатися. Наприклад, способи, описані в цьому розкритті, можуть бути направлені на питання, пов'язані зі способами керування DPB, які можуть не повністю бути придатними для тимчасової масштабованості, питання, пов'язані з витратами передачі довгострокових опорних зображень, питання, пов'язані з ефективністю і складністю ініціалізації і модифікації списку опорних зображень. Способи, описані в цьому розкритті, також можуть бути направлені на питання, пов'язані з наданням міток "немає опорного зображення" для незавершених записів в списку опорних зображень під час ініціалізації списку опорних зображень, питання, пов'язані з виведенням декодованого зображення, внесенням в і видаленням з DPB, а також питання, пов'язані з можливими значеннями для значень порядкового номера зображення (POC). 9 UA 111233 C2 5 10 15 20 25 30 35 40 45 50 55 60 Згідно зі способами, описаними в цьому розкритті, списки опорних зображень створюють з набору опорних зображень. Набір опорних зображень визначають як набір опорних зображень, пов'язаних із зображенням, що складається зі всіх опорних зображень, що передують пов'язаному зображенню в порядку декодування, які можна використовувати для інтерпрогнозування блоків в пов'язаному зображенні або якому-небудь зображенні після пов'язаного зображення в порядку декодування, наприклад, до наступного зображення моментального оновлення декодування (IDR) або зображення з доступом по битому посиланню (BLA). Іншими словами, опорним зображенням в наборі опорних зображень можуть вимагатися наступні характеристики: (1) всі вони передують поточному зображенню в порядку декодування, і (2) їх можна використовувати для інтерпрогнозування поточного зображення і/або інтерпрогнозування якого-небудь зображення, що іде за поточним зображенням в порядку декодування, і, в деяких прикладах, до наступного IDR-зображення або BLA-зображення. Можуть мати місце інші альтернативні визначення набору опорних зображень, які представлені нижче. У зразкових способах, описаних в цьому розкритті, кодер відео може одержувати набір опорних зображень, і, після такого одержання, кодер відео може створювати списки опорних зображень. Наприклад, тільки опорні зображення в наборі опорних зображень можуть являти собою можливі опорні зображення, які використовують для того, щоб створювати списки опорних зображень. Для того, щоб створювати набір опорних зображень, кодер відео може створювати множину піднаборів опорних зображень. Комбінація піднаборів опорних зображень може разом формувати набір опорних зображень. Наприклад, кодер відео може в явній формі передавати, в кодованому бітовому потоці, значення, які дозволяють декодеру відео визначати ідентифікатори для опорних зображень, які включені в набір опорних зображень. Наприклад, ідентифікатори опорних зображень можуть бути порядковими номерами зображень. Кожне зображення пов'язане з одним порядковим номером зображення, позначуваним як PicOrderCnt. PicOrderCnt вказує порядок виведення або порядок відображення відповідного зображення відносно попереднього IDR-зображення в порядку декодування і, в деяких інших альтернативах, вказує положення пов'язаного зображення в порядку виведення відносно положень в порядку виведення інших зображень в певній кодованій відеопослідовності. PicOrderCnt можна позначати як значення порядкового номера зображення (POC). Значення POC може вказувати порядок виведення або відображення зображення, і його можна використовувати для того, щоб ідентифікувати зображення. Наприклад, в кодованій відеопослідовності, зображення з меншим значенням POC виводять або відображають раніше, ніж зображення з більшим значенням POC. Декодер відео може визначати ідентифікатори для опорних зображень і по цих ідентифікаторах створювати множину піднаборів опорних зображень. З цих піднаборів опорних зображень декодер відео може одержувати набір опорних зображень, як описано більш детально нижче. У деяких прикладах, кожний з піднаборів опорних зображень містить різні опорні зображення в тому відношенні, що відсутнє перекриття опорних зображень в піднаборах опорних зображень. Таким чином, кожне з опорних зображень може бути тільки в одному з піднаборів опорних зображень і ні в якому іншому піднаборі опорних зображень. Однак, аспекти за цим розкриттям не треба розглядати як обмежені цим. Після визначення ідентифікаторів (наприклад, значень POC) опорних зображень в наборі опорних зображень або його піднаборах, декодер відео може створювати піднабори опорних зображень. Як описано більш детально нижче, декодер відео може створювати шість піднаборів опорних зображень, незважаючи на те, що для декодера відео може бути можливо створювати більше або менше піднаборів опорних зображень. Ці шість піднаборів опорних зображень мають назви: RefPicSetStCurr0, RefPicSetStCurr1, RefPicSetStFoll0, RefPicSetStFoll1, RefPicSetLtCurr і RefPicSetLtFoll. Піднабір опорних зображень RefPicSetStCurr0 можна позначати як піднабір опорних зображень RefPicSetStCurrBefore, а піднабір опорних зображень RefPicSetStCurr1 можна позначати як піднабір опорних зображень RefPicSetStCurrAfter. Піднабори опорних зображень RefPicSetStCurr0, RefPicSetStCurr1, RefPicSetStFoll0 і RefPicSetStFoll1 можуть ідентифікувати короткострокові опорні зображення. У деяких прикладах, ці піднабори опорних зображень можуть ідентифікувати короткострокові опорні зображення, основуючись на тому, чи стоять короткострокові опорні зображення раніше в порядку відображення або пізніше в порядку відображення, ніж поточне зображення, яке кодують, а також чи можна короткострокові опорні зображення потенційно використовувати для інтерпрогнозування поточного зображення і зображень, що ідуть за поточним зображенням в 10 UA 111233 C2 5 10 15 20 25 30 35 40 45 50 55 60 порядку декодування, або можна потенційно використовувати для інтерпрогнозування тільки зображення, що ідуть за поточним зображенням в порядку декодування. Наприклад, піднабір опорних зображень RefPicSetStCurr0 може включати, і може тільки включати, ідентифікаційну інформацію, таку як значення POC, всіх короткострокових опорних зображень, які мають більш ранній порядок виведення або відображення, ніж поточне зображення, і які можна потенційно використовувати як опорні в інтерпрогнозуванні поточного зображення і можна потенційно використовувати як опорні в інтерпрогнозуванні одного або більше зображень, що ідуть за поточним зображенням в порядку декодування. Піднабір опорних зображень RefPicSetStCurr1 може включати, і може тільки включати, ідентифікаційну інформацію всіх короткострокових опорних зображень, які мають більш пізній порядок виведення або відображення, ніж поточне зображення, і які можна потенційно використовувати як опорні в інтерпрогнозуванні поточного зображення і можна потенційно використовувати як опорні в інтерпрогнозуванні одного або більше зображень, що ідуть за поточним зображенням в порядку декодування. Піднабір опорних зображень RefPicSetStFoll0 може включати, і може тільки включати, ідентифікаційну інформацію всіх короткострокових опорних зображень, які мають більш ранній порядок виведення або відображення, ніж поточне зображення, які можна потенційно використовувати як опорні в інтерпрогнозуванні одного або більше зображень, що ідуть за поточним зображенням в порядку декодування, і які не можна використовувати як опорні в інтерпрогнозуванні поточного зображення. Піднабір опорних зображень RefPicSetStFoll1 може включати, і може тільки включати, ідентифікаційну інформацію всіх короткострокових опорних зображень, які мають більш пізній порядок виведення або відображення, ніж поточне зображення, які можна потенційно використовувати як опорні в інтерпрогнозуванні одного або більше зображень, що ідуть за поточним зображенням в порядку декодування, і які не можна використовувати як опорні в інтерпрогнозуванні поточного зображення. Піднабори опорних зображень RefPicSetLtCurr і RefPicSetLtFoll можуть ідентифікувати довгострокові опорні зображення. У деяких прикладах, ці піднабори опорних зображень можуть ідентифікувати довгострокові опорні зображення, основуючись на тому, чи стоять довгострокові опорні зображення раніше в порядку відображення або пізніше в порядку відображення, ніж поточне зображення, яке кодують. Наприклад, піднабір опорних зображень RefPicSetLtCurr може включати, і може тільки включати, ідентифікаційну інформацію всіх довгострокових опорних зображень, які можна потенційно використовувати як опорні в інтерпрогнозуванні поточного зображення і які можна потенційно використовувати як опорні в інтерпрогнозуванні одного або більше зображень, що ідуть за поточним зображенням в порядку декодування. Піднабір опорних зображень RefPicSetLtFoll може включати, і може тільки включати, ідентифікаційну інформацію всіх довгострокових опорних зображень, які можна потенційно використовувати як опорні в інтерпрогнозуванні одного або більше зображень, що ідуть за поточним зображенням в порядку декодування, і які не можна використовувати як опорні в інтерпрогнозуванні поточного зображення. Після створення піднаборів опорних зображень, декодер відео може упорядковувати піднабори опорних зображень в іншому порядку для того, щоб одержувати набір опорних зображень. Як один з прикладів, порядок набору опорних зображень може являти собою RefPicSetStCurr0, RefPicSetSetCurr1, RefPicSetFoll0, RefPicSetFoll1, RefPicSetLtCurr і RefPicSetLtFoll. Однак, інший порядок в піднаборах може бути можливий для того, щоб одержувати набір опорних зображень. Наприклад, як інший приклад, порядок набору опорних зображень може являти собою піднабір опорних зображень RefPicSetStCurr0, за яким іде набір опорних зображень RefPicSetStCurr1, за яким іде піднабір опорних зображень RefPicSetLtCurr, за яким іде піднабір опорних зображень RefPicSetStFoll0, за яким іде піднабір опорних зображень RefPicSetFoll1 і за яким іде піднабір опорних зображень RefPicSetLtFoll. Згідно зі способами, описаними в цьому розкритті, піднабори RefPicSetStCurr0, RefPicSetStCurr1 і RefPicSetLtCurr включають всі опорні зображення, які можна використовувати в інтерпрогнозуванні блока на поточному зображенні і які можна використовувати в інтерпрогнозуванні одного або більше зображень, що ідуть за поточним зображенням в порядку декодування. Піднабори efPicSetStFoll0, RefPicSetStFoll1 і RefPicSetLtFoll включають всі опорні зображення, які не використовують в інтерпрогнозуванні блока на поточному зображенні, але які можна використовувати в інтерпрогнозуванні одного або більше зображень, що ідуть за поточним зображенням в порядку декодування. Потрібно розуміти, що шість піднаборів опорних зображень описані тільки в ілюстративних цілях і це не треба розглядати як обмеження. У альтернативних прикладах, можуть мати місце 11 UA 111233 C2 5 10 15 20 25 30 35 40 45 50 55 60 більше або менше піднаборів опорних зображень. Такі піднабори опорних зображень, в цих альтернативних прикладах, описані більш детально нижче. У певних способах, описаних в цьому розкритті, декодеру відео може не вимагатися надавати мітки декодованим зображенням "використовувані як опорні", "не використовувані як опорні", "використовувані як короткострокові опорні" або "використовувані як довгострокові опорні". Швидше, чи потрібне інтерпрогнозування для декодованого зображення, яке зберігають в DPB, вказують за допомогою того, чи включене воно в набір опорних зображень поточного зображення. У альтернативних прикладах, може бути можливо, що декодер відео надає мітки декодованим зображенням "використовувані як опорні", "не використовувані як опорні", "використовувані як короткострокові опорні" або "використовувані як довгострокові опорні". У цих прикладах, після того, як декодер відео декодує зображення, воно являє собою опорне зображення і йому надана мітка "використовуване як опорне". Потім, після викликання процесу для одержання набору опорних зображень, всім опорним зображенням, що зберігаються в DPB, але не включені в набір опорних зображень поточного зображення, надають мітки "не використовувані як опорні", перед можливим видаленням декодованих зображень з DPB. Таким чином, чи потрібне декодоване зображення, що зберігається в DPB, для інтерпрогнозування, можна вказувати за допомогою того, чи надають йому мітку "використовуване як опорне". Коли декодер відео одержує набір опорних зображень з множини піднаборів опорних зображень, декодер відео може створювати списки опорних зображень (наприклад, Список 0 і Список 1) з набору опорних зображень. Наприклад, створення списків опорних зображень може включати стадію ініціалізації і можливо стадію модифікації. За допомогою одержання набору опорних зображень таким чином, який описаний вище, декодер відео може бути здатний підвищувати ефективність і знижувати складність для ініціалізації списку опорних зображень і модифікації списку опорних зображень. Можуть мати місце різні шляхи, по яких декодер відео може створювати списки опорних зображень. Способи, описані в цьому розкритті, надають механізм, за допомогою якого декодер відео може створювати списки опорних зображень без необхідності переупорядковувати опорні зображення, що підлягають включенню в (початковий) список опорних зображень. Наприклад, декодер відео можна виконувати з можливістю реалізації способу створення опорного списку за умовчанням, в якому декодер відео використовує піднабори опорних зображень для створення початкових списків опорних зображень. Потім, якщо модифікація списку опорних зображень не потрібна, кінцеві списки опорних зображень можуть являти собою те ж, що і початкові списки опорних зображень, без необхідності якого-небудь додаткового переупорядковування списків опорних зображень. У деяких прикладах способи, описані в цьому розкритті, можуть бути пов'язані зі створенням списків опорних зображень таким чином, щоб не було незавершених записів. Наприклад, способи можуть повторно додавати опорні зображення в список опорних зображень з одного або більше піднаборів опорних зображень. Наприклад, після того, як декодер відео додає опорні зображення з одного або більше піднаборів опорних зображень для створення початкового списку опорних зображень, декодер відео може визначати, що число записів в списку опорних зображень менше максимального допустимого числа записів. Якщо число записів в списку опорних зображень менше максимального числа допустимого числа записів, декодер відео може повторно додавати щонайменше одне з опорних зображень з одного з піднаборів опорних зображень, використовуваних для того, щоб створювати список опорних зображень, в список опорних зображень. Це повторне додавання (також позначуване як повторне складання списку) опорного зображення може відбуватися в різних місцеположеннях в списках опорних зображень, в порівнянні з місцеположенням, де декодер відео уперше додавав опорне зображення. Використовуване в цьому розкритті повторне складання списку або повторне додавання стосується додавання ще раз (наприклад, ще раз ідентифікації) опорного зображення, яке раніше додавали (наприклад, ідентифікували) в початковий список опорних зображень. Однак, коли повторно додають опорне зображення, опорне зображення можна розташовувати в двох різних записах в початковому списку опорних зображень. Іншими словами, коли повторно додають опорне зображення, можуть мати місце два значення індексу в початковому списку опорних зображень, які ідентифікують одне і те ж опорне зображення. У деяких прикладах способи, описані в цьому розкритті, можуть бути пов'язані з модифікацією початкового списку опорних зображень. Наприклад, декодер відео може створювати початковий список опорних зображень. Декодер відео може визначати, що модифікація списку опорних зображень необхідна, основуючись на синтаксичних елементах, що передаються за допомогою кодера відео в кодованому бітовому потоці. Коли необхідна 12 UA 111233 C2 5 10 15 20 25 30 35 40 45 50 55 модифікація списку опорних зображень, декодер відео може ідентифікувати опорне зображення щонайменше в одному зі створених піднаборів опорних зображень. Декодер відео може складати список (наприклад, додавати) ідентифікованих опорних зображень в поточному записі початкового списку опорних зображень для того, щоб створювати модифікований список опорних зображень. Потім декодер відео може декодувати поточне зображення, основуючись на модифікованому списку опорних зображень. У деяких прикладах способи, описані в цьому розкритті, можуть бути пов'язані з виведенням і видаленням декодованих зображень з буфера декодованих зображень (DPB). Зразкові способи можуть видаляти декодоване зображення з DPB перед кодуванням поточного зображення. Наприклад, зразкові способи можуть видаляти декодоване зображення, якщо це декодоване зображення не ідентифіковане в наборі опорних зображень поточного зображення і якщо не потрібне виведення цього декодованого зображення (тобто воно або не призначене для виведення або призначене для виведення, але вже виведене). На фіг. 1 представлена блокова діаграма, що ілюструє зразкову систему 10 кодування і декодування відео, у якій можна використовувати способи, описані в цьому розкритті. У цілому, набір опорних зображень визначають як набір опорних зображень, пов'язаних із зображенням, яке складається зі всіх опорних зображень, що передують пов'язаному зображенню в порядку декодування, які можна використовувати для інтерпрогнозування пов'язаного зображення або якого-небудь зображення після пов'язаного зображення в порядку декодування. У деяких прикладах опорні зображення, що передують пов'язаному зображенню, можуть являти собою опорні зображення, до наступного зображення моментального відновлення декодування (IDR) або зображення з доступом по битому посиланню (BLA). Іншими словами, всі опорні зображення в наборі опорних зображень можуть передувати поточному зображенню в порядку декодування. Також опорні зображення в наборі опорних зображень можна використовувати для інтерпрогнозування поточного зображення і/або інтерпрогнозування якого-небудь зображення після поточного зображення в порядку декодування, до наступного зображення IDR або зображення BLA. Можуть мати місце інші альтернативні визначення набору опорних зображень. Наприклад, набір опорних зображень може являти собою набір опорних зображень, пов'язаних із зображенням, що складається зі всіх опорних зображень, за винятком самого пов'язаного зображення, які можна використовувати для інтерпрогнозування пов'язаного зображення або якого-небудь зображення після пов'язаного зображення в порядку декодування і які мають temporal_id, що менше ніж або дорівнює такому у пов'язаного зображення. Temporal_id може являти собою значення часової ідентифікації. Значення часової ідентифікації може являти собою ієрархічне значення, що показує, які зображення можна використовувати для кодування поточного зображення. У цілому, зображення з конкретним значенням temporal_id можливо являє собою опорне зображення для зображень з рівними або більшими значеннями temporal_id, але не навпаки. Наприклад, зображення зі значенням temporal_id, що дорівнює 1, можливо являє собою опорне зображення для зображень зі значеннями temporal_id, що дорівнюють 1, 2, 3,…, але не для зображення зі значенням temporal_id, що дорівнює 0. Найменше значення temporal_id також може вказувати найменшу швидкість відображення. Наприклад, якщо декодер відео тільки декодував зображення зі значеннями temporal_id, що дорівнює 0, швидкість відображення може складати 7,5 зображення на секунду. Якщо декодер відео тільки декодував зображення зі значеннями temporal_id, що дорівнює 0 і 1, швидкість відображення може складати 15 зображень на секунду, і так далі. Як інший приклад, набір опорних зображень може являти собою набір опорних зображень, пов'язаних із зображенням, що складається зі всіх опорних зображень, за винятком самого пов'язаного зображення, які можна використовувати для інтерпрогнозування пов'язаного зображення або якого-небудь зображення після пов'язаного зображення в порядку декодування. Як ще один інший приклад, набір опорних зображень можна визначати як набір опорних зображень, пов'язаних із зображенням, що складається зі всіх опорних зображень, можливо включаючи саме пов'язане зображення, які можна використовувати для інтерпрогнозування пов'язаного зображення або якого-небудь зображення після пов'язаного зображення в порядку декодування. Як інший приклад, набір опорних зображень можна визначати як набір опорних зображень, пов'язаних із зображенням, що складається зі всіх опорних зображень, можливо включаючи саме пов'язане зображення, які можна використовувати для інтерпрогнозування пов'язаного зображення або якого-небудь зображення після пов'язаного зображення в порядку декодування і які мають temporal_id, що менше ніж або дорівнює такому у пов'язаного зображення. 13 UA 111233 C2 5 10 15 20 25 30 35 40 45 50 55 60 Як ще один інший приклад, у наведених вище визначеннях набору опорних зображень, фразу "можна використовувати для інтерпрогнозування" заміняють на "використовують для інтерпрогнозування". Незважаючи на те, що можуть мати місце альтернативні визначення набору опорних зображень, у цьому розкритті, описані приклади з визначенням набору опорних зображень, що являє собою набір опорних зображень, пов'язаних із зображенням, яке складається зі всіх опорних зображень, що передують пов'язаному зображенню в порядку декодування, які можна використовувати для інтерпрогнозування пов'язаного зображення або якого-небудь зображення після пов'язаного зображення в порядку декодування. Наприклад, деякі з опорних зображень у наборі опорних зображень являють собою опорні зображення, які можна потенційно використовувати для інтерпрогнозування блока поточного зображення, а не зображень, що ідуть за поточним зображенням у порядку декодування. Деякі з опорних зображень у наборі опорних зображень являють собою опорні зображення, які можна потенційно використовувати для інтерпрогнозування блока поточного зображення і блоків в одному або більше зображеннях, що ідуть за поточним зображенням у порядку декодування. Деякі з опорних зображень у наборі опорних зображень являють собою опорні зображення, які можна потенційно використовувати для інтерпрогнозування блоків в одному або більше зображеннях, що ідуть за поточним зображенням у порядку декодування, і не можна використовувати для інтерпрогнозування блока на поточному зображенні. Використовувані в цьому розкритті опорні зображення, які можна потенційно використовувати для інтерпрогнозування, належать до опорних зображень, які можна використовувати для інтерпрогнозування, але які не обов'язково підлягають використанню для інтерпрогнозування. Наприклад, набір опорних зображень може ідентифікувати опорні зображення, які можна потенційно використовувати для інтерпрогнозування. Однак, це не означає, що всі ідентифіковані опорні зображення потрібно використовувати для інтерпрогнозування. Скоріше, одне або більше з цих ідентифікованих опорних зображень можна використовувати для інтерпрогнозування, але усі вони не обов'язково підлягають використанню для інтерпрогнозування. Як показано на фіг. 1, система 10 містить пристрій 12 джерела, що генерує кодоване відео для декодування за допомогою пристрою 14 призначення. Кожний з пристрою 12 джерела і пристрою 14 призначення може представляти приклад пристрою кодування відео. Пристрій 12 джерела може передавати кодоване відео пристрою 14 призначення через канал 16 зв'язку або може зберігати кодоване відео в запам'ятовуючому носії 17 або на файловому сервері 19 так, що пристрій 14 призначення може за бажанням здійснювати доступ до кодованого відео. Пристрій 12 джерела і пристрій 14 призначення можуть містити які-небудь із широкого діапазону пристроїв, включаючи бездротову телефонну трубку, таку як так звані смартфони, так звані розумні планшети або інші такі бездротові пристрої, обладнані для бездротового зв'язку. Додаткові приклади пристрою 12 джерела і пристрою 14 призначення включають, але не обмежуючи цим, цифрове телебачення, пристрій у системі цифрового прямого мовлення, пристрій у бездротовій широкомовній системі, персональні цифрові помічники (PDA), портативний комп'ютер, настільний комп'ютер, планшетний комп'ютер, пристрій для читання електронних книг, цифрову камеру, цифровий пристрій запису, цифровий медіапрогравач, відеоігровий пристрій, відеоігрову консоль, стільниковий радіотелефон, супутниковий радіотелефон, пристрій відеотелеконференцій і пристрій потокової передачі відео, пристрій бездротового зв'язку або тому подібне. Як зазначено вище, у багатьох випадках, пристрій 12 джерела і/або пристрій 14 призначення можна обладнати для бездротового зв'язку. Таким чином, канал 16 зв'язку може містити бездротовий канал, дротовий канал або комбінацію бездротового і дротового каналів, придатну для передачі кодованих відеоданих. Аналогічним чином, пристрій 14 призначення може здійснювати доступ до файлового сервера 19 через яке-небудь стандартне з'єднання для передачі даних, включаючи з'єднання з Інтернетом. Це може включати бездротовий канал (наприклад, з'єднання по Wi-Fi), дротове з'єднання (наприклад, DSL, кабельний модем і т. д.) або комбінацію цих двох, котра придатна для здійснення доступу до кодованих відеоданих, збережених на файловому сервері. Однак способи за цим розкриттям можна застосовувати до кодування відео для підтримання якого-небудь з множини мультимедійних застосувань, таких як ефірне телемовлення, кабельна телевізійна передача, супутникова телевізійна передача, передача потокового відео, наприклад через Інтернет, кодування цифрового відео для збереження в запам'ятовуючому носії для даних, декодування цифрового відео, збереженого в запам'ятовуючому носії для даних, або інші застосування. У деяких прикладах, систему 10 можна виконувати з можливістю підтримання однонаправленої або двонаправленої передачі відео для підтримання таких 14 UA 111233 C2 5 10 15 20 25 30 35 40 45 50 55 60 додатків, як передача потокового відео, відтворення відео, мовлення відео і/або відеотелефонія. У прикладі на фіг. 1, пристрій 12 джерела містить джерело 18 відео, кодер 20 відео, модулятор/демодулятор (MODEM) 22 і інтерфейс 24 виведення. У пристрої 12 джерела, джерело 18 відео може містити джерело, таке як пристрій захоплення відео, такий як відеокамера, відеоархів, що містить попередньо захоплене відео, інтерфейс подачі відео, для того, щоб приймати відео від постачальника відеоконтенту, і/або комп'ютерну графічну систему для генерації комп'ютерних графічних даних як джерела відео або комбінацію таких джерел. Як один з прикладів, якщо джерело 18 відео являє собою відеокамеру, пристрій 12 джерела і пристрій 14 призначення можуть формувати так званий камерофон або відеофон. Однак, способи, описані в цьому розкритті, можна застосовувати до кодування відео в цілому і можна застосовувати до бездротових і/або дротових застосувань. Захоплене, попередньо захоплене або згенероване комп'ютером відео можна кодувати за допомогою кодера відео 20. Інформацію про кодоване відео можна модулювати за допомогою модема 22 згідно зі стандартом зв'язку, таким як бездротовий протокол зв'язку, і передавати на пристрій 14 призначення через інтерфейс 24 виведення. Модем 22 може містити різні засоби змішування, фільтри, підсилювачі або інші компоненти, сконструйовані для модуляції сигналів. Інтерфейс 24 виведення може містити схеми, сконструйовані для передачі даних, включаючи підсилювачі, фільтри й одну або більше антен. Захоплене, попередньо захоплене або згенероване комп'ютером відео, яке кодують за допомогою кодера відео 20, також можна зберігати в запам'ятовуючому носії 17 або на файловому сервері 19 для подальшого використання. Запам'ятовуючий носій 17 може включати диски Blu-ray, DVD, CD-ROM, флеш-пам'ять або який-небудь інший придатний цифровий запам'ятовуючий носій для збереження кодованого відео. Потім пристрій 14 призначення може здійснювати доступ до кодованого відео, збереженого в запам'ятовуючому носії 17, для декодування і відтворення. Файловий сервер 19 може належати до якого-небудь типу сервера, здатного зберігати кодоване відео і передавати це кодоване відео на пристрій 14 призначення. Приклад файлових серверів включає веб-сервер (наприклад, для веб-сайта), сервер FTP, пристрої для збереження, що підключаються до мережі (NAS), привід локального диска або пристрої якогонебудь іншого типу, здатні зберігати кодовані відеодані і передавати їх на пристрій призначення. Передача кодованих відеоданих з файлового сервера 19 може являти собою потокову передачу, передачу завантаження або комбінацію цих двох. Пристрій 14 призначення може здійснювати доступ до файлового сервера 19 через які-небудь стандартні з'єднання для передачі даних, включаючи з'єднання з Інтернетом. Воно може включати бездротовий канал (наприклад, з'єднання по Wi-Fi), дротове з'єднання (наприклад, DSL, кабельний модем, Ethernet, USB і т. д.) або комбінацію цих двох, котра придатна для здійснення доступу до кодованих відеоданих, збережених на файловому сервері. Пристрій 14 призначення, у прикладі на фіг. 1, містить інтерфейс 26 введення, модем 28, декодер 30 відео і пристрій 32 відображення. Інтерфейс 26 введення пристрою 14 призначення приймає інформацію через канал 16, як один з прикладів, або з запам'ятовуючого носія 17, або з файлового сервера 17, як альтернативні приклади, і модем 28 демодулює інформацію для того, щоб одержувати демодульований бітовий потік для декодера 30 відео. Демодульований бітовий потік може містити різну синтаксичну інформацію, яку генерує кодер відео 20 для використання декодером 30 відео при декодуванні відеоданих. Такий синтаксис також можна включати в кодовані відеодані, збережені в запам'ятовуючому носії 17 або на файловому сервері 19. Як один з прикладів, синтаксис можна вбудовувати в кодовані відеодані, незважаючи на те, що аспекти за цим розкриттям не слід розглядати як обмежені такою вимогою. Синтаксична інформація, яку визначає кодер відео 20, яку також використовує декодер 30 відео, може містити синтаксичні елементи, що описують характеристики і/або обробку відеоблоків, таких як деревовидні одиниці кодування (CTU), деревовидні блоки кодування (CTB), одиниці прогнозування (PU), одиниці кодування (CU) або інші одиниці кодованого відео, наприклад відеослайси, відеозображення і відеопослідовності або групи зображень (GOP). Кожний з кодера 20 відео і декодера 30 відео може формувати частину відповідного кодера-декодера (КОДЕР-ДЕКОДЕР), що здатний кодувати або декодувати відеодані. Пристрій 32 відображення може бути інтегрований в пристрій 14 призначення або може бути зовнішнім відносно нього. У деяких прикладах, пристрій 14 призначення може містити інтегрований пристрій відображення і також може бути виконаний з можливістю сполучення з зовнішнім пристроєм відображення. В інших прикладах пристрій 14 призначення може являти 15 UA 111233 C2 5 10 15 20 25 30 35 40 45 50 55 60 собою пристрій відображення. У цілому, пристрій 32 відображення відображає декодовані відеодані користувачу і може містити який-небудь з множини пристроїв відображення, таких як рідкокристалічний дисплей (LCD), плазмовий дисплей, дисплей на органічних світловипромінюючих діодах (OLED) або пристрої відображення інших типів. У прикладі на фіг. 1, канал 16 зв'язку може містити яке-небудь бездротове або дротове середовище зв'язку, таке як радіочастотний (RF) спектр або одна або більше фізичних ліній передачі, або яку-небудь комбінацію бездротових і дротових середовищ. Канал 16 зв'язку може формувати частину пакетної мережі, такої як локальна мережа, великомасштабна мережа або глобальна мережа, така як Інтернет. Канал 16 зв'язку в цілому представляє будь-яке придатне середовище зв'язку або сукупність різних середовищ зв'язку для передачі відеоданих від пристрою 12 джерела до пристрою 14 призначення, включаючи будь-яку придатну комбінацію дротових або бездротових середовищ. Канал 16 зв'язку може містити маршрутизатори, комутатори, базові станції або яке-небудь інше обладнання, яке можна використовувати для того, щоб сприяти зв'язку між пристроєм 12 джерела і пристроєм 14 призначення. Кодер 20 відео і декодер 30 відео можуть працювати згідно зі стандартом стиску відео, таким як ITU-T H.261, ISO/IEC MPEG-1 Visual, ITU-T H.262 або ISO/IEC MPEG-2 Visual, ITU-T H.263, ISO/IEC MPEG-4 Visual і ITU-T H.264 (також відомий як ISO/IEC MPEG-4 AVC), включаючи їх розширення Scalable Video Coding (SVC) і Multiview Video Coding (MVC). Крім того, має місце новий стандарт кодування відео, а саме стандарт HighEfficiency Video Coding (HEVC), на даний час розроблювальний у Joint Collaboration Team on Video Coding (JCT-VC) з ITU-T Video Coding Experts Group (VCEG) і ISO/IEC Motion Picture Experts Group (MPEG). Актуальний Working Draft (WD) для HEVC, далі в даному документі позначуваний як HEVC WD8, з 20 липня 2012 року доступний за адресою http://phenix.intevry.fr/jct/doc_end_user/documents/10_Stockholm/wg11/JCTVC-J1003-v8.zip. Однак способи за цим розкриттям не обмежені яким-небудь конкретним стандартом кодування. Тільки в ілюстративних цілях способи описані згідно зі стандартом HEVC. Незважаючи на те, що не показано на фіг. 1, у деяких аспектах кожний з кодера 20 відео і декодера 30 можна інтегрувати з кодером і декодером аудіо, і вони можуть включати придатні блоки MUX-DEMUX або інше апаратне забезпечення і програмне забезпечення, щоб здійснювати кодування як аудіо, так і відео в звичайний потік даних або розділяти потоки даних. Якщо застосовно, блоки MUX-DEMUX можуть відповідати протоколу мультиплексора ITU H.223 або іншим протоколам, таким як протокол користувацьких дейтаграм (UDP). Кожний з кодера 20 відео і декодера 30 відео можна реалізувати у вигляді будь-якої з множини придатних схем кодера, таких як один або більше процесорів, включаючи мікропроцесори, цифрові сигнальні процесори (DSP), спеціалізовані інтегральні схеми (ASIC), програмовані користувачем вентильні матриці (FPGA), дискретну логіку, програмне забезпечення, апаратне забезпечення, вбудоване програмне забезпечення або які-небудь їх сполучення. Коли способи реалізують частково в програмному забезпеченні, пристрій може зберігати інструкції для програмного забезпечення в придатному постійному комп'ютерочитаному носії і виконувати інструкції на апаратному забезпеченні з використанням одного або більше процесорів для того, щоб здійснювати способи за цим розкриттям. Кожний з кодера 20 відео і декодера 30 відео можна включати в один або більше кодерів або декодерів, кожний з який можна інтегрувати як частину комбінованого кодера/декодера (кодер-декодер) у відповідний пристрій. У деяких випадках кодер 20 відео і декодер 30 відео можна звичайно позначати як кодер відео, що кодує інформацію (наприклад, зображення і синтаксичні елементи). Кодування інформації може належати до кодування, коли кодер відео відповідає кодеру 20 відео. Кодування інформації може належати до декодування, коли кодер відео відповідає декодеру 30 відео. Крім того, способи, описані в цьому розкритті, можуть стосуватися кодера 20 відео, що передає інформацію. Коли кодер 20 відео передає інформацію, способи за цим розкриттям в цілому стосуються якого-небудь способу дії, у якому кодер 20 відео надає інформацію. Наприклад, коли кодер 20 відео передає синтаксичні елементи декодеру 30 відео, це може означати, що кодер 20 відео передавав синтаксичні елементи декодеру 30 відео через інтерфейс 24 виведення і канал 16 зв'язку або що кодер 20 відео зберігав синтаксичні елементи через інтерфейс 24 виведення в запам'ятовуючому носії 17 і/або на файловому сервері 19 для можливого зчитування декодером 30 відео. Таким чином, передачу від кодера 20 відео до декодера 30 відео не слід інтерпретувати як таку, що потребує передачі від кодера 20 відео, яку негайно приймає декодер 30 відео, незважаючи на те, що це може бути можливим. Скоріше, передачу від кодера 20 відео до декодера 30 відео варто інтерпретувати як який-небудь спосіб, використовуючи який кодер 20 відео надає інформацію для можливого зчитування декодером 16 UA 111233 C2 5 10 15 20 25 30 35 40 45 50 55 60 30 відео, або безпосередньо, або через проміжний накопичувач (наприклад, у запам'ятовуючому носії 17 і/або на файловому сервері 19). Кодер 20 відео і декодер 30 відео можна виконувати з можливістю реалізації зразкових способів, описаних у цьому розкритті, для одержання набору опорних зображень. Наприклад, декодер 30 відео може викликати процес для того, щоб одержувати набір опорних зображень по одному разу на зображення. Декодер 30 відео може викликати процес для того, щоб одержувати набір опорних зображень після декодування заголовка слайса, але перед декодуванням якої-небудь одиниці кодування і перед процесом декодування для створення списку опорних зображень слайса. Як описано вище, набір опорних зображень являє собою повний опис опорних зображень, використовуваних у процесі декодування поточного зображення і майбутніх кодованих зображень у порядку декодування до наступного зображення моментального відновлення декодування (IDR) або зображення з доступом по битому посиланню (BLA). У прикладах, описаних у цьому розкритті, кодер 20 відео може в явній формі передавати значення, по яких декодер 30 відео може визначати ідентифікатори для опорних зображень, що належать до набору опорних зображень. Передача набору опорних зображень відбувається явно в тому розумінні, що всі опорні зображення, включені в набір опорних зображень, перелічують у явній формі, за винятком визначених зображень, наприклад зображень IDR, синтаксичні елементи набору опорних зображень не включають у заголовок слайса і набір опорних зображень не витягають так, щоб він був порожнім. Існує множина різних шляхів, по яких кодер 20 відео може передавати синтаксичні елементи в кодованому бітовому потоці, який декодер 30 відео може використовувати для одержання набору опорних зображень. Наприклад, кодер 20 відео може передавати синтаксичні елементи в наборі параметрів зображення (PPS), наборі параметрів послідовності (SPS), заголовку зображення (якщо він має місце), заголовку слайса або якому-небудь їх сполученні. Тільки в ілюстративних цілях, кодер 20 відео може передавати синтаксичні елементи з використанням SPS, PPS і заголовка слайса, як описано більш докладно. Для того, щоб одержувати набір опорних зображень, декодер 30 відео може реалізувати процес декодування для того, щоб визначати ідентифікатори для зображень, що належать до набору опорних зображень. Потім декодер 30 відео може створювати множину піднаборів опорних зображень, причому кожний з піднаборів ідентифікує нуль або більше опорних зображень, що належать до набору опорних зображень. Декодер 30 відео може одержувати набір опорних зображень зі створених піднаборів опорних зображень. Наприклад, декодер 30 відео може складати список з множини піднаборів опорних зображень у конкретному порядку для того, щоб одержувати набір опорних зображень. Можуть мати місце різні шляхи, по яких декодер 30 відео може визначати ідентифікатори для зображень, що належать до набору опорних зображень. У цілому, кодер 20 відео може передавати значення, по яких декодер 30 відео може визначати ідентифікатори для зображень, включаючи зображення, що належать до набору опорних зображень. Ідентифікатори зображень можуть являти собою PicOrderCnt (тобто значення порядкового номера зображення (POC)). Як описано вище, значення POC може вказувати порядок відображення або виведення зображення, причому зображення з меншими значеннями POC відображають раніш, ніж зображення з більшими значеннями POC. Значення POC даного зображення можна приводити відносно попереднього зображення моментального відновлення декодування (IDR). Наприклад, PicOrderCnt (тобто значення POC) для IDR-зображення може складати 0, значення POC для зображення після IDR-зображення в порядку відображення або виведення може складати 1, значення POC після зображення зі значенням POC 1 у порядку відображення або виведення може складати 2 і так далі. Згідно зі способами, описаними в цьому розкритті, коли поточне зображення являє собою не IDR-зображення, наступне можна застосовувати для того, щоб одержувати значення POC поточного зображення. Наступне призначене, щоб сприяти розумінню, і його не слід тлумачити як обмеження. Наприклад, враховують змінну списку listD, що містить як елементи значення PicOrderCnt (значення POC), пов'язані зі списком зображень, що включає усі з наступного: (1) перше зображення в списку являє собою попереднє IDR-зображення в порядку декодування, і (2) всі інші зображення ідуть у порядку декодування після першого зображення в списку і або передують поточному зображенню в порядку декодування, або являють собою поточне зображення. У цьому прикладі, поточне зображення включають у listD перед тим, як викликати процес одержання для набору опорних зображень. Також враховують змінну списку listO, що містить елементи з listD, сортовані за значеннями POC у висхідному порядку. У цьому прикладі, 17 UA 111233 C2 5 10 15 20 25 30 35 40 45 50 55 listO може не містити значення POC, що має значення, яке дорівнює значенню POC іншого зображення. pocLen-1 pocLenУ деяких прикладах, значення POC можуть бути обмежені діапазоном від -2 до 2 1 -1, включно. У цьому прикладі, pocLen може дорівнювати long_term_ref_pic_id_len_delta+long_term_ref_pic_id_delta_len_minus4+4. long_term_ref_pic_id_len_delta і long_term_ref_pic_id_delta_len_minus4 можуть являти собою синтаксичні елементи, які декодер 30 відео приймає в кодованому бітовому потоці як частину синтаксису набору параметрів зображення, як описано більш докладно нижче. Як інший 31 31 приклад, значення POC можуть бути обмежені діапазоном від -2 до 2 -1, включно. Як один з прикладів, декодер 30 відео може приймати в кодованому бітовому потоці (тобто бітовому потоці, переданому за допомогою кодера відео 20) синтаксичний елемент pic_order_cnt_lsb. Синтаксичний елемент pic_order_cnt_lsb може точно визначати порядковий номер зображення по модулю MaxPicOrderCntLsb для кодованого зображення. Довжина синтаксичного елемента pic_order_cnt_lsb може складати log2_max_pic_order_cnt_lsb_minus4+4 біти. Значення pic_order_cnt_lsb можуть знаходитися в діапазоні від 0 до MaxPicOrderCntLsb-1, включно. Декодер 30 відео може приймати синтаксичний елемент pic_order_cnt_lsb у синтаксисі заголовка слайса для поточного зображення, що підлягає декодуванню. Декодер 30 відео також може приймати синтаксичний елемент log2_max_pic_order_cnt_lsb_minus4 у кодованому бітовому потоці, переданому за допомогою кодера відео 20. Декодер 30 відео може приймати синтаксичний елемент log2_max_pic_order_cnt_lsb_minus4 у наборі параметрів послідовності. Значення log2_max_pic_order_cnt_lsb_minu4 може знаходитися в діапазоні від 0 до 12, включно. Синтаксичний елемент log2_max_pic_order_cnt_lsb_minus4 може точно визначати значення змінної MaxPicOrderCntLsb, яку декодер 30 відео використовує в процесі декодування для визначення значень POC. Наприклад: (log2_max_pic_order_cnt_lsb_minus4+4 MaxPicOrderCntLsb=2 ). По цих прийнятих синтаксичних елементах, декодер 30 відео може визначати значення POC поточного зображення наступним чином. Наприклад, декодер 30 відео може визначати PicOrderCntMsb для поточного зображення. Значення POC для поточного зображення може являти собою визначуване PicOrderCntMsb для поточного зображення плюс прийняте pic_order_cnt_lsb для поточного зображення. Надалі функція PicOrderCnt(picX) дорівнює значенню POC для зображення X. Функція DiffPicOrderCnt(picA, picB) дорівнює PicOrderCnt(picA) мінус PicOrderCnt(picB). У деяких прикладах, кодований бітовий потік може не містити дані, що веде до значень DiffPicOrderCnt(picA, picB), використовуваних у процесі декодування, які виходять за границі 15 15 діапазону від -2 до 2 -1, включно. Крім того, нехай X являє собою поточне зображення і Y і Z являють собою два інших зображення в тій же послідовності, де рахують, Y і Z мають однаковий напрямок порядку виведення від X, коли як DiffPicOrderCnt(X, Y), так і DiffPicOrderCnt(X, Z) є позитивними або обидва є негативними. Також, у деяких прикладах, кодер 20 відео може надавати PicOrderCnt пропорційно часу вибірки відповідного зображення відносно часу вибірки попереднього IDR-зображення. Як частину процесу визначення значення POC для поточного зображення, декодер 30 відео може визначати змінні prevPicOrderCntMsb і prevPicOrderCntLsb. Наприклад, якщо поточне зображення являє собою IDR-зображення, декодер 30 відео може задавати prevPicOrderCntMsb рівною 0 і задавати prevPicOrderCntLsb рівною 0. Інакше (тобто, де поточне зображення не являє собою IDR-зображення), декодер 30 відео може задавати prevPicOrderCntMsb рівною PicOrderCntMsb попереднього опорного зображення в порядку декодування з temporal_id, що менше, ніж у поточного зображення, або дорівнює йому, і задавати prevPicOrderCntLsb рівною значенню pic_order_cnt_lsb попереднього опорного зображення в порядку декодування з temporal_id, що менше, ніж у поточного зображення, або дорівнює йому. Використовуючи ці змінні значення і значення синтаксичних елементів (наприклад, значення prevPicOrderCntMsb, prevPicOrderCntLsb, pic_order_cnt_lsb і MaxPicOrderCntLsb), декодер 30 відео може визначати значення PicOrderCntMsb, основуючись на стадіях, викладених в наступному псевдокоді. Варто розуміти, що декодер 30 відео може реалізувати стадії, викладені в наступному псевдокоді, щоб визначати PicOrderCntMsb для кожного поточного зображення, яке використовують для того, щоб одержувати значення POC поточного зображення. if((pic_order_cnt_lsb=(MaxPicOrderCntLsb/2))) PicOrderCntMsb=prevPicOrderCntMsb+MaxPicOrderCntLsb 18 UA 111233 C2 5 10 15 20 25 30 35 40 45 50 55 else if((pic_order_cnt_lsb>prevPicOrderCntLsb) && ((pic_order_cnt_lsb−prevPicOrderCntLsb)>(MaxPicOrderCntLsb/2)))PicOrderCntMsb=prevPicOrderC ntMsb-MaxPicOrderCntLsb else=prevPicOrderCntMsb. Після визначення PicOrderCntMsb для поточного зображення, декодер 30 відео може визначати значення POC для поточного зображення, основуючись на PicOrderCntMsb для поточного зображення і pic_order_cnt_lsb для поточного зображення. Декодер 30 відео може визначати значення POC для поточного зображення наступним чином: PicOrderCnt=PicOrderCntMsb+pic_order_cnt_lsb. Після декодування зображення, декодер 30 відео може зберігати значення PicOrderCntMsb, значення pic_order_cnt_lsb і значення POC для цього зображення, включаючи кожне з опорних зображень, що належать до набору опорних зображень, у буфері декодованих зображень (DPB) декодера 30 відео. Таким чином, кожне зображення в DPB пов'язане зі значенням POC, значенням PicOrderCntMsb і значенням pic_order_cnt_lsb. Способи визначення значень POC опорних зображень, включених у набір опорних зображень поточного зображення, описані більш докладно нижче. На основі визначуваних значень POC декодер 30 відео може реалізувати процес одержання для набору опорних зображень. Однак, перед описом способу дій, де декодер 30 відео реалізує процес одержання для набору опорних зображень, далі наведені таблиці синтаксичних елементів, які декодер 30 відео може приймати в кодованому бітовому потоці, переданому за допомогою кодера відео 20. Наприклад, кодер 20 відео може передавати синтаксичні елементи в наступних таблицях у кодованому бітовому потоці, який приймає декодер 30 відео. Деякі з цих синтаксичних елементів описані вище. По синтаксичних елементах декодер 30 відео може визначати значення POC опорних зображень, включених у набір опорних зображень, і, крім того, одержувати набір опорних зображень. Наприклад, у способах, описаних у цьому розкритті, наступні синтаксичні структури модифіковані відносно попередніх стандартів кодування відео: синтаксис корисного навантаження послідовності необроблених байтів (RBSP) набору параметрів послідовності (SPS), seq_paramater_set_rbsq(), синтаксис RBSP набору параметрів зображення (PPS), pic_parameter_set_rbsp(), синтаксис заголовка слайса, slice_header(), і синтаксис модифікації списку опорних зображень, ref_pic_list_modification(). Модифікація списку опорних зображень описана більш докладно після опису одержання набору опорних зображень і ініціалізації одного або більше списків опорних зображень. Також, згідно зі способами, описаними в цьому розкритті, наступні синтаксичні структури додають у кодований бітовий потік: синтаксис набору короткострокових опорних зображень, short_term_ref_pic_set(), і синтаксис набору довгострокових опорних зображень, long_term_ref_pic_set(). Декодер 30 відео може використовувати синтаксис набору короткострокових опорних зображень і синтаксис набору довгострокових опорних зображень для цілей створення піднаборів опорних зображень, з яких декодер 30 відео одержує набір опорних зображень. Наприклад, для декодера 30 відео для того, щоб визначати значення POC для опорних зображень, що належать до набору опорних зображень, кодер 20 відео може передавати ідентифікаційну інформацію опорного зображення, яку декодер 30 відео використовує для того, щоб визначати значення POC, у наборі параметрів зображення й індекс для списку, до якого можна звертатися в заголовку слайса. Однак, це один із прикладів способу дій, де кодер 20 відео може передавати таку ідентифікаційну інформацію опорного зображення. В одному альтернативному прикладі кодер 20 відео може передавати інформацію про опорне зображення в наборі параметрів послідовності й індекс для списку, до якого можна звертатися в заголовку слайса, що може знижувати витрати передачі. В іншому альтернативному прикладі кодер відео може передавати інформацію про опорне зображення в набір параметрів нового типу (наприклад, набір параметрів набору опорних зображень (RPSPS)), і до RPSPS id, а також індексу для списку ідентифікаційної інформації опорного зображення можна звертатися в заголовку слайса. Це може знижувати витрати передачі, а також не збільшувати необхідне число наборів параметрів зображень або наборів параметрів послідовностей. В інших прикладах, кодер 20 відео може використовувати яку-небудь комбінацію цих зразкових способів для того, щоб передавати ідентифікаційну інформацію опорного зображення. 19 UA 111233 C2 Таблиця 1 Синтаксис RBSP набору параметрів послідовності seq_parameter_set_rbsp(){ Дескриптор profile_idc u(8) reserved_zero_8bits/* дорівнює 0*/ u(8) level_idc u(8) seq_parameter_set_id ue(v) max_temporal_layers_minus1 u(3) pic_width_in_luma_samples u(16) pic_height_in_luma_samples u(16) bit_depth_luma_minus8 ue(v) bit_depth_chroma_minus8 ue(v) pcm_bit_depth_luma_minus1 u(4) pcm_bit_depth_chroma_minus1 u(4) log2_max_pic_order_cnt_lsb_minus4 ue(v) max_num_ref_frames ue(v) log2_min_coding_block_size_minus3 ue(v) log2_diff_max_min_coding_block_size ue(v) log2_min_transform_block_size_minus2 ue(v) log2_diff_max_min_transform_block_size ue(v) log2_min_pcm_coding_block_size_minus3 ue(v) max_transform_hierarchy_depth_inter ue(v) max_transform_hierarchy_depth_intra ue(v) chroma_pred_from_luma_enabled_flag u(1) loop_filter_across_slice_flag u(1) sample_adaptive_offset_enabled_flag u(1) adaptive_loop_filter_enabled_flag u(1) pcm_loop_filter_disable_flag u(1) cu_qp_delta_enabled_flag u(1) temporal_id_nesting_flag u(1) u(1) inter_44_enabled_flag rbsp_trailing_bits() } 5 10 pic_width_in_luma_samples може точно визначати ширину кожного декодованого зображення у вибірках яскравості. Значення pic_width_in_luma_samples може знаходитися в діапазоні від 0 16 до 2 -1, включно. pic_height_in_luma_samples може точно визначати висоту кожного декодованого зображення у вибірках яскравості. Значення pic_height_in_luma_samples може знаходитися в діапазоні від 0 16 до 2 -1, включно. Як зазначено в Таблиці 1, декодер 30 відео може приймати в наборі параметрів послідовності (SPS) синтаксичний елемент log2_max_pic_order_cnt_lsb_minus4. Як описано вище, значення log2_max_pic_order_cnt_lsb_minu4 може точно визначати значення змінної MaxPicOrderCntLsb, яку декодер 30 відео використовує в процесі декодування для визначення (log2_max_pic_order_cnt_lsb_minus4+4) значень POC, де MaxPicOrderCntLsb=2 . 20 UA 111233 C2 Таблиця 2 Синтаксис RBSP набору параметрів зображення pic_parameter_set_rbsp(){ pic_parameter_set_id seq_parameter_set_id entropy_coding_mode_flag num_short_term_ref_pic_sets_pps for(i=0; i