Сигналізація довгострокових еталонних зображень при кодуванні відео
Формула / Реферат
1. Спосіб декодування відеоданих, який включає етапи, на яких:
одержують з потоку двійкових сигналів, який включає в себе кодовані відеодані, заголовок секції у поточній секції поточного зображення з відеоданих, при цьому:
набір еталонних зображень для поточного зображення складається з наступних піднаборів еталонних зображень: RefPicSetStCurrBefore, RefPicSetStCurrAfter, RefPicSetStFoll, RefPicSetLtCurr i RefPicSetLtFoll, причому еталонні зображення в RefPicSetLtCurr і RefPicSetLtFoll є довгостроковими еталонними зображеннями (LTRP);
в заголовку секції приймають набір з одного або більше записів LTRP, причому кожний відповідний запис LTRP з набору з одного або більше записів LTRP є кортежем, що складається з першого синтаксичного елемента і другого синтаксичного елемента, причому перший синтаксичний елемент вказує наймолодші розряди у значеннях лічильника послідовності зображень (РОС) відповідного LTRP із зазначених LTRP, причому другий синтаксичний елемент вказує, чи використовується відповідне LTRP поточним зображенням для еталона, і
заголовок секції відповідає обмеженню, яке не дає заголовку секції сигналізувати два записи LTRP, що посилаються на одне і те ж еталонне зображення;
зберігають одне або більше з еталонних зображень в буфері декодованих зображень, причому одне або більше еталонних зображень містять відеоблоки;
виконують на основі відеоблоків одного або більше еталонних зображень, збережених в буфері декодованих зображень, передбачення відеоданих.
2. Спосіб за п. 1, при цьому:
спосіб додатково включає етап, на якому з потоку двійкових сигналів одержують набір параметрів послідовності (SPS), який застосовний до поточного зображення, причому SPS включає в себе конкретний запис LTRP, який посилається на конкретне еталонне зображення; і
згаданий конкретний запис LTRP знаходиться в наборі з одного або більше записів LTRP; і
конкретний запис LTRP сигналізує в заголовку секції за рахунок того, що заголовок секції включає в себе індекс до конкретного запису LTRP.
3. Спосіб за п. 2, в якому конкретний запис LTRP є першим записом LTRP, і заголовок секції включає в себе другий запис LTRP, тільки якщо другий запис LTRP не вказує, що конкретне еталонне зображення знаходиться в наборі довгострокових еталонних зображень поточного зображення.
4. Спосіб за п. 2, в якому:
конкретний запис LTRP є першим записом LTRP,
SPS включає в себе перший запис LTRP і другий запис LTRP; і
заголовок секції включає в себе індекс до другого запису LTRP, тільки якщо другий запис LTRP не вказує, що конкретне еталонне зображення знаходиться в наборі довгострокових еталонних зображень поточного зображення.
5. Спосіб за п. 2, в якому SPS відповідає обмеженню, яке не дає SPS включати в себе дві або більше копій одного і того ж запису LTRP.
6. Спосіб за п. 2, в якому заголовок секції відповідає обмеженню, яке не дає заголовку секції включати в себе два індекси до одного запису LTRP в SPS.
7. Спосіб за п. 2, в якому для кожного відповідного запису LTRP в SPS заголовок секції не включає в себе запис LTRP, співпадаючий з відповідним записом LTRP в SPS.
8. Спосіб за п. 2, в якому конкретний запис LTRP є першим записом LTRP, і заголовок секції відповідає обмеженню, яке не дає заголовку секції включати в себе другий запис LTRP, якщо заголовок секції включає в себе індекс до еквівалентного запису LTRP в SPS, причому другий запис LTRP включає в себе синтаксичний елемент наймолодших розрядів (LSB) і синтаксичний елемент використання, і еквівалентний запис LTRP включає в себе синтаксичний елемент LSB, який співпадає з синтаксичним елементом LSB другого запису LTRP, і еквівалентний запис LTRP включає в себе синтаксичний елемент використання, який співпадає з синтаксичним елементом використання другого запису LTRP, при цьому синтаксичний елемент LSB другого запису LTRP і синтаксичний елемент LSB еквівалентного запису LTRP вказують LSB у значеннях лічильника послідовності зображень (РОС), і при цьому синтаксичний елемент використання другого запису LTRP і синтаксичний елемент використання еквівалентного запису LTRP вказують, чи використовуються еталонні зображення поточним зображенням для еталона.
9. Спосіб за п. 1, в якому заголовок секції включає в себе перший запис LTRP, який вказує, що конкретне еталонне зображення знаходиться в наборі довгострокових еталонних зображень поточного зображення, і включає в себе другий запис LTRP, тільки якщо другий запис LTRP не вказує, що конкретне еталонне зображення знаходиться в наборі довгострокових еталонних зображень поточного зображення.
10. Спосіб за п. 1, в якому заголовок секції відповідає обмеженню, яке не дає заголовку секції включати в себе два записи LTRP, які вказують еталонні зображення, що мають однакове значення РОС.
11. Спосіб за п. 1, в якому заголовок секції відповідає обмеженню, яке не дає RefPicSetLtCurr включати в себе два еталонних зображення з однаковим значенням РОС, обмеженню, яке не дає RefPicSetLtFoll включати в себе два еталонних зображення з однаковим значенням РОС, і обмеженню, яке не дає RefPicSetLtCurr і RefPicSetLtFoll включати в себе еталонні зображення з однаковим значенням РОС.
12. Пристрій декодування відео, який містить:
буфер декодування зображень; і
один або більше процесорів, виконаних з можливістю:
одержання заголовка секції поточної секції поточного зображення у відеоданих з потоку двійкових сигналів, при цьому:
набір еталонних зображень для поточного зображення складається з наступних піднаборів еталонних зображень: RefPicSetStCurrBefore, RefPicSetStCurrAfter, RefPicSetStFoll, RefPicSetLtCurr i RefPicSetLtFoll, причому еталонні зображення в RefPicSetLtCurr і RefPicSetLtFoll є довгостроковими еталонними зображеннями (LTRP);
в заголовку секції приймають набір з одного або більше записів LTRP, причому кожний відповідний запис LTRP з набору з одного або більше записів LTRP є кортежем, що складається з першого синтаксичного елемента і другого синтаксичного елемента, причому перший синтаксичний елемент вказує наймолодші розряди значення лічильника послідовності зображень (РОС) відповідного LTRP із зазначених LTRP, причому другий синтаксичний елемент вказує, чи використовується відповідне LTRP поточним зображенням для еталона, і заголовок секції відповідає обмеженню, яке не дає заголовку секції сигналізувати два записи LTRP, що посилаються на одне і те ж еталонне зображення;
збереження одного або більше з еталонних зображень в буфері декодованих зображень, причому одне або більше еталонних зображень містять відеоблоки; виконання на основі відеоблоків одного або більше еталонних зображень, збережених в буфері декодованих зображень, передбачення відеоданих.
13. Пристрій декодування відео за п. 12, в якому:
один або більше процесорів додатково виконані з можливістю одержання з потоку двійкових сигналів набору параметрів послідовності (SPS), який застосовний до поточного зображення, причому SPS включає в себе конкретний запис LTRP, який посилається на конкретне еталонне зображення, причому конкретний запис LTRP знаходиться в наборі з одного або більше записів LTRP; і конкретний запис LTRP сигналізується в заголовку секції за рахунок того, що заголовок секції включає в себе індекс до конкретного запису LTRP.
14. Пристрій декодування відео за п. 13, в якому конкретний запис LTRP є першим записом LTRP, і заголовок секції включає в себе другий запис LTRP, тільки якщо другий запис LTRP не вказує, що конкретне еталонне зображення знаходиться в наборі довгострокових еталонних зображень поточного зображення.
15. Пристрій декодування відео за п. 13, в якому:
конкретний запис LTRP є першим записом LTRP,
SPS включає в себе перший запис LTRP і другий запис LTRP; і
заголовок секції включає в себе індекс до другого запису LTRP, тільки якщо другий запис LTRP не вказує, що конкретне еталонне зображення знаходиться в наборі довгострокових еталонних зображень поточного зображення.
16. Пристрій декодування відео за п. 13, в якому SPS відповідає обмеженню, яке не дає SPS включати в себе дві або більше копій одного і того ж запису LTRP.
17. Пристрій декодування відео за п. 13, в якому заголовок секції відповідає обмеженню, яке не дає заголовку секції включати в себе два індекси до одного запису LTRP в SPS.
18. Пристрій декодування відео за п. 13, в якому для кожного відповідного запису LTRP в SPS заголовок секції не включає в себе запис LTRP, співпадаючий з відповідним записом LTRP в SPS.
19. Пристрій декодування відео за п. 13, в якому конкретний запис LTRP є першим записом LTRP, і заголовок секції відповідає обмеженню, яке не дає заголовку секції включати в себе другий запис LTRP, якщо заголовок секції включає в себе індекс до еквівалентного запису LTRP в SPS, причому другий запис LTRP включає в себе синтаксичний елемент наймолодших розрядів (LSB) і синтаксичний елемент використання, і еквівалентний запис LTRP включає в себе синтаксичний елемент LSB, який співпадає з синтаксичним елементом LSB другого запису LTRP, і еквівалентний запис LTRP включає в себе синтаксичний елемент використання, який співпадає з синтаксичним елементом використання другого запису LTRP, при цьому синтаксичний елемент LSB другого запису LTRP і синтаксичний елемент LSB еквівалентного запису LTRP вказують LSB у значеннях лічильника послідовності зображень (РОС), причому синтаксичний елемент використання другого запису LTRP і синтаксичний елемент використання еквівалентного запису LTRP вказують, чи використовуються еталонні зображення поточним зображенням для еталона.
20. Пристрій декодування відео за п. 12, в якому заголовок секції включає в себе перший запис LTRP, який вказує, що конкретне еталонне зображення знаходиться в наборі довгострокових еталонних зображень поточного зображення, і включає в себе другий запис LTRP, тільки якщо другий запис LTRP не вказує, що конкретне еталонне зображення знаходиться в наборі довгострокових еталонних зображень поточного зображення.
21. Пристрій декодування відео за п. 12, в якому заголовок секції відповідає обмеженню, яке не дає заголовку секції включати в себе два записи LTRP, які вказують еталонні зображення, що мають однакове значення РОС.
22. Пристрій декодування відео за п. 12, в якому заголовок секції відповідає обмеженню, яке не дає RefPicSetLtCurr включати в себе два еталонних зображення з однаковим значенням РОС, обмеженню, яке не дає RefPicSetLtFoll включати в себе два еталонних зображення з однаковим значенням РОС, і обмеженню, яке не дає RefPicSetLtCurr і RefPicSetLtFoll включати в себе еталонні зображення з однаковим значенням РОС.
23. Пристрій декодування відео за п. 12, причому пристрій декодування відео містить щонайменше одне з: інтегральної схеми, мікропроцесора або пристрою бездротового зв'язку.
24. Пристрій декодування відео за п. 12, який додатково містить дисплей, виконаний з можливістю відображення декодованих відеоданих.
25. Пристрій декодування відео, який містить:
засіб для одержання з потоку двійкових сигналів заголовка секції поточної секції поточного зображення із відеоданих, при цьому:
набір еталонних зображень для поточного зображення складається з наступних піднаборів еталонних зображень: RefPicSetStCurrBefore, RefPicSetStCurrAfter, RefPicSetStFoll, RefPicSetLtCurr i RefPicSetLtFoll, причому еталонні зображення в RefPicSetLtCurr і RefPicSetLtFoll є довгостроковими еталонними зображеннями (LTRP);
в заголовку секції приймають набір з одного або більше записів LTRP, причому кожний відповідний запис LTRP з набору з одного або більше записів LTRP є кортежем, що складається з першого синтаксичного елемента і другого синтаксичного елемента, причому перший синтаксичний елемент вказує наймолодші розряди значення лічильника послідовності зображень (РОС) відповідного LTRP зі згаданих LTRP, причому другий синтаксичний елемент вказує, чи використовується відповідне LTRP поточним зображенням для еталона, і заголовок секції відповідає обмеженню, яке не дає заголовку секції сигналізувати два записи LTRP, що посилаються на одне і те ж еталонне зображення;
засіб для збереження одного або більше з еталонних зображень в буфері декодованих зображень, причому одне або більше еталонних зображень містять відеоблоки;
засіб для виконання на основі відеоблоків одного або більше еталонних зображень, збережених в буфері декодованих зображень, передбачення відеоданих.
26. Постійний машиночитаний носій інформації, на якому збережений виконуваний комп'ютером код, який при виконанні пристроєм декодування відео конфігурує пристрій декодування відео для:
отримання заголовка секції у поточній секції поточного зображення з потоку двійкових сигналів, при цьому:
набір еталонних зображень для поточного зображення складається з наступних піднаборів еталонних зображень: RefPicSetStCurrBefore, RefPicSetStCurrAfter, RefPicSetStFoll, RefPicSetLtCurr i RefPicSetLtFoll, причому еталонні зображення в RefPicSetLtCurr і RefPicSetLtFoll є довгостроковими еталонними зображеннями (LTRP);
в заголовку секції сигналізується набір з одного або більш записів LTRP, причому кожний відповідний запис LTRP з набору з одного або більше записів LTRP є кортежем, що складається з першого синтаксичного елемента і другого синтаксичного елемента, причому перший синтаксичний елемент вказує наймолодші розряди у значенні лічильника послідовності зображень (РОС) відповідного LTRP зі згаданих LTRP, причому
другий синтаксичний елемент вказує, чи використовується відповідне LTRP поточним зображенням для еталона, і
заголовок секції відповідає обмеженню, яке не дає заголовку секції сигналізувати два записи LTRP, що посилаються на одне і те ж еталонне зображення;
збереження одного або більше з еталонних зображень в буфері декодованих зображень, причому одне або більше еталонних зображень містять відеоблоки;
виконання на основі відеоблоків одного або більше еталонних зображень, збережених в буфері декодованих зображень, передбачення відеоданих.
27. Спосіб кодування відеоданих, причому спосіб включає етапи, на яких:
кодують відеодані, при цьому:
набір еталонних зображень для поточного зображення відеоданих складається з наступних піднаборів еталонних зображень: RefPicSetStCurrBefore, RefPicSetStCurrAfter, RefPicSetStFoll, RefPicSetLtCurr i RefPicSetLtFoll, причому еталонні зображення в RefPicSetLtCurr і RefPicSetLtFoll є довгостроковими еталонними зображеннями (LTRP);
кодування відеоданих містить етап, на якому сигналізують набір з одного або більше записів довгострокових еталонних зображень (LTRP) в заголовку секції для поточної секції поточного зображення, причому кожний відповідний запис LTRP з набору з одного або більше записів LTRP є кортежем, що складається з першого синтаксичного елемента і другого синтаксичного елемента, причому перший синтаксичний елемент вказує наймолодші розряди значення лічильника послідовності зображень (РОС) відповідного LTRP із зазначених LTRP, причому другий синтаксичний елемент вказує, чи використовується відповідне LTRP поточним зображенням для еталона, і
заголовок секції відповідає обмеженню, яке не дає заголовку секції сигналізувати два записи LTRP, що посилаються на одне і те ж еталонне зображення; і
виводять кодовані відеодані.
28. Спосіб за п. 27, який додатково включає етап, на якому
формують набір параметрів послідовності (SPS), який застосовний до поточного зображення, причому SPS включає в себе конкретний запис LTRP, який посилається на конкретне еталонне зображення, причому конкретний запис LTRP знаходиться в наборі з одним або більше записів LTRP; і
сигналізація набору з одного або більше записів LTRP в заголовку секції містить етап, на якому включають в заголовок секції індекс до конкретного запису LTRP.
29. Спосіб за п. 28, в якому конкретний запис LTRP є першим записом LTRP, і заголовок секції включає в себе другий запис LTRP, тільки якщо другий запис LTRP не вказує, що конкретне еталонне зображення знаходиться в наборі довгострокових еталонних зображень поточного зображення.
30. Спосіб за п. 28, в якому:
конкретний запис LTRP є першим записом LTRP,
SPS включає в себе перший запис LTRP і другий запис LTRP; і
сигналізація набору з одного або більше записів LTRP в заголовку секції включає етап, на якому включають в заголовок секції індекс до другого запису LTRP, тільки якщо другий запис LTRP не вказує, що конкретне еталонне зображення знаходиться в наборі довгострокових еталонних зображень поточного зображення.
31. Спосіб за п. 28, в якому формування SPS включає етап, на якому формують SPS таким чином, що SPS включає в себе конкретний запис LTRP, тільки якщо SPS ще не включає в себе копію конкретного запису LTRP.
32. Спосіб за п. 28, в якому формування SPS, включає етап, на якому формують SPS так, що SPS відповідає обмеженню, яке не дає SPS включати в себе дві або більше копії одного і того ж запису LTRP.
33. Спосіб за п. 28, в якому для кожного відповідного запису LTRP в SPS заголовок секції включає в себе індекс до відповідного запису LTRP, тільки якщо заголовок секції ще не включає в себе копію індексу до відповідного запису LTRP.
34. Спосіб за п. 28, в якому заголовок секції відповідає обмеженню, яке не дає заголовку секції включати в себе два індекси до одного запису LTRP в SPS.
35. Спосіб за п. 28, в якому для кожного відповідного запису LTRP в SPS заголовок секції не включає в себе запис LTRP, співпадаючий з відповідним записом LTRP в SPS.
36. Спосіб за п. 28, в якому конкретний запис LTRP є першим записом LTRP, і заголовок секції відповідає обмеженню, яке не дає заголовку секції включати в себе другий запис LTRP, якщо заголовок секції включає в себе індекс до еквівалентного запису LTRP в SPS, причому другий запис LTRP включає в себе синтаксичний елемент наймолодших розрядів (LSB) і синтаксичний елемент використання, і еквівалентний запис LTRP включає в себе синтаксичний елемент LSB, який співпадає з синтаксичним елементом LSB другого запису LTRP, і еквівалентний запис LTRP включає в себе синтаксичний елемент використання, який співпадає з синтаксичним елементом використання другого запису LTRP, при цьому синтаксичний елемент LSB другого запису LTRP і синтаксичний елемент LSB еквівалентного запису LTRP вказують LSB у значенні лічильника послідовності зображень (РОС), і при цьому синтаксичний елемент використання другого запису LTRP і синтаксичний елемент використання еквівалентного запису LTRP вказують, чи використовуються еталонні зображення поточним зображенням для еталона.
37. Спосіб за п. 27, в якому:
сигналізація набору з одного або більше записів LTRP включає етапи, на яких сигналізують в заголовку секції перший запис LTRP, який вказує, що конкретне еталонне зображення знаходиться в наборі довгострокових еталонних зображень поточного зображення; і
сигналізують в заголовку секції другий запис LTRP, тільки якщо другий запис LTRP не вказує, що конкретне еталонне зображення знаходиться в наборі довгострокових еталонних зображень поточного зображення.
38. Спосіб за п. 27, в якому заголовок секції відповідає обмеженню, яке не дає заголовку секції включати в себе два записи LTRP, які вказують еталонні зображення, що мають однакове значення РОС.
39. Спосіб за п. 27, в якому заголовок секції відповідає обмеженню, яке не дає RefPicSetLtCurr включати в себе два еталонних зображення з однаковим значенням РОС, обмеженню, яке не дає RefPicSetLtFoll включати в себе два еталонних зображення з однаковим значенням РОС, і обмеженню, яке не дає RefPicSetLtCurr і RefPicSetLtFoll включати в себе еталонні зображення з однаковим значенням РОС.
40. Пристрій кодування відео, який містить:
один або більше процесорів, виконаних з можливістю:
кодування відеоданих, при цьому: набір еталонних зображень для поточного зображення відеоданих складається з наступних піднаборів еталонних зображень: RefPicSetStCurrBefore, RefPicSetStCurrAfter, RefPicSetStFoll, RefPicSetLtCurr і RefPicSetLtFoll, причому еталонні зображення в RefPicSetLtCurr і RefPicSetLtFoll є довгостроковими еталонними зображеннями (LTRP);
як частина кодування відеоданих, один або більше процесорів сигналізують набір з одного або більше записів довгострокових еталонних зображень (LTRP) в заголовку секції для поточної секції поточного зображення, причому
кожний відповідний запис LTRP з набору з одного або більше записів LTRP є кортежем, що складається з першого синтаксичного елемента і другого синтаксичного елемента, причому перший синтаксичний елемент вказує наймолодші розряди значення лічильника послідовності зображень (РОС) відповідного LTRP із зазначених LTRP, причому другий синтаксичний елемент вказує, чи використовується відповідне LTRP поточним зображенням для еталона, і
заголовок секції відповідає обмеженню, яке не дає заголовку секції сигналізувати два записи LTRP, що посилаються на одне і те ж еталонне зображення; і
інтерфейс виведення для виведення кодованих відеоданих.
41. Пристрій кодування відео за п. 40, в якому один або більше процесорів виконані з можливістю:
формування набору параметрів послідовності (SPS), який застосовний до поточного зображення, причому SPS включає в себе конкретний запис LTRP, який посилається на конкретне еталонне зображення; причому конкретний запис LTRP знаходиться в наборі з одного або більше записів LTRP; і
сигналізації набору з одного або більше записів LTRP в заголовку секції частково за допомогою включення в заголовок секції індексу до конкретного запису LTRP.
42. Пристрій кодування відео за п. 41, в якому конкретний запис LTRP є першим записом LTRP, і заголовок секції включає в себе другий запис LTRP, тільки якщо другий запис LTRP не вказує, що конкретне еталонне зображення знаходиться в наборі довгострокових еталонних зображень поточного зображення.
43. Пристрій кодування відео за п. 41, в якому:
конкретний запис LTRP є першим записом LTRP,
SPS включає в себе перший запис LTRP і другий запис LTRP; і
один або більше процесорів виконані з можливістю включення в заголовок секції індексу до другого запису LTRP, тільки якщо другий запис LTRP не вказує, що конкретне еталонне зображення знаходиться в наборі довгострокових еталонних зображень поточного зображення.
44. Пристрій кодування відео за п. 41, в якому один або більше процесорів виконані з можливістю формування SPS таким чином, що SPS включає в себе конкретний запис LTRP, тільки якщо SPS ще не включає в себе копію конкретного запису LTRP.
45. Пристрій кодування відео за п. 41, в якому один або більше процесорів виконані з можливістю формування SPS таким чином, що SPS відповідає обмеженню, яке не дає SPS включати в себе дві або більше копій одного і того ж запису LTRP.
46. Пристрій кодування відео за п. 41, в якому для кожного відповідного запису LTRP в SPS заголовок секції включає в себе індекс до відповідного запису LTRP, тільки якщо заголовок секції ще не включає в себе копію індексу до відповідного запису LTRP.
47. Пристрій кодування відео за п. 41, в якому один або більше процесорів виконані з можливістю формування заголовка секції таким чином, що заголовок секції відповідає обмеженню, яке не дає заголовку секції включати в себе два індекси до одного запису LTRP в SPS.
48. Пристрій кодування відео за п. 41, в якому для кожного відповідного запису LTRP в SPS заголовок секції не включає в себе запис LTRP, співпадаючий з відповідним записом LTRP в SPS.
49. Пристрій кодування відео за п. 41, в якому конкретний запис LTRP є першим записом LTRP, і один або більше процесорів виконані з можливістю формування заголовка секції таким чином, що заголовок секції відповідає обмеженню, яке не дає заголовку секції включати в себе другий запис LTRP, якщо заголовок секції включає в себе індекс до еквівалентного запису LTRP в SPS, причому другий запис LTRP включає в себе синтаксичний елемент наймолодших розрядів (LSB) і синтаксичний елемент використання, і еквівалентний запис LTRP включає в себе синтаксичний елемент LSB, який співпадає з синтаксичним елементом LSB другого запису LTRP, і еквівалентний запис LTRP включає в себе синтаксичний елемент використання, який співпадає з синтаксичним елементом використання другого запису LTRP, при цьому синтаксичний елемент LSB другого запису LTRP і синтаксичний елемент LSB еквівалентного запису LTRP вказують LSB значення лічильника послідовності зображень (РОС), причому синтаксичний елемент використання другого запису LTRP і синтаксичний елемент використання еквівалентного запису LTRP вказують, чи використовуються еталонні зображення поточним зображенням для еталона.
50. Пристрій кодування відео за п. 40, в якому один або більше процесорів виконані з можливістю:
сигналізації в заголовку секції першого запису LTRP, який вказує, що конкретне еталонне зображення знаходиться в наборі довгострокових еталонних зображень поточного зображення; і
сигналізації в заголовку секції другого запису LTRP, тільки якщо другий запис LTRP не вказує, що конкретне еталонне зображення знаходиться в наборі довгострокових еталонних зображень поточного зображення.
51. Пристрій кодування відео за п. 40, в якому один або більше процесорів виконані з можливістю формування заголовка секції таким чином, що заголовок секції відповідає обмеженню, яке не дає заголовку секції включати в себе два записи LTRP, які вказують еталонні зображення, що мають однакове значення РОС.
52. Пристрій кодування відео за п. 40, в якому заголовок секції відповідає обмеженню, яке не дає RefPicSetLtCurr включати в себе два еталонних зображення з однаковим значенням РОС, обмеженню, яке не дає RefPicSetLtFoll включати в себе два еталонних зображення з однаковим значенням РОС, і обмеженню, яке не дає RefPicSetLtCurr і RefPicSetLtFoll включати в себе еталонні зображення з однаковим значенням РОС.
53. Пристрій кодування відео, який містить:
засіб для кодування відеоданих, при цьому: набір еталонних зображень для поточного зображення відеоданих складається з наступних піднаборів еталонних зображень: RefPicSetStCurrBefore, RefPicSetStCurrAfter, RefPicSetStFoll, RefPicSetLtCurr i RefPicSetLtFoll, причому еталонні зображення в RefPicSetLtCurr і RefPicSetLtFoll є довгостроковими еталонними зображеннями (LTRP);
причому засіб для кодування відеоданих містить засіб для сигналізації набору з одного або більше записів довгострокових еталонних зображень (LTRP) в заголовку секції для поточної секції поточного зображення, причому кожний відповідний запис LTRP з набору з одного або більше записів LTRP є кортежем, що складається з першого синтаксичного елемента і другого синтаксичного елемента, причому перший синтаксичний елемент вказує наймолодші розряди у значенні лічильника послідовності зображень (РОС) відповідного LTRP з зазначених LTRP, причому другий синтаксичний елемент вказує, чи використовується відповідне LTRP поточним зображенням для еталона, і
заголовок секції відповідає обмеженню, яке не дає заголовку секції сигналізувати два записи LTRP, що посилаються на одне і те ж еталонне зображення; і засіб для виведення кодованих відеоданих.
54. Постійний машиночитаний носій інформації, на якому збережений виконуваний комп'ютером код, який при виконанні пристроєм кодування відео конфігурує пристрій кодування відео для:
кодування відеоданих, при цьому:
набір еталонних зображень для поточного зображення відеоданих складається з наступних піднаборів еталонних зображень: RefPicSetStCurrBefore, RefPicSetStCurrAfter, RefPicSetStFoll, RefPicSetLtCurr i RefPicSetLtFoll, причому еталонні зображення в RefPicSetLtCurr і RefPicSetLtFoll є довгостроковими еталонними зображеннями (LTRP);
причому як частина конфігурації пристрою кодування відео для кодування відеоданих команди конфігурують пристрій кодування відео для сигналізації набору з одного або більше записів довгострокових еталонних зображень (LTRP) в заголовку секції для поточної секції поточного зображення, причому
кожний відповідний запис LTRP з набору з одного або більше записів LTRP є кортежем, що складається з першого синтаксичного елемента і другого синтаксичного елемента, причому перший синтаксичний елемент вказує наймолодші розряди у значенні лічильника послідовності зображень (РОС) відповідного LTRP з зазначених LTRP, причому другий синтаксичний елемент вказує, чи використовується відповідне LTRP поточним зображенням для еталона, і
заголовок секції відповідає обмеженню, яке не дає заголовку секції сигналізувати два записи LTRP, що посилаються на одне і те ж еталонне зображення; і
для виведення кодованих відеоданих.
Текст
УКРАЇНА (19) UA (11) 115565 (13) C2 (51) МПК H04N 19/58 (2014.01) H04N 19/70 (2014.01) МІНІСТЕРСТВО ЕКОНОМІЧНОГО РОЗВИТКУ І ТОРГІВЛІ УКРАЇНИ ОПИС ДО ПАТЕНТУ НА ВИНАХІД (21) (22) Номер заявки: (24) Дата, з якої є чинними права на винахід: (31) Номер попередньої 13/946,730, заявки відповідно до 61/706,510, Паризької конвенції: 61/708,442 (32) Дата подання 19.07.2013, попередньої заявки 27.09.2012, відповідно до 01.10.2012 Паризької конвенції: (33) Код державиучасниці Паризької конвенції, до якої подано попередню заявку: US, US, US (41) Публікація відомостей про заявку: 10.08.2015, Бюл.№ 15 (46) Публікація відомостей про видачу патенту: 27.11.2017, Бюл.№ 22 (86) Номер та дата PCT/US2013/060416, подання міжнародної 18.09.2013 заявки, поданої відповідно до Договору PCT Дата подання заявки: a 2015 03967 18.09.2013 27.11.2017 (72) Винахідник(и): Рамасубрамоніан Адарш Крішнан (US), Ван Є-Куй (US) (73) Власник(и): КВЕЛКОММ ІНКОРПОРЕЙТЕД, Attn: International IP Administration, 5775 Morehouse Drive, San Diego, California 92121-1714, United States of America (US) Представник: Мошинська Ніна Миколаївна, реєстр. №115 (74) (56) Перелік документів, взятих до уваги експертизою: Y-K WANG ET AL, "AHG15: On reference picture set derivation and LTRP signaling in slice header", 9. JCT-VC MEETING; 100. MPEG MEETING; 27-42012 - 7-5-2012; GENEVA; (JOINT COLLABORATIVE TEAM ON VIDEO CODING OF ISO/IEC JTC1/SC29/WG11 AND ITU-T SG.16 ); URL: HTTP://WFTP3.ITU.INT/AV-ARCH/JCTVCSITE/,, (20120417), no. JCTVC-I0342, XP030112105 [X] 1,9-13,21-27,37-41,51-56 * the whole document * [Y] 2-8,14-20,28-36,42-50 RAMASUBRAMONIAN A K ET AL, "AHG13: Signalling of long-term reference pictures in the SPS", 10. JCT-VC MEETING; 101. MPEG MEETING; 11-7-2012 - 20-7-2012; STOCKHOLM; (JOINT COLLABORATIVE TEAM ON VIDEO CODING OF ISO/IEC JTC1/SC29/WG11 AND ITU-T SG.16 ); URL: HTTP://WFTP3.ITU.INT/AVARCH/JCTVC-SITE/,, (20120703), no. JCTVCJ0116, XP030112478 [Y] 2-8,14-20,28-36,42-50 * the whole document * WAHADANIAH V ET AL, "AHG21: Construction and modification of predefined reference picture sets and reference picture lists", 7. JCT-VC MEETING; 98. MPEG MEETING; 21-11-2011 - 30-11-2011; GENEVA; (JOINT COLLABORATIVE TEAM ON VIDEO CODING OF ISO/IEC JTC1/SC29/WG11 AND ITU-T SG.16 ); URL: HTTP://WFTP3.ITU.INT/AV-ARCH/JCTVC-SITE/,, (20111108), no. JCTVC-G548, XP030110532 [A] 2,11-12,14,23-24,28,39-40,42,53-54 * the whole document * SACHIN DESHPANDE ET AL, "AHG21: Comments on Signaling of Reference Pictures", 8. JCT-VC MEETING; 99. MPEG MEETING; 1-2-2012 - 10-22012; SAN JOSE; (JOINT COLLABORATIVE TEAM ON VIDEO CODING OF ISO/IEC JTC1/SC29/WG11 AND ITU-T SG.16 ); URL: HTTP://WFTP3.ITU.INT/AV-ARCH/JCTVC-SITE/,, (20120127), no. JCTVC-H0531, XP030111558 [A] 156 * the whole document * BROSS B ET AL, "High Efficiency Video Coding (HEVC) text specification draft 8", 10. JCT-VC MEETING; 101. MPEG MEETING; 11-7-2012 - 207-2012; STOCKHOLM; (JOINT COLLABORATIVE TEAM ON VIDEO CODING OF ISO/IEC JTC1/SC29/WG11 AND ITU-T SG.16 ); URL: HTTP://WFTP3.ITU.INT/AV-ARCH/JCTVC-SITE/,, (20120723), no. JCTVC-J1003, XP030112947 [A] 156 * paragraph [7.3.5] * * paragraph [7.4.2.2] * * paragraph [8.3.2] * (54) СИГНАЛІЗАЦІЯ ДОВГОСТРОКОВИХ ЕТАЛОННИХ ЗОБРАЖЕНЬ ПРИ КОДУВАННІ ВІДЕО (57) Реферат: UA 115565 C2 (12) UA 115565 C2 Відеокодер сигналізує перший запис довгострокових еталонних зображень (LTRP) в заголовку секції для поточної секції поточного зображення, причому перший запис LTRP вказує, що конкретне еталонне зображення знаходиться в наборі довгострокових еталонних зображень поточного зображення. Крім того, відеокодер сигналізує другий запис LTRP в заголовку секції, тільки якщо другий запис LTRP не вказує, що конкретне еталонне зображення знаходиться в наборі довгострокових еталонних зображень поточного зображення. UA 115565 C2 5 10 15 20 25 30 35 40 45 50 55 60 ПЕРЕХРЕСНЕ ПОСИЛАННЯ НА СПОРІДНЕНІ ЗАЯВКИ [0001] За даною заявкою вимагається пріоритет попередньої заявки на патент США № 61/706510, поданої 27 вересня 2012 р., і попередньої заявки на патент США № 61/708442, поданої 1 жовтня 2012 р., весь зміст кожної з яких включений в цей документ за допомогою посилання. ГАЛУЗЬ ТЕХНІКИ, ДО ЯКОЇ НАЛЕЖИТЬ ВИНАХІД [0002] Дане розкриття винаходу стосується кодування відео (тобто кодування і/або декодування відеоданих). РІВЕНЬ ТЕХНІКИ [0003] Можливості цифрового відео можуть бути включені в широкий діапазон пристроїв, включаючи цифрові телевізори, системи цифрового прямого мовлення, системи бездротового мовлення, персональні цифрові помічники (PDA), переносні або настільні комп'ютери, планшетні комп'ютери, електронні книги, цифрові камери, цифрові пристрої запису, цифрові мультимедійні програвачі, відеоігрові пристрої, ігрові приставки, стільникові або супутникові радіотелефони, так звані "смартфони", пристрої для відеоконференцзв'язку, пристрої для потокового відео і т. п. Цифрові відеопристрої реалізовують методики стиснення відео, наприклад описані в стандартах, заданих MPEG-2, MPEG-4, H.263 ITU-T, H.264/MPEG-4 ITU-T, частина 10, Поліпшене кодування відео (AVC), стандартом Високоефективного кодування відео (HEVC), і розширеннях таких стандартів. Відеопристрої можуть ефективніше передавати, приймати, кодувати, декодувати і/або зберігати цифрову відеоінформацію за допомогою реалізації таких методик стиснення відео. [0004] Методики стиснення відео виконують просторове (внутрішнє, intra-picture) прогнозування і/або часове (зовнішнє, inter-picture) прогнозування для зменшення або усунення надмірності, властивої відеопослідовностям. Для блокового кодування відео можна розбити секцію (slice) відео (наприклад, відеокадр або частину відеокадру) на відеоблоки. Відеоблоки в секції з внутрішнім кодуванням (intra-coded, I) зображення кодуються з використанням просторового прогнозування відносно еталонних вибірок в сусідніх блоках в тому ж зображенні. Відеоблоки в секції із зовнішнім кодуванням (inter-coded, Р або В) зображення можуть використовувати просторове прогнозування відносно еталонних вибірок в сусідніх блоках в тому ж зображенні або часове прогнозування відносно еталонних вибірок в інших еталонних зображеннях. Зображення можуть називатися кадрами, а еталонні зображення можуть називатися еталонними кадрами. [0005] Просторове або часове прогнозування приводить до блока з прогнозуванням для блока, який буде кодуватися. Залишкові дані являють собою різниці пікселів між вихідним блоком, який буде кодуватися, і блоком з прогнозуванням. Блок із зовнішнім кодуванням кодується відповідно до вектора руху, який вказує на блок еталонних вибірок, що утворюють блок з прогнозуванням, а залишкові дані вказують різницю між кодованим блоком і блоком з прогнозуванням. Блок з внутрішнім кодуванням кодується відповідно до режиму внутрішнього кодування і залишкових даних. Для додаткового стиснення залишкові дані можуть бути перетворені з області пікселів в область перетворення, що приводить до залишкових коефіцієнтів, які потім можна квантувати. Квантовані коефіцієнти, організовані спочатку в двовимірний масив, можна сканувати для створення одновимірного вектора коефіцієнтів, і може застосовуватися ентропійне кодування для досягнення ще більшого стиснення. РОЗКРИТТЯ ВИНАХОДУ [0006] Взагалі, дане розкриття винаходу описує сигналізацію довгострокових еталонних зображень (LTRP) при кодуванні відео. Відеокодер сигналізує перший запис LTRP в заголовку секції для поточної секції поточного зображення. Перший запис LTRP вказує, що конкретне еталонне зображення є LTRP у поточного зображення. Крім того, відеокодер сигналізує другий запис LTRP в заголовку секції, тільки якщо другий запис LTRP не вказує, що конкретне еталонне зображення є довгостроковим еталонним зображенням у поточного зображення. Аналогічним чином відеодекодер може декодувати заголовок секції і може сформувати список еталонних зображень для поточного зображення, щонайменше частково, на основі одного або більше записів LTRP, сигналізованих в заголовках секцій. Відеодекодер може відновити поточне зображення, щонайменше частково, на основі одного або більше еталонних зображень в списку еталонних зображень для поточного зображення. [0007] У одному прикладі дане розкриття винаходу описує спосіб декодування відеоданих, який включає: одержання заголовка секції у поточної секції поточного зображення з потоку двійкових сигналів, де в заголовку секції сигналізується набір з одного або більше записів LTRP, де набір з одного або більше записів LTRP включає в себе перший запис LTRP, який вказує, що конкретне еталонне зображення знаходиться в наборі довгострокових еталонних 1 UA 115565 C2 5 10 15 20 25 30 35 40 45 50 55 60 зображень у поточного зображення, і де набір з одного або більше записів LTRP включає в себе другий запис LTRP, тільки якщо другий запис LTRP не вказує, що конкретне еталонне зображення знаходиться в наборі довгострокових еталонних зображень у поточного зображення; формування списку еталонних зображень для поточного зображення, щонайменше частково, на основі одного або більше записів LTRP; і відновлення поточного зображення, щонайменше частково, на основі одного або більше еталонних зображень в списку еталонних зображень для поточного зображення. [0008] У іншому прикладі дане розкриття винаходу описує пристрій декодування відео, який містить один або більше процесорів, сконфігурованих для: одержання заголовка секції у поточної секції поточного зображення з потоку двійкових сигналів, де в заголовку секції сигналізується набір з одного або більше записів LTRP, де набір з одного або більше записів LTRP включає в себе перший запис LTRP, який вказує, що конкретне еталонне зображення знаходиться в наборі довгострокових еталонних зображень у поточного зображення, і де набір з одного або більше записів LTRP включає в себе другий запис LTRP, тільки якщо другий запис LTRP не вказує, що конкретне еталонне зображення знаходиться в наборі довгострокових еталонних зображень у поточного зображення; формування списку еталонних зображень для поточного зображення, щонайменше частково, на основі одного або більше записів LTRP; і відновлення поточного зображення, щонайменше частково, на основі одного або більше еталонних зображень всписку еталонних зображень для поточного зображення. [0009] У іншому прикладі дане розкриття винаходу описує пристрій декодування відео, який містить: засіб для одержання заголовка секції у поточної секції поточного зображення з потоку двійкових сигналів, де в заголовку секції сигналізується набір з одного або більше записів LTRP, де набір з одного або більше записів LTRP включає в себе перший запис LTRP, який вказує, що конкретне еталонне зображення знаходиться в наборі довгострокових еталонних зображень у поточного зображення, і де набір з одного або більше записів LTRP включає в себе другий запис LTRP, тільки якщо другий запис LTRP не вказує, що конкретне еталонне зображення знаходиться в наборі довгострокових еталонних зображень у поточного зображення; засіб для формування списку еталонних зображень для поточного зображення, щонайменше частково, на основі одного або більше записів LTRP; і засіб для відновлення поточного зображення, щонайменше частково, на основі одного або більше еталонних зображень в списку еталонних зображень для поточного зображення. [0010] У іншому прикладі дане розкриття винаходу описує машиночитаний носій інформації, що має збережені на йому команди, які при виконанні пристроєм декодування відео конфігурують пристрій декодування відео для: одержання заголовка секції у поточної секції поточного зображення з потоку двійкових сигналів, де в заголовку секції сигналізується набір з одного або більше записів LTRP, де набір з одного або більше записів LTRP включає в себе перший запис LTRP, який вказує, що конкретне еталонне зображення знаходиться в наборі довгострокових еталонних зображень у поточного зображення, і де набір з одного або більше записів LTRP включає в себе другий запис LTRP, тільки якщо другий запис LTRP не вказує, що конкретне еталонне зображення знаходиться в наборі довгострокових еталонних зображень у поточного зображення; формування списку еталонних зображень для поточного зображення, щонайменше частково, на основі одного або більше записів LTRP; і відновлення поточного зображення, щонайменше частково, на основі одного або більше еталонних зображень в списку еталонних зображень для поточного зображення. [0011] У іншому прикладі дане розкриття винаходу описує спосіб кодування відеоданих, який включає: сигналізацію першого запису LTRP в заголовку секції для поточної секції поточного зображення, причому перший запис LTRP вказує, що конкретне еталонне зображення знаходиться в наборі довгострокових еталонних зображень у поточного зображення; і сигналізацію другого запису LTRP в заголовку секції, тільки якщо другий запис LTRP не вказує, що конкретне еталонне зображення знаходиться в наборі довгострокових еталонних зображень у поточного зображення. [0012] У іншому прикладі дане розкриття винаходу описує пристрій кодування відео, який містить один або більше процесорів, сконфігурованих для: сигналізації першого запису LTRP в заголовку секції для поточної секції поточного зображення, причому перший запис LTRP вказує, що конкретне еталонне зображення знаходиться в наборі довгострокових еталонних зображень у поточного зображення; і сигналізації другого запису LTRP в заголовку секції, тільки якщо другий запис LTRP не вказує, що конкретне еталонне зображення знаходиться в наборі довгострокових еталонних зображень у поточного зображення. [0013] У іншому прикладі дане розкриття винаходу описує пристрій кодування відео, який містить: засіб для сигналізації першого запису LTRP в заголовку секції для поточної секції 2 UA 115565 C2 5 10 15 20 25 30 35 40 45 50 55 60 поточного зображення, причому перший запис LTRP вказує, що конкретне еталонне зображення знаходиться в наборі довгострокових еталонних зображень у поточного зображення; і засіб для сигналізації другого запису LTRP в заголовку секції, тільки якщо другий запис LTRP не вказує, що конкретне еталонне зображення знаходиться в наборі довгострокових еталонних зображень у поточного зображення. [0014] Машиночитаний носій інформації, який має збережені на ньому команди, які при виконанні пристроєм кодування відео конфігурують пристрій кодування відео для: сигналізації першого запису LTRP в заголовку секції для поточної секції поточного зображення, причому перший запис LTRP вказує, що конкретне еталонне зображення знаходиться в наборі довгострокових еталонних зображень у поточного зображення; і сигналізації другого запису LTRP в заголовку секції, тільки якщо другий запис LTRP не вказує, що конкретне еталонне зображення знаходиться в наборі довгострокових еталонних зображень у поточного зображення. [0015] Подробиці одного або більше прикладів з розкриття винаходу викладаються на прикладених кресленнях і в описі нижче. Інші ознаки, цілі і переваги стануть очевидні з опису, креслень і формули винаходу. КОРОТКИЙ ОПИС КРЕСЛЕНЬ [0016] Фіг. 1 - блок-схема, що ілюструє зразкову систему кодування відео, яка може використовувати методики, описані в даному розкритті винаходу. [0017] Фіг. 2 - блок-схема, що ілюструє зразковий відеокодер, який може реалізувати методики, описані в даному розкритті винаходу. [0018] Фіг. 3 - блок-схема, що ілюструє зразковий відеодекодер, який може реалізувати методики, описані в даному розкритті винаходу. [0019] Фіг. 4 - блок-схема алгоритму, що ілюструє зразкову роботу відеокодера відповідно до однієї або більше методик з даного розкриття винаходу. [0020] Фіг. 5 - блок-схема алгоритму, що ілюструє зразкову роботу відеодекодера відповідно до однієї або більше методик з даного розкриття винаходу. ЗДІЙСНЕННЯ ВИНАХОДУ [0021] Відеокодер може сформувати потік двійкових сигналів, який включає в себе кодовані відеодані. Кожне зображення у відеоданих може включати в себе масив вибірок яскравості, а також може включати в себе два відповідних масиви вибірок кольоровості, наприклад, організованих в блоки. Щоб кодувати зображення у відеоданих, відеокодер може сформувати множину одиниць дерева кодування (CTU) для цього зображення. Кожна з CTU може асоціюватися з різними блоками однакового розміру вибірок яскравості на зображенні, а також може асоціюватися з відповідними блоками вибірок кольоровості. Відеокодер може сформувати одну або більше одиниць кодування (CU) для кожної CTU. Кожна з CU в CTU може асоціюватися з блоком яскравості в рамках блока яскравості в CTU, а також може асоціюватися з двома відповідними блоками кольоровості в рамках блоків кольоровості в CTU. [0022] Крім того, відеокодер може сформувати одну або більше одиниць прогнозування (PU) для кожної CU. Відеокодер може сформувати блоки яскравості і кольоровості з прогнозуванням для кожної PU в CU. Відеокодер може використовувати внутрішнє прогнозування або зовнішнє прогнозування для формування блоків з прогнозуванням для PU. Після того, як відеокодер сформує блоки з прогнозуванням для однієї або більше PU в CU, відеокодер може сформувати залишкові блоки яскравості і кольоровості, асоційовані з CU. Залишкові блоки яскравості і кольоровості в CU можуть вказувати різниці між вибірками в прогнозованих блоках яскравості і кольоровості для PU в CU і вихідних блоках яскравості і кольоровості в CU, відповідно. Відеокодер може розбити залишкові блоки CU на блоки перетворення. Крім того, відеокодер може застосувати одне або більше перетворень до кожного блока перетворення, щоб сформувати блоки коефіцієнтів перетворення. Відеокодер може квантувати блоки коефіцієнтів перетворення і може застосувати ентропійне кодування до синтаксичних елементів, які представляють коефіцієнти перетворення в блоці коефіцієнтів перетворення. Відеокодер може вивести потік двійкових сигналів, який включає в себе ентропійно кодовані синтаксичні елементи. [0023] Коли відеокодер починає кодування поточного зображення у відеоданих, відеокодер може визначити набір еталонних зображень (RPS) для поточного зображення. RPS для поточного зображення може мати п'ять підмножин (тобто підмножин еталонних зображень). Цими п'ятьма підмножинами еталонних зображень є: RefPicSetStCurrBefore, RefPicSetStCurrAfter, RefPicSetStFoll, RefPicSetLtCurr і RefPicSetLtFoll. Еталонні зображення в RefPicSetStCurrBefore, RefPicSetStCurrAfter, RefPicSetStFoll називаються "короткостроковими еталонними зображеннями" або "STRP". Еталонні зображення в RefPicSetLtCurr і 3 UA 115565 C2 5 10 15 20 25 30 35 40 45 50 55 RefPicSetLtFoll називаються "довгостроковими еталонними зображеннями" або "LTRP". У деяких випадках LTRP можуть залишатися доступними для використання у зовнішньому прогнозуванні протягом більш тривалих періодів часу, ніж STRP. Відеокодер може відновити п'ять підмножин еталонних зображень для кожного зображення у відеоданих. [0024] Крім того, коли поточна секція поточного зображення є Р-секцією, відеокодер може використовувати еталонні зображення з підмножин RefPicStCurrAfter, RefPicStCurrBefore і RefPicStLtCurr еталонних зображень у поточного зображення, щоб сформувати для поточної секції один список еталонних зображень, RefPicList0. Коли поточна секція є В-секцією, відеокодер може використовувати еталонні зображення з підмножин RefPicStCurrAfter, RefPicStCurrBefore і RefPicStLtCurr еталонних зображень у поточного зображення, щоб сформувати для поточної секції два списки еталонних зображень, RefPicList0 і RefPicList1. Коли відеокодер використовує зовнішнє прогнозування, щоб сформувати блок з прогнозуванням в PU поточного зображення, відеокодер може формувати блоки з прогнозуванням в PU на основі вибірок в рамках одного або більше еталонних зображень в одному або більше списках еталонних зображень для поточної секції. [0025] Відеокодер може сигналізувати набір записів LTRP в наборі параметрів послідовності (SPS). Іншими словами, SPS може явно вказувати набір записів LTRP. Кожний із записів LTRP може вказувати еталонне зображення як таке, що знаходиться в наборі довгострокових еталонних зображень (або в RefPicStLtCurr, або в RefPicStLtFoll) для поточного зображення. Крім того, відеокодер може сигналізувати індекси до записів LTRP, вказаних в SPS, застосовному до поточного зображення, в заголовку секції у першої (в порядку кодування) секції поточного зображення. Таким чином, заголовок секції може "неявно" сигналізувати записи LTRP або "індекс до" записів LTRP. До того ж відеокодер може сигналізувати в заголовку секції у першої секції поточного зображення додатковий набір записів LTRP. Іншими словами, заголовок секції може явно сигналізувати додаткові записи LTRP. [0026] Для кожного відповідного запису LTRP, явно вказаного в SPS, відеокодер може сигналізувати, чи використовується поточним зображенням еталонне зображення, вказане відповідним записом LTRP. Еталонні зображення, вказані записами LTRP, явно сигналізованими в SPS, які використовуються поточним зображенням, в цьому документі можуть називатися поточними LTRP в SPS. Еталонні зображення, вказані записами LTRP, явно сигналізованими в SPS, які не використовуються поточним зображенням, в цьому документі можуть називатися непоточними LTRP в SPS. Аналогічним чином для кожного відповідного запису LTRP, неявно і явно сигналізованого в заголовку секції, заголовок секції може вказувати, чи використовується поточним зображенням еталонне зображення, вказане відповідним записом LTRP. Еталонні зображення, вказані записами LTRP, неявно і явно сигналізованими в заголовку секції, які використовуються поточним зображенням, в цьому документі можуть називатися поточними LTRP заголовка секції. Еталонні зображення, вказані записами LTRP, неявно і явно сигналізованими в заголовку секції, які не використовуються поточним зображенням, в цьому документі можуть називатися непоточними LTRP заголовка секції. [0027] Підмножина RefPicStLtCurr еталонних зображень для поточного зображення може включати в себе поточні LTRP першого заголовка секції у поточного зображення і поточні LTRP в SPS, застосовному до поточного зображення. Підмножина RefPicStLtFoll еталонних зображень у поточного зображення може включати в себе непоточні LTRP в SPS, застосовному до поточного зображення, і непоточні LTRP першого заголовка секції у поточного зображення. [0028] Вищеописана схема сигналізації може мати декілька недоліків. Наприклад, відеокодер потенційно може сформувати заголовок секції, що явно сигналізує запис LTRP, який вказує еталонне зображення, а також неявно сигналізує запис LTRP, який вказує таке ж еталонне зображення. Таким чином, RefPicStLtCurr і/або RefPicStLtFoll у поточного зображення потенційно можуть двічі включати в себе одне і те ж еталонне зображення. У іншому зразковому недоліку вищеописаної схеми сигналізації сам заголовок секції може явно сигналізувати один і той же запис LTRP декілька разів. Аналогічним чином SPS може явно сигналізувати один і той же запис LTRP декілька разів. Явна сигналізація одного і того ж запису LTRP декілька разів або в SPS, або в заголовку секції може зменшити ефективність кодування. У іншому зразковому недоліку вищеописаної схеми сигналізації SPS може включати в себе запис LTRP, який вказує, що конкретне еталонне зображення не використовується для еталона поточним зображенням, і одночасно заголовок секції (або SPS) може включати в себе запис LTRP, який вказує, що конкретне LTRP використовується для еталона поточним зображенням, або навпаки. Ця плутанина в тому, чи використовується конкретне еталонне зображення для еталона поточним зображенням, може викликати проблеми декодування для відеодекодера. 4 UA 115565 C2 5 10 15 20 25 30 35 40 45 50 55 [0029] Відповідно до методик з даного розкриття винаходу відеокодер можна обмежити в сигналізації (явній або неявній) в заголовку секції декількох записів LTRP, які вказують, що одне і те ж еталонне зображення знаходиться в наборі довгострокових еталонних зображень поточного зображення. Точніше, відеокодер конфігурується так, що заголовок секції відповідає обмеженню, яке не дає заголовку секції сигналізувати два записи LTRP, які вказують одне і те ж еталонне зображення. Оскільки відеокодер обмежується в сигналізації декількох записів LTRP, які вказують одне і те ж еталонне зображення, записи LTRP не можуть включати в себе суперечливі синтаксичні елементи відносно того, чи використовується еталонне зображення для еталона поточним зображенням. Крім того, відповідно до методик з даного розкриття винаходу відеокодер можна обмежити в формуванні заголовка секції, який вказує один і той же запис LTRP декілька разів. Тобто відеокодер можна обмежити в неявній сигналізації одного і того ж запису LTRP декілька разів, обмежити в явній сигналізації одного і того ж запису LTRP декілька разів і обмежити в неявній і явній сигналізації одного і того ж запису LTRP. Тому відеокодер може сигналізувати запис LTRP не більше одного разу, неявно або явно. Ці обмеження потенційно можуть збільшити ефективність кодування, оскільки відеокодер може не мати можливості включити синтаксичні елементи в SPS або заголовок секції для явної і неявної сигналізації одного і того ж запису LTRP. [0030] Тому відеодекодер може декодувати заголовок секції у поточної секції поточного зображення. У заголовку секції можна сигналізувати набір з одного або більше записів LTRP. Набір з одного або більше записів LTRP може включати в себе перший запис LTRP, який вказує, що конкретне еталонне зображення знаходиться в наборі довгострокових еталонних зображень у поточного зображення. Набір з одного або більше записів LTRP може включати в себе другий запис LTRP, тільки якщо другий запис LTRP не вказує, що конкретне еталонне зображення знаходиться в наборі довгострокових еталонних зображень у поточного зображення. Відеодекодер може сформувати список еталонних зображень для поточного зображення, щонайменше частково, на основі одного або більше записів LTRP і може відновити поточне зображення, щонайменше частково, на основі одного або більше еталонних зображень в списку еталонних зображень для поточного зображення. [0031] Фіг. 1 - блок-схема, що ілюструє зразкову систему 10 кодування відео, яка може використовувати методики з даного розкриття винаходу. При використанні в даному документі термін "кодер відео" загалом стосується відеокодерів і відеодекодерів. У даному розкритті винаходу терміни "кодування відео" або "кодування" можуть стосуватися загалом до кодування відео або декодування відео. [0032] Як показано на фіг. 1, система 10 кодування відео включає в себе пристрій-джерело 12 і пристрій-адресат 14. Пристрій-джерело 12 формує кодовані відеодані. Відповідно, пристрійджерело 12 може називатися пристроєм кодування відео або апаратом кодування відео. Пристрій-адресат 14 може декодувати кодовані відеодані, сформовані пристроєм-джерелом 12. Відповідно, пристрій-адресат 14 може називатися пристроєм декодування відео або апаратом декодування відео. Пристрій-джерело 12 і пристрій-адресат 14 можуть бути прикладами пристроїв кодування відео або апаратів кодування відео. [0033] Пристрій-джерело 12 і пристрій-адресат 14 можуть бути виконані у вигляді будь-якого з широкого діапазону пристроїв, що включає в себе настільні комп'ютери, мобільні обчислювальні пристрої, блокнотні (наприклад, переносні) комп'ютери, планшетні комп'ютери, телевізійні приставки, телефонні трубки, наприклад так звані "інтелектуальні" телефони, телевізори, камери, пристрої відображення, цифрові мультимедійні програвачі, ігрові приставки, автомобільні комп'ютери або т. п. [0034] Пристрій-адресат 14 може приймати кодовані відеодані від пристрою-джерела 12 по каналу 16. Канал 16 може бути виконаний у вигляді одного або більше носіїв або пристроїв, що допускають переміщення кодованих відеоданих від пристрою-джерела 12 до пристроюадресата 14. У одному прикладі канал 16 може бути виконаний у вигляді одного або більше засобів зв'язку, які дають пристрою-джерелу 12 можливість передавати кодовані відеодані безпосередньо до пристрою-адресата 14 в реальному масштабі часу. У цьому прикладі пристрій-джерело 12 може модулювати кодовані відеодані відповідно до деякого стандарту зв'язку, наприклад протоколу бездротового зв'язку, і може передавати модульовані відеодані пристрою-адресату 14. Один або більше засобів зв'язку можуть включати в себе засоби бездротового і/або дротового зв'язку, наприклад радіочастотний (RF) спектр або одна або більше фізичних ліній передачі. Один або більше засобів зв'язку можуть утворювати частину пакетної мережі, наприклад локальної мережі, регіональної мережі або глобальної мережі (наприклад, Інтернет). Один або більше засобів зв'язку можуть включати в себе 5 UA 115565 C2 5 10 15 20 25 30 35 40 45 50 55 60 маршрутизатори, комутатори, базові станції або інше обладнання, яке спрощує зв'язок від пристрою-джерела 12 до пристрою-адресата 14. [0035] У іншому прикладі канал 16 може включати в себе носій інформації, який зберігає кодовані відеодані, сформовані пристроєм-джерелом 12. У цьому прикладі пристрій-адресат 14 може звертатися до носія інформації за допомогою дискового доступу або карткового доступу. Носій інформації може включати в себе ряд локально доступних носіїв інформації, наприклад диски Blu-ray, DVD, CD-ROM, флеш-пам'ять або інші придатні цифрові носії інформації для зберігання кодованих відеоданих. [0036] У додатковому прикладі канал 16 може включати в себе файловий сервер або інший проміжний запам'ятовуючий пристрій, який зберігає кодовані відеодані, сформовані пристроємджерелом 12. У цьому прикладі пристрій-адресат 14 може звертатися до кодованих відеоданих, збережених на файловому сервері або іншому проміжному запам'ятовуючому пристрої, за допомогою потокової передачі або завантаження. Файловий сервер може бути деяким типом сервера, що допускає зберігання кодованих відеоданих і передачу кодованих відеоданих пристрою-адресату 14. Зразкові файлові сервери включають в себе веб-сервери (наприклад, для веб-сайта), сервери по протоколу передачі файлів (FTP), мережеві пристрої зберігання (NAS) і локальні накопичувачі на дисках. [0037] Пристрій-адресат 14 може звертатися до кодованих відеоданих за допомогою стандартного інформаційного з'єднання, наприклад Інтернет-з'єднання. Зразкові типи інформаційних з'єднань можуть включати в себе радіоканали (наприклад, з'єднання Wi-Fi), дротові з'єднання (наприклад, DSL, кабельний модем і т. п.) або їх поєднання, які придатні для звертання до кодованих відеоданих, збережених на файловому сервері. Передача кодованих відеоданих від файлового сервера може бути потоковою передачею, завантаженням або їх поєднанням. [0038] Методики з даного розкриття винаходу не обмежуються бездротовими додатками або настройками. Методики можуть застосовуватися до кодування відео на підтримання ряду мультимедійних додатків, таких як ефірні телепередачі, кабельні телепередачі, супутникові телепередачі, передачі потокового відео, наприклад по Інтернету, кодування відеоданих для збереження на носій інформації, декодування відеоданих, збережених на носії інформації, або інших додатків. У деяких прикладах система 10 кодування відео може конфігуруватися для підтримання однонаправленої або двонаправленої передачі відео для підтримання таких додатків, як потокова передача відео, відтворення відео, телевізійне мовлення і/або відеотелефонія. [0039] Фіг. 1 є усього лише прикладом, і методики з даного розкриття винаходу можуть застосовуватися до настройок кодування відео (наприклад, кодування відео або декодування відео), які не обов'язково включають в себе яку-небудь передачу даних між пристроями кодування і декодування. У інших прикладах дані витягуються з локального запам'ятовуючого пристрою, передаються в потоці по мережі або т. п. Пристрій кодування відео може кодувати і зберігати дані в запам'ятовуючому пристрої, і/або пристрій декодування відео може витягувати і декодувати дані із запам'ятовуючого пристрою. У багатьох прикладах кодування і декодування виконуються пристроями, які не взаємодіють один з одним, а просто кодують дані в запам'ятовуючому пристрої і/або витягують і декодують дані із запам'ятовуючого пристрою. [0040] У прикладі з фіг. 1 пристрій-джерело 12 включає в себе джерело 18 відео, відеокодер 20 і інтерфейс 22 виведення. У деяких прикладах інтерфейс 22 виведення може включати в себе модулятор/демодулятор (модем) і/або передавач. Джерело 18 відео може включати в себе пристрій відеозахоплення, наприклад відеокамеру, відеоархіви, що містять раніше захоплені відеодані, інтерфейс джерела відеосигналу для прийому відеоданих від постачальника відеоконтенту і/або систему комп'ютерної графіки для формування відеоданих або поєднання таких джерел відеоданих. [0041] Відеокодер 20 може кодувати відеодані від джерела 18 відео. У деяких прикладах пристрій-джерело 12 передає кодовані відеодані напряму пристрою-адресату 14 через інтерфейс 22 виведення. У інших прикладах кодовані відеодані також можна зберегти на носії інформації або файловому сервері для подальшого звертання пристрою-адресата 14 для декодування і/або відтворення. [0042] У прикладі з фіг. 1 пристрій-адресат 14 включає в себе інтерфейс 28 введення, відеодекодер 30 і пристрій 32 відображення. У деяких прикладах інтерфейс 28 введення включає в себе приймач і/або модем. Інтерфейс 28 введення може приймати кодовані відеодані по каналу 16. Пристрій 32 відображення може об'єднуватися з пристроєм-адресатом 14 або може бути зовнішнім відносно нього. Звичайно пристрій 32 відображення відображає декодовані відеодані. Пристрій 32 відображення може бути виконаний у вигляді ряду пристроїв 6 UA 115565 C2 5 10 15 20 25 30 35 40 45 50 55 60 відображення, наприклад рідкокристалічного дисплея (LCD), плазмового дисплея, дисплея на органічних світловипромінюючих діодах (OLED) або іншого типу пристрою відображення. [0043] Відеокодер 20 і відеодекодер 30 можуть бути реалізовані у вигляді будь-якої з ряду придатних схем, наприклад одного або більше мікропроцесорів, цифрових процесорів сигналів (DSP), спеціалізованих інтегральних схем (ASIC), програмованих користувачем вентильних матриць (FPGA), дискретної логіки, апаратних засобів або будь-яких їх поєднань. Якщо методики частково реалізовуються в програмному забезпеченні, то пристрій може зберігати команди для програмного забезпечення на придатному постійному машиночитаному носії інформації і може виконувати команди на апаратних засобах, що використовують один або більше процесорів, для виконання методик з даного розкриття винаходу. Будь-що з вищезазначеного (включаючи апаратні засоби, програмне забезпечення, поєднання апаратних засобів і програмного забезпечення і т. п.) може вважатися одним або більше процесорами. Кожний з відеокодера 20 і відеодекодера 30 може включатися в один або більше кодерів або декодерів, будь-який з яких може вбудовуватися як частина об'єднаного кодера/декодера (кодека) у відповідному пристрої. [0044] Дане розкриття винаходу загалом може посилатися на відеокодер 20, "сигналізуючий" деяку інформацію іншому пристрою, наприклад відеодекодеру 30. Термін "сигналізація" загалом може стосуватися передачі синтаксичних елементів і/або інших даних, використовуваних для декодування стиснених відеоданих. Така передача може відбуватися в реальному масштабі часу або майже в реальному масштабі часу. Навпаки, така передача може відбуватися за деякий проміжок часу, наприклад вона могла б відбуватися при збереженні синтаксичних елементів на машиночитаний носій інформації в кодованому потоці двійкових сигналів під час кодування, який [потік] потім може витягуватися пристроєм декодування в будьякий час після збереження на цей носій. [0045] У деяких прикладах відеокодер 20 і відеодекодер 30 працюють згідно зі стандартом стиснення відео, наприклад MPEG-4 Visual ISO/IEC і H.264 ITU-T (також відомим як MPEG-4 AVC ISO/IEC), що включає його розширення по масштабованому кодуванню відео (SVC), розширення по багатовидовому кодуванню відео (MVC) і розширення 3DV на основі MVC. У деяких випадках будь-який допустимий потік двійкових сигналів, що відповідає 3DV на основі MVC, завжди містить субпотік двійкових сигналів, який відповідає профілю MVC, наприклад профілю Stereo High. У інших прикладах відеокодер 20 і відеодекодер 30 можуть працювати згідно з H.261 ITU-T, MPEG-1 Visual ISO/IEC, H.262 ITU-T або MPEG-2 Visual ISO/IEC і H.264 ITU-T, Visual ISO/IEC. [0046] У інших прикладах відеокодер 20 і відеодекодер 30 можуть працювати згідно зі стандартом Високоефективного кодування відео (HEVC), розробленим Об'єднаною командою по кодуванню відео (JCT-VC) з Експертної групи в області кодування відео (VCEG) ITU-T і Експертної групи по рухомих зображеннях (MPEG) ISO/IEC. Варіант стандарту HEVC, званий "HEVC Working Draft 8", описується в документі "High Efficiency Video Coding (HEVC) text specification draft 8" під авторством Бросс (Bross) і ін., Об'єднаною команда по кодуванню відео (JCT-VC) з SG16 WP3 ITU-T і JTC1/SC29/WG11 ISO/IEC, 10-е засідання в Стокгольмі, Швеція, липень 2012 р., який за станом на 20 червня 2013 р. доступний за адресою http://phenix.intevry.fr/jct/doc_end_user/documents/10_Stockholm/wg11/JCTVC-J1003-v8.zip, весь зміст якого включається в цей документ шляхом відсилання. [0047] У HEVC і інших специфікаціях кодування відео відеопослідовність звичайно включає в себе послідовність зображень. Зображення також можуть називатися "кадрами". Зображення може включати в себе три масиви вибірок, позначених SL, SCb і SCr. SL є двовимірним масивом (тобто блоком) вибірок яскравості. SCb є двовимірним масивом вибірок кольоровості Cb. SCr є двовимірним масивом вибірок кольоровості Cr. Вибірки кольоровості в цьому документі також можуть називатися вибірками "кольоровості". У інших випадках зображення може бути монохромним і може включати в себе тільки масив вибірок яскравості. [0048] Щоб сформувати кодоване представлення зображення, відеокодер 20 може сформувати набір одиниць дерева кодування (CTU). Кожна з CTU може бути блоком дерева кодування з вибірок яскравості, двома відповідними блоками дерева кодування з вибірок кольоровості і синтаксичними структурами, використовуваними для кодування вибірок блоків дерева кодування. Блок дерева кодування може бути блоком вибірок N×N. CTU також може називатися "блоком дерева" або "найбільшою одиницею кодування" (LCU). CTU в HEVC можуть бути аналогічні в загальних рисах макроблокам з інших стандартів, наприклад H.264/AVC. Однак CTU не обов'язково обмежується конкретним розміром і може включати в себе одну або більше одиниць кодування (CU). Секція може включати в себе ціле число CTU, впорядкованих послідовно при растровому скануванні. 7 UA 115565 C2 5 10 15 20 25 30 35 40 45 50 55 [0049] Щоб сформувати кодовану CTU, відеокодер 20 може рекурсивно виконати розбиття квадродерева для блоків дерева кодування у CTU, щоб розділити блоки дерева кодування на блоки кодування, звідси назва "одиниці дерева кодування". Блок кодування є блоком вибірок N×N. CU може бути блоком кодування з вибірок яскравості і двома відповідними блоками кодування з вибірок кольоровості зображення, яке має масив вибірок яскравості, масив вибірок Cb і масив вибірок Cr, і синтаксичними структурами, використовуваними для кодування вибірок блоків кодування. У випадках, де зображення є монохромним, або де зображення представляється у вигляді трьох відокремлених колірних площин, CU може бути блоком кодування вибірок і синтаксичними структурами, використовуваними для кодування вибірок блока кодування. Відеокодер 20 може розбити блок кодування у CU на один або більше блоків прогнозування. Блок прогнозування може бути прямокутним (тобто квадратним або неквадратним) блоком вибірок, до якого застосовується однакове прогнозування. Одиниця прогнозування (PU) у CU може бути блоком прогнозування з вибірок яскравості, двома відповідними блоками прогнозування з вибірок кольоровості зображення і синтаксичними структурами, використовуваними для прогнозування вибірок блока прогнозування. Відеокодер 20 може формувати блоки яскравості, Cb і Cr з прогнозуванням для блоків прогнозування яскравості, Cb і Cr у кожної PU в CU. [0050] Відеокодер 20 може використовувати внутрішнє прогнозування або зовнішнє прогнозування для формування блоків з прогнозуванням для PU. Якщо відеокодер 20 використовує внутрішнє прогнозування для формування блоків з прогнозуванням в PU, то відеокодер 20 може формувати блоки з прогнозуванням в PU на основі декодованих вибірок зображення, асоційованого з PU. [0051] Якщо відеокодер 20 використовує зовнішнє прогнозування для формування блоків з прогнозуванням в PU, то відеокодер 20 може формувати блоки з прогнозуванням в PU на основі декодованих вибірок одного або більше зображень крім зображення, асоційованого з PU. Відеокодер 20 може використовувати однонаправлене прогнозування або двонаправлене прогнозування для формування блоків з прогнозуванням в PU. Коли відеокодер 20 використовує однонаправлене прогнозування для формування блоків з прогнозуванням для PU, PU може мати один вектор руху. Коли відеокодер 20 використовує двонаправлене прогнозування для формування блоків з прогнозуванням для PU, PU може мати два вектори руху. [0052] Після того, як відеокодер 20 формує блоки яскравості, Cb і Cr з прогнозуванням для однієї або більше PU в CU, відеокодер 20 може сформувати залишковий блок яскравості для CU. Кожна вибірка в залишковому блоці яскравості у CU вказує різницю між вибіркою яскравості в одному з блоків яскравості з прогнозуванням у CU і відповідною вибіркою у вихідному блоці кодування яскравості у CU. До того ж відеокодер 20 може формувати залишковий блок Cb для CU. Кожна вибірка в залишковому блоці Cb у CU може вказувати різницю між вибіркою Cb в одному з блоків Cb з прогнозуванням у CU і відповідною вибіркою у вихідному блоці кодування Cb у CU. Відеокодер 20 також може формувати залишковий блок Cr для CU. Кожна вибірка в залишковому блоці Cr у CU може вказувати різницю між вибіркою Cr в одному з блоків Cr з прогнозуванням у CU і відповідною вибіркою у вихідному блоці кодування Cr у CU. [0053] Крім того, відеокодер 20 може використовувати розбиття квадродерева для розкладання залишкових блоків яскравості, Cb і Cr в CU на один або більше блоків перетворення яскравості, Cb і Cr. Блок перетворення може бути прямокутним блоком вибірок, до якого застосовується однакове перетворення. Одиниця перетворення (TU) в CU може бути блоком перетворення з вибірок яскравості, двома відповідними блоками перетворення з вибірок кольоровості і синтаксичними структурами, використовуваними для перетворення вибірок блока перетворення. Таким чином, кожна TU в CU може асоціюватися з блоком перетворення яскравості, блоком перетворення Cb і блоком перетворення Cr. Блок перетворення яскравості, асоційований з TU, може бути субблоком залишкового блока яскравості у CU. Блок перетворення Cb може бути субблоком залишкового блока Cb у CU. Блок перетворення Cr може бути субблоком залишкового блока Cr у CU. [0054] Відеокодер 20 може застосувати одне або більше перетворень до блока перетворення яскравості у TU, щоб сформувати блок коефіцієнтів яскравості для TU. Блок коефіцієнтів може бути двовимірним масивом коефіцієнтів перетворення. Коефіцієнт перетворення може бути скалярною величиною. Відеокодер 20 може застосувати одне або більше перетворень до блока перетворення Cb у TU, щоб сформувати блок коефіцієнтів Cb для TU. Відеокодер 20 може застосувати одне або більше перетворень до блока перетворення Cr у TU, щоб сформувати блок коефіцієнтів Cr для TU. 8 UA 115565 C2 5 10 15 20 25 30 35 40 45 50 55 60 [0055] Після формування блока коефіцієнтів (наприклад, блока коефіцієнтів яскравості, блока коефіцієнтів Cb або блока коефіцієнтів Cr) відеокодер 20 може квантувати блок коефіцієнтів. Квантування загалом належить до процесу, в якому коефіцієнти перетворення квантуються, щоб зменшити по можливості об'єм даних, використовуваний для представлення коефіцієнтів перетворення, забезпечуючи додаткове стиснення. Після того, як відеокодер 20 квантує блок коефіцієнтів, відеокодер 20 може ентропійно кодувати синтаксичні елементи, що вказують квантовані коефіцієнти перетворення. Наприклад, відеокодер 20 може виконати контекстно-адаптивне двійкове арифметичне кодування (CABAC) над синтаксичними елементами, що вказують квантовані коефіцієнти перетворення. Відеокодер 20 може вивести ентропійно кодовані синтаксичні елементи в потік двійкових сигналів. [0056] Крім того, відеодекодер 30 може виконати зворотне квантування і може застосувати зворотне перетворення до блоків коефіцієнтів, щоб відновити блоки перетворення у CU. Відеокодер 20 щонайменше частково на основі відновлених блоків перетворення у CU і блоків з прогнозуванням у PU в CU може відновити блоки кодування у CU. Буфер декодованих зображень (DPB) у відеокодері 20 може зберігати відновлені блоки кодування у CU декількох зображень. Відеокодер 20 може використовувати зображення, збережені в DPB (тобто еталонні зображення), для виконання зовнішнього прогнозування над PU інших зображень. [0057] Відеокодер 20 може вивести потік двійкових сигналів, який включає в себе послідовність розрядів, яка утворює представлення кодованих зображень і асоційованих даних. Потік двійкових сигналів може містити послідовність одиниць на рівні абстракції мережі (NAL). Кожна з одиниць NAL включає в себе заголовок одиниці NAL і включає в себе корисне навантаження необробленої послідовності байтів (RBSP). Заголовок одиниці NAL може включати в себе синтаксичний елемент, який вказує код типу одиниці NAL. Код типу одиниці NAL, заданий заголовком одиниці NAL у одиниці NAL, вказує тип одиниці NAL. RBSP може бути синтаксичною структурою, що містить ціле число байтів, яка включається в одиницю NAL. У деяких випадках RBSP включає в себе нульові розряди. [0058] Різні типи одиниць NAL можуть включати в себе різні типи RBSP. Наприклад, перший тип одиниці NAL може включати в себе RBSP для набору параметрів зображення (PPS), другий тип одиниці NAL може включати в себе RBSP для кодованої секції, третій тип одиниці NAL може включати в себе RBSP для додаткової інформації розширення (SEI) і так далі. Одиниці NAL, які включають в себе RBSP для даних кодування відео (на відміну від RBSP для наборів параметрів і повідомлень SEI), можуть називатися одиницями NAL на рівні відеокодування (VCL). [0059] Відеодекодер 30 може прийняти потік двійкових сигналів, сформований відеокодером 20. До того ж відеодекодер 30 може проаналізувати потік двійкових сигналів, щоб одержати синтаксичні елементи з цього потоку двійкових сигналів. Відеодекодер 30 може відновити зображення у відеоданих, щонайменше частково, на основі синтаксичних елементів, одержаних з потоку двійкових сигналів. Процес для відновлення відеоданих загалом може бути зворотним процесу, виконаному відеокодером 20. Наприклад, відеодекодер 30 може використовувати вектори руху PU для визначення блоків з прогнозуванням для PU в поточній CU. До того ж відеодекодер 30 може зворотно квантувати блоки коефіцієнтів, асоційовані з TU в поточній CU. Відеодекодер 30 може виконати зворотні перетворення над блоками коефіцієнтів, щоб відновити блоки перетворення, асоційовані з TU в поточній CU. Відеодекодер 30 може відновити блоки кодування в поточній CU шляхом складання вибірок блоків з прогнозуванням для PU в поточній CU з відповідними вибірками блоків перетворення у TU в поточній CU. Шляхом відновлення блоків кодування для кожної CU поточного зображення відеодекодер 30 може відновити поточне зображення. Відеодекодер 30 може зберегти відновлене поточне зображення в DPB для використання при зовнішньому прогнозуванні PU в інших зображеннях. [0060] Значення лічильника послідовності зображень (POC) є значенням, яке ідентифікує одне або більше зображень, виникаючих в один момент часу (тобто в одній одиниці доступу). У базовому HEVC тільки одне зображення виникає в одиниці доступу. У масштабованому, багатовидовому або 3-вимірному кодуванні відео декілька зображень можуть виникати в один момент часу, і тому значення POC може ідентифікувати декілька зображень, тобто на різних рівнях. Відеокодер 20 і відеодекодер 30 можуть використовувати значення POC зображень, щоб ідентифікувати зображення (наприклад, для використання при зовнішньому прогнозуванні). [0061] Коли відеокодер 20 починає кодування поточного зображення у відеоданих, відеокодер 20 може сформувати п'ять списків значень POC: PocStCurrBefore, PocStCurrAfter, PocStFoll, PocLtCurr і PocLtFoll. Відеокодер 20 може використовувати ці п'ять списків значень POC для формування п'яти відповідних підмножин еталонних зображень для поточного зображення: RefPicSetStCurrBefore, RefPicSetStCurrAfter, RefPicSetStFoll, RefPicSetLtCurr і 9 UA 115565 C2 5 10 15 20 25 30 RefPicSetLtFoll. Для кожного значення POC в списку значень POC (наприклад, PocStCurrBefore, PocStCurrAfter, PocStFoll, PocLtCurr і PocLtFoll) відеокодер 20 може визначити, чи включає DPB в себе еталонне зображення, яке має значення POC, і, якщо це так, то відеокодер 20 включає еталонне зображення в набір еталонних зображень, відповідний списку значень POC. [0062] Еталонні зображення в RefPicSetStCurrBefore, RefPicSetStCurrAfter, RefPicSetStFoll називаються "короткостроковими еталонними зображеннями" або "STRP". Еталонні зображення в RefPicSetLtCurr і RefPicSetLtFoll називаються "довгостроковими еталонними зображеннями" або "LTRP". У деяких випадках LTRP можуть залишатися доступними для використання у зовнішньому прогнозуванні протягом більш тривалих періодів часу, ніж STRP. Відеокодер 20 може відновити п'ять списків значень POC і відповідні набори еталонних зображень для кожного зображення у відеоданих. [0063] Крім того, коли поточна секція поточного зображення є Р-секцією, відеокодер 20 може використовувати еталонні зображення з підмножин RefPicStCurrAfter, RefPicStCurrBefore і RefPicStLtCurr еталонних зображень у поточного зображення, щоб сформувати для поточної секції один список еталонних зображень, RefPicList0. Коли поточна секція є В-секцією, відеокодер 20 може використовувати еталонні зображення з підмножин RefPicStCurrAfter, RefPicStCurrBefore і RefPicStLtCurr еталонних зображень у поточного зображення, щоб сформувати для поточної секції два списки еталонних зображень, RefPicList0 і RefPicList1. Коли відеокодер 20 використовує зовнішнє прогнозування, щоб сформувати блок з прогнозуванням в PU поточного зображення, відеокодер 20 може формувати блоки з прогнозуванням в PU, щонайменше частково, на основі одного або більше еталонних зображень в одному або більше списках еталонних зображень для поточної секції. [0064] Відеокодер 20 може сигналізувати набір записів LTRP в наборі параметрів послідовності (SPS). Іншими словами, SPS може явно сигналізувати набір записів LTRP. Кожний із записів LTRP може вказувати еталонне зображення і може вказувати, чи використовується еталонне зображення для еталона поточним зображенням. Крім того, відеокодер 20 може сигналізувати індекси до записів LTRP, сигналізованих в SPS, який застосовний до поточного зображення, в заголовку секції у першої (в порядку кодування) секції поточного зображення. Таким чином, заголовок секції може неявно сигналізувати записи LTRP (тобто індекс до них). До того ж відеокодер 20 може сигналізувати в заголовку секції у першої секції поточного зображення додаткові записи LTRP. Іншими словами, заголовок секції може явно сигналізувати додаткові записи LTRP. [0065] Таблиця 1 нижче показує синтаксис частини відносно LTRP в рамках SPS. Таблиця 1 Синтаксис SPS, пов'язаний з LTRP … long_term_ref_pics_present_flag if(long_term_ref_pics_present_flag) { num_long_term_ref_pics_sps for(i=0; i1) еталонних зображень зі значеннями POC, що мають однакові LSB, і (n1) з цих зображень сигналізуються як STRP, а n-е зображення сигналізується як LTRP, тоді MSB значення POC у LTRP не дозволено сигналізувати. [0092] У Робочому варіанті 8 HEVC SPS може включати в себе множину синтаксичних структур набору короткострокових еталонних зображень (STRPS) (наприклад, синтаксичних структур short_term_ref_pic_set). Заголовок секції може або включати в себе синтаксичну структуру STRPS, або включати в себе один або більше синтаксичних елементів, що вказують одну з синтаксичних структур STRPS в застосовному SPS. Набори STRP (тобто RefPicSetStCurrBefore, RefPicSetStCurrAfter і RefPicSetStFoll) для поточного зображення можна сигналізувати в синтаксичній структурі STRPS. [0093] Точніше кажучи, набори STRP для поточного зображення можна сигналізувати в синтаксичній структурі STRPS одним з двох способів. У першому способі синтаксична структура STRPS включає в себе синтаксичні елементи, які дають відеодекодеру 30 можливість визначити, щонайменше частково, на основі синтаксичних елементів в еталонній синтаксичній структурі STRPS в застосовному SPS, масив значень DeltaPocS0 і масив значень DeltaPocS1. У другому способі синтаксична структура STRPS включає в себе синтаксичні елементи, які дають відеодекодеру 30 можливість визначити масив значень DeltaPocS0 і масив значень DeltaPocS1 без звертання до якої-небудь іншої синтаксичної структури STRPS. Масив значень DeltaPocS0 вказує значення для додавання до значення POC поточного зображення, щоб визначити значення POC в PocStCurrBefore і PocStFoll. Масив значень DeltaPocS1 вказує значення для віднімання із значення POC поточного зображення, щоб визначити значення POC в PocStCurrAfter і PocStFoll. Як указано вище, відеодекодер 30 може визначити RefPicSetStCurrBefore, щонайменше частково, на основі PocStCurrBefore. Відеодекодер 30 може визначити RefPicSetStCurrAfter, щонайменше частково, на основі PocStCurrAfter. Відеодекодер 30 може визначити RefPicStFoll, щонайменше частково, на основі PocStFoll. [0094] Інший зразковий недолік схеми сигналізації з Робочого варіанта 8 HEVC полягає в тому, що можна повторювати одні і ті ж STRP в списку STRP, що потрібно заборонити. Іншими словами, SPS може включати в себе декілька ідентичних синтаксичних структур STRPS. Також можливо, що синтаксична структура STRPS, явно сигналізована в заголовку секції, ідентична синтаксичній структурі STRPS, сигналізованій в SPS, що також потрібно заборонити. Тому одна або більше методик з даного розкриття винаходу можуть обмежити відеокодер 20 так, що ніякі два варіанти набору короткострокових еталонних зображень (тобто ніякі дві синтаксичні структури STRPS), сигналізовані в SPS, не є ідентичними. Крім того, відповідно до однієї або більше методик з даного розкриття винаходу відеокодер 20 обмежується в сигналізації синтаксичної структури STRPS в заголовку секції, якщо ідентичний шаблон (тобто синтаксична структура STRPS) сигналізується серед варіантів короткострокових RPS (тобто синтаксичних структур STRPS) в SPS. А саме, шаблон набору короткострокових еталонних зображень (тобто синтаксичну структуру STRPS) не можна явно сигналізувати в заголовку секції, якщо ідентичний варіант (тобто ідентична синтаксична структура STRPS) присутній в списку варіантів в SPS. [0095] Фіг. 2 - блок-схема, що ілюструє зразковий відеокодер 20, який може реалізувати методики з даного розкриття винаходу. Фіг. 2 надається з метою пояснення і її не треба розглядати як обмежуючу методики, які в загальних рисах ілюструються і описуються в даному розкритті винаходу. З метою пояснення дане розкриття винаходу описує відеокодер 20 15 UA 115565 C2 5 10 15 20 25 30 35 40 45 50 55 застосовно до кодування HEVC. Однак методики з даного розкриття винаходу можуть бути застосовні до інших стандартів або способів кодування. [0096] У прикладі з фіг. 2 відеокодер 20 включає в себе модуль 100 обробки з прогнозуванням, модуль 102 формування залишку, модуль 104 обробки з перетворенням, модуль 106 квантування, модуль 108 зворотного квантування, модуль 110 обробки із зворотним перетворенням, модуль 112 відновлення, модуль 114 фільтрів, буфер 116 декодованих зображень і модуль 118 ентропійного кодування. Модуль 100 обробки з прогнозуванням включає в себе модуль 120 обробки із зовнішнім прогнозуванням і модуль 126 обробки з внутрішнім прогнозуванням. Модуль 120 обробки із зовнішнім прогнозуванням включає в себе модуль 122 оцінки руху і модуль 124 компенсації руху. У інших прикладах відеокодер 20 може включати в себе більше, менше компонентів або інші функціональні компоненти. [0097] Відеокодер 20 може прийняти відеодані. Відеокодер 20 може кодувати кожну CTU в секції зображення у відеоданих. Кожна з CTU може асоціюватися з блоками дерева кодування (CTB) яскравості однакового розміру і відповідними CTB зображення. Модуль 100 обробки з прогнозуванням може виконати розбиття квадродерева як частину кодування CTU, щоб розділити CTB в CTU на поступово більш дрібні блоки. Більш дрібні блоки можуть бути блоками кодування CU. Наприклад, модуль 100 обробки з прогнозуванням може розбити CTB, асоційований з CTU, на чотири субблоки однакового розміру, розбити один або більше субблоків на чотири підсубблоки однакового розміру і так далі. [0098] Відеокодер 20 може кодувати CU в CTU, щоб сформувати кодовані представлення CU (тобто кодовані CU). Як частину кодування CU модуль 100 обробки з прогнозуванням може розподілити блоки кодування, асоційовані з CU, між однією або більше PU в CU. Таким чином, кожна PU може асоціюватися з блоком прогнозування яскравості і відповідними блоками прогнозування кольоровості. Відеокодер 20 і відеодекодер 30 можуть підтримувати PU, що мають різні розміри. Як указано вище, розмір CU може належати до розміру блока кодування яскравості в CU, а розмір PU може належати до розміру блока прогнозування яскравості в PU. Передбачаючи розмір конкретної CU таким, що дорівнює 2N×2N, відеокодер 20 і відеодекодер 30 можуть підтримувати розміри PU в 2N×2N або N×N для внутрішнього прогнозування і симетричні розміри PU в 2N×2N, 2N×N, N×2N, N×N або аналогічні для зовнішнього прогнозування. Відеокодер 20 і відеодекодер 30 також можуть підтримувати асиметричне розбиття для розмірів PU в 2N×nU, 2N×nD, nL×2N і nR×2N для зовнішнього прогнозування. [0099] Модуль 120 обробки із зовнішнім прогнозуванням може сформувати дані з прогнозуванням для PU шляхом виконання зовнішнього прогнозування над кожною PU в CU. Дані з прогнозуванням для PU можуть включати в себе блоки з прогнозуванням з PU і інформацію про рух для PU. Модуль 120 обробки із зовнішнім прогнозуванням може виконувати різні операції для PU в CU залежно від того, чи знаходиться PU в I-секції, Р-секції або В-секції. У I-секції всі PU мають внутрішнє прогнозування. Тому, якщо PU знаходиться в I-секції, то модуль 120 обробки із зовнішнім прогнозуванням не виконує зовнішнє прогнозування над цією PU. [0100] Коли відеокодер 20 починає кодування поточного зображення, модуль 120 обробки із зовнішнім прогнозуванням може визначити підмножини еталонних зображень для поточного зображення. Крім того, модуль 120 обробки із зовнішнім прогнозуванням, щонайменше частково, на основі підмножин еталонних зображень для поточного зображення може визначити один або більше списків еталонних зображень для поточного зображення. Модуль 120 обробки із зовнішнім прогнозуванням може сигналізувати підмножини еталонних зображень для поточного зображення з використанням синтаксичних елементів в SPS, застосовному до поточного зображення, і одному або більше заголовках секцій у однієї або більше секцій поточного зображення. [0101] Відповідно до однієї або більше методик з даного розкриття винаходу модуль 120 обробки із зовнішнім прогнозуванням може сформувати заголовок секції для поточної секції поточного зображення так, що заголовок секції не сигналізує (явно або за допомогою індексування) два записи LTRP, асоційовані з одним і тим же еталонним зображенням. Наприклад, модуль 120 обробки із зовнішнім прогнозуванням може сигналізувати перший запис LTRP в заголовку секції. У цьому прикладі перший запис LTRP може вказувати, що конкретне еталонне зображення знаходиться в наборі довгострокових еталонних зображень поточного зображення. Крім того, в цьому прикладі модуль 120 обробки із зовнішнім прогнозуванням може сигналізувати другий запис LTRP в заголовку секції, тільки якщо другий запис LTRP не вказує, що конкретне еталонне зображення знаходиться в наборі довгострокових еталонних зображень у поточного зображення. 16 UA 115565 C2 5 10 15 20 25 30 35 40 45 50 55 [0102] Якщо PU знаходиться в Р-секції, то модуль 122 оцінки руху може шукати еталонну область для PU в еталонних зображеннях в списку еталонних зображень (наприклад, "RefPicList0"). Еталонна область для PU може бути областю в еталонному зображенні, яка містить вибіркові блоки, які точніше усього відповідають блокам прогнозування в PU. Модуль 122 оцінки руху може сформувати індекс еталона, який вказує положення в RefPicList0 еталонного зображення, що містить еталонну область для PU. До того ж модуль 122 оцінки руху може сформувати вектор руху, який вказує просторове зміщення між блоком кодування в PU і еталонним місцеположенням, асоційованим з еталонною областю. Наприклад, вектор руху може бути двовимірним вектором, який надає зміщення від координат в поточному декодованому зображенні до координат в еталонному зображенні. Модуль 122 оцінки руху може вивести індекс еталона і вектор руху як інформацію про рух PU. Модуль 124 компенсації руху може сформувати блоки з прогнозуванням в PU на основі фактичних або інтерпольованих вибірок в еталонному місцеположенні, вказаному вектором руху PU. [0103] Якщо PU знаходиться в В-секції, то модуль 122 оцінки руху може виконати однонаправлене прогнозування або двонаправлене прогнозування для PU. Щоб виконати однонаправлене прогнозування для PU, модуль 122 оцінки руху може шукати еталонну область для PU в еталонних зображеннях з RefPicList0 або другого списку еталонних зображень ("RefPicList1"). Модуль 122 оцінки руху як інформацію про рух PU може вивести індекс еталона, який вказує положення еталонного зображення, яке містить еталонну область, в RefPicList0 або RefPicList1, вектор руху, який вказує просторове зміщення між вибірковим блоком в PU і еталонним місцеположенням, асоційованим з еталонною областю, і один або більше індикаторів напрямку прогнозування, які вказують, чи знаходиться еталонне зображення в RefPicList0 або в RefPicList1. Модуль 124 компенсації руху може сформувати блоки з прогнозуванням в PU, щонайменше частково, на основі фактичних або інтерпольованих вибірок в еталонній області, вказаній вектором руху PU. [0104] Щоб виконати двонаправлене зовнішнє прогнозування для PU, модуль 122 оцінки руху може шукати еталонну область для PU в еталонних зображеннях в RefPicList0, а також може шукати іншу еталонну область для PU в еталонних зображеннях в RefPicList1. Модуль 122 оцінки руху може сформувати індекси еталона, які вказують положення еталонних зображень, які містять еталонні області, в RefPicList0 і RefPicList1. До того ж модуль 122 оцінки руху може сформувати вектори руху, які вказують просторові зміщення між еталонними місцеположеннями, асоційованими з еталонними областями, і блоком прогнозування в PU. Інформація про рух PU може включати в себе індекси еталона і вектори руху PU. Модуль 124 компенсації руху може сформувати вибіркові блоки з прогнозуванням в PU, щонайменше частково, на основі фактичних або інтерпольованих вибірок в еталонній області, вказаній векторами руху PU. [0105] Модуль 126 обробки з внутрішнім прогнозуванням може сформувати дані з прогнозуванням для PU шляхом виконання внутрішнього прогнозування над PU. Дані з прогнозуванням для PU можуть включати в себе вибіркові блоки з прогнозуванням для PU і різні синтаксичні елементи. Модуль 126 обробки з внутрішнім прогнозуванням може виконувати внутрішнє прогнозування над PU в I-секціях, Р-секціях і В-секціях. [0106] Щоб виконати внутрішнє прогнозування над PU, модуль 126 обробки з внутрішнім прогнозуванням може використовувати декілька режимів внутрішнього прогнозування для формування декількох наборів даних з прогнозуванням для PU. Модуль 126 обробки з внутрішнім прогнозуванням може використовувати вибірки з просторово сусідніх блоків, щоб формувати блоки з прогнозуванням в PU. Сусідні PU можуть знаходитися вище, вище і справа, вище і зліва або зліва від PU, передбачаючи порядок кодування зліва-направо, зверху-вниз для PU, CU і CTU. Модуль 126 обробки з внутрішнім прогнозуванням може використовувати різні кількості режимів внутрішнього прогнозування, наприклад 33 режими направленого внутрішнього прогнозування. У деяких прикладах кількість режимів внутрішнього прогнозування може залежати від розміру блоків прогнозування, асоційованих з PU. [0107] Модуль 100 обробки з прогнозуванням може вибирати дані з прогнозуванням для PU в CU з даних з прогнозуванням, сформованих для PU модулем 120 обробки із зовнішнім прогнозуванням, або даних з прогнозуванням, сформованих для PU модулем 126 обробки з внутрішнім прогнозуванням. У деяких прикладах модуль 100 обробки з прогнозуванням вибирає дані з прогнозуванням для PU в CU на основі показників спотворення залежно від швидкості передачі у наборів даних з прогнозуванням. Блоки з прогнозуванням у вибраних даних з прогнозуванням в цьому документі можуть називатися вибраними блоками з прогнозуванням. 17 UA 115565 C2 5 10 15 20 25 30 35 40 45 50 55 60 [0108] Модуль 102 формування залишку на основі блоків кодування яскравості, Cb і Cr у CU і вибраних блоків яскравості, Cb і Cr з прогнозуванням у PU в CU може сформувати залишкові блоки яскравості, Cb і Cr у CU. Наприклад, модуль 102 формування залишку може сформувати залишкові блоки у CU так, що кожна вибірка в залишкових блоках має значення, що дорівнює різниці між вибіркою в блоці кодування у CU і відповідною вибіркою у відповідному вибраному блоці з прогнозуванням у PU в CU. [0109] Модуль 104 обробки з перетворенням може виконати розбиття квадродерева для розбиття залишкових блоків, асоційованих з CU, на блоки перетворення, асоційовані з TU в CU. Таким чином, TU може асоціюватися з блоком перетворення яскравості і двома відповідними блоки перетворення кольоровості. Розміри і положення блоків перетворення яскравості і кольоровості у TU в CU можуть основуватися або не основуватися на розмірах і положеннях блоків прогнозування у PU в CU. Структура квадродерева, відома як "залишкове квадродерево" (RQT), може включати в себе вузли, асоційовані з кожною з областей. TU в CU можуть відповідати листам в RQT. [0110] Модуль 104 обробки з перетворенням може сформувати блоки коефіцієнтів для кожної TU в CU шляхом застосування одного або більше перетворень до блоків перетворення в TU. Модуль 104 обробки з перетворенням може застосовувати різні перетворення до блока перетворення, асоційованого з TU. Наприклад, модуль 104 обробки з перетворенням може застосовувати до блока перетворення дискретне косинусне перетворення (DCT), направлене перетворення або концептуально схоже перетворення. У деяких прикладах модуль 104 обробки з перетворенням не застосовує перетворення до блока перетворення. У таких прикладах блок перетворення може розглядатися як блок коефіцієнтів. [0111] Модуль 106 квантування може квантувати коефіцієнти перетворення в блоці коефіцієнтів. Процес квантування може зменшити розрядну глибину, асоційовану з деякими або всіма коефіцієнтами перетворення. Наприклад, n-розрядний коефіцієнт перетворення під час квантування можна округлити в меншу сторону до m-розрядного коефіцієнта перетворення, де n більше m. Модуль 106 квантування може квантувати блок коефіцієнтів, асоційований з TU в CU, на основі значення параметра квантування (QP), асоційованого з CU. Відеокодер 20 може регулювати міру квантування, застосовуваного до блоків коефіцієнтів, асоційованих з CU, шляхом регулювання значення QP, асоційованого з CU. Квантування може привносити втрату інформації, таким чином квантовані коефіцієнти перетворення можуть мати меншу точність, ніж вихідні коефіцієнти перетворення. [0112] Модуль 108 зворотного квантування і модуль 110 обробки із зворотним перетворенням можуть застосувати до блока коефіцієнтів відповідно зворотне квантування і зворотні перетворення, щоб відновити залишковий блок з блока коефіцієнтів. Модуль 112 відновлення може скласти вибірки відновленого залишкового блока з відповідними вибірками з одного або більше блоків з прогнозуванням, сформованих модулем 100 обробки з прогнозуванням, щоб створити відновлений блок перетворення, асоційований з TU. Шляхом відновлення таким чином блоків перетворення для кожної TU в CU відеокодер 20 може відновити блоки кодування в CU. [0113] Модуль 114 фільтрів може виконати одну або більше операцій зменшення блоковості, щоб зменшити блокові артефакти в блоках кодування, асоційованих з CU. Буфер 116 декодованих зображень може зберегти відновлені блоки кодування після того, як модуль 114 фільтрів виконає одну або більше операцій зменшення блоковості над відновленими блоками кодування. Модуль 120 обробки із зовнішнім прогнозуванням може використовувати еталонне зображення, яке містить відновлені блоки кодування, щоб виконати зовнішнє прогнозування над PU інших зображень. До того ж модуль 126 обробки з внутрішнім прогнозуванням може використовувати відновлені блоки кодування в буфері 116 декодованих зображень, щоб виконати внутрішнє прогнозування над іншими PU в тому ж зображенні, що і CU. [0114] Модуль 118 ентропійного кодування може приймати дані від інших функціональних компонентів відеокодера 20. Наприклад, модуль 118 ентропійного кодування може приймати блоки коефіцієнтів від модуля 106 квантування і може приймати синтаксичні елементи від модуля 100 обробки з прогнозуванням. Модуль 118 ентропійного кодування може виконати одну або більше операцій ентропійного кодування над даними, щоб сформувати ентропійно кодовані дані. Наприклад, модуль 118 ентропійного кодування може виконати операцію контекстно-адаптивного кодування із змінною довжиною (CAVLC), операцію CABAC, операцію кодування змінної довжини з нерівномірним кодом (V2V), операцію синтаксичного контекстноадаптивного двійкового арифметичного кодування (SBAC), операцію ентропійного кодування з розбиттям на інтервали імовірності (PIPE), операцію експоненціального кодування Голомба або 18 UA 115565 C2 5 10 15 20 25 30 35 40 45 50 55 60 інший тип операції ентропійного кодування над даними. Відеокодер 20 може вивести потік двійкових сигналів, який включає в себе ентропійно кодовані дані, сформовані модулем 118 ентропійного кодування. Наприклад, потік двійкових сигналів може включати в себе дані, які представляють RQT для CU. [0115] Фіг. 3 - блок-схема, що ілюструє зразковий відеодекодер 30, який конфігурується для реалізації методик з даного розкриття винаходу. Фіг. 3 надається з метою пояснення і не обмежує методики, які в загальних рисах ілюструються і описуються в даному розкритті винаходу. З метою пояснення дане розкриття винаходу описує відеодекодер 30 застосовно до кодування HEVC. Однак методики з даного розкриття винаходу можуть бути застосовні до інших стандартів або способів кодування. Потік двійкових сигналів також може включати в себе синтаксичні елементи, які не кодуються ентропійно. [0116] У прикладі з фіг. 3 відеодекодер 30 включає в себе модуль 150 ентропійного декодування, модуль 152 обробки з прогнозуванням, модуль 154 зворотного квантування, модуль 156 обробки із зворотним перетворенням, модуль 158 відновлення, модуль 160 фільтрів і буфер 162 декодованих зображень. Модуль 152 обробки з прогнозуванням включає в себе модуль 164 компенсації руху і модуль 166 обробки з внутрішнім прогнозуванням. У інших прикладах відеодекодер 30 може включати в себе більше, менше компонентів або інші функціональні компоненти. [0117] Відеодекодер 30 може прийняти потік двійкових сигналів. Модуль 150 ентропійного декодування може проаналізувати потік двійкових сигналів, щоб одержати синтаксичні елементи з потоку двійкових сигналів. Модуль 150 ентропійного декодування може ентропійно декодувати ентропійно кодовані синтаксичні елементи в потоці двійкових сигналів. Модуль 152 обробки з прогнозуванням, модуль 154 зворотного квантування, модуль 156 обробки із зворотним перетворенням, модуль 158 відновлення і модуль 160 фільтрів можуть сформувати декодовані відеодані на основі синтаксичних елементів, одержаних з потоку двійкових сигналів. [0118] Потік двійкових сигналів може містити послідовність одиниць NAL. Одиниці NAL в потоці двійкових сигналів можуть включати в себе одиниці NAL кодованої секції. Модуль 150 ентропійного декодування може одержати і ентропійно декодувати синтаксичні елементи з одиниць NAL кодованої секції як частину декодування потоку двійкових сигналів. Кожна з кодованих секцій може включати в себе заголовок секції і дані секції. Заголовок секції може містити синтаксичні елементи, що стосуються секції. Синтаксичні елементи в заголовку секції можуть включати в себе синтаксичний елемент, який ідентифікує PPS, асоційований із зображенням (тобто застосовний до нього), яке містить секцію. [0119] На доповнення до одержання синтаксичних елементів з потоку двійкових сигналів відеодекодер 30 може виконати операцію відновлення над CU. Щоб виконати операцію відновлення над CU, відеодекодер 30 може виконати операцію відновлення над кожною TU в CU. Шляхом виконання операції відновлення для кожної TU в CU відеодекодер 30 може відновити залишкові блоки в CU. [0120] Як частину виконання операції відновлення над TU в CU модуль 154 зворотного квантування може зворотно квантувати, тобто деквантувати, блоки коефіцієнтів, асоційовані з TU. Модуль 154 зворотного квантування може використовувати значення QP, асоційоване з CU, щоб визначити міру квантування, а також міру зворотного квантування для застосування модулем 154 зворотного квантування. Тобто можна керувати коефіцієнтом стиснення, тобто відношенням кількості розрядів, використовуваних для представлення вихідної послідовності і стисненої послідовності, шляхом регулювання значення QP, використовуваного при квантуванні коефіцієнтів перетворення. Коефіцієнт стиснення також може залежати від застосовуваного способу ентропійного кодування, при наявності такого. [0121] Після того, як модуль 154 зворотного квантування зворотно квантує блок коефіцієнтів, модуль 156 обробки із зворотним перетворенням може застосувати одне або більше зворотних перетворень до блока коефіцієнтів, щоб сформувати залишковий блок, асоційований з TU. Наприклад, модуль 156 обробки із зворотним перетворенням може застосувати зворотне DCT, зворотне цілочислове перетворення, зворотне перетворення Карунена-Лоева (KLT), зворотне обертальне перетворення, зворотне направлене перетворення або інше зворотне перетворення до блока коефіцієнтів. [0122] Якщо PU кодується з використанням внутрішнього прогнозування, то модуль 166 обробки з внутрішнім прогнозуванням може виконати внутрішнє прогнозування, щоб сформувати блоки з прогнозуванням для PU. Модуль 166 обробки з внутрішнім прогнозуванням може використовувати режим внутрішнього прогнозування, щоб сформувати блоки яскравості, Cb і Cr з прогнозуванням для PU на основі блоків прогнозування просторовосусідніх PU. Модуль 166 обробки з внутрішнім прогнозуванням може визначити режим 19 UA 115565 C2 5 10 15 20 25 30 35 40 45 50 55 60 внутрішнього прогнозування для PU на основі одного або більше синтаксичних елементів, одержаних з потоку двійкових сигналів. [0123] Коли відеодекодер 30 починає декодування поточного зображення, модуль 152 обробки з прогнозуванням може визначити підмножини еталонних зображень для поточного зображення на основі синтаксичних елементів в SPS, застосовному до поточного зображення, і синтаксичних елементів в заголовку секції у секції поточного зображення. Підмножини еталонних зображень для поточного зображення можуть включати в себе RefPicSetStCurrBefore, RefPicSetStCurrAfter, RefPicSetStFoll, RefPicSetLtCurr і RefPicSetLtFoll. [0124] У заголовку секції можна сигналізувати один або більше записів LTRP. Записи LTRP можна сигналізувати в заголовку секції з використанням індексів і/або явно сигналізувати в заголовку секції. Кожний із записів LTRP, сигналізованих в заголовку секції, вказує еталонне зображення в підмножині довгострокових еталонних зображень у поточного зображення (наприклад, RefPicSetLtCurr і RefPicSetLtFoll). Відповідно до однієї або більше методик з даного розкриття винаходу два записи LTRP, сигналізовані в заголовку секції, не можуть вказувати, що одне і те ж еталонне зображення включається в набір довгострокових еталонних зображень поточного зображення. Наприклад, коли набір з одного або більше записів LTRP включає в себе перший запис LTRP, який вказує, що конкретне еталонне зображення знаходиться в наборі довгострокових еталонних зображень поточного зображення, набір з одного або більше записів LTRP включає в себе другий запис LTRP, тільки якщо другий запис LTRP не вказує, що конкретне еталонне зображення знаходиться в наборі довгострокових еталонних зображень поточного зображення. [0125] Модуль 152 обробки з прогнозуванням може побудувати перший список еталонних зображень (RefPicList0) і другий список еталонних зображень (RefPicList1), щонайменше частково, на основі еталонних зображень в буфері 162 декодованих зображень і еталонних зображень в RefPicSetStCurrBefore, RefPicSetStCurrAfter і RefPicSetLtCurr. Крім того, якщо PU кодується з використанням зовнішнього прогнозування, то модуль 150 ентропійного декодування може витягнути інформацію про рух для PU. Модуль 164 компенсації руху на основі інформації про рух PU може визначити одну або більше еталонних областей для PU. Модуль 164 компенсації руху на основі вибіркових блоків в одному або більше еталонних блоках для PU може сформувати блоки яскравості, Cb і Cr з прогнозуванням для PU. [0126] Модуль 158 відновлення може використовувати блоки перетворення яскравості, Cb і Cr, асоційовані з TU в CU, і блоки яскравості, Cb і Cr з прогнозуванням у PU в CU, тобто дані внутрішнього прогнозування або дані зовнішнього прогнозування, залежно від обставин, щоб відновити блоки кодування яскравості, Cb і Cr в CU. Наприклад, модуль 158 відновлення може скласти вибірки блоків перетворення яскравості, Cb і Cr з відповідними вибірками блоків яскравості, Cb і Cr з прогнозуванням, щоб відновити блоки кодування яскравості, Cb і Cr в CU. [0127] Модуль 160 фільтрів може виконати операцію зменшення блоковості, щоб зменшити блокові артефакти, асоційовані з блоками кодування яскравості, Cb і Cr в CU. Відеодекодер 30 може зберегти в буфері 162 декодованих зображень блоки кодування яскравості, Cb і Cr в CU. Буфер 162 декодованих зображень може надавати еталонні зображення для подальшої компенсації руху, внутрішнього прогнозування і представлення на пристрої відображення, наприклад пристрої 32 відображення з фіг. 1. Наприклад, відеодекодер 30 на основі блоків яскравості, Cb і Cr в буфері 162 декодованих зображень може виконати операції внутрішнього прогнозування або зовнішнього прогнозування над PU інших CU. Таким чином, відеодекодер 30 може одержати з потоку двійкових сигналів рівні коефіцієнтів перетворення у важливого блока коефіцієнтів яскравості, зворотно квантувати рівні коефіцієнтів перетворення, застосувати перетворення до рівнів коефіцієнтів перетворення для формування блока перетворення, сформувати, щонайменше частково, на основі блока перетворення, блок кодування і вивести блок кодування для відображення. [0128] Фіг. 4 - блок-схема алгоритму, що ілюструє зразкову роботу 200 відеокодера 20 відповідно до однієї або більше методик з даного розкриття винаходу. Як показано в прикладі з фіг. 4, відеокодер 20 може сформувати SPS (202). До того ж відеокодер 20 може сигналізувати перший запис LTRP в заголовку секції для поточної секції поточного зображення (204). Перший запис LTRP вказує, що конкретне еталонне зображення знаходиться в наборі довгострокових еталонних зображень поточного зображення. Крім того, відеокодер 20 може сигналізувати другий запис LTRP в заголовку секції, тільки якщо другий запис LTRP не вказує, що конкретне еталонне зображення знаходиться в наборі довгострокових еталонних зображень у поточного зображення (206). [0129] У деяких прикладах SPS включає в себе набір з одного або більше записів LTRP, який включає в себе перший запис LTRP. У деяких таких прикладахвідеокодер 20 формує SPS 20 UA 115565 C2 5 10 15 20 25 30 35 40 45 50 55 так, що SPS включає в себе перший запис LTRP, тільки якщо SPS ще не включає в себе копію першого запису LTRP. Тобто відеокодер 20 може формувати SPS так, що SPS відповідає обмеженню, яке не дає SPS включати в себе дві або більше копій одного і того ж запису LTRP. Наприклад, потік двійкових сигналів може не пройти перевірку відповідності потоку двійкових сигналів, якщо SPS включає в себе дві або більше копій одного і того ж запису LTRP. [0130] Фіг. 5 - блок-схема алгоритму, що ілюструє зразкову роботу 250 відеодекодера 30 відповідно до однієї або більше методик з даного розкриття винаходу. Як проілюстровано в прикладі з фіг. 5, відеодекодер 30 може одержати з потоку двійкових сигналів SPS, який застосовний до поточного зображення (252). До того ж відеодекодер 30 може одержати з потоку двійкових сигналів заголовок секції у поточної секції поточного зображення (254). У заголовку секції сигналізується набір з одного або більше записів LTRP. Набір з одного або більше записів LTRP може включати в себе перший запис LTRP, який вказує, що конкретне еталонне зображення знаходиться в наборі довгострокових еталонних зображень у поточного зображення. Крім того, набір з одного або більше записів LTRP може включати в себе другий запис LTRP, тільки якщо другий запис LTRP не вказує, що конкретне еталонне зображення знаходиться в наборі довгострокових еталонних зображень у поточного зображення. [0131] Відеодекодер 30 може сформувати список еталонних зображень для поточного зображення, щонайменше частково, на основі одного або більше записів LTRP (256). До того ж відеодекодер 30 може відновити поточне зображення, щонайменше частково, на основі одного або більше еталонних зображень в списку еталонних зображень для поточного зображення (258). [0132] У деяких прикладах SPS може включати в себе перший запис LTRP, а заголовок секції може включати в себе індекс до першого запису LTRP. Крім того, в деяких таких прикладах заголовок секції може включати в себе другий запис LTRP, тільки якщо другий запис LTRP не вказує, що конкретне еталонне зображення знаходиться в наборі довгострокових еталонних зображень поточного зображення. Наприклад, заголовок секції може відповідати обмеженню, яке не дає заголовку секції включати в себе конкретний запис LTRP, якщо заголовок секції включає в себе індекс до еквівалентного запису LTRP в SPS. Таким чином, потік двійкових сигналів може не пройти перевірку відповідності потоку двійкових сигналів, якщо заголовок секції включає в себе конкретний запис LTRP, і є еквівалентний запис LTRP в SPS. У цьому прикладі конкретний запис LTRP включає в себе синтаксичний елемент LSB і синтаксичний елемент використання. Крім того, в цьому прикладі еквівалентний запис LTRP включає в себе синтаксичний елемент LSB, який співпадає з синтаксичним елементом LSB у конкретного запису LTRP, і еквівалентний запис LTRP включає в себе синтаксичний елемент використання, який співпадає з синтаксичним елементом використання у конкретного LTRP. [0133] У інших прикладах, де SPS включає в себе перший запис LTRP, SPS також може включати в себе другий запис LTRP, а заголовок секції може включати в себе індекс до другого запису LTRP, тільки якщо другий запис LTRP не вказує, що конкретне еталонне зображення знаходиться в наборі довгострокових еталонних зображень поточного зображення. [0134] У деяких прикладах SPS може відповідати обмеженню, яке не дає SPS включати в себе дві або більше копій одного і того ж запису LTRP. Таким чином, SPS забороняється включати в себе два записи LTRP, які мають однакові синтаксичні елементи LSB і синтаксичні елементи ознаки використання. Крім того, заголовок секції може відповідати обмеженню, яке не дає заголовку секції включати в себе два індекси до одного запису LTRP в SPS. Наприклад, якщо SPS включає в себе запис LTRP, асоційований з індексом "2", то заголовок секції не може включати в себе значення індексу "2" більше одного разу. [0135] У інших прикладах заголовок секції може включати в себе перший запис LTRP. У таких прикладах заголовок секції може включати в себе другий запис LTRP, тільки якщо другий запис LTRP не вказує, що конкретне еталонне зображення знаходиться в наборі довгострокових еталонних зображень поточного зображення. Таким чином, заголовок секції може відповідати обмеженню, яке не дає заголовку секції включати в себе два записи LTRP, які вказують еталонні зображення, що мають однакове значення POC. [0136] Наступний розділ описує зміни в Робочому варіанті 8 HEVC, які можуть реалізувати одну або більше методик з даного розкриття винаходу. У наступному розділі текст, вставлений в Робочий варіант 8 HEVC, показаний нижче курсивом, а текст, видалений з Робочого варіанта 8 HEVC, показаний нижче закресленим. Інші частини, не згадані нижче, можуть бути такими ж, як в Робочому варіанті 8 HEVC. [0137] У розділі 7.4.2.2 Робочого варіанта 8 HEVC семантика для used_by_curr_pic_lt_sps_flag[i] змінюється наступним чином: 21 UA 115565 C2 5 10 used_by_curr_pic_lt_sps_flag[i], що дорівнює 0, задає, що i-е можливе довгострокове еталонне зображення, задане в наборі параметрів послідовності, не використовується для еталона зображенням, яке включає в свій набір еталонних зображень i-е можливе довгострокове еталонне зображення, задане в наборі параметрів послідовності. Для будь-яких i і j в діапазоні від 0 до num_long_term_ref_pics_sps-1, включно, якщо i не дорівнює j, а lt_ref_pic_poc_lsb_sps[i] дорівнює lt_ref_pic_poc_lsb_sps[j], то used_by_curr_pic_lt_sps_flag[i] не повинен не дорівнювати used_by_curr_pic_lt_sps_flag[j]. [0138] Ця зміна розділу 7.4.2.2 в Робочому варіанті 8 HEVC відповідно до однієї або більше методик з даного розкриття винаходу може реалізувати обмеження, яке забороняє заголовку секції сигналізувати дублюючі LTRP (явно або у вигляді індексу). [0139] У розділі 7.3.5.1 в WD 8 HEVC синтаксис заголовка секції можна змінити, як зазначено в Таблиці 3 нижче. Таблиця 3 Синтаксис заголовка секції … short_term_ref_pic_set_idx if(long_term_ref_pics_present_flag) { if(num_long_term_ref_pics_sps>0) num_long_term_sps num_long_term_pics for(i=0; i
ДивитисяДодаткова інформація
Назва патенту англійськоюLong-term reference picture signaling in video coding
Автори англійськоюRamasubramonian, Adarsh Krishnan, Wang, Ye-Kui
Автори російськоюРамасубрамониан Адарш Кришнан, Ван Е-Куй
МПК / Мітки
МПК: H04N 19/70, H04N 19/58
Мітки: сигналізація, еталонних, відео, довгострокових, кодуванні, зображень
Код посилання
<a href="https://ua.patents.su/41-115565-signalizaciya-dovgostrokovikh-etalonnikh-zobrazhen-pri-koduvanni-video.html" target="_blank" rel="follow" title="База патентів України">Сигналізація довгострокових еталонних зображень при кодуванні відео</a>
Умовна сигналізація інформації синхронізації номерів в порядку зображень для синхронізації відео при кодуванні відео
Номер патенту: 114946
Опубліковано: 28.08.2017
Автор: Ван Є-Куй
МПК: H04N 19/149, H04N 19/46, H04N 19/70, H04N 19/44
Мітки: кодуванні, відео, порядку, умовна, сигналізація, номерів, зображень, синхронізації, інформації
Формула / Реферат:
1. Спосіб для обробки відеоданих, при цьому спосіб включає етапи, на яких:приймають кодовану відеопослідовність, що містить кодовані зображення відеопослідовності; іприймають параметри синхронізації для кодованої відеопослідовності, які включають в себе умову для сигналізації числа тактів синхросигналу, відповідного різниці значень номерів в порядку зображень (РОС), що дорівнює 1, безпосередньо в щонайменше одній з синтаксичної...
Сигналізація параметрів фільтра видалення блочності при кодуванні відео
Номер патенту: 113072
Опубліковано: 12.12.2016
Автори: Карчєвіч Марта, Ван Дер Аувера Герт, Ван Є-Куй
МПК: H04N 7/00
Мітки: фільтра, відео, сигналізація, видалення, блочності, кодуванні, параметрів
Формула / Реферат:
1. Спосіб декодування відеоданих, причому спосіб включає етапи, на яких:декодують перший синтаксичний елемент, заданий для вказівки, чи присутні параметри фільтра видалення блочності як в наборі параметрів рівня зображення, так і в заголовку слайсу;коли перший синтаксичний елемент вказує, що параметри фільтра видалення блочності присутні як в наборі параметрів рівня зображення, так і в заголовку слайсу, декодують другий...
Сигналізація ідентифікаторів рівнів для робочих точок при кодуванні відео
Номер патенту: 114005
Опубліковано: 10.04.2017
Автор: Ван Є-Куй
МПК: H04N 7/00
Мітки: кодуванні, робочих, ідентифікаторів, відео, сигналізація, точок, рівнів
Формула / Реферат:
1. Спосіб декодування відеоданих, що містить етапи, на яких:для кожного прийнятого потоку бітів з множини прийнятих потоків бітів відеоданих визначають, що прийнятий потік бітів є неналежним потоком бітів, якщо прийнятий потік бітів включає в себе синтаксичні елементи в наборі параметрів відео (VPS), які дублюють вміст для інформації про параметри гіпотетичного еталонного декодера (HRD) для різних робочих точок, сигналізованих в...
Сигналізування взаємозв’язків номерів в порядку зображень і інформації синхронізації для синхронізації відео при кодуванні відео
Номер патенту: 115163
Опубліковано: 25.09.2017
Автор: Ван Є-Куй
МПК: H04N 19/46, H04N 19/70, H04N 19/149, H04N 19/44
Мітки: порядку, номерів, взаємозв'язків, зображень, сигналізування, синхронізації, відео, інформації, кодуванні
Формула / Реферат:
1. Спосіб обробки відеоданих, при цьому спосіб включає етапи, на яких:приймають (700) кодовану відеопослідовність, що містить кодовані зображення відеопослідовності; іприймають (702) параметри синхронізації для кодованої відеопослідовності, які включають в себе указання відносно того, є чи ні значення номера в порядку зображень (РОС) для кожного зображення в кодованій відеопослідовності, яке не є першим зображенням в кодованій...
Довільний доступ з вдосконаленим керуванням буфером декодованих зображень кадрів (dpb) при кодуванні відео
Номер патенту: 109981
Опубліковано: 26.10.2015
Автори: Чен Ін, Чень Цзяньле, Ван Є-Куй
МПК: H04N 7/00
Мітки: відео, кадрів, довільний, декодованих, керуванням, доступ, кодуванні, буфером, вдосконаленим, dpb, зображень
Формула / Реферат:
1. Спосіб декодування відеоданих, причому спосіб включає:прийом потоку бітів, що містить одне або більше зображень кодованої відеопослідовності (GVS);декодування першого зображення зі згаданого одного або більше зображень згідно з порядком декодування, асоційованим з CVS, при цьому згадане перше зображення є зображенням на основі точки довільного доступу (RAP), яке не є зображенням на основі миттєвого оновлення при декодуванні...
Попередній патент: Контактор постійного струму з додатковою перемикаючою здатністю для навантажень змінного струму та полярності проти переважного напряму струму
Наступний патент: Спосіб відновлення внутрішньоклітинних компонентів з ферментованих мікроорганізмів
Випадковий патент: Спосіб діагностики окислювального стресу у хворих на рак гортані