Є ще 50 сторінок.

Дивитися все сторінки або завантажити PDF файл.

Формула / Реферат

1. Спосіб кодування мультимедійних даних, який включає етапи, на яких:

- класифікують вміст мультимедійних даних;

- секціонують мультимедійні дані у першу групу даних і другу групу даних, основуючись на класифікації вмісту, при цьому секціонування визначається відповідно до співвідношення смуги пропускання; і

- кодують мультимедійні дані у першій групі даних і у другій групі даних на основі вказаного секціонування, при цьому співвідношення кількості даних у першій групі даних і кількості даних у другій групі даних відповідає співвідношенню смуги пропускання.

2. Спосіб за п. 1, в якому перша група даних містить коефіцієнт, а друга група даних містить перше диференціальне уточнення, асоціативно зв'язане з коефіцієнтом першої групи даних.

3. Спосіб за п. 1, в якому згадане кодування включає етап, на якому визначають швидкість передачі бітів на основі класифікації вмісту мультимедійних даних і кодують мультимедійні дані на основі швидкості передачі бітів.

4. Спосіб за п. 1, в якому класифікація вмісту включає етап, на якому визначають складність мультимедійних даних.

5. Спосіб за п. 4, в якому складність містить часову складність або просторову складність.

6. Спосіб за п. 4, в якому складність містить часову складність і просторову складність.

7. Спосіб за п. 1, в якому кодування включає етап, на якому кодують мультимедійні дані так, щоб забезпечити декодування тільки першої групи даних або декодування першої групи даних і другої групи даних в одну комбіновану групу даних.

8. Спосіб за п. 2, в якому перше диференціальне уточнення вказує різницю між вибраним відеокадром і даними кадру, що випливають з декодування першої групи даних.

9. Спосіб за п. 1, в якому перша група даних - це базовий рівень, а друга група даних - це рівень покращення.

10. Спосіб за п. 9, який додатково включає етапи, на яких:

- вибирають коефіцієнт з одного з коефіцієнта залишкової помилки вихідного базового рівня і коефіцієнта залишкової помилки вихідного рівня покращення; і

- обчислюють перше диференціальне уточнення на основі згаданого коефіцієнта і коефіцієнта залишкової помилки вихідного рівня покращення.

11. Спосіб за п. 1, в якому кодування додатково включає етап, на якому кодують інформацію заголовків макроблоків і інформацію вектора руху в першій групі даних.

12. Спосіб за п. 1, в якому кодування додатково включає етап, на якому квантують першу групу даних з першим розміром кроку і квантують другу групу даних з другим розміром кроку, при цьому перший розмір кроку і другий розмір кроку співвідносяться за допомогою коефіцієнта масштабування.

13. Спосіб за п. 1, в якому кодування додатково включає етап, на якому визначають перший параметр квантування, що має перший розмір кроку квантування, для використання при кодуванні першої групи даних і визначають другий параметр квантування, що має другий розмір кроку квантування, для використання при кодуванні другої групи даних, при цьому перший і другий параметри квантування визначаються на основі інформації вмісту вибраних даних кадру і при цьому згаданий перший розмір кроку квантування більш грубий, ніж згаданий другий розмір кроку квантування.

14. Спосіб за п. 1, в якому кодування включає етап, на якому кодують першу групу даних за допомогою І-кадрів і Р-кадрів або будь-якої їхньої комбінації і кодують другу групу даних за допомогою І-кадрів, Р-кадрів і В-кадрів або будь-якої їхньої комбінації.

15. Пристрій для кодування мультимедійних даних, який містить:

- засіб класифікації вмісту мультимедійних даних;

- засіб секціонування мультимедійних даних у першу групу даних і другу групу даних, основуючись на класифікації вмісту, при цьому секціонування визначається відповідно до співвідношення смуги пропускання; і

- засіб кодування мультимедійних даних у першій групі даних і в другій групі даних на основі зазначеного секціонування, при цьому співвідношення кількості даних у першій групі даних і кількості даних у другій групі даних відповідає співвідношенню смуги пропускання.

16. Пристрій за п. 15, в якому перша група даних містить коефіцієнт, а друга група даних містить перше диференціальне уточнення, асоціативно зв'язане з коефіцієнтом першої групи даних.

17. Пристрій за п. 15, в якому згаданий засіб для кодування містить засіб визначення швидкості передачі бітів на основі класифікації вмісту мультимедійних даних і кодування мультимедійних даних на основі швидкості передачі бітів.

18. Пристрій за п. 15, в якому згаданий засіб класифікації вмісту містить засіб визначення складності мультимедійних даних, при цьому вибрані мультимедійні дані кодуються на основі складності мультимедійних даних.

19. Пристрій за п. 18, в якому складність містить часову складність або просторову складність.

20. Пристрій за п. 18, в якому складність містить часову складність і просторову складність.

21. Пристрій за п. 15, в якому згаданий засіб кодування містить засіб кодування мультимедійних даних так, щоб забезпечити декодування тільки першої групи даних або декодування першої групи даних і другої групи даних в одну комбіновану групу даних.

22. Пристрій за п. 16, в якому перше диференціальне уточнення вказує різницю між вибраним відеокадром і даними кадру, що випливають з декодування першої групи даних.

23. Пристрій за п. 16, в якому перша група даних - це базовий рівень, а друга група даних - це рівень покращення.

24. Пристрій за п. 15, в якому засіб кодування містить засіб кодування інформації заголовків макроблоків і інформації вектора руху в першій групі даних.

25. Пристрій за п. 15, в якому згаданий засіб кодування додатково містить засіб квантування першої групи даних з першим розміром кроку і квантування другої групи даних з другим розміром кроку, при цьому перший розмір кроку і другий розмір кроку співвідносяться за допомогою коефіцієнта масштабування.

26. Пристрій за п. 15, в якому згаданий засіб кодування містить засіб визначення першого параметра квантування, що має перший розмір кроку, квантування, для використання при кодуванні першої групи даних і визначення другого параметра квантування, що має другий розмір кроку квантування, для використання при кодуванні другої групи даних, при цьому перший і другий параметри квантування визначаються на основі інформації вмісту вибраних даних кадру і при цьому згаданий перший розмір кроку квантування більш грубий, ніж згаданий другий розмір кроку квантування.

27. Пристрій за п. 15, в якому згаданий засіб кодування містить:

- засіб кодування першої групи даних за допомогою І-кадрів і Р-кадрів; і

- засіб кодування другої групи даних за допомогою І-кадрів, Р-кадрів і В-кадрів.

28. Пристрій за п. 23, в якому згаданий засіб кодування містить:

- засіб вибору коефіцієнта з одного з коефіцієнта залишкової помилки вихідного базового рівня і коефіцієнта залишкової помилки вихідного рівня покращення; і

- засіб обчислення першого диференціального уточнення на основі згаданого коефіцієнта і коефіцієнта залишкової помилки вихідного рівня покращення.

29. Пристрій, сконфігурований так, щоб кодувати мультимедійні дані, який містить:

- модуль класифікації вмісту, сконфігурований так, щоб класифікувати вміст мультимедійних даних і надавати дані класифікації вмісту;

- модуль секціонування, який секціонує мультимедійні дані в першу групу даних і другу групу даних, основуючись на класифікації вмісту, при цьому секціонування визначається відповідно до співвідношення смуги пропускання; і

- кодер, сконфігурований так, щоб кодувати мультимедійні дані в першій групі даних і в другій групі даних на основі вказаного секціонування, при цьому співвідношення кількості даних у першій групі даних і кількості даних у другій групі даних відповідає співвідношенню смуги пропускання.

30. Пристрій за п. 29, в якому перша група даних містить коефіцієнт, а друга група даних містить перше диференціальне уточнення, асоціативно зв'язане з коефіцієнтом першої групи даних.

31. Пристрій за п. 29, в якому кодер містить компонент швидкості передачі бітів, сконфігурований так, щоб визначати призначення бітів на основі класифікації вмісту, при цьому компонент кодування додатково сконфігурований так, щоб кодувати вибрані мультимедійні дані за допомогою призначення бітів.

32. Пристрій за п. 29, в якому класифікація вмісту включає визначення складності мультимедійних даних, при цьому вибрані мультимедійні дані кодуються на основі складності мультимедійних даних.

33. Пристрій за п. 32, в якому складність містить часову складність або просторову складність.

34. Пристрій за п. 32, в якому складність містить часову складність і просторову складність.

35. Пристрій за п. 29, в якому кодування включає кодування мультимедійних даних так, щоб забезпечити декодування тільки першої групи даних або декодування першої групи даних і другої групи даних в одну комбіновану групу даних.

36. Пристрій за п. 30, в якому перше диференціальне уточнення вказує різницю між вибраним відеокадром і даними кадру, що випливають з декодування першої групи даних.

37. Пристрій за п. 29, в якому перша група даних - це базовий рівень, а друга група даних - це рівень покращення.

38. Машиночитаний носій, що містить інструкції, які при виконанні інструктують машині:

- класифікувати вміст мультимедійних даних;

- секціонувати мультимедійні дані в першу групу даних і другу групу даних, основуючись на класифікації вмісту, при цьому секціонування визначається відповідно до співвідношення смуги пропускання; і

- кодувати мультимедійні дані в першій групі даних і в другій групі даних на основі класифікації вказаного секціонування, при цьому співвідношення кількості даних у першій групі даних і кількості даних у другій групі даних відповідає співвідношенню смуги пропускання.

39. Машиночитаний носій за п. 38, в якому перша група даних містить коефіцієнт і друга група даних містить перше диференціальне уточнення, асоціативно зв'язане з коефіцієнтом першої групи даних.

40. Машиночитаний носій за п. 38, в якому інструкції, щоб кодувати, містять інструкції, щоб визначати призначення бітів на основі класифікації вмісту, при цьому компонент кодування додатково сконфігурований так, щоб кодувати вибрані мультимедійні дані за допомогою призначення бітів.

41. Машиночитаний носій за п. 38, в якому класифікація вмісту включає визначення складності мультимедійних даних, при цьому вибрані мультимедійні дані кодуються на основі складності мультимедійних даних.

42. Машиночитані інструкції за п. 41, в яких складність містить часову складність або просторову складність.

43. Машиночитані інструкції за п. 41, в яких складність містить часову складність і просторову складність.

44. Процесор, сконфігурований так, щоб:

- класифікувати вміст мультимедійних даних;

- секціонувати мультимедійні дані у першу групу даних і другу групу даних, основуючись на класифікації вмісту, при цьому секціонування визначається відповідно до співвідношення смуги пропускання; і

- кодувати мультимедійні дані в першій групі даних і в другій групі даних на основі класифікації вказаного секціонування, при цьому співвідношення кількості даних у першій групі даних і кількості даних у другій групі даних відповідає співвідношенню смуги пропускання.

45. Процесор за п. 44, в якому перша група даних містить коефіцієнт і друга група даних містить перше диференціальне уточнення, асоціативно зв'язане з коефіцієнтом першої групи даних.

46. Процесор за п. 44, при цьому процесор додатково сконфігурований так, щоб визначати призначення бітів на основі класифікації вмісту, при цьому компонент кодування додатково сконфігурований так, щоб кодувати вибрані мультимедійні дані за допомогою призначення бітів.

47. Процесор за п. 44, при цьому процесор додатково сконфігурований так, щоб визначати складність мультимедійних даних, і при цьому класифікація вмісту основана на складності мультимедійних даних.

48. Процесор за п. 47, в якому складність містить часову складність або просторову складність.

49. Процесор за п. 47, в якому складність містить часову складність і просторову складність.

Текст

1. Спосіб кодування мультимедійних даних, який включає етапи, на яких: - класифікують вміст мультимедійних даних; - секціонують мультимедійні дані у першу групу даних і другу групу даних, основуючись на класифікації вмісту, при цьому секціонування визначається відповідно до співвідношення смуги пропускання; і - кодують мультимедійні дані у першій групі даних і у другій групі даних на основі вказаного секціонування, при цьому співвідношення кількості даних у першій групі даних і кількості даних у другій групі 2 (19) 1 3 92368 4 носяться за допомогою коефіцієнта масштабуван24. Пристрій за п. 15, в якому засіб кодування місня. тить засіб кодування інформації заголовків макро13. Спосіб за п. 1, в якому кодування додатково блоків і інформації вектора руху в першій групі включає етап, на якому визначають перший параданих. метр квантування, що має перший розмір кроку 25. Пристрій за п. 15, в якому згаданий засіб кодуквантування, для використання при кодуванні вання додатково містить засіб квантування першої першої групи даних і визначають другий параметр групи даних з першим розміром кроку і квантуванквантування, що має другий розмір кроку квантуня другої групи даних з другим розміром кроку, при вання, для використання при кодуванні другої груцьому перший розмір кроку і другий розмір кроку пи даних, при цьому перший і другий параметри співвідносяться за допомогою коефіцієнта масшквантування визначаються на основі інформації табування. вмісту вибраних даних кадру і при цьому згаданий 26. Пристрій за п. 15, в якому згаданий засіб кодуперший розмір кроку квантування більш грубий, вання містить засіб визначення першого параметніж згаданий другий розмір кроку квантування. ра квантування, що має перший розмір кроку, ква14. Спосіб за п. 1, в якому кодування включає нтування, для використання при кодуванні першої етап, на якому кодують першу групу даних за догрупи даних і визначення другого параметра кванпомогою І-кадрів і Р-кадрів або будь-якої їхньої тування, що має другий розмір кроку квантування, комбінації і кодують другу групу даних за допомодля використання при кодуванні другої групи дагою І-кадрів, Р-кадрів і В-кадрів або будь-якої їхних, при цьому перший і другий параметри квантуньої комбінації. вання визначаються на основі інформації вмісту 15. Пристрій для кодування мультимедійних давибраних даних кадру і при цьому згаданий перних, який містить: ший розмір кроку квантування більш грубий, ніж - засіб класифікації вмісту мультимедійних даних; згаданий другий розмір кроку квантування. - засіб секціонування мультимедійних даних у пе27. Пристрій за п. 15, в якому згаданий засіб кодуршу групу даних і другу групу даних, основуючись вання містить: на класифікації вмісту, при цьому секціонування - засіб кодування першої групи даних за допомовизначається відповідно до співвідношення смуги гою І-кадрів і Р-кадрів; і пропускання; і - засіб кодування другої групи даних за допомогою - засіб кодування мультимедійних даних у першій І-кадрів, Р-кадрів і В-кадрів. групі даних і в другій групі даних на основі зазна28. Пристрій за п. 23, в якому згаданий засіб кодученого секціонування, при цьому співвідношення вання містить: кількості даних у першій групі даних і кількості да- засіб вибору коефіцієнта з одного з коефіцієнта них у другій групі даних відповідає співвідношенню залишкової помилки вихідного базового рівня і смуги пропускання. коефіцієнта залишкової помилки вихідного рівня 16. Пристрій за п. 15, в якому перша група даних покращення; і містить коефіцієнт, а друга група даних містить - засіб обчислення першого диференціального перше диференціальне уточнення, асоціативно уточнення на основі згаданого коефіцієнта і коефізв'язане з коефіцієнтом першої групи даних. цієнта залишкової помилки вихідного рівня покра17. Пристрій за п. 15, в якому згаданий засіб для щення. кодування містить засіб визначення швидкості 29. Пристрій, сконфігурований так, щоб кодувати передачі бітів на основі класифікації вмісту мульмультимедійні дані, який містить: тимедійних даних і кодування мультимедійних - модуль класифікації вмісту, сконфігурований так, даних на основі швидкості передачі бітів. щоб класифікувати вміст мультимедійних даних і 18. Пристрій за п. 15, в якому згаданий засіб кланадавати дані класифікації вмісту; сифікації вмісту містить засіб визначення складно- модуль секціонування, який секціонує мультиместі мультимедійних даних, при цьому вибрані мудійні дані в першу групу даних і другу групу даних, льтимедійні дані кодуються на основі складності основуючись на класифікації вмісту, при цьому мультимедійних даних. секціонування визначається відповідно до співвід19. Пристрій за п. 18, в якому складність містить ношення смуги пропускання; і часову складність або просторову складність. - кодер, сконфігурований так, щоб кодувати муль20. Пристрій за п. 18, в якому складність містить тимедійні дані в першій групі даних і в другій групі часову складність і просторову складність. даних на основі вказаного секціонування, при цьо21. Пристрій за п. 15, в якому згаданий засіб кодуму співвідношення кількості даних у першій групі вання містить засіб кодування мультимедійних даних і кількості даних у другій групі даних відповіданих так, щоб забезпечити декодування тільки дає співвідношенню смуги пропускання. першої групи даних або декодування першої групи 30. Пристрій за п. 29, в якому перша група даних даних і другої групи даних в одну комбіновану грумістить коефіцієнт, а друга група даних містить пу даних. перше диференціальне уточнення, асоціативно 22. Пристрій за п. 16, в якому перше диференціазв'язане з коефіцієнтом першої групи даних. льне уточнення вказує різницю між вибраним ві31. Пристрій за п. 29, в якому кодер містить комподеокадром і даними кадру, що випливають з деконент швидкості передачі бітів, сконфігурований дування першої групи даних. так, щоб визначати призначення бітів на основі 23. Пристрій за п. 16, в якому перша група даних класифікації вмісту, при цьому компонент кодуце базовий рівень, а друга група даних - це рівень вання додатково сконфігурований так, щоб кодупокращення. вати вибрані мультимедійні дані за допомогою призначення бітів. 5 92368 6 32. Пристрій за п. 29, в якому класифікація вмісту 41. Машиночитаний носій за п. 38, в якому класивключає визначення складності мультимедійних фікація вмісту включає визначення складності муданих, при цьому вибрані мультимедійні дані кольтимедійних даних, при цьому вибрані мультидуються на основі складності мультимедійних дамедійні дані кодуються на основі складності них. мультимедійних даних. 33. Пристрій за п. 32, в якому складність містить 42. Машиночитані інструкції за п. 41, в яких складчасову складність або просторову складність. ність містить часову складність або просторову 34. Пристрій за п. 32, в якому складність містить складність. часову складність і просторову складність. 43. Машиночитані інструкції за п. 41, в яких склад35. Пристрій за п. 29, в якому кодування включає ність містить часову складність і просторову склакодування мультимедійних даних так, щоб забездність. печити декодування тільки першої групи даних або 44. Процесор, сконфігурований так, щоб: декодування першої групи даних і другої групи - класифікувати вміст мультимедійних даних; даних в одну комбіновану групу даних. - секціонувати мультимедійні дані у першу групу 36. Пристрій за п. 30, в якому перше диференціаданих і другу групу даних, основуючись на класильне уточнення вказує різницю між вибраним віфікації вмісту, при цьому секціонування визначадеокадром і даними кадру, що випливають з декоється відповідно до співвідношення смуги пропусдування першої групи даних. кання; і 37. Пристрій за п. 29, в якому перша група даних - кодувати мультимедійні дані в першій групі даних це базовий рівень, а друга група даних - це рівень і в другій групі даних на основі класифікації вказапокращення. ного секціонування, при цьому співвідношення 38. Машиночитаний носій, що містить інструкції, які кількості даних у першій групі даних і кількості дапри виконанні інструктують машині: них у другій групі даних відповідає співвідношенню - класифікувати вміст мультимедійних даних; смуги пропускання. - секціонувати мультимедійні дані в першу групу 45. Процесор за п. 44, в якому перша група даних даних і другу групу даних, основуючись на класимістить коефіцієнт і друга група даних містить пефікації вмісту, при цьому секціонування визначарше диференціальне уточнення, асоціативно зв'яється відповідно до співвідношення смуги пропусзане з коефіцієнтом першої групи даних. кання; і 46. Процесор за п. 44, при цьому процесор додат- кодувати мультимедійні дані в першій групі даних ково сконфігурований так, щоб визначати признаі в другій групі даних на основі класифікації вказачення бітів на основі класифікації вмісту, при цьоного секціонування, при цьому співвідношення му компонент кодування додатково кількості даних у першій групі даних і кількості дасконфігурований так, щоб кодувати вибрані мульних у другій групі даних відповідає співвідношенню тимедійні дані за допомогою призначення бітів. смуги пропускання. 47. Процесор за п. 44, при цьому процесор додат39. Машиночитаний носій за п. 38, в якому перша ково сконфігурований так, щоб визначати складгрупа даних містить коефіцієнт і друга група даних ність мультимедійних даних, і при цьому класифімістить перше диференціальне уточнення, асоціакація вмісту основана на складності тивно зв'язане з коефіцієнтом першої групи даних. мультимедійних даних. 40. Машиночитаний носій за п. 38, в якому інструк48. Процесор за п. 47, в якому складність містить ції, щоб кодувати, містять інструкції, щоб визначачасову складність або просторову складність. ти призначення бітів на основі класифікації вмісту, 49. Процесор за п. 47, в якому складність містить при цьому компонент кодування додатково сконфічасову складність і просторову складність. гурований так, щоб кодувати вибрані мультимедійні дані за допомогою призначення бітів. Заява про перевагу 35 U.S.C. §119 Дана Патентна заявка вимагає пріоритет (а) Попередньої патентної заявки номер 60/721416, озаглавленої "A VIDEO TRANSCODER FOR REALTIME STREAMING AND MOBILE BROADCAST APPLICATIONS", зареєстрованої 27 вересня 2005 року, (b) Попередньої патентної заявки номер 60/789377, озаглавленої "A VIDEO TRANSCODER FOR REAL-TIME STREAMING AND MOBILE BROADCAST APPLICATIONS", зареєстрованої 4 квітня 2006 року, (с) Попередньої заявки номер 60/727643, озаглавленої "METHOD AND APPARATUS FOR SPATIO-TEMPORAL DEINTERLACING AIDED BY MOTION COMPENSATION FOR FIELD-BASED VIDEO", зареєстрованої 17 жовтня 2005 року, (d) Попередньої заявки номер 60/727644, озаглавленої "METHOD AND APPARATUS FOR SHOT DETECTION IN VIDEO STREAMING", зареєстрованої 17 жовтня 2005 року, (e) Попередньої заявки номер 60/727640, озаглавленої "А METHOD AND APPARATUS FOR USING AN ADAPTIVE GOP STRUCTURE IN VIDEO STREAMING", зареєстрованої 17 жовтня 2005 року, (f) Попередньої заявки номер 60/730145, озаглавленої "INVERSE TELECINE ALGORITHM BASED ON STATE MACHINE", зареєстрованої 24 жовтня 2005 року, і (g) Попередньої заявки номер 60/789048, озаглавленої "SPATIO-TEMPORAL DEINTERLACING AIDED BY MOTION COMPENSATION FOR FIELDBASED MULTIMEDIA DATA", зареєстрованої 3 квітня 2006 року. Всі сім цих попередніх патентних заявок призначені їх правонаступнику і тим самим 7 92368 8 повністю містяться в даному документі по посиАспекти, що винаходяться, описані в даному ланню. документі, належать до використання інформації Посилання на Заявки на патент, що одночасно вмісту для різних способів кодування мультимезнаходяться на розгляді дійних даних і в різних модулях і компонентах коДана Заявка на патент пов'язана з Патентною дера, наприклад, кодера, використовуваного в заявкою (США) № 11/373577, озаглавленою транскодері. Транскодер може керувати перекоду"CONTENT CLASSIFICATION FOR MULTIMEDIA ванням мультимедійних даних за допомогою інPROCESSING", зареєстрованою 10 березня 2006 формації вмісту. Інформація вмісту може приймароку, призначеною правонаступнику цієї заявки і тися з іншого джерела, наприклад, метаданих, які таким чином явно міститься в даному документі по приймаються разом з відео. Транскодер може бути посиланню. сконфігурований для того, щоб формувати інфорРівень техніки мацію вмісту за допомогою множини різних операГалузь техніки, до якої належить винахід цій обробки. У деяких аспектах транскодер форДана заявка направлена на пристрої і способи мує класифікацію вмісту мультимедійних даних, перекодування відео даних для потокової передачі яка потім використовується в одному або більше в реальному часі, а більш конкретно, до перекодупроцесах кодування. У деяких аспектах керований вання відеоданих для потокової передачі в реальвмістом транскодер може визначати просторову і ному часі в мобільному широкомовному додатку. часову інформацію вмісту мультимедійних даних і Рівень техніки використовувати інформацію вмісту для кодування Ефективне відеостиснення використовується у з однаковою якістю з урахуванням вмісту по канамножині мультимедійних додатків, таких як потолах і заснованого на класифікації стисненкова передача відео і відеотелефонія, внаслідок ня/призначення бітів. обмежених ресурсів смуги пропускання і непостійУ деяких аспектах інформація вмісту (наприності доступної смуги пропускання. Конкретні стаклад, метадані, показники вмісту і/або класифікандарти кодування відео, такі як MPEG-4 (ISO/IEC), ція вмісту) мультимедійних даних одержується і H.264 (ITU) або аналогічне кодування відео, надаобчислюється, а потім надається компонентам ють високоефективне кодування, оптимально притранскодера для використання в обробці мультидатне для таких додатків, як безпровідна широкомедійних даних для кодування. Наприклад, премовна передача. Деякі мультимедійні дані, процесор може використовувати визначену інфонаприклад, цифрові телевізійні представлення, як рмацію вмісту для виявлення зміни сцен, правило, кодуються згідно з іншими стандартами, перетворення з відеоформату в фільм (IVTC), усутакими як MPEG-2. Відповідно, транскодери виконення черезрядкової розгортки, компенсації руху і ристовуються для того, щоб перекодовувати або приглушення шумів (наприклад, двовимірного вейперетворювати мультимедійні дані, кодовані згідно влет-перетворення) і просторово-часового ослабз одним стандартом (наприклад, MPEG-2), в інший лення шумів, наприклад, видалення дефектів зостандарт (наприклад, Н.264) до безпровідної шибраження, приглушення реверберацій, рокомовної передачі. розблокування і/або зниження шумності. У деяких Вдосконалені оптимізовані по швидкості кодеаспектах препроцесор також може використовуваки можуть надавати переваги по стійкості до поти інформацію вмісту для знижувальної дискретимилок, відновленню після помилок і масштабовазації просторового розрізнення, наприклад, визнаності. Більше того, застосування інформації, чення відповідних "захищених" зон і зон визначеної з самих мультимедійних даних, також "керування рухомими об'єктами" при знижувальній може надавати додаткові удосконалення по кодудискретизації зі стандартного розрізнення (SD) до ванню, в тому числі стійкість до помилок, відновчверті логічної матриці відеографіки (QVGA). лення після помилок і масштабованість. ВідповідУ деяких аспектах кодер включає в себе моно, існує потреба в транскодері, який надає дуль класифікації вмісту, який сконфігурований високоефективну обробку і стиснення мультиметак, щоб обчислювати інформацію вмісту. Кодер дійних даних, який використовує інформацію, виможе використовувати класифікацію вмісту для значену з самих мультимедійних даних, і є масшкерування швидкістю передачі в бітах (наприклад, табованим і стійким до помилок для застосування призначення бітів) при визначенні параметрів квау множині додатків мультимедійних даних, в тому нтування для кожного MB, для оцінки руху, напричислі мобільній широкомовній передачі потокової клад, виконання колірної оцінки руху (ME), викомультимедійної інформації. нання прогнозу векторів руху (MV), Суть винаходу масштабованості при наданні базового рівня і рівКожний з пристроїв і способів, що винаходятьня поліпшення, а також для стійкості до помилок ся, заснованого на вмісті перекодування, описаних за допомогою використання класифікації вмісту і проілюстрованих, має декілька аспектів, жоден з так, щоб впливати на схеми ієрархії прогнозу і яких не відповідає виключно за необхідні атрибустійкості до помилок, в тому числі, наприклад, ти. Не обмежуючи об'єм цього винаходу, далі бупроцеси адаптивного внутрішнього оновлення, дуть стисло обговорені його найбільш помітні вирівнювання границь і надання надмірних даних ознаки. Після розгляду цього обговорення, а більш І-кадру в рівні поліпшення. У деяких аспектах траточно, після прочитання розділу, озаглавленого нскодер використовує класифікацію вмісту у взає"Докладний опис винаходу", стане зрозуміло, як модії з мультиплексором даних для підтримання ознаки даного керованого вмістом перекодування оптимальної якості мультимедійних даних в кананадають удосконалення в пристрої і способи облах. У деяких аспектах кодер може використовуробки мультимедійних даних. вати інформацію класифікації вмісту для примусо 9 92368 10 вої періодичної появи І-кадрів в кодованих даних, якої їх комбінації і кодування другої групи даних за щоб забезпечити швидке перемикання каналів. Ці допомогою І-кадрів, Р-кадрів і В-кадрів або будьреалізації також можуть застосовувати І-блоки, які якої їх комбінації. можуть потребуватися в кодованих даних для У іншому аспекті пристрій кодування мультистійкості до помилок, з тим щоб перемикання з медійних даних включає в себе засіб класифікації довільним доступом і стійкість до помилок (на освмісту мультимедійних даних, засіб кодування нові, наприклад, класифікації вмісту) могли ефекмультимедійних даних в першій групі даних і у друтивно комбінуватися за допомогою ієрархії прогногій групі даних на основі класифікації вмісту, призу, щоб підвищити ефективність кодування із чому перша група даних містить коефіцієнт, а друзбільшенням запасу стійкості по помилках. га група даних містить перше диференціальне У одному аспекті спосіб обробки мультимедійуточнення, асоціативно зв'язане з коефіцієнтом них даних включає класифікацію вмісту мультимепершої групи даних. Засіб кодування може містити дійних даних і кодування мультимедійних даних в засіб для визначення швидкості передачі бітів на першій групі даних і у другій групі даних на основі основі класифікації вмісту мультимедійних даних і класифікації вмісту, причому перша група даних кодування мультимедійних даних на основі швидмістить коефіцієнт, а друга група даних містить кості передачі бітів. Засіб класифікації вмісту може перше диференціальне уточнення, асоціативно включати в себе засіб визначення складності музв'язане з коефіцієнтом першої групи даних. Кодультимедійних даних, і при цьому вибрані мультивання може включати в себе визначення швидкосмедійні дані кодуються на основі складності мульті передачі бітів на основі класифікації вмісту мутимедійних даних, причому складність містить льтимедійних даних і кодування мультимедійних часову складність або просторову складність або даних на основі швидкості передачі бітів. Класифічасову складність і просторову складність. Засіб кація вмісту може включати визначення складності кодування може містити засіб для того, щоб замультимедійних даних, і при цьому вибрані мульбезпечити декодування тільки першої групи даних тимедійні дані кодуються на основі складності муабо першої групи даних і другої групи даних в одну льтимедійних даних. Складність може містити чакомбіновану групу даних. сову складність або просторову складність, або У іншому аспекті пристрій включає в себе мочасову складність і просторову складність. Кодудуль класифікації вмісту мультимедійних даних, вання може включати в себе кодування мультимесконфігурований так, щоб класифікувати вміст дійних даних так, щоб забезпечити декодування мультимедійних даних і надавати дані класифікації тільки першої групи даних або першої групи даних вмісту, і кодер, сконфігурований так, щоб кодувати і другої групи даних в одну комбіновану групу дамультимедійні дані в першій групі даних і у другій них. Перше диференціальне уточнення може вкагрупі даних на основі класифікації вмісту, причому зувати різницю між вибраним відеокадром і даниперша група даних містить коефіцієнт, а друга ми кадру, що випливають з декодування першої група даних містить перше диференціальне уточгрупи даних. Перша група даних може бути базонення, асоціативно зв'язане з коефіцієнтом першої вим рівнем, а друга група даних може бути рівнем групи даних. Кодер може включати в себе компополіпшення. Крім цього, спосіб може включати в нент швидкості передачі бітів, сконфігурований себе вибір коефіцієнта з одного з коефіцієнта затак, щоб визначати призначення бітів на основі лишкової помилки вихідного базового рівня і коекласифікації вмісту, при цьому компонент кодуфіцієнта залишкової помилки вихідного рівня повання додатково сконфігурований так, щоб кодуліпшення і обчислення першого диференціального вати вибрані мультимедійні дані за допомогою уточнення на основі коефіцієнта і коефіцієнта запризначення бітів. лишкової помилки вихідного рівня поліпшення. У іншому аспекті машиночитаний носій містить Кодування додатково може включати кодування інструкції, які при виконанні інструктують машині інформації заголовків макроблоків і інформації класифікувати вміст мультимедійних даних і кодувектора руху в першій групі даних. Кодування довати мультимедійні дані в першій групі даних і у датково може включати квантування першої групи другій групі даних на основі класифікації вмісту, даних з першим розміром кроку і квантування друпричому перша група даних містить коефіцієнт, а гої групи даних з другим розміром кроку, при цьодруга група даних містить перше диференціальне му перший розмір кроку і другий розмір кроку співуточнення, асоціативно зв'язане з коефіцієнтом відносяться за допомогою коефіцієнта першої групи даних. масштабування. Кодування додатково може вклюУ іншому аспекті процесор сконфігурований чати в себе визначення першого параметра квантак, щоб класифікувати вміст мультимедійних датування, що має перший розмір кроку квантування, них і кодувати мультимедійні дані в першій групі для використання при кодуванні першої групи даданих і у другій групі даних на основі класифікації них і визначення другого параметра квантування, вмісту, причому перша група даних містить коефіщо має другий розмір кроку квантування, для вицієнт, а друга група даних містить перше диферекористання при кодуванні другої групи даних, при нціальне уточнення, асоціативно зв'язане з коефіцьому перший і другий параметри квантування цієнтом першої групи даних. визначаються на основі інформації вмісту вибраКороткий опис креслень них даних кадру і при цьому згаданий перший роФіг. 1А - це блок-схема мультимедійної широзмір кроку квантування більш грубий, ніж згаданий комовної системи, яка включає в себе транскодер другий розмір кроку квантування. У іншому аспекті для перекодування між різними відеоформатами. кодування включає в себе кодування першої групи Фіг. 1В - це блок-схема кодера, сконфігуроваданих за допомогою І-кадрів і Р-кадрів або будьного так, щоб кодувати мультимедійні дані і нада 11 92368 12 вати кодовану першу групу даних і кодовану другу Фіг. 20 - це схема, яка ілюструє організацію вігрупу даних. деопотоку бітів в рівні поліпшення і базовому рівні. Фіг. 1С - це блок-схема процесора, сконфігуФіг. 21 - це схема, яка ілюструє поєднання серованого так, щоб кодувати мультимедійні дані. рій макроблоків з границями відеокадрів. Фіг. 2 - це блок-схема прикладу транскодера Фіг. 22 - це блок-схема, яка ілюструє ієрархію системи за Фіг. 1. прогнозу. Фіг. 3 - це блок-схема послідовності операцій Фіг. 23 - це блок-схема послідовності операцій, способу, яка ілюструє роботу аналізатора, що вияка ілюструє спосіб кодування мультимедійних користовується в транскодері за Фіг. 2. даних на основі інформації вмісту. Фіг. 4 - це блок-схема послідовності операцій Фіг. 24 - це блок-схема послідовності операцій, способу, яка ілюструє роботу декодера, що викояка ілюструє спосіб кодування мультимедійних ристовується в транскодері за Фіг. 2. даних, так щоб суміщати границі даних на основі Фіг. 5 - це системна часова схема, яка ілюстрівня інформації вмісту. рує послідовність операцій, що виконуються за Фіг. 25 - це графік, який ілюструє захищену допомогою транскодера за Фіг. 2. область рухомих об'єктів і захищену область тайтФіг. 6 - це блок-схема, яка ілюструє послідовлів кадру даних. ність операцій і функцій препроцесора, які можуть Фіг. 26 - це графік, який ілюструє захищену бути використані в транскодері за Фіг. 2. область рухомих об'єктів кадру даних. Фіг. 7 - це блок-схема зразкового двопрохідноФіг. 27 - це блок-схема послідовності операцій, го кодера, який може бути використаний в трансяка ілюструє процес кодування мультимедійних кодері за Фіг. 2. даних за допомогою адаптивного внутрішнього Фіг. 8 ілюструє приклад класифікаційної діагоновлення на основі інформації мультимедійного рами, яка ілюструє один аспект того, як асоціативвмісту. но зв'язувати значення текстури і руху з класифіФіг. 28 - це блок-схема послідовності операцій, кацією вмісту. яка ілюструє процес кодування мультимедійних Фіг. 9 - це блок-схема послідовності операцій даних за допомогою надмірних І-кадрів на основі способу, яка ілюструє зразкову операцію класифіінформації мультимедійного вмісту. кації вмісту, наприклад, для використання в кодері Фіг. 29 ілюструє вектори компенсації руху між за Фіг. 7. поточним кадром і попереднім кадром MVP і потоФіг. 10 - це блок-схема послідовності операцій чним кадром і наступним кадром MVN. способу, яка ілюструє операцію керування швидкіФіг. 30 - це блок-схема послідовності операцій стю, наприклад, для використання в кодері за Фіг. способу, яка ілюструє виявлення кадрів. 7. Фіг. 31 - це блок-схема послідовності операцій Фіг. 11 - це блок-схема послідовності операцій способу, яка ілюструє кодування базового рівня і способу, яка ілюструє роботу зразкового блока рівня поліпшення. оцінки руху, наприклад, для використання в кодері Фіг. 32 - це схематичне представлення, яке за Фіг. 7. ілюструє кодування макроблока. Фіг. 12 - це блок-схема послідовності операцій Фіг. 33 - це схематичне представлення, яке способу, яка ілюструє роботу зразкової функції ілюструє модулі для кодування базового рівня і кодера для визначення режиму, наприклад, для рівня поліпшення. використання в кодері за Фіг. 7. Фіг. 34 ілюструє приклад процесу в блоці виФіг. 13 - це блок-схема послідовності операцій бору коефіцієнтів базового рівня і рівня поліпшенспособу, яка ілюструє зразкову операцію здійснення. ня масштабованості для використання в кодері за Фіг. 35 ілюструє ще один приклад процесу в Фіг. 7. блоці вибору коефіцієнтів базового рівня і рівня Фіг. 14 - це блок-схема послідовності операцій поліпшення. способу, яка ілюструє зразкову операцію здійсненФіг. 36 ілюструє ще один приклад процесу в ня потоку даних зі спотворенням залежно від швиблоці вибору коефіцієнтів базового рівня і рівня дкості, як відбувається, наприклад, в кодері за Фіг. поліпшення. 7. Фіг. 37 - це блок-схема послідовності операцій Фіг. 15 - це графік, який ілюструє взаємозв'язок способу, яка ілюструє кодування мультимедійних між складністю кодування, призначеними бітами і даних на основі інформації вмісту. якістю візуального сприйняття людиною. Фіг. 38 - це схема, яка ілюструє можливі сисФіг. 16 - це графік, який ілюструє нелінійну темні рішення в процесі перетворення з відеофосхему виявлення сцен. рмату в фільм. Фіг. 17А - це блок-схема послідовності операФіг. 39 ілюструє границі в макроблоці, які поцій способу, яка ілюструє обробку мультимедійних винні бути відфільтровані за допомогою процесу даних, які одержані, прийняті або іншим чином розблокування. доступні. Фіг. 40 - це схема, яка ілюструє процес просФіг. 17В - це блок-схема системи кодування торово-часового усунення черезрядкової розгортмультимедіа. ки (деінтерлейсингу). Фіг. 18 - це схема, яка ілюструє процес усуФіг. 41 ілюструє приклад одновимірної мононення черезрядкової розгортки за допомогою оцінфазної повторної дискретизації. ки/компенсації руху. Фіг. 42 - це блок-схема послідовності операцій Фіг. 19 - це блок-схема мультимедійної систеспособу, яка ілюструє приклад адаптивної GOPми зв'язку. структури в потоковій передачі відео. 13 92368 14 Потрібно зазначити, що аналогічні номери поПристрої і способи транскодера пов'язані з песилань означають аналогічні деталі по всіх предрекодуванням з одного формату в інший і детальставленнях на кресленнях відповідним чином. но описуються в даному документі як пов'язане з Докладний опис винаходу перекодуванням відео MPEG-2 в поліпшений масПодальший докладний опис направлений на штабований формат Н.264 для передачі по безвизначені аспекти, що описуються в даній заявці. провідних каналах в мобільні пристрої, що ілюстПроте, винахід може бути здійснений великою кірують деякі аспекти. Проте, опис перекодування лькістю різних способів. Посилання в цьому довідео MPEG-2 в формат Н.264 не виступає як обкладному описі на "один аспект" або "аспект" меження галузі застосування винаходу, а є просто означає, що конкретна ознака, конструкція або прикладом деяких аспектів винаходу. Розкриті характеристика, що описуються в зв'язку з аспекпристрої і способи надають високоефективну архітом, включені щонайменше в один аспект. Фрази тектуру, яка підтримує стійке до помилок кодуван"в одному аспекті", "згідно з одним аспектом" або ня за допомогою можливостей довільного доступу "в деяких аспектах" в різних місцях даного докладі розбивання на рівні і також може бути застосованого опису не обов'язково всі вказують на той же на до перекодування і/або кодування відеоформааспект, а також не є окремими або альтернативтів, відмінних від MPEG-2 і Н.264. ними аспектами, що взаємовиключають інші аспе"Мультимедійні дані" або просто "мультимекти. Більше того, описані різні ознаки, які можуть діа" при використанні в даному документі є широбути продемонстровані за допомогою деяких аским терміном, який включає в себе відеодані (які пектів, але не за допомогою інших. Аналогічно, можуть включати в себе аудіодані), аудіодані або і описані різні вимоги, які можуть бути вимогами для відеодані, і аудіодані. "Відеодані" або "відео" при деяких аспектів, але не для інших аспектів. використанні в даному документі є широким терміПодальший опис включає в себе докладні віном, що належить до заснованих на кадрах або домості для того, щоб надати повне розуміння заснованих на полях даних, які включають в себе прикладів. Проте, фахівцям в даній галузі техніки одне або більше зображення або пов'язані посліпотрібно розуміти, що приклади можуть бути викодовності зображень, що містять текст, інформацію ристані на практиці, навіть якщо всі подробиці зображень і/або аудіоданих, і можуть бути викорипроцесу або пристрою в прикладі або аспекті не стані для того, щоб означати мультимедійні дані пояснені або проілюстровані в даному документі. (наприклад, терміни можуть бути використані взаНаприклад, на блок-схемах можуть бути показані ємозамінно), якщо не вказано інше. електричні компоненти, які не ілюструють всі елекНижче описуються приклади різних компонентричні з'єднання або всі електричні елементи комтів транскодера і приклади процесів, які можуть понента, щоб не відволікати від розуміння приклавикористовувати інформацію вмісту для кодування дів непотрібними подробицями. У інших випадках, мультимедійних даних. такі компоненти, інші структури і методики можуть Фіг. 1А - це блок-схема, що ілюструє потік дабути детально показані, щоб додатково пояснити них деяких аспектів системи 100 широкомовної приклади. передачі мультимедійних даних. У системі 100 Даний пристрій належить до пристроїв і спопостачальник 106 мультимедійних даних передає собів керування кодуванням і перекодуванням за кодовані мультимедійні дані 104 в транскодер 200. допомогою інформації вмісту кодованих мультиКодовані мультимедійні дані 104 приймаються за медійних даних. "Інформація вмісту" або "вміст" допомогою транскодера 200, який обробляє муль(мультимедійних даних) - це широкі терміни, які тимедійні дані 104 в "сирі" необроблені мультимеозначають інформацію, пов'язану з вмістом мульдійні дані на етапі 110. Обробка на блоці 110 детимедійних даних, і можуть включати в себе, накодує і розбирає кодовані мультимедійні дані 104 і приклад, метадані, показники, обчислені з мульдодатково обробляє мультимедійні дані, щоб підтимедійних даних, і інформацію, що належить до готувати їх до кодування в інший формат. Декодовмісту, асоціативно зв'язану з одним або більше вані мультимедійні дані надаються на етап 112, де показниками, наприклад, класифікацію вмісту. Інмультимедійні дані кодуються в попередньо виформація вмісту може бути надана в кодер або значений мультимедійний формат або стандарт. визначена за допомогою кодера, залежно від конПісля того як мультимедійні дані кодовані, на етапі кретного варіанта застосування. Інформація вмісту 114 вони підготовлюються для передачі, наприможе бути використана для багатьох аспектів коклад, за допомогою безпровідної широкомовної дування мультимедійних даних, в тому числі виявсистеми (наприклад, стільникової телефонної шилення зміни сцен, часової обробки, простороворокомовної мережі або за допомогою іншої мережі часового зниження шумів, знижувальної дискретизв'язку). У деяких аспектах прийняті мультимедійні зації, визначення швидкостей передачі бітів для дані 104 кодовані згідно зі стандартом MPEG-2. квантування, масштабування стійкості до помилок, Після того, як перекодовані мультимедійні дані 104 збереження оптимальної якості мультимедіа в декодовані, транскодер 200 кодує мультимедійні широкомовних каналах і швидкого перемикання дані в стандарт Н.264. каналів. За допомогою одного або більше цих асФіг. 1В - це блок-схема транскодера 130, який пектів транскодер може керувати обробкою мульможе бути сконфігурований так, щоб виконувати тимедійних даних і формувати пов'язані з вмістом обробку на етапах 110 і 112 Фіг. 1А. Транскодер кодовані мультимедійні дані. Описи і креслення в 130 може бути сконфігурований так, щоб приймати даному документі, які описують аспекти перекодумультимедійні дані, декодувати і розбирати мульвання, також можуть бути застосовані до аспектів тимедійні дані на пакетовані елементарні потоки кодування і аспектів декодування. (наприклад, субтитри, аудіо, метадані, "необроб 15 92368 16 лене" відео, СС-дані і часові мітки представлення), дартну процедуру, вкладену процедуру, модуль, кодувати їх в необхідний формат і надавати кодокомплект програмного забезпечення, клас або вані дані для додаткової обробки або передачі. будь-яке поєднання інструкцій, структур даних або Транскодер 130 може бути сконфігурований так, операторів програми. Сегмент коду може бути щоб надавати кодовані дані в дві або більше груп пов'язаний з іншим сегментом коду або апаратною даних, наприклад, кодовану першу групу даних і схемою за допомогою передачі і/або прийому інкодовану другу групу даних, що згадується як баформації, даних, аргументів, параметрів або вмісгаторівневе кодування. У деяких прикладах аспекту пам'яті. тів різні групи даних (або рівні) в схемі багаторівІлюстративний приклад архітектури трансконевого кодування можуть кодуватися на різних дера рівнях якості і форматуватися так, що дані, кодоФіг. 2 ілюструє блок-схему прикладу трансковані в першій групі даних, мають гіршу якість (надера, який може бути використаний для транскоприклад, надають менший рівень візуальної якості дера 200, проілюстрованого в мультимедійній шипри відображенні), ніж дані, кодовані у другій групі рокомовній системі 100 за Фіг. 1. Транскодер 200 даних. містить аналізатор/декодер 202, препроцесор 226, Фіг. 1С - це блок-схема процесора 140, який кодер 228 і синхронізуючий рівень 240, додатково може бути сконфігурований так, щоб перекодовуописані нижче. Транскодер 200 сконфігурований вати мультимедійні дані, і може бути сконфігуротак, щоб використовувати інформацію вмісту муваний так, щоб виконувати частину або всю оброльтимедійних даних 104 для одного або більше бку, проілюстровану на етапах 110 і 112 за Фіг. 1А. аспектів процесу перекодування, як описано в даПроцесор 140 може включати в себе модулі 124а.. ному документі. Інформація вмісту може бути одеn, виконувати один або більше процесів перекодуржана з джерела, зовнішнього для транскодера вання, описаних в даному документі, в тому числі 200, через мультимедійні метадані або обчислена декодування, розбір, попередню обробку і кодуза допомогою транскодера, наприклад, за допомовання, і використовувати інформацію вмісту для гою препроцесора 226 або кодера 228. Компоненобробки. Процесор 140 також включає в себе внути, показані на Фіг. 2, ілюструють компоненти, які трішній запам'ятовуючий пристрій 122 і може бути можуть бути включені в транскодер, який викориссконфігурований так, щоб обмінюватися даними із товує інформацію вмісту для одного або більше зовнішнім запам'ятовуючим пристроєм 120 напряпроцесів перекодування. У конкретній реалізації му або непрямо за допомогою іншого пристрою. один або більше компонентів транскодера 200 Процесор 140 також включає в себе модуль 126 можуть бути виключені, або можуть бути включені зв'язку, сконфігурований так, щоб обмінюватися додаткові компоненти. Додатково, частини трансданими з одним або більш пристроями, зовнішніми кодера і процесів перекодування описані для того, для процесора 140, в тому числі приймати мульщоб надати можливість фахівцям в даній галузі тимедійні дані і надавати кодовані дані, такі як техніки використати на практиці винахід, навіть дані, кодовані в першій групі даних, і дані, кодовані якщо всі подробиці процесу або пристрою можуть у другій групі даних. У деяких прикладах аспектів не описуватися в даному документі. різні групи даних (або рівні) в схемі багаторівневоФіг. 5 ілюструє часову схему як графічну ілюсго кодування можуть кодуватися на різних рівнях трацію часового взаємозв'язку роботи різних комякості і форматуватися так, що дані, кодовані в понентів і/або процесів транскодера 200. Як покапершій групі даних, мають гіршу якість (наприклад, зано на Фіг. 5, кодоване потокове відео 104 надають менший рівень візуальної якості при відо(кодовані мультимедійні дані), наприклад, відео браженні), ніж дані, кодовані у другій групі даних. MPEG-2, спочатку приймається в довільний нуТранскодер 130 або його компоненти препрольовий момент часу (0) за допомогою аналізатора цесора 140 (сконфігуровані для перекодування), а 205 (Фіг. 2). Далі відеопотік розбирається 501, детакож процеси, що містяться в ньому, можуть бути мультиплексується 502 і декодується 503, наприреалізовані за допомогою апаратних засобів, проклад, за допомогою аналізатора 205 в комбінації з грамного забезпечення, мікропрограмного забездекодером 214. Як проілюстровано, ці процеси печення, проміжного програмного забезпечення, можуть виконуватися паралельно з невеликим мікрокоду або комбінації вищезазначеного. Напризміщенням за часом, щоб надати потокове вивеклад, аналізатор, декодер, препроцесор або кодер дення даних обробки в препроцесор 226 (Фіг. 2). У можуть бути автономними компонентами, включемомент часу Τ1 504, після того як препроцесор 226 ними як апаратні засоби, мікропрограмне забезпеприйняв достатньо даних від декодера 214 для чення, проміжне програмне забезпечення в комтого, щоб почати виведення результатів обробки, понент іншого пристрою, або можуть бути етапи обробки, що залишилися, стають послідовреалізовані в мікрокоді або програмному забезпеними за характером, при цьому кодування 505 ченні, яке приводиться у виконання в процесорі, першого проходу, кодування 506 другого проходу і або як комбінація вищезазначеного. Коли реалізоповторне кодування 507 виконуються послідовно ваний в програмному забезпеченні, мікропрогрампісля попередньої обробки до завершення повтоному забезпеченні, проміжному програмному зарного кодування в момент часу Tf 508. безпеченні або мікрокоді, програмний код або Транскодер 200, описаний в даному документі, сегменти коду, які виконують процеси компенсації може бути сконфігурований так, щоб перекодовуруху, класифікації кадрів і кодування, можуть бути вати різні мультимедійні дані, і багато які з процезбережені на машиночитаному носії, такому як сів застосовуються до того типу мультимедійних носій зберігання. Сегмент коду може представляти даних, який перекодовується. Хоч деякі з приклапроцедуру, функцію, підпрограму, програму, стандів, що надаються в даному документі, належать 17 92368 18 до перекодовування даних MPEG-2 в дані Н.264, стройки каналів, може формувати команду 306 ці приклади не призначені для того, щоб обмежузбирання даних. Додатково, можуть бути введені вати винахід цими даними. Аспекти кодування, що дескриптори 308 буфера транспортного потоку описуються нижче, можуть бути застосовані до (TS) реального часу, щоб допомагати в ініціалізації перекодування будь-якого відповідного стандарту і для основної обробки. мультимедійних даних в інший відповідний станЯк проілюстровано на етапі 304, ініціалізація дарт мультимедійних даних. може включати в себе запит перевірки синтаксису Аналізатор/декодер команд, виконання обробки PSI/PSIP/SI першого Знов посилаючись на Фіг. 2, аналізапроходу (конкретна для програми інформатор/декодер 202 приймає мультимедійні дані 104. ція/програма і протокол системної інформаАналізатор/декодер 202 включає в себе аналізації/системна інформація), виконання обробки, контор транспортних потоків ("аналізатор") 205, який кретно пов'язаної або з командою збирання даних, приймає мультимедійні дані 104 і розбирає дані на або з перевіркою узгодженості PSI/PSIP/SI, призелементарний потік (ES) відео 206, ES 208 аудіо, начення PES-буферів для кожного PES і задаванчасові мітки представлення (PTS) 210 і інші дані, ня розподілу за часом (наприклад, для поєднання такі як субтитри 212. ES переносить один тип даз необхідним моментом початку збирання даних). них (відео або аудіо) з одного відео- або аудіокоPES-буфери містять розібрані ES-дані і передають дера. Наприклад, ES відео містить відеодані для всі розібрані ES-дані у відповідні аудіодекодер послідовності даних, що включають в себе заголо216, тестовий декодер 220, декодер 214 або PTSвок послідовності і всі підчастини послідовності. формувач 215 транскодера. Пакетований елементарний потік, або PES, склаПісля ініціалізації процес 300 переходить до дається з одного ES, який складений в пакети, етапу 310 для основної обробки мультимедійних кожний з яких в типовому варіанті починається з даних 104, що приймаються. Обробка на етапі 310 доданого заголовка пакета. PES-потік містить тільможе включати в себе фільтрацію цільових іденки один тип даних з одного джерела, наприклад, з тифікаторів пакетів (PID), безперервний монітоодного відео- або аудіокодера. PES-пакети мають ринг і обробку PSI/PSIP/SI і процес розподілу за змінну довжину, не відповідну фіксованій довжині часом (наприклад, для досягнення необхідної тритранспортних пакетів, і можуть бути набагато довалості збирання даних), з тим щоб мультимедійні вшими, ніж транспортний пакет. Коли транспортні дані, що надходять, передавалися у відповідні пакети сформовані з PES-потоку, PES-заголовок PES-буфери. Як результат обробки мультимедійможе бути поміщений в початок робочих даних них даних на етапі 310 формуються програмний транспортного пакета, відразу після заголовка дескриптор і індикатор PES-буфера "read", які взатранспортного пакета. Вміст PES-пакета, що заємодіють з декодером 214 (Фіг. 2) так, як описано лишився, заповнює робочі дані послідовних траннижче. спортних пакетів, поки PES-пакет не буде повністю Після етапу 310 процес 300 переходить до використаний. Кінцевий транспортний пакет може етапу 314, на якому виконується завершення опебути заповнений до фіксованої довжини, наприрацій розбору, формування переривання таймера клад, за допомогою доповнення байтами, наприі звільнення PES-буферів після їх використання. клад, байтами = 0xFF (всі одиниці). Потрібно зазначити, що PES-буфери є для всіх Аналізатор 205 передає ES 206 відео в декорелевантних елементарних потоків програми, згадер 214, який є частиною аналізатора/декодера даних в дескрипторі, наприклад, потоків аудіо, 202, показаною тут. У інших конфігураціях аналізавідео і субтитрів. тор 205 і декодер 214 є окремими компонентами. Знов посилаючись на Фіг. 2, аналізатор 205 віPTS 210 відправляються в PTS-формувач 215 дправляє ES 208 аудіо в аудіодекодер 216 для транскодера, який може формувати окремі часові відповідності реалізації транскодера і надає кодомітки представлення, конкретні для транскодера ваний текст 216 в синхронізуючий рівень 240 і де200, для використання при компонуванні даних, які кодує аудіоінформацію. Інформація 212 субтитрів повинні бути відправлені з транскодера 200 в шидоставляється в текстовий декодер 220. Дані 218 рокомовну систему. PTS-формувач 215 транскокодованих субтитрів між кадрами (СС) з декодера дера може бути сконфігурований так, щоб надава214 також надаються в текстовий кодер 220, який ти дані в синхронізуючий рівень 240 транскодера кодує інформацію 212 субтитрів і СС-дані 218 в 200, щоб координувати синхронізацію широкомовформаті, що реалізується за допомогою трансконої передачі даних. дера 200. Фіг. 3 ілюструє блок-схему послідовності опеАналізатор/декодер 202 також включає в себе рацій одного прикладу процесу 300, якого аналізадекодер 214, який приймає ES 206 відео. Декодер тор 205 може додержуватися при розборі різних 214 може формувати метадані, асоціативно зв'япакетованих елементарних потоків, описаних визані з відеоданими, декодує кодований пакетоваще. Процес 300 починається на етапі 302, коли ний елементарний відеопотік в необроблене відео мультимедійні дані 104 приймаються від постача224 (наприклад, в форматі стандартного розрізльника 106 вмісту (Фіг. 1). Процес 300 переходить нення) і обробляє відеодані кодованих субтитрів до етапу 304, на якому виконується ініціалізація між кадрами в ES-потік відео. аналізатора 205. Ініціалізація може активуватися Фіг. 4 ілюструє блок-схему послідовності опеза допомогою незалежно сформованої команди рацій, яка показує один приклад процесу 400 де306 збирання даних. Наприклад, процес, який некодування, який може бути виконаний за допомозалежний від аналізатора 205 і заснований на ТВгою декодера 214. Процес 400 починається з розкладі, що приймається зовні, і інформації навведення даних 206 елементарного відеопотоку на 19 92368 20 етапі 402. Процес 400 переходить до етапу 404, на лідовності для додаткової обробки (наприклад, якому декодер ініціалізується. Ініціалізація може кодування) за допомогою кодера 228. У деяких включати в себе ряд задач, в тому числі виявленаспектах препроцесор 226 може бути сконфігуроня заголовка відеопослідовності (VSH), виконання ваний для множини операцій, в тому числі операVSH першого проходу, обробку відеопослідовності цій перетворення з відеоформату в фільм, усу(VS) і дисплейного розширення VS (включаючи нення черезрядкової розгортки, фільтрації відеоформат, складові кольори і матричні коефіці(наприклад, видалення дефектів зображення, приєнти) і призначення буферів даних так, щоб налеглушення реверберацій, розблокування і зниження жним чином буферизувати декодоване зображеншумності), зміни розміру (наприклад, знижувальної ня, асоціативно зв'язані метадані і дані кодованих дискретизації просторового розрізнення зі стандасубтитрів між кадрами (СС). Додатково, інформартного розрізнення до чверті логічної матриці віція 406 "read" PES-буфера відео, що надається за деографіки (QVGA)) і формування GOP-структури допомогою аналізатора 205, вводиться (напри(наприклад, обчислення формування таблиці клад, яка може бути сформована за допомогою складності, виявлення зміни сцен і виявлення затіпроцесу 300 на етапі 310 за Фіг. 3). нення/спалаху). Після ініціалізації на етапі 404 процес 400 пеПрепроцесор 226 може використовувати мереходить до етапу 408, на якому основна обробка тадані від декодера для того, щоб виконувати одну ES відео виконується за допомогою декодера 214. або більше операцій попередньої обробки. МетаОсновна обробка включає в себе запитування індані можуть включати в себе інформацію, пов'язаформації "read" PES-буфера відео або "інтерфейну, описуючу або класифікуючу вміст мультимесу" для доступності нових даних, декодування ES дійних даних ("інформацію вмісту"); зокрема, відео, відновлення і збереження пікселних даних метадані можуть включати в себе класифікацію при синхронізації границь зображень, метаданих вмісту. У деяких аспектах метадані не включають формування відео і аудіо-відео і збереження на в себе інформацію вмісту, необхідну для операцій границях зображень, і збереження СС-даних на кодування. У цих випадках препроцесор 226 може границях зображень. Етап 410 результатів основбути сконфігурований так, щоб визначати інфорної обробки 408 включає в себе формування демацію вмісту і використовувати інформацію вмісту скрипторів послідовності, дескрипторів буфера для операцій попередньої обробки і/або надавати декодованих зображень, дескрипторів буферів інформацію вмісту в інші компоненти транскодера метаданих і дескрипторів буферів СС-даних. 200, наприклад, декодер 228. У деяких аспектах Після основної обробки 408 процес 400 перепрепроцесор 226 може використовувати цю інфоходить до етапу 412, на якому він виконує процес рмацію вмісту для того, щоб впливати на секціонузавершення. Процес завершення може включати в вання GOP, визначати відповідний тип фільтрації себе визначення умов завершення, в тому числі і/або визначати параметри кодування, які передавідсутність нових даних, що з'являються протягом ються в кодер. конкретного часу вище попередньо визначеного Фіг. 6 показує ілюстративний приклад різних порога, виявлення кінцевого коду послідовності етапів обробки, які можуть бути включені в преі/або виявлення явного сигналу завершення. Пропроцесор 226, і ілюструє обробку, яка може бути цес завершення додатково може включати в себе виконана за допомогою препроцесора 226. У цьозвільнення декодованого зображення, асоціативно му прикладі препроцесор 226 приймає метадані і зв'язаних метаданих і буферів СС-даних після їх відео 222, 224 і надає вихідні дані 614, що містять використання за допомогою препроцесора, який (оброблені) метадані і відео, в кодер 228. У типоописується нижче. Процес 400 завершується на вому варіанті передбачено три типи відео, яке етапі 414, де він може перейти в стан очікування може прийматися. По-перше, відео, що приймаES відео, який повинен бути прийнятий як введенється, може бути прогресивним відео, де не потріня. бне усунення черезрядкової розгортки. По-друге, Препроцесор відеодані можуть бути відео, перетвореним з фіФіг. 2, і детальніше за Фіг. 6 ілюструють зразльму у відеоформат, черезрядковим відео, перетковий аспект препроцесора 226, який може виковореним з кінопослідовностей в 24 кадри за секунристовувати інформацію вмісту для однієї або біду, в цьому випадку відео. По-третє, відео може льше операцій попередньої обробки. Препроцесор бути черезрядковим відео, не перетвореним з фі226 приймає метадані 222 і декодовані "необробльму у відеоформат. Препроцесор 226 може облені" відеодані 224 від аналізатора/декодера 202. робляти ці типи відео так, як описано нижче. Препроцесор 226 сконфігурований так, щоб викоНа етапі 601 препроцесор 226 визначає, чи є нувати визначені типи обробки для відеоданих 224 прийняті відеодані 222, 224 прогресивним відео. У і метаданих 222 і надавати оброблене мультимедеяких випадках це може бути визначено з метадіа (наприклад, опорні кадри базового рівня, опорданих, якщо метадані містять цю інформацію, або ні кадри рівня поліпшення, інформацію смуги проза допомогою обробки самих відеоданих. Наприпускання, інформацію вмісту) і відео в кодер 228. клад, процес перетворення з відеоформату в Така попередня обробка мультимедійних даних фільм, описаний нижче, дозволяє визначати, чи є дозволяє підвищувати візуальну чіткість, приглувідео 222, що приймається, прогресивним відео. шення накладення спектра і ефективність стисЯкщо є, процес переходить до етапу 607, на якому нення даних. Загалом, препроцесор 226 приймає операції фільтрації (наприклад, зниження шумносвідеопослідовності, що надаються за допомогою ті) виконуються для відео, щоб зменшити шум, декодера 214 в аналізаторі/декодері 202, і переттакий як білий гаусів шум. Якщо відеодані 222, 224 ворює відеопослідовності в прогресивні відеопосне є прогресивним відео, на етапі 601 процес пе 21 92368 22 реходить до етапу 604 до модуля 604 виявлення вання на крок кадру, з тим щоб воно могло відсорфаз. тувати поля, які сформовані з одного фотографічМодуль 604 виявлення фаз розрізнює відео, ного зображення, і комбінувати їх. Шлях з модуля яке спочатку перетворене з фільму у відеоформат, 604 виявлення фаз, помічений "НІ", аналогічно і яке починалося в стандартному широкомовному активує модуль 605 усунення черезрядкової розформаті. Якщо прийняте рішення про те, що відео гортки, щоб розділити видимий NTSC-кадр на поля перетворене з фільму у відеоформат (шлях вирідля оптимальної обробки. Модуль 604 виявлення шення "ТАК", що виходить з модуля 604 виявленфаз може безперервно аналізувати відеокадри, ня фаз), перетворене з фільму у відеоформат віоскільки різні типи відео можуть прийматися в део повертається у вихідний формат при будь-який час. Як приклад, відео, відповідне зворотному перетворенні 606 з відеоформату в NTSC-стандарту, може бути вставлене у відео як фільм. Надмірні кадри ідентифікуються і усувареклама. Після перетворення з відеоформату в ються, а поля, витягнуті з того ж відеокадру, перефільм результуюче прогресивне відео відправляплітаються в повне зображення. Оскільки послідоється в модуль зниження шумності (фільтр) 607, вність відновлених кінозображень фотографічно який може бути використаний для того, щоб знизаписана з регулярними інтервалами в 1/24 секунжувати білий гаусів шум. ди, процес оцінки руху, виконуваний в модулі 612 Коли традиційне NTSC-відео розпізнається секціонування GOP або декодері 228, є більш точ(шлях "НІ" з модуля 601 виявлення фаз), воно пеним при використанні перетворених з відеоформаредається в модуль 605 усунення черезрядкової ту в фільм зображень, ніж перетворених з фільму розгортки для стиснення. Модуль 605 усунення у відеоформат даних, які мають нерегулярну чачерезрядкової розгортки перетворює черезрядкові сову базу. поля в прогресивне відео, і операції зниження шуУ одному аспекті модуль 604 виявлення фаз мності потім можуть бути виконані для прогресивухвалює конкретні рішення після прийому відеоканого відео. Один ілюстративний приклад обробки дру. Ці рішення включають в себе: (і) є поточне усунення черезрядкової розгортки описаний нижвідео з виведення перетворення з фільму у відеоче. формат, а фаза просування на крок кадру 3:2 є Традиційні аналогові відеопристрої, такі як теоднією з п'яти фаз Р0, Р1, P2, Р3 і P4, показаних на левізори, виконують рендеринг відео черезрядкоФіг. 38, чи ні; і (іі) відео сформоване як традиційне вим способом, тобто ці пристрої передають рядки NTSC. Це рішення позначається як фаза Р5. Дані розгортки з парними номерами (парне поле) і рядрішення відображаються як виведення модуля 604 ки розгортки з непарними номерами (непарне повиявлення фаз, показаного на Фіг. 2. Шлях з модуле). З точки зору дискретизації сигналів, це еквіваля 604 виявлення фаз, помічений "ТАК", активує лентно просторово-часовій субдискретизації в шаперетворення 606 з відеоформату в фільм, вказушаблоні, описаному за допомогою: ючи те, що воно надане з коректною фазою просу F x, y, n x, y, n якщо уmod2 0 x, y, n якщо уmod2 1 стирання, в іншому випадку де означає зображення вихідного кадру, F означає черезрядкове поле, а (х,у,n) представляє горизонтальну, вертикальну і часову позицію піксела, відповідно. Без втрати спільності можна передбачити, що n=0 - це парне поле в даному описі, так що вищенаведене рівняння 1 спрощується таким чином: F x, y, n x, y, n якщо уmod2 nmod2 стирання , в іншому випадку (2) Оскільки проріджування не виконується в горизонтальному напрямі, шаблон субдискретизації може бути проілюстрований в наступній n-у координаті. Мета модуля усунення черезрядкової розгортки полягає в тому, щоб перетворювати черезрядкове відео (послідовність полів) в нечерезрядкові прогресивні кадри (послідовність кадрів). Іншими словами, інтерполювати парні і непарні поля так, щоб "відновити" або сформувати повнокадрові зображення. Це може бути представлене за допомогою рівняння 3: для парних полів для парних полів F0 x, y, n (1) F x, y, n якщо уmod2 Fi x, y, n в іншому випадку nmod2 (3) де Fi представляє результати усунення черезрядкової розгортки для відсутніх пікселів. Фіг. 40 - це блок-схема, яка ілюструє визначені аспекти модуля 605 усунення черезрядкової розгортки, який використовує Wmed-фільтрацію і оцінку руху для того, щоб формувати прогресивний кадр з черезрядкових мультимедійних даних. Верхня частина Фіг. 40 показує таблицю 4002 інтенсивності руху, яка може бути сформована за допомогою інформації з поточного поля, двох попередніх полів (поля РР і поля Р) і двох подальших полів (поля Next і поля Next Next). Таблиця 4002 інтенсивності руху категоризує або секціонує поточний кадр на два або більше різних рівня руху, і може бути сформована за допомогою просторовочасової фільтрації, описаної детальніше нижче. У деяких аспектах таблиця 4002 інтенсивності руху сформована так, щоб ідентифікувати статичні області, області повільного руху і області швидкого руху, як описано в посиланнях до рівнянь 4-8 нижче. Просторово-часовий фільтр, наприклад, 23 92368 24 Wmed-фільтр 4004, фільтрує черезрядкові мульперетворення і в типовому варіанті включає три тимедійні дані за допомогою критеріїв на основі етапи: лінійне пряме вейвлет-перетворення, нелітаблиці інтенсивності руху і формує просторовонійне зниження шумності зі стисненням і лінійне часовий підготовлений кадр з усуненою черезрядзворотне вейвлет-перетворення. Фільтр Вінера ковою розгорткою. У деяких аспектах процес це MSE-оптимальний лінійний фільтр, який може Wmed-фільтрації приводить до горизонтального бути використаний для того, щоб поліпшувати зосусідства у [-1, 1], вертикального сусідства в [-3, 3] браження, погіршені за допомогою адитивного і часового сусідства в п'ять подальших полів, які шуму і розмивання. Ці фільтри, загалом, відомі в представлені за допомогою п'яти полів (поле РР, даній галузі техніки і описуються, наприклад, в поле Р, поле Current, поле Next, поле Next Next), роботі "Ideal spatial adaptation by wavelet проілюстрованих на Фіг. 40, де Z-1 представляє shrinkage", вказаній вище, і в роботі авторів S. Р. затримку одного поля. Відносно поля Current, поле Ghael, A. M. Sayeed i R. G. Baraniuk "Improvement Next і поле Ρ є полями без парності, а поле РР і Wavelet denoising via empirical Wiener filtering", поле Next Next є полями з парністю. "Сусідство", Proceedings of SPIE, том 3169, стор. 389-399, Санвикористовуване для просторово-часової фільтДієго, липень 1997 року, які явно повністю містятьрації, означає просторове і часове розміщення ся в даному документі по посиланню. полів і пікселів, фактично використовуваних в ході У деяких аспектах фільтр зниження шумності операції фільтрації, і може бути проілюстроване як заснований на аспекті біортогонального кубічного "апертура", як показано, наприклад, на Фіг. 6 і 7. В-сплайнового вейвлет-фільтра (4, 2). Один такий Модуль 605 усунення черезрядкової розгортки фільтр може бути заданий за допомогою виконантакож може включати в себе модуль 4006 зниження прямого і зворотного перетворення: ня шумності (фільтр зниження шумності), сконфігурований так, щоб відфільтровувати просторово3 1 1 hz z z 1 z z 1 часовий підготовлений кадр з усуненою черезряд(4) 4 2 8 ковою розгорткою, сформований за допомогою (пряме перетворення) Wmed-фільтра 4004. Зниження шумності просторово-часового підготовленого кадру з усуненою і черезрядковою розгорткою робить подальший процес пошуку руху більш точним, особливо якщо 5 1 5 3 3 2 початкова послідовність черезрядкових мультимеgz z 1 z 2 z z 3 z z 4 (5) 4 32 8 32 дійних даних забруднена білим шумом. Він також (зворотне перетворення) може видаляти щонайменше частково перешкоди дискретизації між парними і непарними рядками в Застосування фільтра зниження шумності доWmed-зображенні. Модуль 4006 зниження шумнозволяє підвищити точність компенсації руху в шусті може бути реалізований як множина фільтрів, мному оточенні. Реалізації таких фільтрів додатвключаючи модуль зниження шумності на основі ково описані в роботі "Ideal spatial adaptation by вейвлет-стиснення і вейвлет-фільтра Вінера. Моwavelet shrinkage", автори D.L. Donoho і І.М. дуль зниження шумності може бути використаний Johnstone, Biometrika, том 8, стор. 425-455, 1994 для того, щоб видаляти шум з варіанта Wmedрік, які явно повністю містяться в даному документі кадру, перш ніж він додатково обробляється за по посиланню. допомогою інформації компенсації руху, і може Нижня частина Фіг. 40 ілюструє аспект для вивидаляти шум, який присутній в Wmed-кадрі, і збезначення інформації руху (наприклад, варіантів рігати наявність сигналу незалежно від частотного векторів руху, оцінки руху, компенсації руху) чевмісту сигналу. Різні типи фільтрів зниження шумрезрядкових мультимедійних даних. Зокрема, Фіг. ності можуть бути використані, в тому числі вейв40 ілюструє схему оцінки руху і компенсації руху, лет-фільтри. Вейвлети - це клас функцій, викорисяка використовується для того, щоб сформувати товуваних для того, щоб локалізувати даний попередній прогресивний кадр після компенсації сигнал як в просторовій області, так і в області руху з вибраного кадру, і потім комбінується з помасштабування. Фундаментальна ідея відносно переднім Wmed-кадром, щоб сформувати "кінцевейвлетів полягає в тому, щоб аналізувати сигнал вий" прогресивний кадр, показаний як поточний при різних масштабах або розрізненнях, з тим щоб кадр 4014 з усуненою черезрядковою розгорткою. незначні зміни у вейвлет-представленні формуваУ деяких аспектах варіанти (або оцінки) векторів ли відповідні невеликі зміни у вихідному сигналі. руху (MV) черезрядкових мультимедійних даних Вейвлет-стиснення або вейвлет-фільтр Вінера надаються в модуль усунення черезрядкової розтакож може бути застосований як модуль зниженгортки із зовнішніх модулів оцінки руху і викорисня шумності. Вейвлет-стиснення складається з товуються для того, щоб надавати початкову точку вейвлет-перетворення сигналу шуму, за яким іде для двоспрямованого модуля оцінки і компенсації стиснення невеликих вейвлет-коефіцієнтів до нуля руху (МЕ/МС) 4018. У деяких аспектах модуль (або меншого значення) при залишанні незміне4022 вибору MV-варіантів використовує раніше ними великих коефіцієнтів. У завершення, зворотвизначені MV для сусідніх блоків для MV-варіантів не перетворення виконується для того, щоб одероброблюваних блоків, наприклад, MV попередніх жати оцінений сигнал. оброблених блоків, наприклад, блоків в попередФільтрація зі зниженням шумності підвищує ньому кадрі 4020 з усуненою черезрядковою розточність компенсації руху в шумних оточеннях. горткою. Компенсація руху може здійснюватися Зниження шумності з вейвлет-стисненням може двоспрямовано на основі попереднього кадру 70 з приводити до стиснення в області вейвлет 25 92368 26 усуненою черезрядковою розгорткою і наступного x u i sin c fc i x (6) (наприклад, майбутнього) Wmed-кадру 4008. Поi точний Wmed-кадр 4010 і поточний кадр 4016 після компенсації руху (МС) об'єднуються або комбіде fс - це частота відсікання. Вищезгаданий нуються за допомогою модуля 4012 комбінування. одновимірний поліфазний фільтр може бути заРезультуючий поточний кадр 4014 з усуненою честосований до горизонтального напряму і вертирезрядковою розгорткою, тепер прогресивний кального напряму. кадр, надається зворотно в МЕ/МС 4018, щоб бути Інший аспект повторної дискретизації (зміни використаним як попередній кадр 4020 з усуненою розміру) враховує розгортку за межами екрана. У черезрядковою розгорткою, а також передається телевізійному сигналі NTSC зображення має 486 за межі модуля 605 усунення черезрядкової розгорядків розгортки, а в цифровому відео може мати ртки для подальшої обробки. 720 пікселів для кожного рядка розгортки. Проте, Можна виділити схеми прогнозу усунення чене все повне зображення видно на телевізорі внарезрядкової розгортки, які містять міжпольову інслідок незбігу між розміром і форматом екрана. терполяцію, з внутрішньопольовою інтерполяції за Частина зображення, яка не видна, називається допомогою схеми усунення черезрядкової розгоррозгорткою за межами екрана. тки Wmed+MC. Іншими словами, просторовоЩоб допомогти широкомовним станціям помічасова Wmed-фільтрація може бути використана, щувати корисну інформацію в область, видиму насамперед, для цілей внутрішньопольової інтерякомога більшою кількістю телевізорів, Суспільстполяції, тоді як міжпольова інтерполяція може виво інженерів кіно і телебачення (SMPTE) задало конуватися в ході компенсації руху. Це знижує піконкретні розміри кадру рухомих об'єктів, звані кове співвідношення "сигнал-шум" результату захищеною областю рухомих об'єктів і захищеною Wmed, але візуальна якість після того, як застосообластю тайтлів. Див. керівні вказівки "SMPTE RP вана компенсація руху, є більш задовільною, оскі27.3-1989 "Specifications for Safe Action and Safe льки дефектні піксели з неточних рішень режиму Title Areas Test Pattern for Television Systems". Завнутрішньопольового прогнозу видаляються з хищена область рухомих об'єктів задається за процесу Wmed-фільтрації. допомогою SMPTE як область, в якій повинні знаПісля відповідної обробки перетворення з віходитися всі суттєві рухомі об'єкти. Захищена обдеоформату в фільм або усунення черезрядкової ласть тайтлів задається як область, в якій вся корозгортки на етапі 608 прогресивне відео обробрисна інформація може бути поміщена, щоб ляється для приглушення перешкод дискретизації забезпечити видимість на більшості домашніх теі повторної дискретизації (наприклад, зміни розмілевізійних приймачів. ру). У деяких аспектах повторної дискретизації Наприклад, посилаючись на Фіг. 25, захищена модуль повторної дискретизації фази реалізоваобласть 2510 рухомих об'єктів займає по центру ний для зміни розміру зображень. У одному прик90% екрана, даючи 5% границю навколо. Захищеладі знижувальної дискретизації співвідношення на область 2505 тайтлів займає по центру 80% між вихідним і зміненим зображенням може бути екрана, даючи 10% границі. Посилаючись тепер на p/q, де р і q - це відносно прості числа. Загальне Фіг. 26, оскільки захищена область тайтлів дуже число фаз дорівнює р. Частота відсікання поліфамала, щоб додати додатковий вміст в зображення, зного фільтра в деяких аспектах дорівнює 0,6 для деякі станції поміщують текст в захищену область коефіцієнтів зміни розміру приблизно в 0,5. Часторухомих об'єктів, яка знаходиться всередині білого та відсікання не співпадає точно з коефіцієнтом прямокутного вікна 2615. зміни розміру, щоб підвищити високочастотну хаЗвичайно чорні границі можуть бути видні в рактеристику послідовності зміненого розміру. Це розгортці за межами екрана. Наприклад, на Фіг. 26 неминучо надає певні перешкоди дискретизації. чорні границі відображаються в верхній стороні Проте, добре відомо, що людське око віддає пере2620 і нижній стороні 2625 зображення. Ці чорні вагу різким, але з невеликими перешкодами зограниці можуть бути видалені в розгортці за мебраження розмитим і не утримуючим перешкод жами екрана, оскільки відео Н.264 застосовує розображенням. зширення границь при оцінці руху. Розширені чорФіг. 41 ілюструє приклад поліфазної повторної ні границі дозволяють збільшувати залишок. дискретизації, що показує фази, якщо співвідноКонсервативно, границя може бути обрізана на 2% шення зміни розміру становить 3/4. Частота відсіі потім виконана зміна розміру. Фільтри для зміни кання, проілюстрована на Фіг. 41, також становить розміру можуть бути сформовані відповідним чи3/4. Вихідні піксели проілюстровані на вищезгаданом. Відсікання виконується для того, щоб виданому кресленні з вертикальними осями. Синусоїлити розгортку за межами екрана до поліфазної дальна функція також намальована центрованою знижувальної дискретизації. навколо осей, щоб представляти форму сигналу Знов посилаючись на Фіг. 6, прогресивне відео фільтра. Оскільки частота відсікання вибрана так, потім переходить до етапу 610, де виконуються щоб бути такою ж, що і співвідношення повторної операції розблокування і приглушення реверберадискретизації, нулі синусоїдальної функції перекцій. Два типи перешкод, "блокування" і "реверберивають позицію пікселів після зміни розміру, прорації", як правило, виникають в додатках відеостиілюстрованої на Фіг. 41 за допомогою перетинів. снення. Перешкоди зображення виникають, Щоб знайти значення піксела після зміни розміру, оскільки алгоритми стиснення ділять кожний кадр частка може бути підсумована з вихідних пікселів, на блоки (наприклад, блоки 8 8). Кожний блок відяк показано в наступному рівнянні: новлюється з деякими невеликими помилками, і 27 92368 28 помилки по краях блока часто контрастують з побільшого рівня зміни залежно від варіанта застомилками по краях сусідніх блоків, роблячи границі сування. блоків видимими. На відміну від цього, перешкоди Виявлення зміни кадрів або сцен важливе для реверберацій з'являються як спотворення по краях ефективного кодування відео. У типовому варіанті, елементів зображень. Перешкоди реверберації коли GOP не змінюється значно, за І-кадром на виникають, оскільки кодер відкидає дуже багато початку GOP іде ряд предиктивних кадрів, що доінформації при квантуванні високочастотних DCTзволяє значною мірою кодувати відео так, щоб коефіцієнтів. У деяких ілюстративних прикладах, подальше декодування і відображення відео було деблокування і приглушення реверберацій може візуально прийнятним. Проте, коли сцена змінювикористовувати фільтри нижніх частот з FIR (кінється, різко або повільно, додаткові І-кадри і менцевою імпульсною характеристикою), щоб прихоше кодування з прогнозом (Р-кадри і В-кадри) мовувати ці видимі перешкоди. же вимагатися, щоб надати згодом декодовані У одному прикладі обробки деблокування візуально прийнятні результати. фільтр деблокування може бути застосований до Системи і способи виявлення кадрів і кодування, які підвищують продуктивність існуючих систем всіх країв блоків 4 4 кадру, за винятком країв на кодування, описуються нижче. Ці аспекти можуть границі кадру і всіх країв, для яких процес фільтра бути реалізовані в модулі 612 секціонування GOP деблокування відключений. Цей процес фільтрації препроцесора 226 (Фіг. 7) або включені в пристрій повинен виконуватися на основі макроблоків після кодера, який може працювати з або без препроцезавершення процесу складання кадрів, причому сора. Дані аспекти використовують статистику (або всі макроблоки в кадрі обробляються в порядку показники), які включають в себе статистичні порізбільшення адрес макроблоків. Для кожного маквняння між сусідніми кадрами відеоданих, щоб роблока вертикальні краї фільтруються першими, визначати, якщо виникла різка зміна сцен, сцена зліва направо, а потім горизонтальні краї фільтруповільно змінюється або є спалахи камери в сцені, ються зверху вниз. Процес фільтра деблокування які можуть особливо ускладнювати кодування вікомпоненти яскравості виконується по чотирьох део. Статистика може бути одержана від препрокраях з 16 вибірок, і процес фільтра деблокування цесора і потім відправлена в пристрій кодування для кожної компоненти кольоровості виконується або вона може бути сформована в пристрої кодупо двох краях з 8 вибірок для горизонтального вання (наприклад, за допомогою процесора, сконнапряму і для вертикального напряму, як показано фігурованого так, щоб виконувати компенсацію на Фіг. 39. Значення вибірки вище і зліва від поторуху). Результуюча статистика допомагає в прийнчного макроблока, які, можливо, вже модифіковані ятті рішення по виявленню зміни сцен. У системі, за допомогою операції процесу деблокування для яка здійснює перекодування, часто є належний попередніх макроблоків, повинні бути використані препроцесор або конфігурований процесор. Якщо як вхідні дані процесу фільтра деблокування для препроцесор виконує усунення черезрядкової розпоточного макроблока і можуть бути додатково гортки за допомогою компенсації руху, статистика модифіковані в ході фільтрації поточного макробкомпенсації руху доступна і готова до застосуванлока. Значення вибірки, модифіковані в ході фільня. У таких системах алгоритм виявлення кадрів трації вертикальних країв, можуть бути використаможе трохи підвищити складність системи. ні як вхідні дані для фільтрації горизонтальних Ілюстративний приклад модуля виявлення какраїв для того ж макроблока. Процес деблокувандрів, описаний в даному документі, повинен виконя може бути активований для компонент яскраристовувати тільки статистику з попереднього кавості і кольоровості окремо. дру, поточного кадру і наступного кадру, а, отже, У прикладі обробки приглушення реверберамає дуже невелику затримку. Модуль виявлення цій двовимірний фільтр може бути адаптивно закадрів розрізнює декілька різних типів подій кадрів, стосований так, щоб згладжувати області біля крав тому числі різку зміну сцен, монтажний перехід і їв. Крайові піксели піддаються невеликій іншу повільну зміну сцен, а також спалах камери. фільтрації або не піддаються фільтрації, щоб униЗа допомогою визначення різних типів подій кадрів кнути розмивання. з різними стратегіями в кодері ефективність кодуМодуль секціонування GOP вання і візуальна якість поліпшуються. Після деблокування і приглушення ревербеВиявлення зміни сцен може бути використане рацій прогресивне відео обробляється за допомодля будь-якої системи кодування відео, щоб вона гою модуля 612 секціонування GOP. Розміщення інтелектуально зберігала біти за допомогою вставGOP може включати в себе виявлення зміни кадки I-кадру з фіксованим інтервалом. У деяких асрів, формування таблиць складності (наприклад, пектах інформація вмісту, одержана за допомогою часових, просторових таблиць смуги пропускання) препроцессора (наприклад, або яка міститься в і адаптивне секціонування GOP. Все вищезазнаметаданих, або обчислена за допомогою препрочене описується далі. цесора 226), може бути використана для виявленА. Виявлення зміни сцен ня зміни сцен. Наприклад, залежно від інформації Виявлення кадрів належить до визначення товмісту, порогові значення і інші критерії, описані го, коли кадр в групі зображень (GOP) надає дані, нижче, можуть динамічно коректуватися для різних які вказують те, що сталася зміна сцени. Загалом, типів відеовмісту. в GOP кадри можуть не мати суттєвої зміни для Кодування відео звичайно виконується для будь-яких двох або трьох (або більшого числа) структурованої групи зображень (GOP). GOP звисусідніх кадрів, або можуть бути повільні зміни або чайно починається з внутрішньо кодованого кадру швидкі зміни. Зрозуміло, ці класифікації зміни сцен (І-кадру), за яким іде послідовність з Ρ (прогнозуюза необхідності можуть бути додатково розбиті до 29 92368 30 чих) або В (двоспрямованих) кадрів. У типовому не може ефективно зменшити швидкість передачі варіанті І-кадр може зберігати всі дані, необхідні бітів цих кадрів, і більше число внутрішніх MB модля того, щоб відображати кадр, В-кадр базується же бути оновлене для цих кадрів. на даних в попередніх і подальших кадрах (наприСпалахи камери, або події спалаху камери, клад, що містять тільки дані, змінені з попередньовиникають, коли вміст кадру включає в себе спаго кадру або відмінні від даних в наступному кадлахи камери. Ці спалахи мають відносно невелику рі), а Р-кадр містить дані, які змінені з тривалість (наприклад, один кадр) і є дуже яскрапопереднього кадру. У більшості випадків між Івими, так що піксели в кадрі, що візуалізує спалакадрами вставляються Р-кадри і В-кадри в кодохи, демонструють дуже високу яскравість відносно ваному відео. Відносно розміру (наприклад, числа відповідної області в сусідньому кадрі. Спалахи бітів, використовуваних для того, щоб кодувати камери зсувають яскравість зображення раптово і кадр), І-кадри в типовому варіанті набагато більші швидко. Звичайно тривалість спалаху камери меР-кадрів, які, в свою чергу, більші В-кадрів. Для нше тривалості часового маскування зорової сисефективної обробки кодування, передачі і декодутеми людини (HVS), яка в типовому варіанті задавання довжина GOP повинна бути достатньо веється рівною 44 мс. Людські очі не чутливі до ликою для того, щоб знижувати фактичні втрати з якості цих коротких сплесків яскравості, і тому вовеликих І-кадрів, і достатньо маленькою для того, ни можуть бути кодовані більш грубо. Оскільки щоб протистояти незбігу між кодером і декодером кадри спалаху не можуть ефективно оброблятися або погіршенню якості каналу. Крім цього, макробза допомогою компенсації руху і вони є поганим локи (MB) в Р-кадрах можуть бути внутрішньо коваріантом прогнозу для майбутніх кадрів, грубе дованими з тієї ж причини. кодування цих кадрів не знижує ефективність коВиявлення зміни сцен може бути використане дування майбутніх кадрів. Сцени, класифіковані як відеокодером для того, щоб визначати відповідну спалахи, не повинні бути використані для того, довжину GOP і вставляти І-кадри на основі довжищоб прогнозувати інші кадри внаслідок "штучної" ни GOP замість вставки часто непотрібного І-кадру високої яскравості, і інші кадри не можуть бути з фіксованим інтервалом. У практичній системі ефективно використані для того, щоб прогнозувапотокової передачі відео якість каналу зв'язку звити ці кадри, через ту ж причину. Після ідентифікачайно погіршується через бітові помилки або втрації ці кадри можуть бути витягнуті, оскільки вони ти пакетів. Те, де розміщуються І-кадри або І-МВ, можуть потребувати відносно високого об'єму обможе суттєво впливати на якість декодованого робки. Один варіант полягає в тому, щоб видаляти відео і зручність перегляду. Одна схема кодування спалахи камери і кодувати коефіцієнт DC на їх полягає в тому, щоб використовувати внутрішньо місці; це рішення є простим, обчислювально швикодовані кадри для зображень або частин зобрадким і економить багато бітів. жень, які мають суттєву відмінність в порівнянні з Коли будь-які з вищенаведених категорій кадспільно розміщеними попередніми зображеннями рів виявлені, оголошується подія кадру. Виявленабо частинами зображень. Звичайно ці зони не ня кадрів корисне не тільки для того, щоб підвиможуть ефективно і раціонально прогнозуватися щувати ефективність кодування, воно також може при оцінці руху, і кодування може виконуватися допомогти в ідентифікації пошуку і індексації відебільш ефективно, якщо ці зони виключені з метоовмісту. Один ілюстративний аспект процесу видик міжкадрового кодування (наприклад, кодуванявлення сцен описаний нижче. У цьому прикладі, ня за допомогою В-кадрів і Р-кадрів). У контексті процес виявлення кадрів спочатку обчислює інфопогіршення якості каналу ці зони, ймовірно, зазнармацію, або показники, для вибраного кадру, що ють поширення помилок, яке може бути зменшене обробляється для виявлення кадрів. Показники або виключене (або практично виключене) за доможуть включати в себе інформацію з двовимірної помогою внутрішньокадрового кодування. обробки оцінки і компенсації руху для відео і інших Частини відео GOP можуть бути класифіковані заснованих на яскравості показників. на дві або більше категорій, при цьому кожна зона Щоб виконувати двовимірну оцінможе мати різні критерії внутрішньокадрового коку/компенсацію руху, відеопослідовність повинна дування, які можуть залежати від конкретної реабути попередньо оброблена за допомогою модуля лізації. Як приклад, відео може бути класифіковадвоспрямованої компенсації руху, який зіставляє не на три категорії: різка зміна сцен, монтажний кожний блок 8 8 поточного кадру з блоками в двох перехід і інші повільні зміни сцен, а також спалахи кадрах, найбільш близьких до сусідніх кадрів, один камери. в минулому і один в майбутньому. Блок компенсаРізкі зміни сцен включають в себе кадри, які ції руху формує вектори руху і різницеві показники значно відрізняються від попереднього кадру, що для кожного блока. Фіг. 29 - це ілюстрація, яка дезвичайно викликаються роботою камери. Оскільки монструє приклад зіставлення пікселів поточного вміст цих кадрів відрізняється від вмісту попередкадру С з минулим кадром Ρ і майбутнім (або нанього кадру, кадри різкої зміни сцен повинні бути ступним) кадром N і показує вектори руху для зіскодовані як І-кадри. тавлених пікселів (минулий вектор руху MVP і майМонтажний перехід і інші повільні зміни сцен бутній вектор руху MVN). Загальний опис включають в себе повільне перемикання сцен, що формування двоспрямованих векторів руху і позвичайно викликається за допомогою обчислював'язаного кодування, загалом, наводиться нижче з льної обробки зйомки камерою. Поступове змішупосиланням на Фіг. 32. вання двох різних сцен може виглядати більш Після визначення інформації двоспрямованого приємним для людських очей, але накладає скларуху (наприклад, інформації руху, яка ідентифікує дну задачу на кодування відео. Компенсація руху MB (найбільш співпадаючі)) у відповідних сусідніх 31 92368 32 кадрах, додаткові показники можуть бути сформовані (наприклад, за допомогою модуля компенсації де А - це константа, вибрана за допомогою руху в модулі 612 секціонування GOP або іншому SADP варіанта застосування, і C відповідному компоненті) за допомогою різних поSADN рівнянь поточного кадру з наступним кадром і поSADPP переднім кадром. Модуль компенсації руху може . P формувати різницевий показник для кожного блоSADC ка. Різницевим показником може бути сума квадВибраний (поточний кадр) класифікується як ратів різниць (SSD) або сума абсолютної різниці кадр різкої зміни сцен, якщо різницевий показник (SAD). Без втрати спільності, тут як приклад викокадрів задовольняє критерій, показаний в рівнянні ристовується SAD. 9: Для кожного кадру співвідношення SAD, також згадуване як "коефіцієнт контрастності", обчислюC A 2 ється таким чином: D 1 Т1 (9) P SADP SADN (6) де SADP і SADN - це сума абсолютних різниць прямого і зворотного різницевого показника,відповідно. Потрібно зазначити, що знаменник містить невелике позитивне число , щоб не допустити помилки ділення на нуль. Чисельник також містить , щоб компенсувати вплив одиниці в знаменнику. Наприклад, якщо попередній кадр, поточний кадр і наступний кадр ідентичні, пошук руху повинен давати SADP=SADN=0. У цьому випадку вищезгадані формувачі обчислення =1 замість 0 або нескінченності. Гістограма яскравості може бути обчислена для кожного кадру. У типовому варіанті мультимедійні зображення мають глибину яскравості (наприклад, число "елементів розрізнення") у вісім бітів. Глибина яскравості, використовувана для обчислення гістограми яскравості згідно з деякими аспектами, може бути задана рівною 16, щоб одержати гістограму. У інших аспектах глибина яскравості може бути задана рівною відповідному числу, яке може залежати від типу оброблюваних даних, доступної обчислювальної потужності або інших попередньо визначених критеріїв. У деяких аспектах глибина яскравості може задаватися динамічно на основі обчисленого або прийнятого показника, наприклад, вмісту даних. Нижченаведене рівняння ілюструє один приклад обчислення різниці гістограм яскравості (лямбди): 16 NPi NCi i 1 (7) N де NPi - це число блоків в i-тому елементі розрізнення для попереднього кадру, NCj - це число блоків в i-тому елементі розрізнення для поточного кадру, а N - це загальне число блоків в кадрі. Якщо різниця гістограм яскравості попереднього і поточного кадру повністю несхожа (або неперетинна), то =2. Використовуючи цю інформацію, показник різниці кадрів (D) обчислюється таким чином: D C P A 2 1 (8) де А - це константа, вибрана за допомогою варіанта застосування, а T1 - це поріг. У одному прикладі, який показує моделювання, задавання А=1 і Т1=5 надає хорошу продуктивність виявлення. Якщо поточний кадр є кадром різкої зміни сцен, то С повинно бути великим, а P повинно бути маленьким. Співвідношення С/ P може бути використано замість тільки С, з тим щоб показник був нормалізований до рівня активності. Потрібно зазначити, що вищенаведений критерій використовує різницю гістограм яскравості лямбду ( ) нелінійним способом. Фіг. 16 ілюструє, що *(2 +1) є опуклою функцією. Коли невелика (наприклад, близько нуля), це просто передспотворення. Чим більше стає , тим більше передспотворення надається за допомогою функції. За допомогою цього передспотворення для будь-кого більше 1,4, різка зміна сцен виявляється, якщо поріг Т1 заданий рівним 5. Поточний кадр визначається як монтажний перехід або повільна зміна сцен, якщо показник інтенсивності сцени D задовольняє критерій, показаний в рівнянні 5: Т2 D

Дивитися

Додаткова інформація

Назва патенту англійською

Scalability method basing of on content information

Автори англійською

Raviindran Vijaialakshmi P., Walker, Gordon, Kent, Tian Tao, Bkhamidipati Pkhanukumar, Shi, Fang, Chen Peisun, Subramania Sitaraman Hanapatkhi, Ohuz Sefullakh Khalit

Назва патенту російською

Методика на основе информации содержимого

Автори російською

Равииндран Виджаялакшми Р., Уолкер Гордон Кент, Тянь Тао, Бхамидипати Пханикумар, Ши Фан, Чень Пейсун, Субраманиа Ситараман Ганапатхи, Огуз Сефуллах Халит

МПК / Мітки

МПК: H04N 7/26

Мітки: основі, масштабованості, інформації, методика, вмісту

Код посилання

<a href="https://ua.patents.su/58-92368-metodika-masshtabovanosti-na-osnovi-informaci-vmistu.html" target="_blank" rel="follow" title="База патентів України">Методика масштабованості на основі інформації вмісту</a>

Подібні патенти