Спосіб і пристрій для призначення векторів руху

1. Спосіб обробки множини векторів руху для відеокадру, що інтерполюється з використанням першого опорного кадру й другого опорного кадру, причому кожний опорний кадр містить карту змісту, який включає етапи, на яких: ділять відеокадр, що інтерполюється у множину зон; визначають кількість векторів руху, що проходять через одну із множини зон, на основі карт змісту першого опорного кадру й другого опорного кадру; і формують вектор руху для призначення на одну зону на основі кількості векторів руху, що проходять через одну зону. 2. Спосіб за п. 1, у якому етап ділення відеокадру, що інтерпретується у множину зон, включає етап ділення відеокадру, що інтерпретується у множину зон, що не перекриваються. 3. Спосіб за п. 1, у якому етап ділення відеокадру, що інтерпретується у множину зон, включає етап ділення відеокадру, що інтерпретується у множину зон, що перекриваються. 4. Спосіб за п. 1, у якому етап формування вектора руху для однієї зони на основі кількості векторів руху, що проходять через одну зону, включає етап вибору одного із множини векторів руху, що проходять через одну зону. 5. Спосіб за п. 1, у якому етап ділення відеокадру, що інтерпретується у множину зон, включає етап ділення відеокадру, що інтерпретується у множину зон постійного розміру. 2 (19) 1 3 12. Спосіб за п. 11, у якому множина класів змісту містить клас змісту фону. 13. Спосіб за п. 12, у якому клас фону містить клас об'єкта, що з'являється, клас об'єкта, що зникає, й клас статичного фону. 14. Спосіб за п. 11, у якому множина класів змісту містить клас змісту об'єкта, що рухається. 15. Спосіб за п. 11, у якому множина класів змісту містить клас змісту границь. 16. Машиночитаний носій, який містить збережені на ньому команди для виконання комп'ютером способу для обробки множини векторів руху для відеокадру, що інтерполюється, з використанням першого опорного кадру й другого опорного кадру, причому кожний опорний кадр містить карту змісту, спосіб, який включає етапи, на яких: ділять відеокадр, що інтерпретується у множину зон; визначають кількість векторів руху, що проходять через одну із множини зон, на основі карт змісту першого опорного кадру й другого опорного кадру; і формують вектор руху для призначення на одну зону на основі кількості векторів руху, що проходять через одну зону. 17. Машиночитаний носій за п. 16, у якому етап ділення відеокадру, що інтерпретується у множину зон, включає етап ділення відеокадру, що інтерпретується у множину зон, що не перекриваються. 18. Машиночитаний носій за п. 16, у якому етап ділення відеокадру, що інтерпретується у множину зон, включає етап ділення відеокадру, що інтерпретується у множину зон, що перекриваються. 19. Машиночитаний носій за п. 16, у якому етап формування вектора руху для однієї зони на основі кількості векторів руху, що проходять через одну зону, включає етап вибору одного із множини векторів руху, що проходять через одну зону. 20. Машиночитаний носій за п. 16, у якому етап ділення відеокадру, що інтерпретується у множину зон, включає етап ділення відеокадру, що інтерпретується у множину зон постійного розміру. 21. Машиночитаний носій за п. 16, у якому етап ділення відеокадру, що інтерпретується у множину зон, включає етап ділення відеокадру, що інтерпретується у множину зон різних розмірів. 22. Машиночитаний носій за п. 16, у якому етап ділення відеокадру, що інтерпретується у множину зон, включає етап ділення відеокадру, що інтерпретується у множину елементів зображення. 23. Машиночитаний носій за п. 16, у якому етап визначення кількості векторів руху, що проходять через одну із множини зон на основі карт змісту першого опорного кадру й другого опорного кадру, включає у себе етапи, на яких: для кожного вектора руху, що проходить через одну зону: визначення класу змісту початкової точки вектора руху й класу змісту кінцевої точки вектора руху; порівняння класу змісту початкової точки вектора руху й класу змісту кінцевої точки вектора руху; і видалення вектора руху з розглянутої кількості векторів руху, що проходять через одну зону, якщо клас змісту початкової точки вектора руху й клас змісту кінцевої точки вектора руху є різними. 88017 4 24. Машиночитаний носій за п. 16, у якому етап формування вектора руху для призначення на одну зону на основі кількості векторів руху, що проходять через одну зону, включає етап призначення одній зоні вектора руху, вибраного із групи, що складається з: (і) нульового вектора руху, (іі) середнього числа будь-яких доступних сусідніх векторів руху й (ііі) медіани будь-яких доступних сусідніх векторів руху; якщо кількість векторів руху, що проходять через одну зону, дорівнює нулю. 25. Машиночитаний носій за п. 16, у якому етап формування вектора руху для призначення на одну зону на основі кількості векторів руху, що проходять через одну зону, включає етап призначення одній зоні вектора руху, вибраного із групи, що складається з: (і) вектора руху центрального елемента зображення, (іі) вектора руху найбільш перекритої зони, (ііі) зваженого вектора руху й (iv) усередненого вектора руху; якщо кількість векторів руху, що проходять через одну зону, є більшою одиниці. 26. Машиночитаний носій за п. 16, у якому карта змісту містить множину класів змісту. 27. Машиночитаний носій за п. 26, у якому множина класів змісту містить клас змісту фону. 28. Машиночитаний носій за п. 27, у якому клас фону містить клас об'єкта, що з'являється, клас об'єкта, що зникає, й клас статичного фону. 29. Машиночитаний носій за п. 26, у якому множина класів змісту містить клас змісту об'єкта, що рухається. 30. Машиночитаний носій за п. 26, у якому множина класів змісту містить клас змісту границь. 31. Пристрій для обробки множини векторів руху для відеокадру, що інтерполюється з використанням першого опорного кадру й другого опорного кадру, причому кожний опорний кадр містить карту змісту, який містить: засіб для ділення відеокадру, що інтерпретується у множину зон; засіб для визначення кількості векторів руху, що проходять через одну із множини зон, на основі карт змісту першого опорного кадру й другого опорного кадру; і засіб для формування вектора руху для призначення на одну зону на основі кількості векторів руху, що проходять через одну зону. 32. Пристрій за п. 31, у якому засіб для ділення відеокадру, що інтерпретується у множину зон, містить засіб для ділення відеокадру, що інтерпретується у множину зон, що не перекриваються. 33. Пристрій за п. 31, у якому засіб для ділення відеокадру, що інтерпретується у множину зон, містить засіб для ділення відеокадру, що інтерпретується у множину зон, що перекриваються. 34. Пристрій за п. 31, у якому засіб для формування вектора руху для однієї зони на основі кількості векторів руху, що проходять через одну зону, містить засіб для вибору одного із множини векторів руху, що проходять через одну зону. 35. Пристрій за п. 31, у якому засіб для ділення відеокадру, що інтерпретується у множину зон, містить засіб для ділення відеокадру, що інтерпретується у множину зон постійного розміру. 5 36. Пристрій за п. 31, у якому засіб для ділення відеокадру, що інтерпретується у множину зон, містить засіб для ділення відеокадру, що інтерпретується у множину зон різних розмірів. 37. Пристрій за п. 31, у якому засіб для ділення відеокадру, що інтерпретується у множину зон, містить засіб для ділення відеокадру, що інтерпретується у множину елементів зображення. 38. Пристрій за п. 31, у якому засіб для визначення кількості векторів руху, що проходять через одну із множини зон, на основі карт змісту першого опорного кадру й другого опорного кадру, який містить: засіб для визначення класу змісту початкової точки вектора руху й класу змісту кінцевої точки вектора руху; засіб для порівняння класу змісту початкової точки вектора руху із класом змісту кінцевої точки вектора руху; і засіб для видалення вектора руху з розглянутої множини векторів руху, що проходять через одну зону, якщо клас змісту початкової точки вектора руху й клас змісту кінцевої точки вектора рухи є різними. 39. Пристрій за п. 31, у якому засіб для формування вектора руху для призначення на одну зону на основі кількості векторів руху, що проходять через одну зону, містить засіб для призначення одній зоні вектора руху, вибраного із групи, що складається з: (і) нульового вектора руху, (іі) середнього числа будь-яких доступних сусідніх векторів руху й (ііі) медіани будь-яких доступних сусідніх векторів руху; якщо кількість векторів руху, що проходять через одну зону, дорівнює нулю. 40. Пристрій за п. 31, у якому засіб для формування вектора руху для призначення на одну зону на основі кількості векторів руху, що проходять через одну зону, містить засіб для призначення одній зоні вектора руху, вибраного із групи, що складається з: (і) вектора руху центрального елемента зображення, (іі) вектора руху найбільш перекритої зони, (ііі) зваженого вектора руху й (iv) усередненого вектора руху; якщо кількість векторів руху, що проходять через одну зону, є більшою одиниці. 41. Пристрій за п. 31, у якому карта змісту містить множину класів змісту. 42. Пристрій за п. 41, у якому множина класів змісту містить клас змісту фону. 43. Пристрій за п. 42, у якому клас фону містить клас об'єкта, що з'являється, клас об'єкта, що зникає, й клас статичного фону. 44. Пристрій за п. 41, у якому множина класів змісту містить клас змісту об'єкта, що рухається. 45. Пристрій за п. 41, у якому множина класів змісту містить клас змісту границь. 46. Процесор, виконаний з можливістю здійснення способу обробки множини векторів руху для відеокадру, що інтерполюється з використанням першого опорного кадру й другого опорного кадру, причому кожний опорний кадр містить карту змісту, спосіб, який включає етапи, на яких: ділять відеокадр, що інтерпретується у множину зон; визначають кількість векторів руху, що проходять через одну із множини зон, на основі карт змісту 88017 6 першого опорного кадру й другого опорного кадру; і формують вектор руху для призначення на одну зону на основі кількості векторів руху, що проходять через одну зону. 47. Процесор за п. 46, у якому етап ділення відеокадру, що інтерпретується у множину зон, включає етап ділення відеокадру, що інтерпретується у множину зон, що не перекриваються. 48. Процесор за п. 46, у якому етап ділення відеокадру, що інтерпретується у множину зон, включає етап ділення відеокадру, що інтерпретується у множину зон, що перекриваються. 49. Процесор за п. 46, у якому етап формування вектора руху для однієї зони на основі кількості векторів руху, що проходять через одну зону, включає етап вибору одного із множини векторів руху, що проходять через одну зону. 50. Процесор за п. 46, у якому етап ділення відеокадру, що інтерпретується у множину зон, включає етап ділення відеокадру, що інтерпретується у множину зон постійного розміру. 51. Процесор за п. 46, у якому етап ділення відеокадру, що інтерпретується у множину зон, включає етап ділення відеокадру, що інтерпретується у множину зон різних розмірів. 52. Процесор за п. 46, у якому етап ділення відеокадру, що інтерпретується у множину зон, включає етап ділення відеокадру, що інтерпретується у множину елементів зображення. 53. Процесор за п. 46, у якому етап визначення кількості векторів руху, що проходять через одну із множини зон, на основі карт змісту першого опорного кадру й другого опорного кадру включає етапи, на яких: для кожного вектора руху, що проходить через одну зону: визначають клас змісту початкової точки вектора руху й клас змісту кінцевої точки вектора руху; порівнюють клас змісту початкової точки вектора руху із класом змісту кінцевої точки вектора руху; і видаляють вектор руху з розглянутої множини векторів руху, що проходять через одну зону, якщо клас змісту початкової точки вектора руху й клас змісту кінцевої точки вектора руху є різними. 54. Процесор за п. 46, у якому етап формування вектора руху для призначення на одну зону на основі кількості векторів руху, що проходять через одну зону, включає етап призначення одній зоні вектора руху, вибраного із групи, що складається з: (і) нульового вектора руху, (іі) середнього числа будь-яких доступних сусідніх векторів руху й (ііі) медіани будь-яких доступних сусідніх векторів руху; якщо кількість векторів руху, що проходять через одну зону, дорівнює нулю. 55. Процесор за п. 46, у якому етап формування вектора руху для призначення на одну зону на основі кількості векторів руху, що проходять через одну зону, включає етап призначення одній зоні вектора руху, вибраного із групи, що складається з: (і) вектора руху центрального елемента зображення, (іі) вектора руху найбільш перекритої зони, (ііі) зваженого вектора руху й (iv) усередненого вектора руху; якщо кількість векторів руху, що проходять через одну зону, є більшою одиниці. 7 88017 8 56. Процесор за п. 46, у якому карта змісту містить множину класів змісту. 57. Процесор за п. 56, у якому множина класів змісту містить клас змісту фону. 58. Процесор за п. 57, у якому клас фону містить клас об'єкта, що з'являється, клас об'єкта, що зникає, й клас статичного фону. 59. Процесор за п. 56, у якому множина класів змісту містить клас змісту об'єкта, що рухається. 60. Процесор за п. 56, у якому множина класів змісту містить клас змісту границь. Дана заявка на патент запитує пріоритет попередньої заявки на патент № 60/590.110. поданої її заявником і повністю включеної в даний опис за допомогою посилання. Дана заявка на патент має відношення до наступної заявки на патент США. що знаходиться на одночасному розгляді: «Method and Apparatus for Motion Compensated Frame Rate Up Conversion for Block-Based Low Bit-Rate Video» № 11/122,678. поданої заявником, включеної в даний опис у всій своїй повноті як посилання. Описані в даному документі варіанти здійснення належать, у цілому, до обробки відеозображення й, більш конкретно, до способів і пристроям для призначення векторів руху. Низькошвидкісне стиснення відеозображення є дуже важливим в багатьох мультимедійних додатках, наприклад, у безпровідному потоковому відео й відеотелефони, через обмежені ресурси смуги пропускання й непостійність доступності смуги пропускання. Адаптація смуги пропускання до низькошвидкісного кодування відеосигналу може бути досягнута за допомогою скорочення часової розрізнювальної здатності. Інакше кажучи, для скорочення швидкості передачі, замість стиснення й передачі бітового потоку із частотою зміни кадрів, що дорівнює тридцяти (30) кадрам за секунду (fps), часова розрізнювальна здатність може бути розділена па два бітових потоки із частотою зміни кадрів, що дорівнює 15 кадрам за секунду. Один типовий підхід для скорочення смуги пропускання полягає у виключенні й видаленні надлишкової інформації із закодованого сигналу, наприклад, у видаленні частини або цілого кадру. Однак наслідки скорочення часової розрізнювальної здатності приводять до введення перекручувань зображення в часовій області, наприклад, до ривків у русі. які значно погіршують візуальну якість декодованого відеозображення. Для відображення повної частоти зміни кадрів на приймаючій стороні, для відновлення (повторного формування) пропущених кадрів і скорочення часових перекручувань зображення, потрібний алгоритм відновлення, названий перетворенням частоти зміни кадрів (FRUC). У цілому, перетворення частоти зміни кадрів (FRUC) являє собою процес інтерполяції відеозображення на відеодекодері для збільшення сприйнятої (видимої) частоти зміни кадрів відновленого відеозображення. Була запропонована множина алгоритмів перетворення частоти зміни кадрів (FRUC). внаслідок чого вони можуть бути класифіковані у дві загальні категорії. Перша категорія інтерполює відсутній кадр за допомогою використання комбінації прийнятих відеокадрів без урахування руху об'єкта. У цей клас входять способи повтору й усереднення кадру. Нeдoлiки цих способів включають у себе утворення ривків у русі, «паразитних» зображень і розмиття переміщення об'єктів при складному русі. Друга категорія є більш удосконаленою, у порівнянні з першою категорією, і використовує інформацію про рух. що передається за допомогою кодера в процесі, названому інтерполяцією (кадру) з компенсацією руху (МСІ). При звичайному прогнозуючому кодуванні з компенсацією руху кожний відеокадр спочатку ділиться на квадратні блоки, які складаються з елементів зображення: наприклад, на блоки розміром 8 елементів зображення на 8 елементів зображення. У свою чергу, кожний блок кодується, а сформована закодована послідовність передасться по каналу зв'язку на декодер. Протягом процесу кодування здійснюється визначення того, чи дійсно елементи зображення блока значно змінилися в порівнянні із сусіднім блоком, який знаходиться в попередньому кадрі. В іншому випадку виконується передача індикації, яка указує декодеру на те, що він повинен виконати простий повтор елементів зображення блока з попереднього кадру для одержання елементів зображення для поточного блока. Якщо елементи зображення змінені, починаючи з попереднього кадру, то робиться спроба визначення найкращої оцінки руху, що відбувається в блоці. Найчастіше це виконується за допомогою методики оцінки руху відповідного блока, де елементи зображення поточного блока є послідовними в порівнянні з різними невеликими зсувами відповідного блока, який знаходиться в попередньому кадрі Вважається, що зсув, що забезпечує кращу відповідність, є «найкращою оцінкою» зсуву в зображенні блока, який знаходиться між кадрами, а величина й напрямок цього руху, називані «вектором руху», вибираються для передачі на декодер. Крім того, після знаходження найкращої відповідності, елементи зображення, що знаходяться у поточному блоці, порівнюються з елементами зображення, що знаходяться в «кращому» зсунутому блоці, який знаходиться в попередньому кадрі, для виявлення того, чи існує значна відмінність. У іншому випадку замість передачі вектора руху виконують передачу індикації на декодер для того, щоб елементи зображення зсунутого блока, який знаходиться в попередньому кадрі, були повторені для елементів зображення поточного зсунутого блока. Вважається, що такі блоки були успішно компенсовані рухом. Однак, якщо між цими двома блоками існує значна відмінність, то відмінність кодується й передасться на декодер для того, щоб елементи зображення, які знахо 9 дяться у поточному блоці, могли бути відновлені з більшою точністю. Тут були описані деякий пропозиції для збільшення якості повторних кадрів для того, щоб зробити їх більш близькими до оригіналу. Таким чином, замість виконання простого повтору елементів зображення з попереднього кадру, як було описано вище, при звичайному прогнозуючому кодуванні з компенсацією руху, при інтерполяції (кадру) з компенсацією руху (МСІ) для бічного зсуву блока за допомогою відповідної величини перед відображенням використовуються вектори руху. Інакше кажучи, цей спосіб формує блок елементів зображення, якого не вистачає, за допомогою усереднення по безпосередньо попередньому й наступному блокам елементів зображення, які доступні декодеру. Однак, експериментальні результати показують, що якщо зображення послідовних блоків не представляють трансляційного руху, то відтворене зображення може бути гіршим, у порівнянні з повторенням кадру. Хоча спостерігається, що це погіршення викликане відносно малою кількістю елементів зображення, які не відповідають припущенню про трансляційний рух, а розміщення цих елементів зображення в невірній позиції створює дуже помітні перекручування зображення. Як показано в ілюстрованому на Фіг.1 попередньому рівні техніки, при інтерполяції (кадру) з компенсацією руху, кадр 108. якого не вистачає, інтерполюється на основі відновленого поточного кадру 102. збереженого попереднього кадру 104 і набору переданих векторів 106 руху. Відновлений поточний кадр 102 складається з набору блоків 150, 152, 154 і 156. що не перекриваються, пов'язаних з набором переданих векторів 106 руху, що вказують на відповідні блоки, які знаходяться у збереженому попередньому кадрі 104. Інтерпольований кадр 108 може бути сформований у будь-якій лінійній комбінації відповідних елементів зображення, які знаходяться у поточному й попередньому кадрах, або в нелінійній операції, наприклад, у серединній операції. Незважаючи на те, що інтерполяція (кадру) з компенсацією руху (МСІ) є більш удосконаленою, інтерполяція (кадру) з компенсацією руху на основі блоків вводить зони, що перекриваються, які є зонами, що містять множину траєкторій руху, що проходять через них, і порожні зони, які є зонами, що не містять ніяких траєкторій руху, що проходять через них, до того ж присутність обох типів зон в інтерпольованих кадрах небажана. Як ілюстровано на Фіг.2, інтерпольований кадр 202 містить зону, що перекривається, 206 і порожню зону 204. Основні причини для формування цих двох типів небажаних зон: 1) Переміщення об'єктів відбувається не за жорстко заданою моделлю трансляційного руху. 2) Передані вектори руху, використовувані в інтерполяції (кадру) з компенсацією руху (МСІ), можливо, не вказують на справжні траєкторії руху через алгоритми пошуку швидкого руху на основі блоків, використовуваних на кодуючій стороні 3) Покритий й непокритий фон в поточному кадрі й попередніх кадрах. Інтерполяція зон, що 88017 10 перекриваються, й порожніх зон є основною технічною проблемою в традиційних підходах до компенсування руху на основі блоків. Для заповнення цих зон. що перекриваються, й порожніх зон були запропоновані способи усередненого розмиття й просторової інтерполяції. Однак, недоліками цих способів є внесення перекручувань розмиття й блоковості, а також збільшення складності операцій інтерполяції. Для перетворення частоти зміни кадрів (FRUC) з компенсацією руху важливо належне призначення векторів руху, оскільки воно необхідне для кадрів, інтерпольованих з перетворенням частоти зміни кадрів з компенсацією руху (FRUC). Крім того, належне призначення векторів руху корисне при будь-якому застосуванні, де потрібна належна компенсація руху, заснована на призначенні векторів руху. Відповідно, існує потреба в подоланні вищезгаданої проблеми. Описані в даному документі варіанти здійснення забезпечують процес призначення векторів руху для кадрів, що інтерполюються, які містять зони, що перекриваються, й порожні зони. В одному варіанті здійснення розкритий спосіб обробки множини векторів руху для відеокадру, що інтерполюється з використанням першого опорного кадру й другого опорного кадру, причому кожний опорний кадр містить каргу змісту. Спосіб включає в себе етапи ділення відеокадру, що інтерпретується в множину зон, визначення кількості векторів руху, які проходять через одну зону, на основі карт змісту першого опорного кадру й другого опорного кадру, і призначення векторів руху на одну зону на основі кількості векторів руху, які проходять через одну зону В іншому варіанті здійснення розкритий машиночитаний носій, який містить збережені на ньому команди, що служать для виконання комп'ютером способу обробки множини векторів руху для відеокадру, який інтерполюється з використанням першого опорного кадру й другого опорного кадру, причому кожний опорний кадр містить карту змісту. Спосіб включає в себе етапи ділення відеокадру, що інтерпретується в множину зон, визначення кількості векторів руху, які проходять через одну зону, на основі карт змісту першого опорного кадру й другого опорного кадру, і призначення векторів руху на одну зону на основі кількості векторів руху, які проходять через одну зону. Ще в одному варіанті здійснення розкритий пристрій для обробки множини векторів руху для кадру, що інтерполюється з використанням першого опорного кадру й другого опорного кадру, причому кожний опорний кадр містить карту змісту. Пристрій включає в себе засіб для ділення відеокадру, що інтерпретується в множину зон. засіб для визначення кількості векторів руху, які проходять через одну зону, на основі карт змісту першого опорного кадру й другого опорного кадру і засіб для призначення векторів руху на одну зону на основі кількості векторів руху, які проходять через одну зону. Ще в одному варіанті здійснення розкритий щонайменше один процесор, виконаний з можливістю здійснення способу обробки множини векто 11 рів руху для відеокадру, що інтерполюється з використанням першого опорного кадру й другою опорного кадру, причому кожний опорний кадр містить карту змісту. Спосіб включає в себе етапи ділення відеокадру, що інтерпретується в множину зон, визначення кількості векторів руху, які проходять через одну зону, на основі карт змісту першого опорного кадру й другого опорного кадру, і призначення векторів руху на одну зону на основі кількості векторів руху, що проходять через одну зону. Інші цілі, особливості й переваги стануть очевидними фахівцям у даній галузі техніки з нижченаведеного докладного опису. Однак, повинно розумітися, що докладний опис, конкретні приклади й ілюстративні варіанти представлення здійснення подані в ілюстративних цілях, а не як обмеження. У нижченаведеному описі може бути зроблена множина змін і модифікацій, не відступаючи від його сутності, і варю розуміти, що опис містить у собі всі подібні зміни. Описані в даному документі варіанти здійснення будуть більш зрозумілі з урахуванням супровідних креслень, на яких зображене наступне: Фіг.1 - креслення, що ілюструє структуру кадру, інтерпольованого з використанням інтерполяції (кадру) з компенсацією руху (МСІ); Фіг.2 - креслення, яке ілюструє зони, що перекриваються, й порожні зони, які можуть зіштовхнутися в інтерпольованому кадрі протягом інтерполяції (кадру) з компенсацією руху (МСІ): Фіг.3 - блок-схема системи для перетворення частоти зміни кадрів (FRUC), що служить для виконання призначення векторів руху; Фіг.4 - блок-схема підсистеми виключення векторів руху системи векторів руху; Фіг.5 - схема послідовності операцій, яка ілюструє короткий огляд способу для призначення векторів руху для зон, що перекриваються, й порожніх зон; Фіг.6 - схема послідовності операцій, яка ілюструє роботу системи для перетворення частоти зміни кадрів (FRUC) для призначення векторів руху для зон, що перекриваються, й порожніх зон; Фіг.7 - креслення, яке ілюструє різні класи змісту, призначені на графічні елементи, що знаходяться у відеокадрі; Фіг.8 - схема послідовності операцій, яка ілюструє роботу системи для перетворення частоти зміни кадрів (FRUC), що служить для призначення векторів руху для зон. що перекриваються, й порожніх зон; і Фіг.9 - блок-схема термінала доступу й точки доступу системи безпровідного зв’язку. На деяких кресленнях аналогічні посилальні номери вказують на аналогічні елементи. Описані в даному документі варіанти здійснення забезпечують способи призначення векторів руху й пристрій, який підтримує змінювані зміни на основі розмірів блоків, на основі елементів зображення й на основі блоків при призначенні векторів руху. Описані в даному документі пристрої й способи призначення векторів руху беруть участь при формуванні інтерпольованих кадрів, також називаних «F-кадрів», з підвищеною якістю, наприклад, 88017 12 у процесі, такому як процес перетворення з підвищенням частоти зміни кадрів (FRUC). Додаткова інформація, що міститься в декодованих відеоданих, використовується як вхідні дані для процесу призначення векторів руху. Додаткова інформація може включати в себе, наприклад, опис типу графічних елементів, які складають кожний кадр, називаний «карти змісту», а також опис складності й руху елементів, називаний «карти складності» і «карти активності», відповідно. Описане в даному документі призначення векторів руху розглядає проблеми, які виникають протягом формування інтерпольованих кадрів у вигляді зон. що перекриваються, й порожніх зон, які небажані в інтерпольованих кадрах. Фіг.3 ілюструє систему 300 для перетворення частоти зміни кадрів (FRUC), яка може виконувати призначення векторів руху для F-кадрів, також називаних «кадрів, що інтерполюються», система 300 для перетворення частоти зміни кадрів (FRUC) приймає вхідний бітовий потік 302 і використовує модуль 306 дешифратора двійкових кодів для виключення: (1) набору векторів 308 руху, які знаходяться у буфері 316 збережених векторів руху, і (2) залишку 310. Залишок 310 вводиться в модуль 312 зворотного квантування/зворотного перетворення, результат його обчислення поєднується з попереднім кадром, збереженим у буфері 318 збережених попередніх кадрів, для формування поточного кадру. Поточний кадр зберігається в буфері 320 поточних кадрів. Підчастина 350 системи 300 для перетворення частоти зміни кадрів (FRUC), що включає в себе буфер 316 збережених векторів руху, буфер 318 збережених кадрів і буфер 320 поточних кадрів, містить визначені функціональні модулі для виконання призначення векторів руху відповідно до одного ілюстративного варіанта здійснення, як описано в даному документі. Зокрема, підчастина 350 містить у собі процесор 322 для обробки векторів руху, модуль 324 оцінки вибраного двоспрямованого руху, другий процесор 326 для обробки векторів руху, модуль 328 визначення режиму роботи, модуль 330 перетворювача, що підвищує частоту зміни кадрів (FRUC), і постпроцесор 332. Далі, з посиланнями на креслення, описаний процес роботи системи 300 для перетворення частоти зміни кадрів (FRUC). Крім того, одна ілюстративна система екстраполяції векторів руху й класифікації змісту, що може бути використана з описаною в даному документі системою «Method and Apparatus for Frame Rate Up Conversion» [Fang Shi, Viji Raveendran], поданій 15 червня 2004 року. Більше того, один ілюстративний процес згладжування векторів руху, що може бути використаний з описаною в даному документі системою «Method and Apparatus for Motion Vector Processing» [Fang Shi, Viji Raveendran]. «Method and Apparatus for Motion Compensated Frame Rate Up Conversion» [040432], також забезпечує інші ілюстративні варіанти здійснення інших компонентів системи 300 для перетворення частоти зміни кадрів (FRUC), зокрема, які не описані в даному документі. Слід зазначити, що зображені на Фіг.3 функціональні модулі в одному варіанті здійснення від 13 повідають визначеним модулям, які можуть бути реалізовані з використанням одного або декількох програмно-реалізованих алгоритмів. Процес роботи алгоритмів описаний на високому рівні й досить деталізований для надання фахівцям у даній галузі техніки можливості їх реалізації з використанням комбінації підходів до апаратних засобів і програмного забезпечення. Нaпpиклaд. описані в даному документі компоненти можуть бути реалізовані як програмне забезпечення, виконуване на універсальному процесорі, а також як «апаратнореалізована» схема в спеціалізованій інтегральній схемі (ASIC), або будь-яка їх комбінація. Слід зазначити, що різні інші підходи до реалізації модулів, описані в даному документі, можуть бути використані, а також повинні знаходитися в межах галузі фахівців у даному рівні техніки, що практикують у широкій галузі зображення й відеообробки. Крім того, описані в даному документі ідеї винаходу можуть бути використані в кодувальних/декодувальних системах, які відповідають стандартам Н.26х, як проголошено Сектором по стандартизації телекомунікацій. що знаходяться у складі Міжнародного Телекомунікаційного Союзу (ITU-T), або стандартам MPEGx, як проголошено Експертною групою з питань рухомого зображення, робочою групою Міжнародної організації по стандартизації / Першим об'єднаним технічним комітетом Міжнародної електротехнічної комісії (ISO/IEC JTC1). Стандарти кодування видеосигналу ITU-T називаються рекомендаціями й відрізняються від Н.26х (наприклад, Н.261, Н.262, Н.263 і Н.264). Стандарти ISO/IEC відрізняються від MPEG-x (наприклад, MPEG-1, MPEG-2 і MPEG-4). Наприклад, множина опорних кадрів і непостійні розміри блока є спеціальними особливостями, необхідними для стандарту Н264. В інших варіантах здійснення, кодувальні/декодувальні системи, у яких використовуються описані в даному документі ідеї винаходу, можуть бути окремими варіантами. В одному варіанті здійснення система 300 для перетворення частоти зміни кадрів (FRUC) може бути сконфігурована на основі різних вимог складності. Наприклад, конфігурація високої складності може включати в себе множину опорних кадрів, непостійні розміри блока, екстраполяцію векторів руху попереднього опорного кадру з моделями прискорення руху й оцінку руху за допомогою подвійного згладжування поля руху. На відміну від цього, конфігурація малої складності може включати в себе тільки один опорний кадр, постійні розміри блока й інтерполяцію з компенсацією руху й згладжуванням поля руху. Інші конфігурації також допустимі для різних застосувань. Система 300 приймає вхідні дані від множини модулів зберігання даних, які знаходяться у підсистемі 400 бази даних, яка використовується для зберігання й витягання інформації про використовувані в обробці відеокадри. Як ілюстровано на Фіг. 4, ці модулі зберігання включають в себе модуль 402 зберігання карт змісту множини попередніх кадрів (MUTIPLE F PREV CONTENT MAP), модуль 404 зберігання екстрапольованих полів руху множини попередніх кадрів (EXTRAPOLATED 88017 14 MULTIPLE F_PREV MOTION FIELDS), модуль 406 зберігання карти змісту одного попереднього кадру (F_PREV CONTENT MAP) і модуль 408 зберігання екстрапольованого поля руху одного попереднього кадру (EXTRAPOLED F_PREV MOTION FIELD). Модуль 414 керування режимом роботи на основі множини опорних кадрів з'єднаний з відповідними модулями зберігання для виконання наступного етапу введення залежно від того, чи працює система 300 у режимі, який використовує множину опорних кадрів. Зокрема, якщо система 300 використовує множину попередніх опорних кадрів, то вхідні дані беруться з модуля 402 зберігання карт змісту множини попередніх кадрів і модуля 404 зберігання екстрапольованих полів руху множини попередніх кадрів. При режимі роботи з одним попереднім опорним кадром вхідні дані беруться з модуля 406 зберігання карти змісту одного попереднього кадру й модуля 408 зберігання екстрапольованого поля руху одного попереднього кадру. Незважаючи на те. що креслення ілюструє використання тільки двох різних наборів модулів для зберігання карт змісту й полів руху, тобто - один набір, у якому використовується множина опорних кадрів (тобто, модуль 402 зберігання карт змісту множини попередніх кадрів і модуль 404 зберігання екстрапольованих полів руху множини попередніх кадрів) і інший, у якому використовується один опорний кадр (тобто, модуль 406 зберігання карти змісту одного попереднього кадру й модуль 408 зберігання екстрапольованого поля руху одного попереднього кадру), слід зазначити, що також можливі й інші конфігурації. Наприклад, функціональні можливості двох різних модулів зберігання карт змісту можуть бути об'єднані таким чином, щоб один модуль зберігання міг бути використаний для зберігання карт змісту для множини кадрів або однієї карти змісту для одного кадру. Крім того, модулі зберігання також можуть зберігати дані для поточного кадру. Вихідні дані з модуля 414 керування режимом роботи на основі множини опорних кадрів, а також модуля 410 зберігання поля руху поточного кадру (F_CURR MOTION FIELD) і модуль 412 зберігання карти змісту поточного кадру (F_CURR CONTENT MAP) подаються на модуль 416 екстраполяції векторів руху. Модуль 416 екстраполяції векторів руху виключає вектори руху, а також додаткову інформацію, використовувану для обробки векторів руху в системі 300, як описано в даному документі. Таким чином, використовувані в системі 300 вхідні вектори руху можуть бути взяті з поточного кадру або можуть бути взяті й з поточного кадру й з одного або декількох попередньо декодованих кадрів. Крім того, інші вхідні дані для системи 300 є інформацією про бічну смугу частот з даних декодованого кадру, який може містити в собі, але не обмежуватися цим, важливі зони, варіації в інформації про текстуру й варіацію в значеннях яскравості фону. Ця інформація може забезпечити правила для класифікації векторів руху й алгоритми адаптивного згладжування, як обговорюється нижче. 15 Фіг.5 ілюструє короткий огляд ілюстративного процесу 500 призначення векторів руху, який починається з картами змісту й векторами руху для опорних кадрів, що використовуються для інтерполяції F-кадру, одержуваного на етапі 502. В одному варіанті здійснення, у якому процес виконується на декодері клієнта, карти змісту й вектори руху попередньо передаються із сервера, як було обговорено вище. В іншому варіанті здійснення карта змісту або вектори руху можуть бути сформовані на стороні клієнта. На етапі 504 кожний блок, який знаходиться в F-кадрі (тобто, в кадрі, що інтерполюється), також називаний «блок F-кадру», «макроблок F-кадру» або «F_MB», класифікується як зони, що перекриваються, або порожні зони. Як далі описано в даному документі, для визначення того, чи містить кожний блок, що знаходиться в F-кадрі, зону, що перекривається, або порожню зону. F-кадр спочатку ділиться на серію блоків, що не перекриваються. Потім виконується визначення того, чи мають початок або закінчуються які-небудь вектори руху на опорних кадрах, між якими розташований Fкадр, що проходять через кожний блок, що не перекривається і знаходиться в F-кадрі. Як було обговорено раніше, зони, що перекриваються, являють собою зони, які містять множину траєкторій руху, що проходять через них (тобто, множину векторів руху), тоді як порожні зони являють собою зони, які не містять ніяких траєкторій руху, що проходять через них (тобто, ніяких векторів руху). Таким чином, якщо блок, який знаходиться в F-кадрі. буде містити множину векторів руху, що проходять через нього, то він буде класифікований як такий, що містить зону, що перекривається, також називаний у даному документі як «блок зони, що перекривається» або «зона, що перекривається». Крім того, множина векторів руху, що проходять через визначений блок, через які блок є блоком зони, що перекривається, називаються «набором векторів руху, що перекриваються» для блока. Цей набір векторів руху, що перекриваються, буде підданий модифікації, при якій визначені вектори руху можуть бути виключені з набору векторів руху, що перекриваються, як буде описано нижче, і змінений набір векторів руху в даному документі називається «оброблений набір векторів руху, що перекриваються». В іншому варіанті здійснення набір векторів руху, що перекриваються, містить тільки вектори руху, які задовольняють визначеним критеріям, і в такий спосіб буде ідентичний обробленому набору векторів руху, що перекриваються. Якщо блок не буде містити векторів руху, що проходять через нього, то він буде класифікований як порожня зона, також називаний у даному документі «блок з порожньою зоною» або «порожня зона». В одному варіанті здійснення блок, що містить один вектор руху, що проходить через нього, не буде класифікований як такий, що містить порожню зону. В іншому варіанті здійснення ці типи блоків будуть класифікуватися як зона, що перекривається. Після класифікації блоків процес продовжується разом із процесом призначення векторів руху, який залежить від того, як був класифікований блок. 88017 16 На етапі 506 виконується визначення того, чи був блок класифікований як порожня зона. Якщо блок був класифікований як порожня зона, то процес переходить на етап 514. на якому виконується процес призначення векторів руху для порожньої зони. У іншому випадку процес переходить на етап 508. на якому виконується визначення того, чи є вектор руху, що проходить через блок F-кадру, єдиним. Якщо вектор руху, що проходить через блок F-кадру, є єдиним, то процес переходить на етап 512, на якому традиційний процес компенсації руху виконується на основі єдиного вектора руху. Якщо блок класифікований як зона, що перекривається, то процес переходить на етап 510. па якому виконується процес призначення векторів руху для зон. що перекриваються. Фіг.6 зображує ілюстративний процес призначення векторів руху, у якому основний процес призначення векторів руху, описаний з посиланням на Фіг.5. застосовується до процесу роботи системи 300 FRUC для виконання призначення векторів руху для блоків, що перекриваються, й порожніх блоків, де на етапі 602 система спочатку ділить Fкадр. у цьому випадку - кадр, що інтерпретується, на макроблоки, що не перекриваються (MB), а потім призначає класифікації зони, що перекривається, і порожньої зони на ці блоки. У системі з постійним розміром блока кадр повинен бути розділений на блоки одного постійного розміру. Як описано в даному документі, макроблок (MB) належить до блока, який має розмір, що дорівнює 16´16. Однак, опис даного документа може бути застосований й до блоків інших розмірів. Крім того, у системі, що підтримує непостійні розміри блока, кадр може бути розділений на блоки, які мають різні розміри й форми. Для видеокодеків, які підтримують непостійні розміри блока, система 300 також може виконати призначення векторів руху для векторів руху, пов'язаних із цими блоками. Одним подібним стандартом, як згадано вище, є стандарт Н.264, який підтримує розміри блока 16´16, 16´8, 8´16, 8´8, 8´4, 4´8 і 4´4. Після ділення F-кадру блоки класифікуються як зони, що перекриваються, або порожні зони вищезгаданим способом, у якому всі вектори руху, які належать блока зони, що перекривається, групуються у відповідні набори, і процес переходить па етап 604, на якому система 300 FRUC визначає, чи існують карти змісту для опорних кадрів. Важливо, щоб зміст, що знаходиться в кадрі, був класифікований як частина описаного в даному документі процесу призначення векторів руху. На основі метаданих прийнятого відеопотоку (тобто, переданих векторів руху) і декодованих даних (тобто, відновлених значень елементів зображення кадру), зміст, що знаходиться в кадрі, може бути класифікований за наступними типами класу: 1. Статичний фон (SB); 2. Рух об'єкта (МО); 3. Об'єкт, що з'являється (AT): 4. Об'єкт, що зникає (DO); і 5 Границі (EDGE). Таким чином, тип класу зони кадру, на який указує поточний вектор руху, тобто макроблок або блок, аналізується й торкається обробки кадрів, 17 що інтерполюються. Введення класу EDGE до класифікації змісту додає додатковий клас класифікації змісту й забезпечує вдосконалення процесу FRUC, як описано в даному документі. Фіг.7 представляє ілюстрацію різних класів елементів зображення або зон. що включають у себе класи: об'єкт, що рухається, 708 (МО), об'єкт, що з'являється, 704 (AT), об'єкт, що зникає, 710 (DO), статичний фон 702 (SB) і EDGE 706 для інтерполяції (кадру) з компенсацією руху (МСІ), на якій напрямки стрілок 712 позначають траєкторію руху елементів зображення в трьох ілюстрованих кадрах: кадрі (t-1), кадрі (t) (F-кадрі) і кадрі (t+1). Зокрема, у контексті інтерполяції (кадру) з компенсацією руху (МСІ) кожний елемент зображення або зона, що знаходяться у кожному відеокадрі, можуть бути класифіковані за одним з вищезгаданих перерахованих п'яти класів, а співвіднесений вектор руху може бути оброблений визначеним способом на основі порівняння зміни (якщо вона має місце бути) інформації про тип класу, як описано нижче. Крім того, вищезгадані п'ять класифікацій змісту можуть бути згруповані в три менш обмежених класи, у той час як розходження між класами SB, AT і DO незначні: 1. SB 702, AT 704, DO 710; 2. МО 708; і 3. EDGE 706. В одному варіанті здійснення використовуються два різних підходи для виконання класифікації змісту DO 710, SB 702. AT 704 і МО 708, кожний з яких ґрунтується на різних обчислювальних складностях. Наприклад, при підході малої складності для класифікації змісту можуть бути використані наступні формули: Qc=abs(Fc[yn][xn]-Fp[yn][xn]); Qp=abs(Fp[yn][xn]-Fpp[yn][xn]); Qc=(Qc>пopoгa); і Qp=(Qp>пopoгa); де: уn і хn с координатами у і х місць розташування елемента зображення; Fc є значенням елемента зображення поточного кадру; Fp є значенням елемента зображення попереднього кадру; Fpp є значенням елемента зображення кадру, що передує попередньому елементу зображення кадру: Qc с абсолютною різницею значень елементів зображення між співвіднесеними елементами зображеннями (що знаходяться у координатах [уn] [хn]). що знаходяться у поточному й попередньому кадрах; і Qp є абсолютною різницею значень елементів зображення між співвіднесеними елементами зображення (що знаходяться у координатах [уn] [хn]), що знаходяться у попередньому кадрі і кадрі, що передує попередньому кадру; і: якщо (Qc&&Qp). тоді виконується класифікація як об'єкта, що рухається; або ж, якщо (!Qc&&!Qp), тоді виконується класифікація як статичного фону; або ж, якщо (Qc&&!Qp). тоді виконується класифікація як об'єкта, що зникає; 88017 18 або ж, якщо (!Qc&&Qp). тоді виконується класифікація як об'єкта, що з'являється. Наприклад, у підході високої складності, класифікація заснована на сегментації об'єкта й морфологічних операцій, із класифікацією змісту, виконуваною за допомогою простежування руху сегментованого об'єкта. У такий спосіб: 1. Здійснюється виконання сегментації об'єкта в полі руху; 2. Виконується відстеження руху сегментованого об'єкта (наприклад, за допомогою морфологічних операцій); і 3. Виконується маркування об'єкта як SB, АТ, DO і МО, відповідно. На етапі 606, після визначення карт змісту, що існують для опорних кадрів, система FRUC виключає з кожного макроблока зони, що перекривається, який знаходиться в F-кадрі, будь-які вектори руху з набору векторів руху, що перекриваються, які належать блока зони, що перекривається, який починається або закінчується на різних класах змісту. Зокрема, при використанні карти змісту кожного опорного кадру для визначення типу змісту кожного макроблока, що знаходиться у тому ж опорному кадрі, де кожний макроблок класифікується на один із класів MO, SB, AT, DO і EDGE (або на три класи, у той час як розходження між класами SB, AT і DO, як було описано вище, є незначними), він може бути визначений, якщо який-небудь вектор руху, що знаходиться у наборі векторів руху, що перекриваються (тобто, попередньо визначених як всі вектори руху, що проходять через блок зони, що перекривається),починається й закінчується на макроблоках, що містять різні класи змісту. Наприклад, вектор руху, що містить власну початкову точку, яка стосується макроблока, який знаходиться в кадрі (Т+1), класифікованого як макроблок МО, а його кінцева точка, яка стосується макроблока, який знаходиться в кадрі (Т-1), класифікованого як макроблок SB, буде подібним вектором руху. В одному варіанті здійснення будьякий вектор руху виключається з набору векторів руху, що перекриваються, якщо початкова й кінцева точки цього вектора руху належать різним класам змісту. Як було раніше визначено, не виключені вектори руху попадають в оброблений набір векторів руху. Після видалення векторів руху, що містять початкову й кінцеву точки, пов'язані з макроблоками, класифікованими в різних класах, з набору векторів руху, що перекриваються, й обробленого набору сформованих векторів руху, процес переходить на етап 608 прийняття рішень, на якому виконується визначення того, чи є макроблок, якому призначається вектор руху, макроблоком зони, що перекривається. На етапі 608 виконується визначення того, чи містить оброблений набір векторів руху, що перекриваються, для кожного макроблока більше одного вектора руху, що перекривається. Якщо оброблений набір векторів руху, що перекриваються, для кожного макроблока містить більше одного вектора руху, що перекривається, то в одному варіанті здійснення процес переходить на етап 19 616, на якому вектор(ы) руху, що проходить через центральний елемент зображення, використовується в процесі призначення вектора руху для макроблока. В іншому варіанті здійснення, як відзначено на етапі 618, процес призначення ґрунтується на визначенні найбільш перекритої зони. Ще в одному варіанті здійснення, як відзначено на етапі 620, призначається зважений вектор руху, зважений вектор руху формується на основі перекривання, яке знаходиться в зоні макроблока, що перекривається. Ще в одному варіанті здійснення, як відзначено на етапі 622. вектору руху призначається усереднене значення. Кожний із цих варіантів здійснення описаний нижче. В одному варіанті здійснення призначення вектора руху ґрунтується па визначенні вектора руху, що проходить через центральний елемент зображення макроблока. Послідовність включає в себе наступні етапи: 1) Початку з поточного макроблока (x/block_size. y/block_size). що знаходиться в поточному кадрі, де (х, у) є координатами місця розташування центрального елемента зображення поточного блока макроблока; 2) Обчислення поточного вектора руху (dx. dy) макроблока (х, у); 3) Пропорційного масштабування вектора руху, у випадку 1:2 FRUC, де F-кадр знаходиться точно між поточним кадром і попереднім опорним кадром, дорівнює (dx/2, dy/2); 4) Макроблоку, який знаходиться в F-кадрі, MB_f((x+dx/2)/block_size,(y+dy/2)/block_size) призначається вектор руху (dx/2, dy/2); 5) Якщо на один і той самий макроблок, що знаходиться в F-кадрі, буде призначено більше одного вектора руху, то буде виконана операція усереднення або знаходження середнього значення для одержання підсумкового початкового числа вектора руху. В іншому варіанті здійснення призначення векторів руху ґрунтується на визначенні вектора руху зі співвіднесеним макроблоком, який покриває найбільшу зону макроблока F-кадру. Етапи наведені нижче: 1) Поточний макроблок (x/block_size, y/block_size) знаходиться в поточному кадрі, де (х, у) є координатами місця розташування його центрального елемента зображення; 2) Поточний вектор руху (dx,dy) належить макроблоку (х, у) 3) Пропорційне масштабування вектора руху у випадку 1:2 FRUC дорівнює (dx/2, dy/2); 4) Вектор руху (dx, dy) проходить через F-кадр, перехресне місцеположення в F-кадрі дорівнює (x+dx/2. y+dy/2): 5) Пошук аж до чотирьох макроблоків у накладенні F-кадру з макроблоком, відцентрованим по (x+dx/2. y+dy/2) a. F_MB_1 (x1, y1); де x1=((int)(x+dx/2)/block_size) * block_size+block_size/2; y1=((int) (y+dy/2)/block_size) * block_size+block_size/2; b. F_MB_2 (x2, y2); де x2=x1+block_size: y2=y1; c. F_MB_3 (хЗ. уЗ); де x3=x1+block_size; y3=y1+block_sizе; 88017 20 d F_MB_4 (x4, y4); де x4-x1; y4=y1+block_size; 6. Пошук аж до чотирьох зон, що знаходяться у межах чотирьох макроблоків F-кадру (F_MB). покритих макроблоком, відцентрованим по (x+dx/2, y+dy/2), І зв'язані з усіма обчисленими зонами з вектором руху (dx/2, dy/2) a. Area_MB_1=(block_size-(x+dx/2-x1)) * (block_size-(y+dy/2-y1)); b. Area_MB_2=(block_size-(x+dx/2-x2)) * (block_size-(y+dy/2-y2)); с Area_MB_3=(block_size-(x+dx/2-x3)) * (block_size-(y+dy/2-y3)); d. Area_MB_4=(block_size-(x+dx/2-x4)) * (block_size-(y+dy/2-y4)); 7. Для кожного макроблока F-кадру (F_MB) вибирається вектор руху, що надає найбільшу зону. Ще в одному варіанті здійснення призначення векторів руху засноване на зваженому середньому числі макроблоків, які покривають макроблок. Етапи наведені нижче: 1) Поточний макроблок (x/block_size. у/block_size) знаходиться в поточному кадрі, де (х, у) є координатами місця розташування його центрального елемента зображення; 2) Поточний вектор руху (dx, xy) належить макроблоку (х, у); 3) Пропорційне масштабування вектора руху у випадку 1:2 FRUC дорівнює (dx/2, dу/2): 4) Вектор руху (dx, dy) проходить через F-кадр. перехресне місце розташування в F-кадрі дорівнює (x+dx/2. y+dy/2); 5) Пошук аж до чотирьох макроблоків у накладенні b F-кадру з макроблоком, відцентрованим по (x+dx/2, y+dy/2) a. F_MB_1 (x1, y1); x1=((int) (x+dx/2)/block_size) * block_size+block_size/2; y1=((int) (y+dy/2)/block_size) * block_size+block_size/2; b. F_MB_2 (x2, y2): x2=x1+block_size; y2=y1; с F_MB_3 (х3, у3): x3=x1+block_size: у3=y1+block_size; d. F_MB_4 (x4. у4); x4=x1; y4=y1+block_size; 6. Пошук аж до чотирьох зон. що знаходяться у межах чотирьох макроблоків F-кадру (F_MB), покритих макроблоком, відцентрованим пo (x+dx/2, y+dy/2), і зв'язані з усіма обчисленими зонами з вектором руху (dx/2, dy/2) a. Area_MB_1=(block_size-(x+dx/2x1))*(block_size-(y+dy/2-y1)); b. Arеa_МB_2=(block_size4x+dx/2x2))*(block_size-(y+dy/2-y2)); c. Area_MB_3=(block_size-(x+dx/2x3))*(block_size-(y+dy/2-y3)); d. Area_MB_4=(block_size-(x+dx/2x4))*(block_size-(y+dy/2-y4)); 7. ЯКЩО N векторів руху проходять через макроблок F-кадру (F_MB), то зважений вектор руху призначається на макроблок F-кадру (F_MB) MV=w_1*MV1+w_2*MV_2+....+w_N*MV_N, де w_i є зваженим коефіцієнтом: На етапі 628, де попередньо на етапі 608 було визначено, що макроблок F-кадру не містить ніяких векторів руху, що перекриваються, система виконує визначення того, чи містить макроблок Fкадру єдиний вектор руху, що проходить через 21 нього (тобто, чи є єдиним вектором руху, що знаходиться в обробленому наборі векторів руху). Якщо вектор руху є єдиним вектором руху, що знаходиться в обробленому наборі, то процес переходить на етап 630. на якому виконується традиційне призначення векторів руху. У іншому випадку макроблок F-кадру визначається як такий, що не містить векторів руху, що проходять через нього, і процес переходить на етап 622, на якому в одному варіанті здійснення вектор руху з нульовим значенням призначається на макроблок Fкадру. В іншому варіанті здійснення, як відзначено на етапі 624, макроблоку F-кадру призначається вектор руху, що є середнім числом доступних векторів руху, що граничать із макроблоком. Ще в одному варіанті здійснення, як відзначено на етапі 626, макроблоку F-кадру призначається вектор руху, що с середнім значенням доступних векторів руху, що граничать із макроблоком. Повинно бути відзначено, що незважаючи на те, що зображений на Фіг.6 процес призначення векторів руху починається з дослідження того, чи є макроблок F-кадр) макроблоком зони, що перекривається, процес повинен бути обумовлений для однакового застосування й у випадку, якщо макроблок F-кадру є макроблоком порожньої зони й у випадку, якщо є присутнім тільки один вектор руху, що проходить через макроблок F-кадру, і такі зміни потоку процесу є сприятливими для здійснення в межах можливостей фахівців у даній галузі техніки. Фіг.8 ілюструє процес призначення векторів руху, заснований на елементах зображення замість заснованого на блоках, для системи 300 FRUC, де, подібно зображеному на Фіг.6 етапу 604, на етапі 806 виконується визначення того, чи існують карти змісту для опорних кадрів. Якщо карти змісту для опорних кадрів існують, то подібно зображеному на Фіг.6 етапу 606. на етапі 808 виключаються будь-які вектори руху, що граничать, які починаються й закінчуються в різних класах змісту. Потім процес переходить на етап 816, на якому виконується визначення того, чи є елемент зображення таким, що перекривається. Якщо елемент зображення є таким, що перекривається, то процес переходить на етап 818, на якому медіанний вектор руху на основі середнього значення векторів руху, що перекриваються, які не були виключені на основі різних класів змісту кінцевих точок, призначається на елемент зображення. В іншому варіанті здійснення, як відзначено на етапі 820, усереднений вектор руху на основі середнього значення векторів руху, що перекриваються, які не були виключені на основі різних класів змісту кінцевих точок, призначається на елемент зображення. Якщо F-кадр елемента зображення не є областю, що перекривається, то на етапі 828 виконується визначення того, чи є єдиним вектор руху, що проходить через елемент зображення. Якщо вектор руху, що проходить через елемент зображення, с єдиним, то процес переходить на етап 830, на якому елементу зображення призначається вектор руху, що проходить через нього. У іншому випадку елемент зображення визначається як 88017 22 порожня зона, і процес переходить на етап 822. на якому медіанний вектор руху на основі середнього значення сусідніх векторів руху призначається па елемент зображення. В іншому варіанті здійснення, як відзначено на етапі 820, усереднений вектор руху на основі середнього значення сусідніх векторів руху призначається на елемент зображення. Повинно бути відзначено, що сусідні вектори руху, які можуть використовуватися при призначенні усередненого й медіанного векторів руху, можуть бути піддані виключенню на основі різних класів змісту початкових і кінцевих точок. Фіг.9 зображує блок-схему термінала 902х доступу й точки 904х доступу в системі безпровідного зв’язку. «Термінал доступу», як обговорюється в даному документі, належить до пристрою, що надає можливість установлення голосового і/або інформаційного зв'язку з користувачем. Термінал доступу може бути з'єднаний з обчислювальним пристроєм, наприклад, ноутбуком або настільним (персональним) комп'ютером, або він може сам містити подібні пристрої, наприклад, «кишеньковий» комп'ютер. Термінал доступу також може називатися абонентським модулем, мобільною станцією, мобільним телефоном, віддаленою станцією, віддаленим терміналом, користувацьким терміналом, користувацьким агентом або користувацьким обладнанням. Термінал доступу може бути абонентським терміналом, пристроєм безпровідного зв'язку, стільниковим телефоном, телефоном персонального мобільного зв'язку, радіотелефоном, телефоном, що використовує протокол ініціації сеансу (SIP), станцією безпровідного абонентського доступу (WLL), «кишеньковим» комп'ютером (PDA), портативним пристроєм, що має можливість безпровідного зв'язку, або іншим пристроєм для обробки, з'єднаним з радіомодемом. «Точка доступу», як обговорюється в даному документі, належить до пристрою, що знаходиться в мережі доступу, який обмінюється даними з терміналами доступу по радіоінтерфейсу через один або кілька секторів. Точка доступу функціонує як маршрутизатор, який знаходиться між терміналом доступу й іншою частиною мережі доступу, що може містити в собі IP-мережу, за допомогою перетворення прийнятих по радіоінтерфейсу кадрів в IP-пакети. Точка доступу також координує керування атрибутами для радіоінтерфейсу. У випадку зі зворотною лінією зв'язку, процесор 914 передачі даних (ТХ), що знаходиться в терміналі 902х доступу, приймає трафік від буфера 912 даних, обробляє (наприклад, кодує, чергує й перетворює символи) кожний пакет даних на основі обраної схеми кодування й модуляції, і надає символи даних. Символ даних є символом модуляції для даних, а пілот-символ є символом модуляції для пілота (який відомий апріорі). Модулятор 916 приймає символи даних, пілот-символи й, можливо, виконує передачу сигналів по зворотній лінії зв'язку, виконує модуляцію (наприклад, OFDM) і/або іншу обробку, як визначено системою, а також надає потік вихідних елементів. Передавач 918 (TMTR) обробляє (наприклад, перетворює в аналоговий тип, фільтрує, підсилює й підвищує 23 частоту) потік вихідних елементів і формує модульований сигнал, що передається з антени 920. У точці 904х доступу модульовані сигнали передаються за допомогою термінала 902х доступу, а інші термінали, з'єднані із точкою 904х доступу, здійснюють прийом за допомогою антени 952. Приймач 954 (RCVR) обробляє (наприклад, визначає стани й оцифровує) прийнятий з антени 952 сигнал і надає прийняті зразки. Демодулятор 956 (Demod) обробляє (наприклад, демодулює і виконує пошук), прийняті зразки й надає виявлені символи даних, які є шумовою оцінкою символів даних, переданих терміналами на точку 904х доступу. Процесор 958 прийому даних (RX) обробляє (наприклад, виконує зворотне перетворення символу, зворотне чергування й декодування) виявлені символи даних для кожного термінала й надає декодовані дані для цього термінала. У випадку із прямою лінією зв'язку, у точці 904х доступу дані трафіку обробляються процесором 960 передачі даних (ТХ) для формування символів даних. Модулятор 962 приймає символи даних, пілот-символи, і передає сигнали по прямій лінії зв'язку, виконує модуляцію (наприклад, OFDM) і/або іншу придатну обробку, і надає потік вихідних елементів, який далі обробляється передавачем 964 і передається з антени 952. Передача сигналів по прямій лінії зв'язку може включати в себе команди керування потужністю, сформовані контролером 970 для всіх терміналів, що виконують передачу по зворотній лінії зв'язку на точку 904х доступу. У терміналі 902х доступу модульований сигнал, переданий точкою 904х доступу, приймається антеною 920, обробляється й оцифровується приймачем 922, а також обробляється демодулятором 924 для одержання виявлених символів даних. Процесор 926 прийому даних (RX) обробляє виявлені символи даних і надає декодовані дані для термінала й виконує передачу сигналів по прямій лінії зв'язку. Контролер 930 приймає команди керування потужністю й керує передачею даних і передачею потужності по зворотній лінії зв'язку на точку 904х доступу. Контролери 930 і 970 керують процесом роботи термінала 902х доступу й точки 904х доступу, відповідно. Модулі 932 і 972 пам'яті зберігають керуючі програми й дані, використовувані контролерами 930 і 970, відповідно. Розкриті варіанти здійснення можуть бути застосовані до будь-якої технології або їх комбінацій: систем множинного доступу з кодовим розділенням каналів (CDMA), багаточастотного множинного доступу з кодовим розділенням каналів (MCCDMA). широкосмугового множинного доступу з кодовим розділенням каналів (W-CDMA). високошвидкісного пакетного доступу по вхідній лінії зв'язку (HSDPA), множинного доступу з часовим розділенням (TDMA), множинного доступу із частотним розділенням (FDMA) і множинного доступу з ортогональним частотним розділенням (OFDMA). Розкриті в даному документі етапи способу або алгоритму, описаного з посиланням на варіанти здійснення, можуть бути реалізовані безпосередньо в апаратних засобах, у виконуваному про 88017 24 цесором програмному модулі або в їхній комбінації. Програмний модуль може постійно знаходитися в пам'яті оперативного запам'ятовуючого пристрою (RAM), флеш-пам'яті, пам'яті постійного запам'ятовуючого пристрою (ROM), пам'яті стираного програмованого постійного запам'ятовуючого пристрою (EPROM), пам'яті електрично стираного програмованого постійного запам'ятовуючого пристрою (EEPROM), регістрах, на жорсткому диску, знімному диску, на компакт-диску (CD-ROM) або будь-якій іншій формі носіїв даних, відомій в рівні техніки. Ілюстративний носій даних з'єднаний із процесором таким чином, щоб процесор міг зчитувати й записувати інформацію на носій даних. Альтернативно, носій даних може бути невід'ємною частиною процесора. Процесор і носій даних можуть постійно знаходитися в спеціалізованих інтегральних схемах (ASIC). Спеціалізовані інтегральні схеми (ASIC) можуть постійно знаходитися в користувацькому терміналі. Альтернативно, процесор і носій даних можуть постійно знаходитися в користувацькому терміналі як дискретні (окремі) компоненти. Повинно бути відзначено, що описані в даному документі способи можуть бути реалізовані в різноманітному комунікаційному обладнанні, процесорах і системах, відомих фахівцям у даному рівні техніки. Наприклад, загальною вимогою до клієнта для роботи, як описано в даному документі, є те, щоб клієнт мав пристрій відображення для відображення змісту й інформації, процесор для керування процесом роботи клієнта й запам'ятовуючий пристрій для зберігання даних і програм, пов'язаних з роботою клієнта. В одному варіанті здійснення клієнтом є стільниковий телефон. В іншому варіанті здійснення клієнтом є портативний комп'ютер, який мас можливості зв'язку. Ще в одному варіанті здійснення клієнтом є персональний комп'ютер, який мас можливості зв'язку. Крім того, апаратні засоби, наприклад, приймач GPS. у міру необхідності можуть бути включені до складу клієнта для реалізації описаних у даному документі різних варіантів здійснення. Різні розкриті в даному документі ілюстративні логіки, логічні блоки, модулі й схеми, описані з посиланням на варіанти здійснення, можуть бути здійснені або виконані з універсальним процесором, процесором для цифрової обробки сигналів (DSP), спеціалізованою інтегральною схемою (ASIC), програмованою вентильною матрицею (FPGA) або іншим програмованим логічним пристроєм, логічними елементами на дискретних компонентах або логікою транзистора, дискретними компонентами апаратних засобів або будь-якою їх комбінацією, розробленою для виконання описаних у даному документі функцій. Універсальний процесор може бути мікропроцесором, але альтернативно, процесор може бути будь-яким звичайним процесором, контролером, мікроконтролером або кінцевим автоматом. А також процесор може бути реалізований як комбінація обчислювальних пристроїв, наприклад, комбінація процесора для цифрової обробки сигналів (DSP) і мікропроцесора, множини мікропроцесорів, одного або декількох мікропроцесорів разом з яд 25 ром процесора для цифрової обробки сигналів (DSP) або будь-якої іншої подібної конфігурації. Вищеописані варіанти здійснення с ілюстративними варіантами здійснення. Тепер фахівці в даній галузі техніки можуть робити множину змій, відступаючи від вищеописаних варіантів здійснення, але не відступаючи від розкритих у даному документі ідей винаходу. Різні модифікації цих варіантів здійснення можуть бути очевидними фахівцям у даній галузі техніки, і визначені в даному документі загальні принципи можуть бути застосовані до інших варіантів здійснення, наприклад, служби миттєвого обміну повідомленнями або будь-яким загальним застосуваннями безпровідного зв'язку, не відступаючи від сутності або об'єму нових описаних у даному документі аспектів. Таким чином, об'єм нових аспектів варіантів здійснення не призначений для обмеження показаними в даному документі варіантами здійснення й відповідає самому широкому об'єму, сумісному із принципами й новими розкритими в даному документі особливостями. Слово «ілюстративний» використовується в даному документі винятково для позначення «бути прикладом, виключенням або ілюстрацією». Будь-який описаний у даному документі «ілюстративний» варіант здійснення не обов'язково повинен розглядатися як кращий або вигідний стосовно інших варіантів здійснення. Відповідно, об'єм нових аспектів варіантів здійснення визначається винятково об'ємом нижченаведеної формули винаходу. 102,320 Поточний кадр 104 Попередній кадр 108, 202 Кадр, що інтерполюється 204 Зона, що перекривається 206 Непокрита зона 302 Вхідний бітовий потік 306 Модуль дешифратора двійкових кодів 308 Вектори руху 310 Залишок 312 Зворотне квантування/зворотне перетворення 316 Буфер збережених векторів руху 318 Буфер збережених кадрів 322 Процесор для обробки векторів руху 324 Оцінка вибраного двоспрямованого руху 326 Процесор для обробки векторів руху 328 Визначення режиму роботи 330 Перетворювач, що підвищує частоту зміни кадрів 332 Заключна обробка 402 Карта змісту множини попередніх кадрів 404 Екстрапольовані поля руху множини попередніх кадрів 406 Карта змісту попереднього кадру 408 Екстрапольоване поле руху попереднього кадру 410 Поле руху поточного кадру 412 Кар га змісту поточного кадру 414 Селектор режиму роботи на основі множини опорних кадрів 88017 26 416 Модуль екстраполяції векторів руху 418 Вектори руху й додаткова інформація 502 Одержання векторів руху і карт змісту 504 Класифікація кадрів, які знаходяться в блоці, що інтерполюється, як зон, що перекриваються, або порожніх зон 506 Порожня зона? 508 Єдиний вектор руху? 510 Призначення векторів руху для зони, що перекривається 512 Продовження разом з традиційною компенсацією руху 514 Призначення векторів руху для порожньої зони 602 Ділення f-кадру на макроблоки, що не перекриваються, і визначення зон, що перекриваються, і порожніх зон 604 Карта змісту? 606 Виключення будь-яких векторів руху, які починаються або закінчуються в різних класах змісту 608 Вектори руху є такими, що перекриваються? 616 Вектор руху центрального елемента зображення 618 Найбільш перекрита зона вектора руху 620 Зважений вектор руху, заснований на перекриванні в макроблоці 622 Призначення нульового вектора руху 622 Медіана вектора руху 622(1) Медіана вектора руху 624 Середнє число доступних сусідніх векторів руху 626 Медіана доступних векторів руху 628 Чи є вектор руху єдиним? 630 Призначення вектора руху (традиційне) 806 Карти змісту? 808 Виключення векторів руху сусідніх елементів зображення, які починаються і закінчуються в різних класах змісту 816 Чи є зона такою, що перекривається? 818 Усереднений вектор з векторів руху, що перекриваються (зони, що перекривається) 820 Усереднений вектор руху з сусідніх векторів руху (порожньої зони) 822 Середнє значення вектора руху з сусідніх векторів руху 824 Середнє значення вектора руху з векторів руху, що перекриваються (зони, що 830 Призначення вектора руху (традиційне) 838 Чи є вектор руху єдиним? 912 Буфер даних 914, 960 Процесор передачі даних (ТХ) 916, 962 Модулятор 918, 964 Передавач 922, 954 Приймач 924, 956 Демодулятор 930, 970 Контролер 932, 972 Запам'ятовуючий пристрій 926, 958 Процесор прийому даних (RX) 27 88017 28 29 88017 30 31 88017 32 33 88017 34 35 88017 36 37 88017 38 39 Комп’ютерна верстка А. Крижанівський 88017 Підписне 40 Тираж 28 прим. Міністерство освіти і науки України Державний департамент інтелектуальної власності, вул. Урицького, 45, м. Київ, МСП, 03680, Україна ДП “Український інститут промислової власності”, вул. Глазунова, 1, м. Київ – 42, 01601