Спосіб і пристрої генерування, передачі і прийому стереоскопічних зображень

Реферат: Даний винахід стосується способу генерування стереоскопічного потокового відео (101), який містить складені зображення (С), які містять інформацію про праве зображення (R) і ліве зображення (L). Відповідно до даного способу, пікселі вибираються з правого зображення (R) і з лівого зображення (L), а потім вибрані пікселі вводяться в складене зображення (С) стереоскопічного потокового відео. Спосіб також забезпечує введення всіх пікселів правого зображення (R) і всіх пікселів лівого зображення (L) в складене зображення (С) шляхом залишання одного з вказаних зображень в незмінному вигляді і розбивання іншого на ділянки (R1, R2, R3), які містять множину пікселів. Вказані ділянки послідовно вводяться в складене зображення (С). Винахід також стосується способу відновлення правого і лівого зображень з складеного зображення, а також пристроїв, які дозволяють здійснити вказані способи. UA 111467 C2 (12) UA 111467 C2 UA 111467 C2 5 10 15 20 25 30 35 40 45 50 55 Даний винахід стосується генерування, зберігання, передачі, прийому і відтворення стереоскопічних потокових відео, тобто потокових відео, які, будучи правильним чином оброблені пристроєм візуалізації, виробляють послідовності зображень, які сприймаються глядачем як тривимірні. Як відомо, сприйняття тривимірності може бути отримане відтворенням двох зображень, одного для правого ока глядача і іншого - для лівого ока глядача. Стереоскопічне потокове відео, тим самим, передає інформацію про дві послідовності зображень, відповідні правій і лівій перспективам об'єкта або сцени. Винахід стосується, більш конкретно, способу і пристрою мультиплексування двох зображень правої і лівої перспектив (які надалі в даному документі називаються як праве і ліве зображення) в складене зображення, яке представляє кадр стереоскопічного потокового відео, який надалі в даному документі називається складеним кадром. Додатково, винахід стосується також способу і пристрою демультиплексування вказаного складеного зображення, тобто витягання з нього правого і лівого зображень, введених пристроєм мультиплексування. Рівень техніки Для того, щоб запобігти перевантаженню передачі телевізійних сигналів і мереж мовлення (наземних або супутникових), з рівня техніки відоме мультиплексування правого і лівого зображень в єдине складене зображення стереоскопічного потокового відео. Перший приклад так званого мультиплексування "бік у бік", при якому відбувається недостатня горизонтальна вибірка правого зображення і лівого зображення і їх розташування бік у бік в тому ж кадрі стереоскопічного потокового відео. Цей тип мультиплексування має недолік, який полягає в тому, що горизонтальне розділення зменшується вдвічі, в той час як вертикальне розділення не змінюється. Інший приклад - так зване мультиплексування зверху-вниз, при якому відбувається недостатня вертикальна вибірка правого зображення і лівого зображення і їх розташування одного над одним в тому ж кадрі стереоскопічного потокового відео. Цей тип мультиплексування має недолік, який полягає в тому, що вертикальне розділення зменшується вдвічі, в той час як горизонтальне розділення не змінюється. Є також інші більш складні способи, наприклад, як описаний в патентній заявці WO03/088682. Ця заявка описує використання вибірки шахівниці, щоб розділити на десять число пікселів, які складають праве і ліве зображення. Пікселі, вибрані для кадрів правого і лівого зображення, стискуються "геометрично" в форматі "бік у бік" (пропуски, створені в колонці 1 шляхом видалення відповідних пікселів, заповнюються пікселями з колонки 2, і так далі). Під час етапу декодування для представлення зображення на моніторі, кадри правого і лівого зображень приводяться назад до їх оригінального формату, а бракуючі пікселі відновлюються шляхом застосування відповідних інтерполяційних методів. Цей спосіб дозволяє підтримувати на постійному рівні відношення горизонтального і вертикального розділення, але скорочує діагональне розділення і також змінює кореляцію пікселів зображення, оскільки вводить високочастотні просторові спектральні компоненти, які в іншому випадку були б відсутні. Це може скоротити ефективність подальшого етапу стиснення (наприклад, стиснення MPEG2 або MPEG4 або H.264) і одночасно збільшити швидкість передачі даних в стисненому потоковому відео. Додатково, способи мультиплексування правого і лівого зображень відомі з патентної заявки WO2008/153863. Один з цих способів забезпечує виконання 70 % масштабування правого і лівого зображень, а потім масштабовані зображення розділяють на блоки на 8×8 пікселів. Блоки кожного масштабованого зображення можуть бути вміщені в область, яка дорівнює приблизно половині складеного зображення. Цей спосіб має недолік, який полягає в тому, що перерозподіл блоків змінює просторову кореляцію блоків, які складають зображення, оскільки вводять високочастотні просторові спектральні компоненти, тим самим скорочуючи ефективність стиснення. Більше того, операції масштабування і сегментації кожного зображення на велике число блоків спричиняють високі витрати рахунку і, отже, збільшують складність пристроїв мультиплексування і демультиплексування. Інший з цих способів застосовує діагональне масштабування до правого і лівого зображення, так що оригінальне зображення деформується в паралелограм. Два паралелограми потім розділяють на трикутні ділянки і складають прямокутне складене зображення, в якому трикутні ділянки, отримані при розділенні двох паралелограмів, 1 UA 111467 C2 5 10 15 20 25 30 35 40 45 50 55 реорганізуються і переставляються. Трикутні ділянки правого і лівого зображень організуються таким чином, що стають відділеними діагоналлю складеного зображення. Як при рішеннях "зверху-вниз" і "бік у бік", це рішення також має недолік, яке полягає в тому, що змінюється відношення (баланс) горизонтального і вертикального розділення. Додатково, поділення на велике число трикутних ділянок, перестановлених в стереоскопічному кадрі, призводить до того, що на подальшому етапі стиснення (наприклад, MPEG2, MPEG4 або H.264), до передачі на комунікаційний канал, в граничних областях між трикутними ділянками генеруються дефекти зображення. Вказані дефекти зображення, наприклад, можуть бути зроблені процедурою оцінки руху, яка виконується в процесі стиснення відповідно до стандарту Н.264. Додатковий недолік цього рішення стосується обчислювальної складності, яка вимагається операціями масштабування правого і лівого зображень і подальшими операціями сегментації і повороту трикутних ділянок. Метою даного винаходу є забезпечення способу мультиплексування і способу демультиплексування (а також відповідних пристроїв) для мультиплексування і демультиплексування правого і лівого зображень, які дозволять подолати недоліки попереднього рівня техніки. Більш конкретно, метою даного винаходу є забезпечення способу мультиплексування і способу демультиплексування (а також відповідних пристроїв) для мультиплексування і демультиплексування правого і лівого зображень, які дозволять зберегти баланс горизонтального і вертикального розділень. Іншою метою даного винаходу є забезпечення способу мультиплексування (а також відповідних пристроїв) для мультиплексування правого і лівого зображень, який дозволить послідовно застосовувати високий коефіцієнт стиснення і одночасно мінімізує генерування спотворень і дефектів зображення. Іншою метою даного винаходу є забезпечення способу мультиплексування і способу демультиплексування (а також відповідних пристроїв), які відрізняються скороченими обчислювальними витратами. Ці і інші цілі даного винаходу досягаються за рахунок способу мультиплексування і способу демультиплексування (а також відповідних пристроїв) для мультиплексування і демультиплексування правого і лівого зображень, які мають характеристики, викладені в прикладеній формулі винаходу, яка є невід'ємною частиною даного опису. Розкриття винаходу Загальна ідея, яка лежить в основі даного винаходу - це ввести два зображення в складене зображення, в якому число пікселів більше або дорівнює сумі пікселів двох мультиплексованих зображень, наприклад, правого зображення і лівого зображення. Пікселі першого зображення (наприклад, лівого зображення) вводяться в складене зображення без змін, в той час як друге зображення розділяється на ділянки, пікселі яких розташовані у вільних областях складеного зображення. Це рішення надає перевагу, яка полягає в тому, що одне з двох зображень залишається незмінним, що приводить до кращої якості відновленого зображення. Переважно, друге зображення потім розділяється на найменше можливе число ділянок, щоб максимізувати просторову кореляцію пікселів і скоротити генерування дефектів зображення під час фази стиснення. У переважному варіанті здійснення, ділянки другого зображення вводяться в складене зображення тільки за допомогою операцій перенесення і повороту, причому, таким чином, відношення горизонтального і вертикального розділення залишається незмінним. У додатковому варіанті здійснення щонайменше одна з ділянок, в якій друге зображення розділене, піддається операції дзеркальної інверсії, тобто перевертається відносно однієї осі (більш конкретно, однієї сторони) і розташовується в складеному зображенні таким чином, що одна з його сторін межує з однією стороною іншого зображення, що має ідентичні або подібні пікселі на граничній стороні внаслідок сильної кореляції, існуючої між відповідними пікселями правого і лівого зображення, тобто пікселями двох зображень, які розташовані в тому ж ряду і в тій же колонці. Це рішення надає перевагу, яка полягає в скороченні генерування дефектів зображення в граничній області. Більш переважно, ділянки, на які розділене друге зображення, мають прямокутну форму; в порівнянні з рішенням, яке використовує трикутні ділянки, розташовані в граничних областях, які перетинають складене зображення в діагональних напрямках, цей вибір забезпечує скорочення дефектів зображення, які проводяться подальшим стисненням, 2 UA 111467 C2 5 10 15 20 25 30 35 40 45 50 55 60 особливо, якщо останнє здійснюється на квадратних блоках пікселів (наприклад, 16×16 для стандарту Н.264). Відповідно до конкретного переважного варіанту здійснення, формування дефектів зображення додатково скорочується або навіть повністю виключається шляхом додавання надлишку в складене зображення, тобто шляхом копіювання груп пікселів декілька разів. Більш детально, це досягається за рахунок розділення основного зображення для введення в складене зображення на ділянки, які мають такі розміри, що загальне число пікселів цих ділянок перевищує число пікселів зображення, яке розділяється. Іншими словами, зображення розділяється на ділянки щонайменше дві з яких містять спільну частину зображення. Ця спільна частина зображення є граничною областю між ділянками, суміжними одна з одною в розділеному зображенні. Розмір цієї загальної частини переважно залежить від вигляду стиснення, яке буде далі застосоване до складеного зображення, і може бути буферною областю, яка буде частково або повністю видалена, коли розділене зображення відновлене. Оскільки стиснення може приводити до дефектів зображення в граничних областях вказаних ділянок, то, видаляючи буферні області або щонайменше їх найбільш зовнішні частини, можливо видалити будь-які дефекти зображень і відновити зображення, яке буде повністю відповідати оригіналу. Додаткові цілі і переваги даного винаходу будуть більш очевидні з подальших описів деяких його варіантів здійснень, які приведені для прикладу, який не має обмежувального характеру. Короткий опис креслень Вказані варіанти здійснення будуть описані з посиланнями на супутні креслення, в яких: Фіг. 1 зображає структурну схему пристрою мультиплексування правого зображення і лівого зображення в складене зображення; Фіг. 2 є блок-схемою послідовності операцій способу, який виконується пристроєм на Фіг. 1; Фіг. 3 зображає першу форму розділення зображення для введення в складене зображення; Фіг. 4 зображає першу фазу створення складеного зображення відповідно до одного варіанту здійснення даного винаходу; Фіг. 5 зображає повне складене зображення на Фіг. 4; Фіг. 6 зображає другу форму розділення зображення для введення в складене зображення; Фіг. 7 зображає складене зображення, яке включає в себе зображення на Фіг. 6; Фіг. 8 зображає третю форму розділення зображення для введення в складене зображення; Фіг. 9 зображає складене зображення, яке включає в себе зображення на Фіг. 8; Фіг. 10 зображає структурну схему пристрою прийому для прийому складеного зображення, генерованого відповідно до способу даного винаходу; Фіг. 11 зображає деякі фази відновлення зображення, розділеного відповідно до способу на Фіг. 8 і введеного в складене зображення, прийняте пристроєм прийому на Фіг. 10; Фіг. 12 є блок-схемою послідовності операцій способу відновлення правого і лівого зображень, мультиплексованих в складене зображення вигляду, зображеного на Фіг. 9; Фіг. 13 зображає складене зображення відповідно до четвертого варіанту здійснення даного винаходу; Фіг. 14а-14f зображають праве зображення і ліве зображення різних фаз обробки, що виконуються для їх введення в складене зображення на Фіг. 13. У випадках, коли це доцільно, подібні структури, компоненти, матеріали і/або елементи позначаються за допомогою одних і тих же посилань. Здійснення винаходу Фіг. 1 зображає структурну схему пристрою 100 генерування стереоскопічного потокового відео 101. На Фіг. 1 пристрій 100 приймає дві послідовності зображень 102 і 103, наприклад, два потокових відео, призначених для лівого ока (L) і правого ока (R), відповідно. Пристрій 100 дозволяє здійснити спосіб мультиплексування двох зображень двох послідовностей 102 і 103. Щоб втілити спосіб мультиплексування правого і лівого зображень, пристрій 100 містить модуль 104 розділення для розділення зображення, яке вводиться (праве зображення на прикладі Фіг. 1), на множину підзображень, кожне з яких відповідає одній ділянці прийнятого зображення, і модуль 105 збирання, здатний вводити пікселі прийнятих зображень в єдине складене зображення, яке буде забезпечене як висновок. Один приклад способу мультиплексування, здійснений пристроєм 100, буде описаний з посиланням на Фіг. 2. Спосіб починається на етапі 200. Далі (етап 201), одне з двох зображень (праве або ліве), які вводяться розділяється на множину ділянок, як зображено на Фіг. 3. У прикладі на Фіг. 3, 3 UA 111467 C2 5 10 15 20 25 30 35 40 45 50 55 розділене зображення - це кадр R потокового відео 720р, тобто прогресивного формату з розділенням 1280×720 пікселів, 25/30 fps (кадрів на секунду). Кадр R на Фіг. 3 утворюється з потокового відео 103, яке несе зображення, призначене для правого ока, і розділяється на три ділянки R1, R2, і R3. Розділення зображення R виходить шляхом його розділення на дві частини однакового розміру і подальшого поділення однієї з цих частин на дві частини однакового розміру. Ділянка R1 має розмір 640×720 пікселів і виходить шляхом взяття всіх перших 640 пікселів з кожного ряду. Ділянка R2 має розмір 640×360 пікселів і виходить шляхом взяття пікселів від 641 до 720 з перших 360 рядів. Ділянка R3 має розмір 640×360 пікселів і виходить шляхом взяття пікселів зображення R, які залишилися, тобто пікселів від 641 до 720 з останніх 360 рядів. На прикладі Фіг. 1, операція розділення зображення R виконується модулем 104, який приймає зображення R, яке вводиться (в цьому випадку - кадр R), і виводить три підзображення (тобто, три групи пікселів), які відповідають трьом ділянкам R1, R2 і R3. Далі (етапи 202 і 203), створюється складене зображення С, яке містить інформацію, яка стосується правого і лівого зображень, які вводяться; на прикладі, описаному в цьому документі, вказане складене зображення С - це кадр стереоскопічного потокового відео, яке виводиться, тому він також називається складеним кадром. По-перше (етап 202), зображення, яке вводиться, прийняте пристроєм 100 і не розділене пристроєм 105 (ліве зображення на прикладі на Фіг. 1) вводиться незміненим в складений кадр, розмір якого встановлений так, щоб включати в себе всі пікселі обох зображень, які вводяться. Наприклад, якщо зображення, які вводяться, мають розмір 1280×720, то складений кадр, відповідний для обох, буде кадром 1920×1080 пікселів, наприклад, кадром потокового відео типу 1080р (прогресивний формат 1920×1080 пікселів, 25/30 кадрів на секунду). На прикладі на Фіг. 4, ліве зображення L вводиться в складений кадр С і розташовується у верхньому лівому куті. Це виходить шляхом копіювання 1280×720 пікселів зображення L в область С, яка складається з перших 1280 пікселів перших 720 рядів складеного кадру С. Коли в подальшому описі посилання буде зроблене на введення зображення в кадр або перенесення або копіювання пікселів з одного кадру в інший, зрозуміло, що це означає виконання процедури, яка генерує (шляхом використання апаратних і/або програмних засобів) новий кадр, який містить ті ж пікселі як початкове зображення. (Програмні і/або апаратні) техніки відтворення початкового зображення (або групи пікселів початкового зображення) в цільове зображення розглядається як несуттєві для цілей даного винаходу і не будуть описані додатково, оскільки вони самі по собі відомі фахівцям в даній галузі техніки. На наступному етапі 203 зображення, розділене на етапі 201 модулем 104, вводиться в складений кадр. Це досягається модулем 105 шляхом копіювання пікселів розділеного зображення в складений кадр С в ті його області, які не були зайняті зображенням L, тобто області, зовнішні до області С1. З метою досягнути кращого можливого стиснення і скоротити генерування дефектів зображення при розпаковуванні потокового відео, пікселі підзображень, виведених модулем 104, копіюються, зберігаючи при цьому відповідні просторові відношення. Іншими словами, ділянки R1, R2 і R3 копіюються у відповідні області кадру С без деформації, тільки за допомогою операцій перенесення і/або повороту. Приклад складеного кадру С, виведеного модулем 105, зображений на Фіг. 5. Ділянка R1 копіюється в останні 640 пікселів перших 720 рядів (область С2), тобто наступні після раніше скопійованого зображення L. Ділянки R2 і R3 копіюються під область С1, тобто відповідно в області С3 і С4, які відповідно містять перші 640 пікселів і наступні 640 пікселів останніх 360 рядів. Як переважна альтернатива рішенню на Фіг. 5, ділянки R2 і R3 можуть бути скопійовані в складений кадр С у відділені області (тобто не накладені одна на одну і не сусідні), розділені групою пікселів, так щоб скоротити граничні ділянки. Операції введення зображень L і R в складений кадр не спричиняють за собою яких-небудь змін балансу горизонтального і вертикального розділення. У одному варіанті здійснення, однакові величини RGB встановлені для пікселів кадру С, які залишилися; наприклад, вказані пікселі, які залишилися, можуть бути всі чорні. У додатковому варіанті здійснення, простір, залишений вільним в складеному зображенні, може бути використаний для введення будь-якого виду сигналу, необхідного для відновлення правого і лівого зображень на рівні демультиплексора, наприклад, вказуючого, як було сформоване складене зображення. 4 UA 111467 C2 5 10 15 20 25 30 35 40 45 50 55 60 У даному варіанті здійснення, ділянка складеного кадру, не зайнята правим або лівим зображеннями або їх частиною, використовується для прийому сигналу. Пікселі цієї ділянки сигналу забарвлені, наприклад, в два кольори (наприклад, чорний і білий), так щоб створити штрих-код будь-якого виду, наприклад, лінійний або двовимірний, який несе інформацію сигналу. Як тільки передача обох зображень (і можливо також сигналу) в складений кадр завершена, спосіб, здійснений пристроєм 100, завершується, і складений кадр може бути стиснений і переданий на канал комунікації і/або записаний на відповідний носій (наприклад, CD, DVD, Bluray, масовий запам'ятовуючий пристрій і так далі). Оскільки операції мультиплексування, пояснені вище, не змінюють просторові відношеннями пікселів однієї ділянки або зображення, потокове відео, виведене пристроєм 100, може бути стиснуте до значної міри, при цьому одночасно зберігаються хороші можливості того, що зображення буде відновлене дуже достовірно переданому, без створення значних дефектів зображення. Перш ніж описувати додаткові варіанти здійснення, необхідно зазначити, що розділення кадру R на три ділянки R1, R2 і R3 відповідає розділенню кадру на найменше можливе число ділянок, при цьому простір, доступний в складеному зображенні і простір, зайнятий введеним лівим зображенням, не змінюються в складеному кадрі. Вказане найменше число, іншими словами, - це мінімальне число ділянок, необхідних для заняття простору, залишеного вільним в складеному кадрі С лівим зображенням. Загалом, тим самим, мінімальне число ділянок, на які повинне бути розділене зображення, визначається як функція формату початкових зображень (правого і лівого зображень) і цільового складеного зображення (складений кадр С). Переважно, зображення, яке вводиться в кадр, розділяється, беручи до уваги необхідність розділення зображення (наприклад, R у вищезгаданому прикладі) на найменше число прямокутних ділянок. У додатковому варіанті здійснення, праве зображення R розділяється, як зображено на Фіг. 6. Ділянка R1' відповідає ділянці R1 на Фіг. 3 і, отже, містить перші 640 пікселів всіх 720 рядів зображення. Ділянка R2' містить 320 колонок пікселів, суміжних з ділянкою R1', в той час як ділянка R3' містить останні 320 колонок пікселів. Складений кадр С може бути, таким чином, створений, як зображено на Фіг. 7, де ділянки 0 R2' і R3' повернені на 90 і розташовані в областях С3' і C4' під зображенням L і ділянкою R1'. Ділянки R2' і R3', повернені таким чином, займають 720 пікселів 320 рядів; тим самим, області C3' і C4' відділені від областей С1 і С2, які містять пікселі, скопійовані із зображення L і з ділянки R1'. Переважно, області С3' і C4' відділені від інших областей С1 і С2 щонайменше однією лінією безпеки. Більш конкретно, переважно і здебільшого копіювати пікселі ділянок R2' і R3'в останні ряди складеного кадру С. Оскільки в цьому випадку складений кадр складається з 1080 рядів, у варіанті здійснення на Фіг. 7 повернені ділянки R2' і R3' відділені від верхнього зображення L і ділянки R1' смугою безпеки, висотою 40 пікселів. На прикладі Фіг. 7, ділянки R2' і R3' відділені одна від одної, так що вони оточені пікселями заздалегідь заданого кольору (наприклад, білого або чорного), які не виходять з правого і лівого зображень. Таким чином, граничні області між ділянками, які містять пікселі, що виходять з правого і лівого зображень, скорочені, і одночасно скорочені будь-які дефекти зображення, викликані стисненням зображення, і максимізований коефіцієнт стиснення. Як альтернатива положенню R2' і R3' в останніх рядах складеного кадру С (як описано з посиланням на Фіг. 7), в переважному варіанті здійснення R2' і R3' розташовані так, що смуга безпеки висотою 32 ряди пікселів залишена між нижнім краєм L і верхнім краєм R2' і R3'. Це забезпечує другу смугу безпеки висотою 8 рядів пікселів між нижнім краєм R2' і R3' і верхнім краєм С. Додатково використовуючи ширину складеного кадру, можливо розташувати R2' і R3' так, щоб вони були повністю оточені пікселями, які не належать ні правому зображенню, ні лівому зображенню. У додатковому варіанті здійснення, який описаний в цьому документі з посиланням на Фіг. 8 і 9, модуль 104 витягує три підзображення R1'', R2'' і R3'', загальна сума пікселів яких перевищує суму пікселів розділеного зображення. Ділянка R1'' відповідає ділянці R1' на Фіг. 6, в той час як R2'' і R3'' включають в себе область ділянок R2' і R3' плюс додаткова область (Ra2 і Ra3), яка дозволяє мінімізувати створення дефектів зображення під час фази стиснення зображення. 5 UA 111467 C2 5 10 15 20 25 30 35 40 45 50 55 Сегмент R1'' - це, таким чином, ділянка розміром 640×720 пікселів, яка займає перші колонки кадру R, який підлягає розділенню. Сегмент R3'' займає останні колонки кадру R, який підлягає розділенню, і межує з центральною ділянкою R2''. R3'' включає в себе, на лівій стороні (тієї, що межує з R2''), буферну смугу Ra3, яка містить пікселі, спільні з ділянкою R2''. Іншими словами, останні колонки R2'' і перші R3'' (які складають буферну смугу Ra3) співпадають. Переважно, розмір буферної смуги Ra3 вибирається як функція виду стиснення, яке буде далі застосоване до складеного кадру С, і, загалом, до потокового відео, яке його містить. Більш конкретно, вказана смуга має розмір, який в два рази більший простого елемента обробки, що використовуються в процесі стиснення. Наприклад, стандарт Н.264 забезпечує розділення зображення на макроблоки 16×16 пікселів, кожний з яких являє собою простий елемент обробки цього стандарту. На основі цього припущення, смуга Ra3 має ширину 32 пікселі. Сегмент R3'', отже, має розмір 352 (320+32) × 720 пікселів і містить пікселі останніх 352 колонок зображення R. Сегмент R2'' займає центральну частину зображення R, яке підлягає розділенню, і включає в себе, на лівій стороні, буферну смугу Ra2, яка має той же розмір, що і смуга Ra3. На прикладі розглянутого стандарту Н.264 стиснення, смуга Ra2, таким чином, має ширину 32 пікселі і містить пікселі, спільні з ділянкою R1''. Сегмент R2'', отже, має розмір 352×720 пікселів і містить пікселі колонок від 608 (640 з R1''-32) до 978 кадру R. Три підзображення, які належать до ділянок R1'', R2'' і R3'', виведених модулем 104 (як видно на Фіг. 8), потім вводяться в складений кадр С, як зображено на Фіг. 9. ділянки R2'' і R3'' 0 повернені на 90 , а пікселі скопійовані в останні ряди кадру С (області, позначені як C3'' і C4'') шляхом забезпечення певного числа пікселів безпеки, які відділяють області C3'' і C4'' від областей С1 і С2, які включають в себе пікселі зображень L і R1'. У випадку, зображеному на Фіг. 9, ця смуга безпеки має ширину 8 пікселів. Кадр С, отриманий таким чином, далі стискується і передається або зберігається на носії інформації (наприклад, DVD). З цією метою, забезпечені засоби стиснення, які адаптовані для стиснення зображення або відеосигналу, разом з засобами запису і/або передачі стисненого зображення або відеосигналу. Фіг. 10 зображує структурну схему пристрою 1100 прийому, який розпаковує прийнятий складений кадр (якщо він стиснений), відновлює два правих і лівих зображення і робить їх доступними для пристрою візуалізації (наприклад, телевізійної установки), дозволяючи отримати 3D вміст. Пристрій 1100 прийому може бути додатковим зовнішнім пристроєм або пристроєм прийому, вбудованим в телевізійну установку. Ті ж зауваження, зроблені для пристрою 1100 прийому, застосовні до пристрою зчитування (наприклад, пристрою зчитування DVD), який зчитує складений кадр (можливо, стиснений) і обробляє його, щоб отримати одну пару кадрів, відповідних правому і лівому зображенням, введених в складений кадр (можливо, стиснений), прочитаний пристроєм зчитування. Посилаючись на Фіг. 10, пристрій прийому приймає (через кабель або антену) стиснене стереоскопічне потокове відео 1101 і розпаковує його за допомогою модуля 1102 розпаковування, тим самим отримуючи потокове відео, яке містить послідовність кадрів C', відповідних кадрам С. Якщо є ідеальний канал або якщо складений кадр прочитаний з пристрою масової пам'яті або носія даних (Blue-ray, CD, DVD), то кадри C' відповідають складеним кадрам С, несучим інформацію про праве і ліве зображення, за винятком дефектів зображення, зроблених процесом стиснення. Ці кадри C' потім подаються на модуль 1103 відновлення, який виконує спосіб відновлення зображення, описаний нижче з посиланням на Фіг. 11 і 12. Очевидно, що якщо потокове відео не було стиснуте, то модуль 1102 розпаковування може бути пропущений і відеосигнал може бути поданий напряму на модуль 1103 відновлення. Процес відновлення починається на етапі 1300, коли прийнятий розпакований складений кадр C'. Модуль 1103 відновлення витягує (етап 1301) ліве зображення L шляхом копіювання перших 720×1080 пікселів розпакованого кадру в новий кадр, який менший, ніж складений кадр, наприклад, кадр ряду 720р. Зображення L, відновлене таким чином, виводиться на пристрій 1100 прийому (етап 1302). Далі, спосіб забезпечує витягання правого зображення R зі складеного кадру C'. Фаза витягання правого зображення починається з копіювання (етап 1303) частини області R1'', включеної в кадр C'. Більш детально, пікселі перших 624 (640-16) колонок R1'' копіюються у відповідні перші 624 колонки нового кадру, який представляє відновлене зображення Rout, як показано на Фіг. 11. Фактично, це видаляє з фази відновлення 16 колонок R1'', які найбільш 6 UA 111467 C2 5 10 15 20 25 30 35 40 45 50 55 схильні до дефектів зображення, наприклад, через ефект процедури оцінки руху, який виконується по стандарту Н.264 стиснення. Потім витягується центральна частина R2'' (етап 1304). З розпакованого кадру C' (який, як сказано вище, відповідає кадру С на Фіг. 9), вибираються пікселі області C3'' (відповідної початковій ділянці R2''), і виконується поворот на 90°, дзеркальний тому, який був виконано мультиплексором 100, внаслідок чого пікселі повертаються назад в початковий ряд/колонку, тобто як зображено на Фіг. 8. При цьому, перші і останні шістнадцять (16) колонок R2'' видаляються, а 352-32=320 колонок пікселів, які залишилися, копіюються у вільні колонки, суміжні з тими, які були щойно скопійовані з R1''. Шляхом вирізування 16 зовнішніх колонок ділянки R2'', видаляються ті колонки, де формування дефектів зображення є найбільш ймовірним. Ширина вирізаної області (в цьому випадку, 16 колонок) залежить від виду використаного стиснення. Вказана область переважно дорівнює простому елементу обробки, який використовується в процесі стиснення; у випадку, описаному в цьому документі, стандарт Н.264 працює для блоків 16×16 пікселів, тому вирізаються 16 колонок. Що стосується R3'' (етап 1305), то пікселі ділянки C4'' витягуються з кадру C', а підзображення R3'' повертаються назад в початковий ряд/колонку (див. Фіг. 8). Далі, перші 16 колонок пікселів видаляються (відповідні половині області Ra3), а 352-16=336 колонок пікселів, які залишилися, копіюються в останні вільні колонки на лівій стороні відновленого кадру. Як в R2'', так і в R3'' вирізана область дорівнює простому елементу обробки, який використовується при процесі стиснення. Звичайно, для обох ділянок R2'' і R3'' операція повороту може бути виконана віртуально, тобто той же результат в умовах витягання пікселів, які цікавлять, може бути отриманий шляхом копіювання у відновлений кадр пікселів ряду області C3'' (якщо R2'', C4'' якщо R3'') в колонку нового кадру Rout, за винятком останніх 16 рядів області C3'' (якщо R2'', C4'' якщо R3''), відповідних шістнадцяти колонкам, які підлягають вирізанню, як зображено на Фіг. 8. При цьому, праве зображення Rout повністю відновлене і може бути виведене (етап 1306). Процес відновлення правого і лівого зображень, які містяться в складеному кадрі C', таким чином, завершується (етап 1307). Вказаний процес повторюється для кожного кадру потокового відео, прийнятого пристроєм 1100 прийому, так що вивід складається з двох потокових відео 1104 і 1105 для правого зображення і лівого зображення, відповідно. Процес відновлення правого і лівого зображень, описаний вище з посиланнями на Фіг. 10, 11 і 12, оснований на припущенні про те, що демультиплексор 1100 знає, як складений кадр С був побудований і може, таким чином, витягувати праве і ліве зображення. Звичайно, це можливо, якщо спосіб мультиплексування стандартизований. Щоб брати до уваги той факт, що складений кадр може бути генерований будь-яким з описаних вище способів або будь-яким способом відповідно до будь-якого з способів, які використовують рішення, яке є предметом прикладеної формули винаходу, демультиплексор використовує сигнальну інформацію, яка міститься в заздалегідь заданій ділянці складеного зображення (наприклад, штрих-коді, як описано раніше), щоб знати, як вміст складеного зображення повинен бути розпакований і як відновити праве і ліве зображення. Після декодування вказаного сигналу, демультиплексор знає положення незміненого зображення (наприклад, лівого зображення в прикладах, описаних вище), а також положення і будь-які трансформації (поворот, перенесення або тому подібне) ділянок, на які інше зображення було розділене (наприклад, праве зображення в прикладах, описаних вище). З цією інформацією, демультиплексор може витягувати незмінене зображення (наприклад, ліве зображення) і відновлювати розділене зображення (наприклад, праве зображення). Хоч даний винахід проілюстрований з посиланнями на деякі переважні варіанти здійснення, очевидно, що він не обмежений вказаними варіантами здійснення і що багато які зміни можуть бути зроблені фахівцем в даній галузі техніки, бажаючим комбінувати в складене зображення два зображення, які стосуються двох різних перспектив (правої і лівої) об'єкта або сцени. Наприклад, електронні модулі, які забезпечують вищеописані пристрої, конкретно, пристрій 100 і пристрій 1100 прийому, можуть бути різним чином розділені і розподілені; додатково, вони можуть бути забезпечені в формі апаратних модулів або програмних алгоритмів, здійснюваних процесором, конкретно, відеопроцесором, обладнаним відповідними областями пам'яті для тимчасового зберігання прийнятих введених кадрів. Ці модулі можуть, тим самим, виконувати паралельно або послідовно один або більше етапів відеообробки способів мультиплексування і демультиплексування зображень, відповідно до даного винаходу. 7 UA 111467 C2 5 10 15 20 25 30 35 40 45 50 55 60 Також очевидно, що хоч переважні варіанти здійснення стосуються мультиплексування двох потокових відео 720р в одне потокове відео 1080р, інші формати також можуть бути використані. Винахід не обмежується конкретним виглядом розташування складеного зображення, оскільки різні рішення генерування складеного зображення можуть мати специфічні переваги. Наприклад, варіанти здійснення, описані вище з посиланням на Фіг. від 1 до 12, пропонують перевагу, яка полягає в тому, що вони виконують тільки операції перенесення або повороту, тим самим, вимагаючи малу обчислювальну здатність. Альтернативно, зрозуміло, що зображення також піддають операціям дзеркальної інверсії, додатково до вказаних операцій повороту і/або перенесення, щоб отримати складене зображення виду, показаного на Фіг. 13. Ці додаткові операції виконують з метою максимізації периметра меж між ділянками, які містять однакові пікселі, що, тим самим, приводить до сильної кореляції, існуючої між ними, і мінімізації дефектів зображення, викликаних подальшим стисненням. На прикладі Фіг. 13 і 14, передбачено для ясності, що праве і ліве зображення ідентичні, навіть якщо загалом вони злегка розрізняються. На цій фігурі ліве зображення L (показане на Фіг. 14а) розташоване у верхньому правому куті складеного кадру С, так що воно займає останні 1280 пікселів перших 720 рядів. Як в описаних раніше прикладах, зображення L, таким чином, копіюється незміненим в складений кадр С. Навпаки, праве зображення R розділяється відповідно до прикладу на Фіг. 3; Фіг. 14b показує зображення R, розділене на три ділянки R1, R2 і R3. Далі, деякі ділянки (ділянки R1 і R3 в прикладі на Фіг. 14) підлягають операції дзеркальної інверсії; інверсія може відбуватися відносно вертикальної осі (тобто паралельно колонці зображення) або горизонтальної осі (тобто паралельно ряду зображення). У разі інверсії відносно вертикальної осі, пікселі колонки N (де N - це ціле число від 1 до 1080, причому 1080 є числом колонок зображення) копіюються в колонку 1080+1-N. У разі інверсії відносно горизонтальної осі, пікселі ряду М (де М - це ціле число від 1 до 720, причому 720 є числом рядів зображення) копіюються в ряд 720+1-N. Фіг. 14с і 14d показують ділянку R1, витягнуту із зображення R і інвертовану (R1rot) відносно вертикальної осі, конкретно відносно вертикальної сторони. Інвертована ділянка R1inv вводиться в перші 640 пікселів перших 640 рядів пікселів. Як видно на прикладі на Фіг. 13, коли повернений R1inv вводиться в складений кадр С, пікселі R1inv, які межують з L, дуже схожі на пікселі L, які межують з R1inv. Просторова кореляція між цими пікселями має перевагу, яка полягає в скороченні формування дефектів зображення. Фіг. 14e і 14f показують ділянку R3, витягнуту із зображення R на Фіг. 14b і потім інвертовану (R3inv) відносно горизонтальної осі конкретно відносно горизонтальної сторони. Ділянка R3inv вводиться в останні 640 пікселів останніх 360 рядів. Це скорочує генерування дефектів зображення, оскільки пікселі граничних ділянок між R3inv і L є пікселями, які мають просторову кореляцію. Пікселі в цій граничній ділянці, насправді, відтворюють схожі або ідентичні частини зображення. Складений кадр С потім заповнюється шляхом введення ділянки R2. У цьому прикладі R2 не інвертується і/або обертається, тому що неможливо, ні в одному з випадків, збіг граничної ділянки R2 з граничною ділянкою, яка складається з однакових пікселів іншої ділянки R або L. Нарешті, також очевидно, що винахід стосується будь-якого способу мультиплексування, який дозволяє витягувати праве зображення і ліве зображення зі складеного зображення шляхом процесу, зворотного одному з вищеописаних процесів мультиплексування, які попадають під об'єм охорони даного винаходу. Винахід, тим самим, також стосується способу генерування пари зображень зі складеного зображення, який містить етапи: - генерування першого (наприклад, лівого зображення) з вказаних правого і лівого зображень шляхом копіювання однієї єдиної групи суміжних пікселів з ділянки вказаного складеного зображення; - генерування другого зображення (наприклад, правого зображення) шляхом копіювання іншої групи суміжних пікселів з різних ділянок вказаного складеного зображення. Відповідно до одного варіантів здійснення, інформація для генерування вказаного другого зображення витягується з області вказаного складеного зображення. Вказана інформація переважно закодована відповідно до штрих-коду. 8 UA 111467 C2 5 10 У одному варіанті здійснення способу генерування правого і лівого зображень, генерування зображення, яке було розділене в складеному зображенні, містить щонайменше одну фазу дзеркальної інверсії групи пікселів однієї з вказаних ділянок. У одному варіанті здійснення способу генерування правого і лівого зображень, генерування зображення, яке було розділене в складеному зображенні, містить щонайменше одну фазу видалення пікселів з однієї з ділянок складеного зображення, які містять пікселі цього зображення, що підлягає відновленню. Більш конкретно, пікселі видаляються з граничної області ділянки. У одному варіанті здійснення, зображення, яке було розділене на різні ділянки складеного зображення, відновлюється шляхом піддавання ділянок, які містять пікселі зображення, яке підлягає відновленню, тільки операціям перенесення і/або повороту. ФОРМУЛА ВИНАХОДУ 15 20 25 30 35 40 45 50 55 60 1. Спосіб генерування стереоскопічного потокового відео, яке містить складені зображення (С), причому складені зображення (С) містять інформацію про праве зображення (R) і ліве зображення (L), в якому: вибирають пікселі правого зображення (R) і пікселі лівого зображення (L), і вводять вибрані пікселі в складене зображення (С) стереоскопічного потокового відео, причому всі пікселі правого зображення (R) і всі пікселі лівого зображення (L) вводять в складене зображення (С) шляхом залишання одного із згаданих двох зображень незмінним і розділення іншого з них на ділянки (R1, R2, R3), які мають прямокутну форму і містять множину пікселів, і введення цих ділянок в складене зображення (С), в різні ділянки згаданого складеного зображення (С), які не зайняті згаданим незмінним зображенням, причому відношення горизонтальної і вертикальної роздільності згаданих лівого і правого зображень є незмінним, а згадане складене зображення (С) є кадром згаданого стереоскопічного потокового відео, що має кількість пікселів, що дорівнює або більше, ніж сума пікселів згаданих лівого і правого зображень, при цьому, щоб скоротити генерування дефектів в граничній області згаданих ділянок внаслідок стиснення зображення, згадані ділянки отримують за допомогою етапів, на яких: розділяють згадане інше зображення (R) по вертикалі на дві частини однакового розміру, розділяють одну із згаданих двох частин однакового розміру по горизонталі на дві частини (R2, R3) однакового розміру, причому інша частина (R1) зі згаданих двох частин однакового розміру більше не ділиться. 2. Спосіб за п. 1, в якому згадана інша частина (R1) з двох частин однакового розміру іншого зображення (R), яка більше не ділиться, вміщується в складене зображення (С) збоку незмінного зображення (L), причому згадані дві частини (R2, R3) також однакового розміру іншого зображення (R) вміщують в складене зображення (С) під незмінним зображенням (L), одна збоку іншої. 3. Спосіб за п. 1, в якому згадані ділянки (R1, R2, R3) вводяться в складене зображення за допомогою операцій перенесення або повороту. 4. Спосіб за п. 1, в якому згадані ділянки (R1, R2, R3) вводять в складене зображення (С) за допомогою операцій перенесення і повороту. 5. Спосіб за п. 1, в якому щонайменше одна частина простору, залишеного вільним в складеному зображенні, використовується для введення сигналу, необхідного для відновлення правого і лівого зображень на рівні демультиплексора. 6. Спосіб за п. 1, в якому до введення однієї зі згаданих ділянок в складене зображення виконують операцію дзеркальної інверсії вздовж однієї сторони згаданої однієї ділянки. 7. Спосіб за п. 6, в якому згадана одна ділянка вводиться в складене зображення, причому одна його сторона межує по одній стороні з іншим зображенням або ділянкою, так що пікселі, які належить до тієї ж просторової області, розташовуються бік у бік. 8. Спосіб за п. 1, в якому згадані ділянки містять суміжні групи стовпців пікселів згаданого зображення. 9. Спосіб за п. 1, в якому щонайменше дві із згаданих ділянок мають щонайменше одну загальну групу пікселів, причому ця група пікселів розташована в граничній області між згаданими щонайменше двома ділянками. 10. Спосіб за п. 1, в якому щонайменше одна зі згаданих ділянок, яка введена в складене зображення, відділяється від інших ділянок складеного зображення, які містять пікселі, скопійовані з правого зображення або лівого зображення. 11. Спосіб за п. 1, в якому: 9 UA 111467 C2 5 10 15 20 25 30 35 40 45 50 приймають послідовність правих зображень і послідовність лівих зображень, генерують послідовність складених зображень, починаючи із згаданих послідовностей правих зображень і лівих зображень, стискають зазначену послідовність складених зображень. 12. Спосіб відновлення пари зображень, починаючи зі складеного зображення, причому згадане складене зображення (С) містить інформацію про праве зображення (R) та ліве зображення (L), причому всі пікселі згаданого правого зображення (R) і всі пікселі згаданого лівого зображення (L) вводять в згадане складене зображення (С) шляхом залишення одного зі згаданих двох зображень незмінним і розділенням іншого з них на ділянки (R1, R2, R3), що мають прямокутну форму і містять множину пікселів, причому ці три ділянки вводяться в складене зображення (С) в різні області зазначеного складеного зображення (С), не зайняті згаданим незмінним зображенням, при цьому відношення горизонтальної і вертикальної роздільності згаданих лівого і правого зображень є незмінним, згадане складене зображення (С) має кількість пікселів, що дорівнює або більше, ніж сума пікселів згаданих лівого і правого зображень, при цьому згадані ділянки організовуються в складеному зображенні (С) наступним чином: розділяють зазначене інше зображення (R) по вертикалі на дві частини однакового розміру; розділяють одну зі зазначених двох частин однакового розміру по горизонталі на дві частини (R2, R3) також однакового розміру, причому інша частина (R1) зі згаданих двох частин однакового розміру більше не ділиться, при цьому спосіб включає етапи, на яких: генерують перше з правого зображення (R) і лівого зображення (L) шляхом копіювання однієї окремої групи суміжних пікселів з ділянки складеного зображення, в якій розташоване незмінне зображення, генерують друге зображення з правого зображення (R) і лівого зображення (L) шляхом копіювання інших груп суміжних пікселів з зазначених інших ділянок (R1, R2, R3) згаданого складеного зображення. 13. Спосіб за п. 12, в якому згадана інша частина (R1) з двох частин однакового розміру іншого зображення (R), яка більше не ділиться вміщується в складене зображення (С) збоку незмінного зображення (L), причому згадані дві частини (R2, R3) також однакового розміру іншого зображення (R) вміщують в складене зображення (С) під незмінним зображенням (L), одна збоку іншої. 14. Спосіб за п. 12, в якому інформація для генерування згаданої пари зображень витягується з області складеного зображення. 15. Спосіб за п. 14, в якому згадана інформація кодується відповідно до штрих-коду. 16. Спосіб за п. 12, в якому генерування другого зображення містить щонайменше одну фазу дзеркальної інверсії групи пікселів щонайменше однієї із згаданих інших ділянок. 17. Спосіб за п. 12, в якому генерування другого зображення містить щонайменше одну фазу видалення пікселів зі щонайменше однієї із згаданих ділянок. 18. Спосіб за п. 17, в якому пікселі видаляються з граничної області згаданої щонайменше однієї ділянки. 19. Спосіб за п. 12, в якому друге зображення генерується шляхом піддавання згаданих ділянок пікселів операціям перенесення або повороту. 20. Спосіб за п. 12, в якому друге зображення генерується шляхом піддавання згаданих ділянок пікселів операціям повороту і перенесення. 21. Пристрій для генерування складених зображень (С), що містить модуль розділення для прийому правого зображення і лівого зображення і модуль зборки для генерування складеного зображення (С), яке містить інформацію про праве зображення і ліве зображення, причому модуль розділення і модуль зборки виконані з можливістю здійснення способу за п. 1. 22. Пристрій для відновлення пари зображень, починаючи зі складеного зображення, що містить модулі генерування, виконані з можливістю генерування правого зображення (R) і лівого зображення (L) для здійснення способу за п. 12. 10 UA 111467 C2 11 UA 111467 C2 12 UA 111467 C2 13 UA 111467 C2 14 UA 111467 C2 15 UA 111467 C2 Комп’ютерна верстка А. Крижанівський Державна служба інтелектуальної власності України, вул. Василя Липківського, 45, м. Київ, МСП, 03680, Україна ДП “Український інститут інтелектуальної власності”, вул. Глазунова, 1, м. Київ – 42, 01601 16