Пристрій та спосіб для перетворення динамічного діапазону зображень

Реферат: Пристрій обробки зображення включає в себе приймач (201) для отримання сигналу зображення, який включає в себе щонайменше кодоване зображення та посилання на цільовий дисплей. Посилання на цільовий дисплей вказує динамічний діапазон цільового дисплея, для якого закодоване кодоване зображення. Процесор (203) динамічного діапазону створює вихідне зображення шляхом застосування перетворення динамічного діапазону до кодованого зображення у відповідь на посилання на цільовий дисплей. Після цього вихід (205) виводить сигнал вихідного зображення, який включає в себе вихідне зображення, наприклад, в прийнятний дисплей. Крім того, перетворення динамічного діапазону може виконуватися у відповідь на зазначення динамічного діапазону дисплея, отримане від дисплея. Цей винахід може використовуватися для створення зображення з високим динамічним діапазоном (HDRзображення) з, наприклад, зображення з низьким динамічним діапазоном (LDR-зображення), або навпаки. UA 116082 C2 (12) UA 116082 C2 UA 116082 C2 5 10 15 20 25 30 35 40 45 50 55 60 Цей винахід стосується перетворень динамічного діапазону для зображень, та зокрема, але без обмеження нею, обробки зображень для формування зображень з високим динамічним діапазоном із зображень з низьким динамічним діапазоном або для формування зображень з низьким динамічним діапазоном із зображень з високим динамічним діапазоном. Рівень техніки Цифрове кодування сигналів різних джерел стає все більш важливим протягом останніх десятиліть, коли цифрове представлення сигналів та цифровий зв'язок все більше заміняють аналогове представлення сигналів та аналоговий зв'язок. Тривають постійні дослідження та розвиток з метою покращення якості, яка може бути одержана від кодованих зображень та відеопослідовностей, в той самий час зберігаючи швидкість передавання даних на прийнятних рівнях. Важливим фактором для сприйманої якості зображення є динамічний діапазон, який може бути відтворений при відображенні зображення. Як правило, динамічний діапазон відтворюваних зображень суттєво зменшений відносно нормального зору. Дійсно, рівні яскравості, які зустрічаються в реальному світі, охоплюють динамічний діапазон величиною 14 порядків, змінюючись від безмісячної ночі до прямого погляду на сонце. Миттєвий динамічний діапазон яскравості та відповідна чутливість зорової системи людини можуть падати від 10000:1 та 100000:1 в сонячні дні або в нічний час (яскраві відображення у порівнянні з темними затіненими областями). Як правило, динамічний діапазон дисплеїв був обмежений приблизно 23 порядками, а також датчики мали обмежений діапазон, наприклад, менше ніж 10000:1, залежно від допустимості шумів. Отже, звичайно можна було зберігати та передавати зображення у 8-бітних гамма-кодованих форматах без внесення помітних для сприйняття спотворень зображення на традиційних пристроях відображення. Однак у прагненні записати більш точне та "живе" зображення були розроблені нові датчики зображення з високим динамічним діапазоном (HDR датчики зображення), які здатні записувати зображення з динамічним діапазоном більше 6 порядків. Крім того, більшість спеціальних ефектів, підвищення якості зображення за допомогою обчислювальної техніки та інші роботи з редагування відзнятих зображень вже зазвичай здійснюють при більших глибинах кольору та з більш високими динамічними діапазонами. Крім того, контрастність і максимальна яскравість сучасних систем відображення продовжує збільшуватись. Останнім часом були представлені нові дослідні зразки дисплеїв з 2 максимальною яскравістю до 3000 кд/м та контрастністю 5-6 порядків (приведені власні характеристики дисплеїв, навколишні умови перегляду також впливатимуть на остаточно відображену контрастність, яка може впасти навіть нижче 50:1 при перегляді телебачення в денний час). Вважається, що майбутні дисплеї будуть здатні забезпечити навіть більш високі динамічні діапазони та, зокрема, більш високі значення максимальної яскравості та контрастності. При відображенні на таких дисплеях 8-бітних сигналів, кодованих звичайним способом, можуть з'явитися дратуючі спотворення квантування та урізання сигналів. Крім того, традиційні формати відео пропонують недостатній запас динамічного діапазону та точність, щоб передати все розмаїття інформації, яка міститься у новому HDR-зображенні. В результаті існує зростаюча потреба у нових способах, які дозволять споживачу повною мірою скористатися можливостями найбільш сучасних (та майбутніх) датчиків та систем відображення. За варіантом, якому віддається перевага, способи подання такої додаткової інформації є зворотно сумісними, так що застаріле обладнання ще може приймати звичайні відеопотоки, тоді як нові пристрої з підтримкою HDR можуть повною мірою скористатися додатковою інформацією, яка передається новим форматом. Таким чином, бажано, щоб закодовані відеодані не тільки відображали HDR-зображення, але також уможливлювали кодування відповідних звичайних зображень із низьким динамічним діапазоном (LDRзображень), які можуть бути відображені на звичайному обладнанні. Для успішного впровадження HDR-систем та повного використання перспектив HDR важливо, щоб вибраний спосіб як забезпечував зворотну сумісність, так і уможливлював оптимізацію або принаймні адаптацію до HDR-дисплеїв. Однак це за своєю суттю призводить до конфлікту між оптимізацією для HDR та оптимізацією для традиційного LDR. Наприклад, зазвичай графічний контент, наприклад, відеокліпи, буде оброблюватись в студії (колірна корекція та тональне відображення) для оптимального відображення на конкретному дисплеї. Як правило, таку оптимізацію виконують для LDR-дисплеїв. Наприклад, під час редагування для стандартного LDR-дисплея фахівці колірної корекції балансують багато аспектів якості зображення для створення бажаного "вигляду" для основної сюжетної лінії. Це може включати в себе балансування крайових та локальних контрастів, іноді навіть навмисне відсікання пікселів. Наприклад, на дисплеї з відносно низькою максимальною яскравістю вибухи 1 UA 116082 C2 5 10 15 20 25 30 35 40 45 50 55 60 або яскраво освітлені області зображення часто сильно обрізуються для того, щоб передати глядачу враження високої яскравості (те ж саме відбувається для темних деталей в тінях на дисплеях з недостатніми рівнями чорного). Цю операцію, як правило, виконують з розрахунком на умовний LDR-дисплей, та зазвичай дисплеї відрізняються від такого умовного LDR-дисплея відносно незначною мірою, оскільки фактично майже всі споживчі дисплеї являють собою LDRдисплеї. Однак, якщо фільм був адаптований для цільового HDR-дисплея, результат буде зовсім іншим. Дійсно, фахівці з кольору виконають оптимізацію, яка призведе до зовсім іншого кодованого відображення. Наприклад, на HDR-дисплеях можна не тільки краще зберегти яскраві області зображення та деталі в тінях, але також оптимізувати їх для іншого розподілення по напівтонах сірого. Таким чином, оптимальне HDR-зображення не одержується простим масштабуванням LDR-зображення на величину, що відповідає різниці у значеннях яскравості точки білого (максимально досяжної яскравості). В ідеальному випадку для кожного можливого динамічного діапазону дисплея будуть виконуватись окремі колірні корекції та тональні відображення. Наприклад, одна 2 відеопослідовність буде створена для максимальної яскравості точки білого 500 кд/м , одна для 2 2 1000 кд/м , одна для 1500 кд/м тощо до максимально можливої яскравості. Конкретний дисплей потім може просто обрати відеопослідовність, яка відповідає його яскравості. Однак такий спосіб є непрактичним, оскільки він потребує створення великої кількості відеопослідовностей, тим самим збільшуючи ресурси, необхідні для формування цих різних відеопослідовностей. Крім того, також суттєво збільшиться необхідна здатність зберігання та розподілення. Крім того, цей спосіб обмежить можливий максимальний рівень яскравості дисплеїв дискретними рівнями, тим самим зумовлюючи неоптимальні експлуатаційні якості для дисплеїв, максимальні рівні яскравості яких знаходяться між рівнями, для яких були надані відеопослідовності. Крім того, такий спосіб унеможливить розробку майбутніх дисплеїв з більш високими максимальними рівнями яскравості, ніж використовуваний для відеопослідовності з найбільш високим рівнем яскравості. Відповідно, вважається, що на стороні надання контенту буде формуватись лише обмежена кількість відеопослідовностей, та вважається, що у подальших вузлах в розподільній мережі до таких відеопослідовностей будуть застосовані автоматичні перетворення динамічного діапазону для того, щоб сформувати відеопослідовність, прийнятну для конкретного дисплея, на якому відтворюється ця відеопослідовність. Однак у такому способі одержувана якість зображення значно залежить від автоматичного перетворення динамічного діапазону. Таким чином, було б бажаним надати вдосконалений спосіб для підтримки різних динамічних діапазонів для зображень, та за варіантом, якому віддається перевага, - для підтримки зображень з різним динамічним діапазоном. Суть винаходу Відповідно, метою цього винаходу за варіантом, якому віддається перевага, є зменшення, пом'якшення або усунення одного або більше із зазначених вище недоліків поодинці або в будьякій комбінації. За одним із аспектів цього винаходу запропонований пристрій обробки зображення, який включає в себе: приймач для приймання сигналу зображення, причому сигнал зображення містить принаймні перше кодоване зображення та посилання на перший цільовий дисплей, при цьому посилання на перший цільовий дисплей характеризує динамічний діапазон першого цільового дисплея, для якого закодоване згадане перше кодоване зображення; процесор динамічного діапазону, виконаний з можливістю формування вихідного зображення шляхом застосування згаданого перетворення динамічного діапазону до згаданого першого кодованого зображення у відповідь на згадане посилання на перший цільовий дисплей; та вихід для виведення сигналу вихідного зображення, що містить згадане вихідне зображення. Цей винахід може дозволити системі підтримувати зображення та/або дисплеї з різним динамічним діапазоном. Зокрема, цей винахід може уможливити вдосконалені перетворення динамічного діапазону, які можуть адаптуватися до конкретних характеристик відтворення зображення. В багатьох випадках може бути досягнуте вдосконалене перетворення динамічного діапазону з LDR-зображень у HDR-зображення або з HDR-зображень у LDRзображення. В деяких варіантах здійснення перетворення динамічного діапазону збільшує динамічний діапазон вихідного відеосигналу відносно першого кодованого зображення. В деяких варіантах здійснення перетворення динамічного діапазону зменшує динамічний діапазон вихідного відеосигналу відносно першого кодованого зображення. Динамічний діапазон відповідає діапазону відтворення яскравості, тобто діапазону від 2 UA 116082 C2 5 10 15 20 25 30 35 40 45 50 55 60 мінімального світлового виходу до максимального світлового виходу для відтвореного зображення. Таким чином, динамічний діапазон являє собою не лише співвідношення між максимальним значенням і мінімальним значенням або міру квантування (наприклад, число бітів), але відповідає фактичному діапазону яскравості для відтворення зображення. Отже, динамічний діапазон може являти собою діапазон значень яскравості, наприклад, виміряних в 2 канделах на квадратний метр (кд/м ), цю одиницю виміру також називають "ніт". Таким чином, динамічний діапазон являє собою діапазон яскравості від світлового виходу (яскравості), який(а) відповідає найменшому значенню яскравості (часто під ним розуміють абсолютно чорний колір, тобто відсутність світлового виходу), до світлового виходу (яскравості), який(-а) відповідає найбільшому значенню яскравості. Зокрема, динамічний діапазон може характеризуватися найбільшим значенням світлового виходу, також відомим як точка білого, яскравість точки білого, яскравість білого або максимальна яскравість. Для LDR-зображень та LDR-дисплеїв точка білого становить зазвичай 500 ніт або менше. Сигнал вихідного зображення може бути поданий, зокрема, на дисплей з конкретним динамічним діапазоном, та, таким чином, перетворення динамічного діапазону може перетворити кодоване зображення з динамічного діапазону, вказаного посиланням на цільовий дисплей, у динамічний діапазон дисплея, на якому відтворюється зображення. Зображення може являти собою зображення з послідовності рухомих зображень, таке як, наприклад, кадр або зображення з відеопослідовності. Як інший приклад, зображення може являти собою постійний фон або, наприклад, накладене зображення, таке як графіка тощо. Перше кодоване зображення може являти собою, зокрема, LDR-зображення, та вихідне зображення може являти собою HDR-зображення. Перше кодоване зображення може являти собою, зокрема, HDR-зображення, та вихідне зображення може являти собою LDR-зображення. За факультативною особливістю цього винаходу посилання на перший цільовий дисплей містить яскравість точки білого першого цільового дисплея. Це може забезпечити вигідний режим роботи в багатьох варіантах здійснення. Зокрема, це може уможливити низьку складність та/або низькі витрати обчислювальних ресурсів, при цьому надаючи достатню інформацію для уможливлення виконання вдосконаленого перетворення динамічного діапазону. За факультативною особливістю цього винаходу посилання на перший цільовий дисплей включає в себе зазначення електрооптичної передавальної функції (EOTF) для згаданого першого цільового дисплея. Це може забезпечити вигідний режим роботи в багатьох варіантах здійснення. Зокрема, це може уможливити низьку складність та/або низькі витрати обчислювальних ресурсів, при цьому надаючи достатню інформацію для уможливлення виконання вдосконаленого перетворення динамічного діапазону. Зокрема, це включення може дозволити при перетворенні динамічного діапазону адаптуватися також до конкретних характеристик, наприклад, для середніх значень яскравості. Наприклад, це може дозволити при перетворенні динамічного діапазону врахувати відмінності в гаммі цільового дисплея та дисплея кінцевого споживача. За факультативною особливістю цього винаходу посилання на перший цільовий дисплей містить зазначення тонального відображення, яке характеризує тональне відображення, використане для формування згаданого першого кодованого зображення для згаданого першого цільового дисплея. Це може надати можливість виконання вдосконаленого перетворення динамічного діапазону в багатьох варіантах застосування, та, зокрема, може надати можливість при перетворенні динамічного діапазону компенсувати конкретні характеристики тонального відображення, виконаного на стороні створення контенту. Таким чином, в деяких варіантах застосування пристрій обробки зображення може враховувати як характеристики дисплея, для якого було оптимізоване кодоване зображення, так і характеристики конкретного тонального відображення. Це може, наприклад, дозволити врахувати суб'єктивні та, наприклад, художні рішення відносно тонального відображення при перетворенні зображення з одного динамічного діапазону в інший. За факультативною особливістю цього винаходу згаданий сигнал зображення додатково включає в себе поле даних, яке містить дані керування, що мають стосунок до перетворення динамічного діапазону; при цьому процесор динамічного діапазону, крім того, виконаний з можливістю здійснення перетворення динамічного діапазону у відповідь на згадані дані керування, що мають стосунок до перетворення динамічного діапазону. Це може забезпечити покращені експлуатаційні якості та/або функціональність у багатьох системах. Зокрема, це може уможливити локалізовану та цільову адаптацію до дисплеїв з конкретним динамічним діапазоном, причому дозволяючи стороні контент-провайдера зберегти 3 UA 116082 C2 5 10 15 20 25 30 35 40 45 50 55 60 певний контроль над прийнятими зображеннями. Дані керування, що мають стосунок до перетворення динамічного діапазону, можуть включати в себе дані, які характеризують параметри перетворення динамічного діапазону, які повинні та/або можуть бути застосовані, та/або ці дані можуть визначати рекомендовані параметри перетворення динамічного діапазону. За факультативною особливістю цього винаходу дані керування, що мають стосунок до перетворення динамічного діапазону, включають в себе різні параметри перетворення динамічного діапазону для різних рівнів максимальної яскравості дисплея. Це може забезпечити вдосконалене керування та/або адаптацію в багатьох варіантах здійснення. Зокрема, це може дозволити пристрою 103 обробки зображення вибирати та застосовувати відповідні дані керування для конкретного динамічного діапазону, для якого формується вихідне зображення. За факультативною особливістю цього винаходу дані керування, що мають стосунок до перетворення динамічного діапазону, включають в себе різні параметри тонального відображення для різних рівнів максимальної яскравості дисплея, при цьому процесор динамічного діапазону виконаний з можливістю визначення параметрів тонального відображення для перетворення динамічного діапазону у відповідь на згадані різні параметри тонального відображення та максимальну яскравість для згаданого сигналу вихідного зображення. Це може забезпечити вдосконалене керування та/або адаптацію в багатьох варіантах здійснення. Зокрема, це може дозволити пристрою 103 обробки зображення вибирати та застосовувати відповідні дані керування для конкретного динамічного діапазону, для якого формується вихідне зображення. Параметри тонального відображення можуть конкретно визначати параметри, які повинні бути застосовані, які можуть бути застосовані, або які рекомендовані для перетворення динамічного діапазону. За факультативною особливістю цього винаходу дані керування, що мають стосунок до перетворення динамічного діапазону, включають в себе дані, які визначають групу параметрів перетворення, які повинні бути застосовані перетворенням динамічного діапазону. Це може дозволити стороні контент-провайдера зберегти керування зображеннями, відтворюваними на дисплеях, які підтримуються пристроєм обробки зображення. Це може забезпечити однорідність у різних ситуаціях відтворення. Включення цих даних може, наприклад, дозволити контент-провайдеру забезпечити зберігання художнього враження від зображення відносно незмінним при відтворенні на різних дисплеях. За факультативною особливістю цього винаходу дані керування, що мають стосунок до перетворення динамічного діапазону, включають в себе дані, які визначають граничні значення параметрів перетворення, які повинні бути застосовані перетворенням динамічного діапазону. Це може забезпечити покращену роботу та покращені враження користувача в багатьох варіантах здійснення. Зокрема, в багатьох випадках це може уможливити більш розумний компроміс між бажанням контент-провайдера зберегти керування відтворенням свого контенту, при цьому дозволяючи кінцевому споживачу налаштувати його за власними вподобаннями. За факультативною особливістю цього винаходу дані керування, що мають стосунок до перетворення динамічного діапазону, містять різні дані керування, що мають стосунок до перетворення, для різних категорій зображень. Це може забезпечити покращені перетворені зображення в багатьох випадках. Зокрема, це може уможливити оптимізацію перетворення динамічного діапазону для індивідуальних особливостей різних зображень. Наприклад, різні перетворення динамічного діапазону можуть бути застосовані до зображень, що відповідають основному зображенню, до зображень, що відповідають графіці, до зображень, що відповідають фону, тощо. За факультативною особливістю цього винаходу максимальна яскравість динамічного діапазону першого цільового дисплея становить не менше 1000 ніт. Призначене для перетворення зображення може являти собою HDR-зображення. Перетворення динамічного діапазону може перетворити таке HDR-зображення в інше HDRзображення (пов'язане з дисплеєм, який має динамічний діапазон не менше 1000 ніт), яке має інший динамічний діапазон. Таким чином, покращена якість зображення може досягатись перетворенням одного HDR-зображення для одного динамічного діапазону в інше HDRзображення для іншого динамічного діапазону (який може мати вищу або нижчу яскравість точки білого). За факультативною особливістю цього винаходу згаданий сигнал зображення включає в себе друге кодоване зображення та посилання на другий цільовий дисплей, при цьому посилання на другий цільовий дисплей характеризує динамічний діапазон другого цільового 4 UA 116082 C2 5 10 15 20 25 30 35 40 45 50 55 60 дисплея, для якого закодоване згадане друге кодоване зображення, причому динамічний діапазон другого цільового дисплея відрізняється від динамічного діапазону першого цільового дисплея; та процесор динамічного діапазону виконаний з можливістю застосування згаданого перетворення динамічного діапазону до згаданого другого кодованого зображення у відповідь на згадане посилання на другий цільовий дисплей. Це може забезпечити покращену вихідну якість у багатьох випадках. Зокрема, різні перетворення можуть бути застосовані для першого кодованого зображення та для другого кодованого зображення залежно від відмінностей відповідних цільових дисплеїв (та зазвичай залежно від того, яке відношення кожен із них має до бажаного динамічного діапазону вихідного зображення). За факультативною особливістю цього винаходу процесор динамічного діапазону виконаний з можливістю формування вихідного зображення із застосуванням поєднання згаданого першого кодованого зображення та згаданого другого кодованого зображення. Це може забезпечити покращену якість зображення в багатьох варіантах здійснення та в багатьох випадках. В певних випадках поєднання може являти собою поєднання через вибір, в якому поєднання виконують простим вибором одного із зображень. За факультативною особливістю цього винаходу пристрій обробки зображення додатково включає в себе: приймач для приймання сигналу даних від дисплея, де цей сигнал даних включає в себе поле даних, яке містить певну характеристику динамічного діапазону даного дисплея, причому ця характеристика динамічного діапазону дисплея містить щонайменше одну характеристику яскравості; та процесор динамічного діапазону, виконаний з можливістю застосування згаданого перетворення динамічного діапазону до згаданого першого кодованого зображення у відповідь на таку характеристику динамічного діапазону дисплея. Це може забезпечити покращене відтворення зображення в багатьох варіантах здійснення. За факультативною особливістю цього винаходу процесор динамічного діапазону виконаний з можливістю вибору між формуванням вихідного зображення як першого кодованого зображення та формуванням вихідного зображення як перетвореного зображення, одержаного з першого кодованого зображення, у відповідь на згадане посилання на перший цільовий дисплей. Це може забезпечити покращене відтворення зображення в багатьох варіантах здійснення та/або може зменшити обчислювальне навантаження. Наприклад, якщо дисплей кінцевого споживача має динамічний діапазон, дуже близький до динамічного діапазону, для якого було сформоване кодоване зображення, то покращена якість відтвореного зображення зазвичай досягатиметься при безпосередньому використанні прийнятого зображення. Однак, якщо динамічні діапазони є досить різними, то покращена якість досягається обробкою зображення для його адаптування до іншого динамічного діапазону. В деяких варіантах здійснення перетворення динамічного діапазону може являти собою лише пристосований перемикач між нульовою операцією (з безпосереднім використанням першого кодованого зображення) та застосуванням заздалегідь визначеного та незмінного перетворення динамічного діапазону, якщо посилання на цільовий дисплей суттєво відрізняється від дисплея кінцевого споживача. За факультативною особливістю цього винаходу перетворення динамічного діапазону включає в себе перетворення палітри кольорів. Це може забезпечити формування покращеного вихідного зображення в багатьох варіантах здійснення та застосування. Зокрема, це може забезпечити покращене для сприйняття відтворення кольорів та може, наприклад, компенсувати зміни у сприйнятті кольорів, зумовлені змінами яскравості областей зображення. В деяких варіантах здійснення перетворення динамічного діапазону може полягати в перетворенні палітри кольорів. За факультативною особливістю цього винаходу пристрій обробки зображення додатково включає в себе передавач даних керування для передавання даних керування, що мають стосунок до динамічного діапазону, у джерело згаданого сигналу зображення. Це може дозволити джерелу пристосувати сигнал зображення у відповідь на згадані дані керування, що мають стосунок до динамічного діапазону. Дані керування, що мають стосунок до динамічного діапазону, можуть включати в себе, зокрема, певну характеристику переважного динамічного діапазону для зображення та/або певну характеристику динамічного діапазону (наприклад, яскравість точки білого та факультативно EOTF або гамма-функцію) для дисплея кінцевого споживача. За одним із аспектів цього винаходу запропонований пристрій джерела сигналу зображення, який включає в себе: приймач для приймання кодованого зображення; генератор для формування сигналу зображення, що містить кодоване зображення та посилання на цільовий дисплей, яке характеризує динамічний діапазон відповідного цільового дисплея, для якого 5 UA 116082 C2 5 10 15 20 25 30 35 40 45 50 55 60 закодоване кодоване зображення; та передавач для передавання згаданого сигналу зображення. За одним із аспектів цього винаходу запропонований спосіб обробки зображення, який включає: приймання сигналу зображення, який містить принаймні перше кодоване зображення та посилання на перший цільовий дисплей, при цьому посилання на перший цільовий дисплей характеризує динамічний діапазон першого цільового дисплея, для якого закодоване згадане перше кодоване зображення; формування вихідного зображення шляхом застосування перетворення динамічного діапазону до згаданого першого кодованого зображення у відповідь на згадане посилання на перший цільовий дисплей; та виведення сигналу вихідного зображення, що містить згадане вихідне зображення. За одним із аспектів цього винаходу запропонований спосіб передавання сигналу зображення, спосіб включає: приймання кодованого зображення; формування сигналу зображення, який включає в себе кодоване зображення та посилання на цільовий дисплей, яке характеризує динамічний діапазон цільового дисплея, для якого закодоване кодоване зображення; та передавання сигналу зображення. За одним із аспектів цього винаходу запропонований сигнал зображення, який містить принаймні перше кодоване зображення та посилання на перший цільовий дисплей, при цьому посилання на перший цільовий дисплей характеризує динамічний діапазон першого цільового дисплея, для якого закодоване згадане перше кодоване зображення. Ці та інші аспекти, особливості та переваги цього винаходу стануть зрозумілими та роз'ясненими після вивчення варіанта(-ів) здійснення, описаного(-их) нижче. Короткий опис фігур Варіанти здійснення цього винаходу будуть описані, тільки у вигляді прикладу, з посиланнями на фігури, на яких: Фіг. 1 являє собою ілюстрацію прикладів елементів системи відтворення зображення за певними варіантами здійснення цього винаходу; Фіг. 2 являє собою ілюстрацію прикладу елементів пристрою обробки зображення; Фіг. 3 ілюструє приклад відображення для пристрою обробки зображення; Фіг. 4 ілюструє приклад електрооптичної передавальної функції (EOTF) для дисплея; Фіг. 5 ілюструє приклад моделі для рівнів відтворення в режимі HDMV-2D стандарту BluTM ray ; Фіг. 6 ілюструє приклад обробки динамічного діапазону для HDR-зображень та LDRзображень; Фіг. 7 ілюструє приклад відображення для пристрою обробки зображення; Фіг. 8-10 ілюструють приклади зображень, підданих різним перетворенням динамічного діапазону, при відображенні на однаковому дисплеї; Фіг. 11 ілюструє приклад взаємовідношення між значеннями яскравості та можливими відображеннями для пристрою обробки зображення; Фіг. 12 ілюструє приклад відображення для пристрою обробки зображення; Фіг. 13 ілюструє приклад відображення для пристрою обробки зображення; TM Фіг. 14 ілюструє структуру потоку графічних даних за стандартом Blu-ray ; Фіг. 15 ілюструє приклад обробки динамічного діапазону для зображення та відповідного зображення накладеної графіки; Фіг. 16 ілюструє приклад обробки динамічного діапазону для зображення та графіки; Фіг. 17 являє собою ілюстрацію прикладу елементів пристрою обробки зображення; Фіг. 18 ілюструє приклад відображення для пристрою обробки зображення; Фіг. 19 являє собою ілюстрацію прикладу елементів пристрою обробки зображення; Фіг. 20 ілюструє приклад відображення для пристрою обробки зображення; Фіг. 21 являє собою ілюстрацію прикладу елементів дисплея за певними варіантами здійснення цього винаходу; Фіг. 22 являє собою ілюстрацію прикладу елементів пристрою обробки зображення; та Фіг. 23 схематично ілюструє формування 8-бітного зображення шляхом кодування HDRзображення за допомогою пристрою кодування. Докладний опис деяких варіантів здійснення цього винаходу Фіг. 1 ілюструє приклад шляху розповсюдження аудіовізуального контенту. В цьому прикладі пристрій 101 контент-провайдера формує сигнал аудіовізуального контенту для елемента аудіовізуального контенту, такого як, наприклад, фільм, телевізійна програма тощо. Пристрій 101 контент-провайдера може, зокрема, кодувати аудіовізуальний контент у відповідності з 6 UA 116082 C2 5 10 15 20 25 30 35 40 45 50 55 60 прийнятним форматом кодування та моделлю подання кольору. Зокрема, пристрій 101 контентпровайдера може кодувати зображення відеопослідовності елемента аудіовізуального контенту у відповідності з прийнятною моделлю подання кольору, такою як, наприклад, YCrCb. Можна вважати, що пристрій 101 контент-провайдера представляє компанію з виробництва та розповсюдження, яка створює та розповсюджує контент. Потім сигнал аудіовізуального контенту передають у пристрій 103 обробки зображення через шлях 105 розповсюдження. Пристрій 103 обробки зображення може являти собою, наприклад, телевізійну абонентську приставку, яка знаходиться при конкретному споживачі TM елемента контенту, такому як, наприклад, персональний відеомагнітофон, програвач Blu-ray , пристрій мережевого (наприклад, Інтернет) потокового передавання, приймач супутникового або ефірного телебачення тощо. Аудіовізуальний контент є кодованим, та розповсюджується від пристрою 101 контентпровайдера через носій, який може складатися, наприклад, з упакованого носія або носія зв'язку. Потім аудіовізуальний контент надходить у пристрій-джерело, який є у вигляді пристрою 103 обробки зображення та має функціональні можливості для декодування та відтворення вмісту. Слід зазначити, що шлях 105 розповсюдження може являти собою будь-який шлях розповсюдження та забезпечуватись за допомогою будь-якого носія або із використанням будьякого прийнятного стандарту обміну даними. Крім того, шлях розповсюдження не обов'язково має працювати в режимі реального часу, але може включати в себе постійне або тимчасове сховище. Наприклад, шлях розповсюдження може включати в себе широкомовлення через Інтернет, супутникове, кабельне або ефірне широкомовлення, мережу мобільного або стаціонарного зв'язку тощо, або зберігання на фізично розповсюджуваних носіях, таких як DVD, TM або диск Blu-ray , або карта пам'яті тощо. Пристрій 103 обробки зображення з'єднаний з дисплеєм 107 через канал 109 обміну даними. Пристрій 103 обробки зображення формує сигнал відображення, який відображає елемент аудіовізуального контенту. Таким чином, пристрій-джерело передає потоком декодований контент у пристрій-приймач, який може являти собою телевізор або інший пристрій, який перетворює цифрові сигнали у фізичне представлення. Пристрій 103 обробки зображення може виконувати, наприклад, покращення зображення або алгоритми обробки сигналу над даними, та може, зокрема, декодувати та повторно кодувати (оброблений) аудіовізуальний сигнал. Повторне кодування може являти собою, зокрема, кодування в інший формат кодування або представлення, ніж для прийнятого сигналу. Система, показана на Фіг. 1, в деяких варіантах здійснення виконана так, щоб надавати дисплею 107 відеоінформацію з високим динамічним діапазоном (HDR), та в інших варіантах здійснення або застосування виконана так, щоб надавати дисплею 107 відеоінформацію з низьким динамічним діапазоном (LDR). Крім того, для забезпечення, наприклад, покращеної зворотної сумісності, в деяких випадках ця система може бути здатна надавати як LDRзображення, так і HDR-зображення залежно від дисплея, на якому воно відтворюється. Зокрема, система має можливість передавати/розповсюджувати сигнали зображення, які мають відношення як до LDR-зображення, так і до HDR-зображення. Звичайні дисплеї, як правило, використовують LDR-представлення. Як правило, такі LDRпредставлення забезпечуються трикомпонентним 8-бітним представленням, пов'язаним із визначеними основними кольорами. Наприклад, RGB-представлення кольору може бути забезпечене трьома 8-бітними значеннями, які відповідають красному, зеленому та синьому основному кольору, відповідно. Інше представлення використовує один компонент luma (сигнал яскравості) та два компоненти chroma (сигнали колірності). Ці LDR-представлення відповідають певній(-ому) яскравості або діапазону яскравості. HDR, зокрема, дозволяє значно яскравішім зображенням (або областям зображення) бути показаними належним чином на HDR-дисплеях. Фактично, HDR-зображення, відтворене на HDR-дисплеї, може надати істотно яскравішій білий колір, ніж білий колір, який може бути наданий відповідним LDR-зображенням, показаним на LDR-дисплеї. Дійсно, HDR-дисплей може уможливити зазвичай у щонайменше чотири рази яскравіший білий колір, ніж LDR-дисплей. Яскравість може бути виміряна, зокрема, відносно найтемнішого чорного кольору, який може бути відображений, або може бути виміряна відносно певного рівня сірого або чорного кольору. LDR-зображення може, зокрема, відповідати певним параметрам дисплея, таким як незмінна бітова роздільна здатність, пов'язана з конкретним набором основних кольорів та/або конкретною точкою білого. Наприклад, 8-бітова роздільна здатність може забезпечуватись для 2 даного набору основних кольорів RGB та, наприклад, точки білого 500 кд/м . HDR-зображення являє собою зображення, яке включає в себе дані, які повинні відтворюватись за межами цих 7 UA 116082 C2 5 10 15 20 25 30 35 40 45 50 55 60 обмежень. Зокрема, яскравість може бути більше ніж у чотири рази яскравішою, ніж точка 2 білого, (наприклад, 2000 кд/м ) або більше. Значення пікселів з високим динамічним діапазоном мають діапазон контрасту яскравості (найвища яскравість у множині пікселів, поділена на найнижчу яскравість), який (набагато) більше діапазону, який може бути точно відображений на дисплеях, стандартизованих в еру NTSC та MPEG-2 (з їх типовими основними кольорами RGB та точкою білого D65, яка при максимальному рівні інтенсивності [255, 255, 255] має еталонну яскравість 500 ніт або нижче). Як правило, для такого еталонного дисплея 8 біт достатньо для відображення всієї градації сірих тонів від приблизно 500 ніт до приблизно 0,5 ніт (тобто з діапазоном контрастності 1000:1 або нижче) з візуально невеликими сходинками, тоді як HDR-зображення кодують більшою двійковою послідовністю (двійковим словом), наприклад, 10-бітним (яке також записується камерою з більшим динамічним діапазоном та розрядністю ЦАП, наприклад, 14 біт). Зокрема, HDR-зображення зазвичай містять багато значень пікселів (що відповідають яскравим об'єктам зображення) вище точки білого сцени. Зокрема, декілька пікселів яскравіші за точку білого сцени більше ніж у два рази. Ця точка білого сцени, як правило, може прирівнюватись до точки білого еталонного дисплея NTSC/MPEG-2. Кількість Х бітів, використовуваних для HDR-зображень, звичайно може бути більшою або дорівнювати кількості Y бітів, використовуваних для LDR-зображень (Х, як правило, може становити, наприклад, 10 або 12, або 14 біт (на колірний канал, якщо використовують декілька таких каналів), та Y може становити, наприклад, 8 біт або 10 біт). Перетворення/відображення може знадобитися для приведення пікселів в менший діапазон, наприклад, при стискальному масштабуванні. Як правило, може бути застосоване нелінійне перетворення, наприклад, логарифмічним кодуванням можна кодувати (як сигнали luma) значно більший діапазон яскравості в Х-бітне слово, ніж лінійним кодуванням, хоча після цього ступені різниці яскравості від одного значення до наступного не є рівновіддаленими, але при цьому для зорової системи людини вони не обов'язково мають бути рівновіддаленими. Слід зазначити, що різниця між LDR-зображеннями та HDR-зображеннями полягає не тільки у більшій кількості бітів, використовуваних для HDR-зображень, ніж для LDR-зображень. Радше, HDR-зображення охоплюють більший діапазон яскравості, ніж LDR-зображення, та зазвичай мають вище значення максимальної яскравості, тобто вищу точку білого. Дійсно, тоді як LDRзображення мають точку (білого) максимальної яскравості, яка відповідає яскравості не більше 500 ніт, HDR-зображення мають точку (білого) максимальної яскравості, яка відповідає яскравості більше 500 ніт, та часто не менше 1000 ніт, 2000 ніт, або навіть 4000 ніт або вище. Таким чином, HDR-зображення не тільки використовує більше бітів, що відповідає більшій деталізації або покращеному квантуванню, але й відповідає більшому фактичному діапазону яскравості. Отже, значення пікселя з найбільш можливою яскравістю в цілому відповідає яскравості/світловому виходу, яка(-ий) є вищим для HDR-зображення, ніж для LDR-зображення. Фактично, HDR-зображення та LDR-зображення можуть використовувати однакову кількість бітів, але при цьому значення HDR-зображень посилаються на більший динамічний діапазон яскравості/вищу максимальну яскравість, ніж значення LDR-зображень (та, отже, HDRзображення представлені з більш грубим квантуванням за шкалою яскравості). В ідеальному випадку контент, надаваний пристроєм 101 контент-провайдера, буде записуватись та кодуватись з урахуванням діапазону яскравості, який відповідає діапазону яскравості дисплея 107. Однак в реальних системах контент може бути відтворений на багатьох різних дисплеях з великою кількістю різних характеристик, та/або може бути кодований за стандартами, заснованими на діапазонах яскравості, які відрізняються від діапазону яскравості конкретного дисплея 107. Крім того, контент спочатку може не бути записаним пристроєм або способом записування, який точно відповідає діапазону яскравості дисплея. Відповідно, підтримка HDR в системі контенту зазвичай потребує певної трансформації або перетворення між різними діапазонами яскравості. Наприклад, якщо приймають LDRзображення, та воно має бути показане на HDR-дисплеї, то повинно виконуватись перетворення з LDR у HDR. Якщо приймають HDR-зображення, та воно має бути показане на LDR-дисплеї, то повинно виконуватись перетворення з HDR у LDR. Такі перетворення, як правило, є досить складними, та їх не можна звести лише до простого масштабування діапазонів яскравості, оскільки таке масштабування призведе до зображення, яке сприйматиметься як таке, що виглядає неприродно. Замість цього зазвичай застосовують складні перетворення, та ці перетворення часто називають з використанням терміна "тональне відображення" (tone mapping). В принципі, такі перетворення яскравості можуть виконуватись в трьох різних місцях в системі розповсюдження контенту. 8 UA 116082 C2 5 10 15 20 25 30 35 40 45 50 55 60 Одним із варіантів є здійснення перетворення яскравості в пристрої 101 контентпровайдера. Як правило, це може дозволити поширення однакової операції перетворення яскравості на множину дисплеїв, тим самим дозволяючи використання єдиного перетворення для багатьох споживачів. Це може дозволити та виправдати виконання складного, ручного та вимогливого до ресурсів тонального відображення, наприклад, кваліфікованими фахівцями з тонального відображення. Фактично, це може забезпечити суб'єктивно оптимізоване зображення для певного діапазону яскравості, що часто називають художнім тональним відображенням. Однак такий спосіб дуже вимогливий до ресурсів та не придатний для застосування до багатьох дисплеїв. Крім того, для кожного підтримуваного діапазону яскравості потрібен окремий потік зображення, що призводить до необхідності в дуже високому ресурсі обміну даними, що для багатьох систем є непрактичним. Іншим варіантом є здійснення перетворення яскравості у пристрої 103 обробки зображення. Однак, оскільки пересічний споживач не є фахівцем в галузі перетворень яскравості, та оскільки зусилля, потрібні для виконання ручної адаптації, роблять її непрактичною (особливо для рухомих зображень, таких як відеокліпи, фільми тощо), то за варіантом, якому віддається перевага, перетворення має бути автоматичним. Однак такі перетворення зазвичай не в змозі надати оптимальні зображення. Зокрема, оптимальне перетворення може залежати від конкретного типу контенту, намічених характеристик зображення (наприклад, різні перетворення можуть бути прийнятними для сцени, призначеної бути темною та загрозливою, та для сцени, яка призначена бути темною лише для вказування того, що сцена є нічною). Крім того, створювач контенту може бути стурбованим щодо потенційного впливу таких автоматичних перетворень, та може проявити небажання втрачати контроль над тим, як контент може бути відображений у різних випадках. Крім того, оптимальне перетворення зазвичай залежатиме від точних характеристик дисплея 107, та перетворення, виходячи з передбачуваного, умовного або стандартного дисплея зазвичай зумовить неоптимальні перетворення. Перетворення також може виконуватись у дисплеї 107. В системі, показаній на Фіг. 1, пристрій 103 обробки зображення включає в себе функціональні можливості для здійснення перетворення динамічного діапазону яскравості на зображенні (або на серії зображень, такій як, наприклад, відеопослідовність), прийнятому від пристрою 103 обробки контенту (зображення), для збільшення його динамічного діапазону. Зокрема, пристрій 103 обробки зображення приймає зображення від пристрою 101 контентпровайдера та після цього оброблює це зображення для формування зображення з більш високим динамічним діапазоном. Зокрема, прийняте зображення може являти собою LDRзображення, яке перетворюють в HDR-зображення шляхом застосування згаданого перетворення динамічного діапазону яскравості для збільшення динамічного діапазону. Після цього перетворене зображення може виводитись на дисплей 107, який являє собою HDRдисплей, в результаті чого прийняте спочатку LDR-зображення перетворюється у відтворене HDR-зображення. Перетворення динамічного діапазону може відобразити значення яскравості (принаймні частини) вхідного зображення, пов'язаного з одним динамічним діапазоном, у значення яскравості для (принаймні частини) вихідного зображення, пов'язаного з іншим динамічним діапазоном. В іншому випадку пристрій 103 обробки зображення може приймати зображення від пристрою 101 контент-провайдера, після чого оброблювати це зображення для формування зображення з нижчим динамічним діапазоном. Зокрема, прийняте зображення може являти собою HDR-зображення, яке перетворюють в LDR-зображення шляхом застосування згаданого перетворення динамічного діапазону яскравості для зменшення динамічного діапазону. Після цього перетворене зображення може виводитись на дисплей 107, який являє собою LDRдисплей, в результаті чого спочатку прийняте HDR-зображення перетворюється у відтворене LDR-зображення. В системі, показаній на Фіг. 1, перетворення динамічного діапазону регулюють залежно від інформації, прийнятої від пристрою 101 контент-провайдера та/або дисплея 107. Таким чином, в цій системі перетворення динамічного діапазону не являє собою операцію, виконувану лише локально в пристрої 103 обробки зображення, але також може залежати від характеристик, властивостей або інформації від пристрою 101 контент-провайдера та/або дисплея 107. Спочатку система, показана на Фіг. 1, буде розкрита відносно ситуації, коли перетворення динамічного діапазону ґрунтується на інформації, наданої пристрою 103 обробки зображення від пристрою 101 контент-провайдера. На Фіг. 2 ілюстрований приклад елементів пристрою 103 обробки зображення, показаного на Фіг. 1. 9 UA 116082 C2 5 10 15 20 25 30 35 40 45 50 55 60 Пристрій 103 обробки зображення включає в себе приймач 201, який приймає сигнал зображення від пристрою 101 контент-провайдера. Сигнал зображення включає в себе одне або більше кодоване(-их) зображення(-ень). В багатьох випадках сигнал зображення може являти собою відеосигнал, який включає в себе кодовану відеопослідовність, тобто послідовність зображень. Слід зазначити, що може бути застосоване будь-яке прийнятне кодування зображення(-ень), в тому числі, наприклад, JPEG-кодування зображення, MPEGкодування відео тощо. Кодоване зображення представлене значеннями пікселів, які для кожного пікселя зображення представляють відповідний світловий потік для пікселя (або для субпікселя окремого колірного каналу). Значення пікселів можуть бути надані у відповідності з будь-яким прийнятним представленням кольору, таким як, наприклад, RGB, YUV тощо. Сигнал зображення, крім того, включає в себе посилання на цільовий дисплей, яке характеризує динамічний діапазон цільового дисплея, для якого закодоване згадане перше кодоване зображення. Таким чином, посилання на цільовий дисплей надає посилання для кодованого зображення, яке відображає динамічний діапазон, для якого було сформоване прийняте зображення. Посилання на цільовий дисплей може вказувати яскравості, для яких було призначене та, зокрема, оптимізоване, тональне відображення в пристрої 101 контентпровайдера. Таким чином, пристрій 101 контент-провайдера виконаний з можливістю формування сигналу зображення, який включає в себе не тільки саме кодоване зображення, але також посилання на цільовий дисплей, яке відображає динамічний діапазон дисплея, для якого був сформований кодований сигнал. Пристрій 101 контент-провайдера, зокрема, може приймати кодоване зображення від внутрішнього або зовнішнього джерела. Наприклад, зображення може надаватись як результат ручного тонального відображення, яким кодоване зображення оптимізовано для конкретного дисплея. Крім того, пристрій 101 контент-провайдера може приймати інформацію про конкретний дисплей, який був використаний для оптимізації, наприклад, за допомогою інформації, яка має стосунок до дисплея та була автоматично передана у пристрій 101 контент-провайдера від дисплея (наприклад, пристрій 101 контентпровайдера також може надавати функціональні можливості, необхідні для підтримки ручного тонального відображення, та може бути підключений до цільового/еталонного дисплея, використовуваного для цього тонального відображення). Як інший приклад, тонально відображене кодоване зображення може бути прийняте на носії, на якому також зберігаються дані про властивості відповідного дисплея. Як ще один приклад, пристрій 101 контентпровайдера може приймати інформацію про характеристики цільового дисплея за допомогою ручного введення даних споживачем. Пристрій 101 контент-провайдера у відповідь на таку інформацію може сформувати сигнал зображення, який включає в себе як кодоване(-і) зображення, так і посилання на цільовий дисплей, яке характеризує динамічний діапазон цільового дисплея, який був використаний для тонального відображення. Наприклад, значення даних, яке відповідає визначенню яскравості точки білого, та факультативно електрооптичної передавальної функції, що відповідає цільовому дисплею, може бути включене в сигнал зображення пристроєм 101 контентпровайдера. Пристрій 103 обробки зображення, крім того, включає в себе процесор 203 динамічного діапазону, який застосовує перетворення динамічного діапазону до прийнятого кодованого зображення для формування вихідного зображення з більш високим динамічним діапазоном, тобто який відповідає більшому діапазону значень вихідної яскравості при відтворенні зображення. Зокрема, вхідне кодоване зображення може являти собою зображення, кодоване для LDR-дисплея з максимальною яскравістю точки білого 500 ніт, та воно може бути перетворене у вихідне HDR-зображення з максимальною яскравістю точки білого, наприклад, 1000 або 2000 ніт. Як правило, перетворення динамічного діапазону також може збільшити кількість бітів, використовуваних для представлення кожного значення, але слід зазначити, що це не є обов'язковим, та в деяких варіантах здійснення для вихідного зображення може використовуватись та ж сама (або фактично навіть менша) кількість бітів, що і для вхідного зображення. Як інший приклад, вхідне кодоване зображення може являти собою зображення, кодоване для HDR-дисплея з максимальною яскравістю точки білого 2000 ніт, та воно може бути перетворене у вихідне LDR-зображення з максимальною яскравістю точки білого, наприклад, 500 ніт. Таке перетворення зі зменшенням динамічного діапазону також може включати в себе зменшення кількості бітів, використовуваних для значень пікселів. Перетворення динамічного діапазону виконується у відповідь на згадане посилання на цільовий дисплей та, таким чином, може бути виконане з можливістю врахування не тільки бажаного діапазону вихідної яскравості, але також діапазону яскравості, для якого було 10 UA 116082 C2 5 10 15 20 25 30 35 40 45 50 55 60 закодоване прийняте зображення. Наприклад, система може відрегулювати перетворення динамічного діапазону таким чином, що перетворення з метою формування вихідного зображення для максимальної яскравості точки білого 1000 ніт відрізнятиметься в залежності від того, чи вхідне зображення сформоване для максимальної яскравості точки білого 300 ніт, чи для максимальної яскравості точки білого 500 ніт. Це може призвести до істотного покращення вихідного зображення. Дійсно, в деяких варіантах здійснення вхідне зображення саме може являти собою HDRзображення, таке як, наприклад, зображення з максимальною яскравістю точки білого 1000 ніт. Оптимальне перетворення такого зображення відповідно у зображення з максимальною яскравістю точки білого 2000 ніт та зображення з максимальною яскравістю точки білого 5000 ніт зазвичай буде різним, та надання посилання на цільовий дисплей може дозволити пристрою 103 обробки зображення оптимізувати перетворення динамічного діапазону для конкретної ситуації, тим самим надаючи істотно покращене зображення відповідно до характеристик конкретного дисплея. Звісно, якщо дисплей являє собою дисплей з максимальною яскравістю точки білого 500 ніт, то перетворення динамічного діапазону повинне виконати стискання динамічного діапазону, а не його розширення. Цим підходам може віддаватися особлива перевага в неоднорідних системах розповсюдження контенту, таких як, наприклад, ті, що все частіше пропонуються для майбутніх телевізійних систем. Дійсно, (максимальна) яскравість LCD/LED HDR-телевізорів в даний час швидко зростає, та в найближчому майбутньому на ринку очікується співіснування дисплеїв з широкою різноманітністю (максимальної) яскравості. Більш яскраві зображення виглядають приємніше на екрані телевізора, та яскравіші телевізори краще продаються в магазині. З іншого боку, "бюджетні" дисплеї в ноутбуках, планшетних комп'ютерах та смартфонах також стають дуже популярними і також використовуються для відтворення, наприклад, телевізійного контенту. Оскільки яскравість дисплея (та зазвичай електрооптична передавальна функція, яка визначає, як дисплей перетворює значення інтенсивності вхідних пікселів (кольорів) у значення світла, які потім справляють конкретне психовізуальне враження на глядача) більше не відома на стороні створення контенту (та яка, крім того, зазвичай відрізняється від еталонного монітора, для якого був призначений/скоригований контент), стає складним забезпечити найкращу/оптимальну якість зображення на дисплеї. Крім того, тоді як в минулому могли існувати певні відмінності в яскравості дисплеїв, ці відмінності були відносно невеликими, та припущення про відому незмінну яскравість не вносило значних погіршень (та часто могло бути компенсоване вручну користувачем, наприклад, шляхом регулювання яскравості та/або контрастності дисплея). Однак через істотне збільшення різноманітності дисплеїв (смартфони, планшетні комп'ютери, ноутбуки, монітори ПК, ЕЛТ-дисплеї, звичайні телевізійні LCD-дисплеї та яскраві HDR-дисплеї), характеристики (особливо яскравість і контрастність) дисплеїв, використовуваних для відображення, демонструють величезні відмінності. Наприклад, контрастність та максимальна яскравість сучасних високоякісних систем відображення постійно зростає, та були 2 розроблені нові дослідні зразки дисплеїв з максимальною яскравістю до 5000 кд/м та контрастністю 5-6 порядків. З іншого боку, дисплеї, використовувані, наприклад, у смартфонах та планшетних комп'ютерах, стають все більш і більш популярними, але мають відносно низькі експлуатаційні характеристики. Як згадувалось раніше, контент, такий як відео для фільмів тощо, оброблюється на стороні створення контенту для надання бажаних відтворюваних зображень. Наприклад, якщо фільм TM видається для загального розповсюдження (наприклад, на DVD або Blu-ray ), то виробники/студія зазвичай пристосовують та регулюють зображення для оптимального вигляду на конкретному дисплеї. Такий процес часто називають колірною корекцією та тональним відображенням. Тональне відображення можна розглядати як нелінійне відображення значення luma вхідного пікселя у значення luma вихідного пікселя. Тональне відображення виконують для приведення відео у відповідність з характеристиками дисплея, умовами перегляду та суб'єктивними вподобаннями. У випадку місцевого тонального відображення обробка змінюється залежно від положення пікселя в зображенні. У випадку загального тонального відображення до всіх пікселів застосовується однакова обробка. Наприклад, при перетворенні контенту для того, щоб він підходив для розповсюдження масовому споживачу, тональне відображення часто виконують для надання бажаного вихідного зображення на стандартному LDR-дисплеї. Це може виконуватися вручну фахівцями з колірної корекції, які балансують багато аспектів якості зображення для створення бажаного "вигляду" для основної сюжетної лінії. Це може включати в себе балансування крайових та локальних 11 UA 116082 C2 5 10 15 20 25 30 35 40 45 50 55 60 контрастів, іноді навіть навмисне відсікання пікселів. Таким чином, зазвичай тональне відображення на цьому етапі не являє собою лише просте автоматизоване перетворення, але зазвичай є ручним, суб'єктивним та часто художнім перетворенням. Якщо контент був відкоригований для цільового HDR-дисплея, а не для цільового LDRдисплея, то результат тонального відображення, як правило, буде дуже відрізнятися. Таким чином, при простому відтворенні відео-контенту, кодованого для LDR-дисплея, на HDR-дисплеї прийняті зображення будуть істотно відрізнятися від оптимального зображення. Подібним чином, якщо зображення, оптимізоване для HDR, просто відтворюється на LDR-дисплеї, то може відбутися значне зниження сприйманої якості зображення. Для вирішення цієї проблеми в системі, показаній на Фіг. 1, перетворення динамічного діапазону виконують у пристрої 103 обробки зображення, але ґрунтуючись на інформації, яку за варіантом, якому віддається перевага, приймають як від пристрою 101 контент-провайдера, так і від дисплея 107. У цей спосіб перетворення динамічного діапазону (зокрема, алгоритм тонального відображення) може бути виконане з можливістю врахування характеристик тонального відображення, виконаного у пристрої 101 контент-провайдера, та конкретного діапазону яскравості дисплея 107. Зокрема, тональне відображення, виконуване у пристрої 103 обробки зображення, може залежати від цільового дисплея, для якого тональне відображення виконується на стороні створення контенту. Пристрій 101 контент-провайдера надає посилання на цільовий дисплей пристрою 103 обробки зображення (або окремо від кодованого зображення, або єдиним цілим з ним, тобто сигнал зображення може складатися з двох окремих передач (потоків) даних). Посилання на цільовий дисплей, зокрема, може включати в себе інформацію, яка стосується яскравості точки білого відповідного цільового дисплея, або являти собою цю інформацію. Наприклад, для системи відносно низької складності пристрій 101 контент-провайдера може просто передавати певну характеристику яскравості точки білого відповідного цільового дисплея для кожного кодованого зображення (відео), яке було закодоване. Наприклад, можуть бути передані дані, які характеризують максимальну яскравість (кількість ніт), доступних в цільовому дисплеї. Після цього перетворення динамічного діапазону може відрегулювати перетворювання, виходячи з цієї кількості ніт. Наприклад, якщо пристрій 103 обробки зображення виконує перетворення динамічного діапазону для формування вихідного зображення для дисплея з максимальною яскравістю точки білого 2000 ніт, то інформація про те, чи вхідне зображення тонально відображене для дисплея з максимальною яскравістю точки білого 500 ніт, чи для дисплея з максимальною яскравістю точки білого 1000 ніт, може бути використана для оптимізації перетворення динамічного діапазону, виконуваного у пристрої 103 обробки зображення. В обох випадках перетворення динамічного діапазону може застосувати нелінійне перетворення, але це нелінійне перетворення може мати різні характеристики для цих двох випадків, тобто залежати від точки білого відповідного цільового дисплея, використаного для тонального відображення на стороні надання контенту. Наприклад, між пікселями прийнятого LDR-зображення, тонально відображеними для цільового дисплея з максимальною яскравістю точки білого 500 ніт, та пікселями вихідного HDR-зображення для дисплея кінцевого споживача з максимальною яскравістю точки білого 2000 ніт може бути виконане наступне відображення: 0-200 ніт > 0-200 ніт 200- 300 ніт > 200-600 ніт 300- 400 ніт > 600-1000 ніт 400- 500 ніт > 1000-2000 ніт Однак для цільового дисплея з максимальною яскравістю точки білого 1000 ніт замість цього може бути виконане наступне відображення: 0-200 ніт > 0-200 ніт 200- 700 ніт > 200-1000 ніт 700- 1000 ніт > 1000-2000 ніт Таким чином, у відносних величинах (відсотках повного відображення) ці два різні відображення можуть бути такими, як показано на Фіг. 3, де співвідношення між відсотком рівня білого для вхідного зображення на осі абсцис та відсотком рівня білого для вихідного зображення на осі ординат показано для цільового дисплея 301 з максимальною яскравістю точки білого 500 ніт та цільового дисплея 303 з максимальною яскравістю точки білого 1000 ніт, відповідно. В цьому прикладі два дуже різні нелінійні тональні відображення застосовуються для того ж самого дисплея споживача в залежності від цільового еталонного дисплея, який був використаний/передбачений на стороні надання контенту. Слід зазначити, що ті ж самі відображення можуть використовуватись для відображення із 12 UA 116082 C2 5 10 15 20 25 30 35 40 45 50 55 60 зображення, оптимізованого для максимальної яскравості точки білого 2000 ніт, у зображення, оптимізоване для максимальної яскравості точки білого 500 ніт або 1000 ніт, шляхом перестановки осей (що відповідає застосуванню відображення, зворотного описаному вище відображенню). Також слід зазначити, що відображення, наприклад, у зображення, оптимізоване для максимальної яскравості точки білого 500 ніт, може бути пристосоване залежно від того, чи вхідне зображення являє собою зображення, оптимізоване для максимальної яскравості точки білого 1000 ніт, 2000 ніт або 4000 ніт. В деяких варіантах здійснення посилання на цільовий дисплей може альтернативно або додатково включати в себе зазначення електрооптичної передавальної функції для даного цільового дисплея. Наприклад, може бути включене зазначення гамми для цільового дисплея. Електрооптична передавальна функція (EOTF) дисплея описує співвідношення між вхідним (керуючим) значенням (Y") luma та вихідною яскравістю (Y) для дисплея. Ця функція перетворення залежить від багатьох характеристик дисплея. Великий вплив на цю функцію також можуть мати налаштування споживача, такі як яскравість та контрастність. На Фіг. 4 проілюстрований типовий приклад EOTF для 8-бітного (256 рівнів) вхідного значення. Передавання EOTF цільового дисплея може надати корисне описання характеристик цільового або еталонного дисплея, використаного для формування кодованого зображення або відео. Потім це описання характеристик може бути використане у пристрої 103 обробки зображення для пристосування перетворення динамічного діапазону до відмінностей між характеристиками цільового дисплея та дисплея кінцевого споживача. Наприклад, перетворення динамічного діапазону може включати в себе компенсування, яке інвертує співвідношення між електрооптичними передавальними функціями цільового/еталонного дисплея та дисплея кінцевого споживача. Слід зазначити, що існує багато способів описання EOTF. Одна з можливостей полягає у наданні групи вибіркових значень EOTF. Потім пристрій 103 обробки зображення може виконати інтерполяцію між точками вибірки, наприклад, із застосуванням простої лінійної інтерполяції. Інша можливість полягає у наданні конкретної моделі поведінки напівтонової шкали/контрастності дисплея на принаймні частині діапазону яскравості дисплея. Як інший приклад, пристрій 101 контент-провайдера може передати конкретну математичну функцію, яка описує EOTF. В деяких випадках може заздалегідь визначатися група цільових дисплеїв з відповідними параметрами моделі/функції, які зберігаються локально в пристрої 103 обробки зображення. В цьому випадку пристрій 101 контент-провайдера може передавати пристрою 103 обробки зображення тільки код позначення цільового дисплея. Як ще один приклад, може бути заздалегідь визначена базова математична функція, та зазначення цільового дисплея може включати в себе параметри для пристосування заздалегідь визначеної функції для описання EOTF конкретного цільового дисплея. Наприклад, EOTF може бути описана гамма-функцією, яка використовується для традиційних дисплеїв, та зазначення цільового дисплея може надавати конкретну гамму для цільового дисплея. В багатьох системах зазначення цільового дисплея може включати в себе максимальну яскравість та гамму цільового дисплея або складатися з них. Таким чином, зокрема, описання EOTF може забезпечуватись двома величинами, а саме гаммою та максимальною яскравістю/точкою білого. Наступні описи будуть зосереджені на саме такому варіанті. В опис також буде зосереджено на варіантах здійснення, які відрізняються тим, що система TM TM розповсюдження відповідає стандарту Blu-ray . Blu-ray являє собою сімейство форматів TM розповсюдження аудіо/відео/даних на основі технології оптичних дисків. BD-ROM є абревіатурою для доступного тільки для читання формату Blu-ray диска. Цей формат в основному використовується для розповсюдження (2D та 3D) відео високої чіткості та звука високої якості. TM Програвач BD-ROM має два режими роботи: HDMV та BD-J. В будь-який момент часу програвач знаходиться або в режимі HDMV, або в режимі BD-J. Особливістю програвачів BluTM ray Profile 5 є можливість відтворення стереоскопічного 3D відео/графіки разом із відтворенням стандартного 2D відео/графіки. Як приклад, на Фіг. 5 показана модель для рівнів відтворення в режимі HDMV-2D. Як конкретний приклад системи, показаної на Фіг. 1, сигнал зображення може являти собою TM відеосигнал, кодований на BDROM , та, отже, пристрій 103 обробки зображення може являти TM собою, зокрема, програвач Blu-ray . Кодоване відео може являти собою первинний відеоконтент або факультативно вторинний відео-контент на диску. Первинне відео являє собою, як правило, сам фільм в 2D або можливо стереоскопічному 3D форматі. TM Для того, щоб досягти оптимальної якості зображення в системі BDROM , система, TM показана на Фіг. 1, використовує доповнення до специфікації BDROM , яке уможливлює 13 UA 116082 C2 5 10 передавання параметрів цільового дисплея. Потім ці дані разом з передбачуваною або фактичною інформацією про дисплей кінцевого споживача використовуються програвачем TM TM BDROM для здійснення перетворення динамічного діапазону. Зокрема, програвач BDROM (пристрій 103 обробки зображення) може виконувати додаткове тональне відображення відео або іншу обробку залежно від характеристик цільового дисплея та/або дисплея кінцевого споживача. Одним із варіантів передавання інформації про параметри цільового дисплея є TM вбудовування даних, які вказують значення цих параметрів, в дані BDROM на диску. Для цього може бути використана структура даних розширення у файлі (xxxxx.mpls) списку відтворення. Ця структура даних розширення матиме унікальну та нову ідентифікацію. TM Несумісні застарілі програвачі BDROM не будуть знати про цю нову структуру даних та просто ігноруватимуть її. Це забезпечить зворотну сумісність. Нижче показаний можливий варіант реалізації синтаксису та семантики такого "опису цільового дисплея" (Target_Display_descriptor). Синтаксис Target_Display_Descriptor () { Abs_Max_Luminance Gamma (або модель поведінки значення сірого, наприклад, EOTF) } Кількість бітів Мнемоніка 8 uimsbf 8 uimsbf 15 20 25 30 35 40 45 50 В цьому прикладі Abs_Max_Luminance являє собою параметр зі значенням, наприклад, від 0 до 255, який вказує абсолютну максимальну яскравість/точку білого відповідного цільового дисплея як: 2 Abs_Max_Luminance Абсолютна максимальна яскравість в кд/м =Abs_Max_Luminance [bit0-4] x 10 [bit5-7] . Слід зазначити, що для мантиси або експоненти звичайно можуть використовуватись інші кількості бітів. Gamma являє собою параметр зі значенням, наприклад, від 0 до 255, який вказує гамму цільового дисплея як: Гамма цільового дисплея EOTF=Gamma/25. Таким чином, в цьому прикладі пристрою 103 обробки зображення надається посилання на TM цільовий дисплей від BDROM , яке містить абсолютну максимальну яскравість та значення гамми для цільового дисплея, для якого був сформований відеосигнал. Потім пристрій 103 обробки зображення використовує цю інформацію при виконанні автоматичного перетворення динамічного діапазону для збільшення або зменшення динамічного діапазону відеосигналу для дисплея кінцевого споживача з більш високою/нижчою яскравістю. Варто зауважити, що багато різних перетворень динамічного діапазону є можливими, та може бути використано багато різних способів регулювання таких перетворень динамічного діапазону, виходячи з посилань на цільовий дисплей. Нижче наведені різні приклади, але слід зазначити, що в інших варіантах здійснення можуть бути використані інші способи. По-перше, різниця в оптимальному відображенні певного первісного зображення в LDRзображення та HDR-зображення, відповідно, може бути проілюстрована на Фіг. 6, на якій показаний приклад різного тонального відображення, яке може бути використане для LDRдисплея (нижня частина фігури) та HDR-дисплея (верхня частина фігури). Первісне зображення є однаковим для обох LDR та HDR зображень. Гістограма цього зображення показана в лівій частині Фіг. 6. Вона показує, що значення luma більшості пікселів знаходяться в нижньому та середньому діапазонах. Ця гістограма також показує другий невеликий пік на високих значеннях luma (наприклад, фари автомобіля або ліхтарик). В цьому прикладі тональне відображення представлене трьома послідовними етапами обробки: Відсікання: відображення значень luma у нижньому та верхньому діапазонах в обмежену кількість вихідних значень luma. Розширення: пристосування динамічного діапазону до бажаного динамічного діапазону luma. Яскравість: регулювання середнього рівня яскравості для оптимальної яскравості. У випадку з LDR діапазон luma відображають у діапазон яскравості LDR-дисплея. Динамічний діапазон первісного зображенняє значно більшим, та, отже, первісне зображення значно обрізується для пристосування до обмеженого динамічного діапазону дисплея. У випадку з HDR (верхня частина фігури) відсікання може бути менш значним, оскільки 14 UA 116082 C2 5 10 15 20 25 30 35 40 45 50 55 60 динамічний діапазон дисплея є на порядок більшим, ніж для LDR-дисплея. На Фіг. 6 показані гістограми після кожного етапу обробки, а також гістограми зображення, показаного на LDR-дисплеї та HDR-дисплеї, відповідно. Зокрема, гістограми, розташовані праворуч, ілюструють тонально відображене LDR-зображення при відображенні на HDRзображенні та навпаки. У першому випадку зображення буде занадто яскравим, та значення luma нижнього та верхнього діапазонів втратять занадто багато елементів. У другому випадку зображення буде занадто темним, та значення luma середнього діапазону втратять занадто багато елементів та контрастність. Як видно, просте відображення (масштабованої за яскравістю версії) зображення, оптимізованого для LDR-дисплея, на HDR-дисплеї (або навпаки) може істотно знизити якість зображення, і тому пристрій 103 обробки зображення може виконати перетворення динамічного діапазону для збільшення якості зображення. Крім того, оскільки оптимізація, виконана в студії, сильно залежить від характеристик дисплея, для якого була виконана оптимізація, то оптимальне перетворення динамічного діапазону, яке має бути виконане пристроєм 103 обробки зображення, залежить не тільки від дисплея кінцевого споживача, але також від еталонного дисплея. Відповідно, посилання на цільовий дисплей, надане пристрою 103 обробки зображення, дозволяє пристрою 103 обробки зображення виконати бажане перетворення динамічного діапазону, виходячи не тільки з передбачуваних або відомих характеристик дисплея кінцевого споживача, але виходячи також з характеристик фактичного дисплея, використаного на стороні контент-провайдера. Фактично, можна вважати, що надання посилання на цільовий дисплей дозволяє пристрою 103 обробки зображення частково або повністю повернути назад частину тонального відображення, виконаного на стороні студії, тим самим уможливлюючи оцінку характеристик первісного зображення. Потім, виходячи з цієї оцінки, пристрій 103 обробки зображення може застосувати бажане тональне відображення, оптимізоване для конкретних характеристик динамічного діапазону HDR-дисплея кінцевого споживача. Слід зазначити, що пристрій 103 обробки зображення зазвичай не намагається виконати точне зворотне тональне відображення для відновлення первісного сигналу, за яким слідує тональне відображення, прийнятне для конкретного дисплея кінцевого споживача. Дійсно, зазвичай перетворення динамічного діапазону не надаватиме достатню інформацію для виконання такого зворотного тонального відображення, та тональне відображення, виконане контент-провайдером, часто може бути частково незворотнім. Однак пристрій 103 обробки зображення може виконати перетворення динамічного діапазону для того, щоб пристосувати прийняте зображення шляхом перетворення динамічного діапазону, яке забезпечує результат, який може являти собою (можливо дуже грубе) наближення більш теоретичної операції зворотного тонального відображення для формування первісного зображення, після чого виконується оптимізоване тональне відображення цього первісного зображення у конкретний бажаний динамічний діапазон. Таким чином, пристрій 103 обробки зображення може просто застосувати, наприклад, просте відображення зі значень luma на вході перетворення динамічного діапазону у відповідні значення luma на виході перетворення. Однак це відображення не тільки враховує бажане тональне відображення первісного зображення для певного дисплея кінцевого споживача, але також залежить від фактичного тонального відображення, вже виконаного у пристрої 101 контент-провайдера. Таким чином, пристрій 103 обробки зображення може використати перетворення динамічного діапазону для регулювання застосовуваного перетворення з урахуванням та пристосуванням до тонального відображення, яке вже було виконане. Як приклад, пристрій 103 обробки зображення може бути виконаний з можливістю надання вихідного зображення для відтворення на HDR-дисплеї із заздалегідь визначеною максимальною яскравістю (скажімо, 4000 ніт). Прийняте зображення/відео може бути тонально відображеним для LDR-дисплея з максимальною яскравістю 500 ніт. Таким чином, це тональне відображення оптимізувало зображення для певної максимальної яскравості та гамми. Як конкретний приклад, гамма-функція може мати вигляд кривої 701 на Фіг. 7, та прийняте зображення при відтворенні на дисплеї з максимальною яскравістю 500 ніт може бути таким, як показано на Фіг. 8. Коли це зображення повинно бути відтворене на HDR-дисплеї з максимальною яскравістю, наприклад, 4000 ніт, часто буває бажано, щоб світловий вихід для темних областей істотно не змінювався, тоді як для яскравих областей світловий вихід повинен дуже суттєво збільшитись. Таким чином, необхідні дуже різні співвідношення між (лінійними) значеннями яскравості та фактичними значеннями інтенсивності. Зокрема, істотно покращене зображення було б сформоване для HDR-зображення при використанні кривої 703 відображення, показаної на 15 UA 116082 C2 5 10 15 20 25 30 35 40 45 50 55 60 Фіг. 7, тобто якщо при тональному відображенні на стороні створення контенту була б застосована більш висока гамма. Однак це відображення з більш високою гаммою на дисплеї з максимальною яскравістю 500 ніт матиме результатом зображення, які здаються занадто темними, як показано на Фіг. 9. В згаданій системі пристрій 103 обробки зображення приймає інформацію про значення гамми для цільового дисплея на стороні створення контенту та може, таким чином, визначити криву 701. Крім того, відома бажана крива 703, оскільки вона залежить від динамічного діапазону дисплея, для якого формується вихідне зображення (який, наприклад, може надаватися пристрою 103 обробки зображення від дисплея 107, або може бути передбачуваним/заздалегідь визначеним). Таким чином, пристрій 103 обробки зображення може застосувати перетворення до значення яскравості кожного пікселя, яке відповідає перетворенню з кривої 701 у криву 703. Таким чином, пристрій 103 обробки зображення може продовжити використовувати посилання на цільовий дисплей, надане від пристрою 101 контент-провайдера, для застосування згаданого перетворення динамічного діапазону, яке перетворює вихідний сигнал, що формується, із прийнятного для LDR-дисплея у прийнятний для HDR-дисплея. Слід зазначити, що ті ж самі способи можуть застосовуватися при виконанні перетворення динамічного діапазону для зменшення динамічного діапазону. Наприклад, якщо прийнятий контент повинен відтворюватись на низькоякісному дисплеї з низькою яскравістю, такому як дисплей мобільного телефону, то переважна гамма для кривої відображення може бути такою, як крива 705 на Фіг. 1, тобто перевага може віддаватися гаммі менше одиниці. При відтворенні на нормальному LDR-дисплеї з максимальною яскравістю 500 ніт відповідне зображення здаватиметься занадто яскравим та матиме занадто малу контрастність, як показано на Фіг. 10, та ці недоліки будуть навіть ще гіршими для HDR-дисплея. Таким чином, якщо пристрій 103 обробки зображення формує зображення для такого дисплея з низькою яскравістю, то він може приступити до здійснення перетворення динамічного діапазону, яке зменшує динамічний діапазон шляхом регулювання значень яскравості для відмінностей у гаммі між кривими 701 та 705. Як інший приклад, якщо пристрій 101 контент-провайдера надає зображення, призначене для дисплея з низькою яскравістю та низьким динамічним діапазоном, тобто зображення, яке кодоване відповідно кривій 705, то пристрій 103 обробки зображення може використати інформацію про цю гамму, надану перетворенням динамічного діапазону, для перетворення прийнятих значень у прийнятні значення або для дисплея з максимальною яскравістю 500 ніт шляхом пристосування до різниці між кривими 705 та 701, або для дисплея з максимальною яскравістю 4000 ніт - шляхом пристосування до різниці між кривими 705 та 703. Таким чином, забезпечення перетворення динамічного діапазону, яке вказує максимальну яскравість/яскравість точки білого та значення гамми, передбачувані для цільового дисплея, дозволяє пристрою 103 обробки зображення перетворити прийняте зображення у значення гамми, прийнятне для конкретного значення яскравості дисплея, на якому має відтворюватись зображення. В деяких системах посилання на цільовий дисплей може включати в себе зазначення тонального відображення, яке характеризує тональне відображення, використане для формування першого кодованого відеопотоку для згаданого першого цільового дисплея. В деяких системах посилання на цільовий дисплей може безпосередньо надавати деяку інформацію про конкретне тональне відображення, яке було виконане на стороні контентпровайдера. Наприклад, посилання на цільовий дисплей може включати в себе інформацію, яка визначає яскравість точки білого та гамму, для яких було сформоване LDR (або HDR) зображення, тобто дисплей, для якого було виконане тональне відображення. Однак, крім того, посилання на цільовий дисплей може надавати певну конкретну інформацію, яка, наприклад, визначає частину інформації, втраченої при тональному відображенні, яке було виконане на стороні контент-провайдера. Наприклад, у прикладі, показаному на Фіг. 6, пристроєм 103 обробки зображення може бути прийняте тонально відображене LDR-зображення, яке відповідає обрізаному зображенню. Пристрій 103 обробки зображення може застосувати перетворення динамічного діапазону, яке відображає його у відповідний динамічний діапазон, та нелінійну залежність, виходячи з інформації про гамму та точку білого відповідного цільового дисплея. Однак для того, щоб забезпечити покращене пристосування, значне відсікання, використане для LDR-зображення, за варіантом, якому віддається перевага, має бути перетворене у менш значне відсікання (або у деяких випадках навіть у відсутність відсікання). Відповідно, пристрій 101 контент-провайдера може надавати додаткову інформацію, яка визначає конкретне відсікання, яке було виконане 16 UA 116082 C2 5 10 15 20 25 30 35 40 45 50 55 60 для LDR-зображення контент-провайдером, тим самим уможливлюючи часткове або повне компенсування відсікання. Наприклад, перетворення динамічного діапазону може визначити діапазон, який був відсічений, та пристрій 103 обробки зображення може відповідним чином розподілити відсічені значення по цьому діапазону за прийнятним алгоритмом (наприклад, шляхом визначення області відсічених значень (наприклад, вибуху) та створенням зростаючої яскравості в напрямку центра цієї області). Як альтернатива або на додаток до цього, перетворення динамічного діапазону може надати інформацію, яка визначає додаткове тональне відображення, яке було виконане на стороні контент-провайдера. Наприклад, для більшості зображень фільму або іншої відеопослідовності може виконуватись відносно стандартне тональне відображення. Пристрій 103 обробки зображення може, виходячи з гамми та яскравості точки білого, перетворити таке тонально відображене зображення в зображення з бажаним (більш високим або нижчим) динамічним діапазоном, використовуючи перетворення динамічного діапазону, яке передбачає стандартне тональне відображення на стороні контент-провайдера. Однак для деяких зображень контент-провайдер міг виконати спеціальне та суб'єктивне тональне відображення. Наприклад, коректор кольорів може виявити бажання забезпечити специфічний художній ефект або якість для деяких зображень, наприклад, тонку корекцію або балансування кольору для темних зображень напруженої ситуації (скажімо, у фільмі жахів), або специфічний ефект для фантастичних сцен. Це тональне відображення може бути описане даними у посиланні на цільовий дисплей, тим самим дозволяючи пристрою 103 обробки зображення пристосувати перетворення динамічного діапазону до конкретного тонального відображення, яке було застосоване. Таким чином, зокрема, в деяких випадках на стороні контент-провайдера виконується додаткове/модифіковане тональне відображення для створення специфічного вигляду, так що зображення стає зміненим відносно зображення, яке було б очікуваним для призначеного пристосування до простих електрооптичних характеристик цільового дисплея. Дані, надані пристроєм 101 контент-провайдера, можуть визначати бажаний вигляд у порівнянні з еталонним дисплеєм, та це може бути використане пристроєм 103 обробки зображення для фактичного створення бажаних оптичних характеристик з урахуванням всіх факторів (наприклад, у випадку, коли сліпе кодування у вхідному сигналі може випадково закінчуватися нижче рівня віддзеркаленого навколишнього світла, так що воно більше не може бути відповідно компенсоване діями з боку провайдера кодованого контенту). Як приклад, якщо відомо, що гамма цільового дисплея є низькою для темних значень, то для такого (еталонного) дисплея можна тонко відрегулювати вигляд, скажімо, сцен жахів. Наприклад, зображення може бути компенсоване додатковим підвищенням яскравості, так що зображення все ще виглядає темнуватим, але принаймні зі все ще видимою деякою структурою об'єкта. Як приклад, разом із гаммою та яскравістю точки білого відповідного цільового дисплея, коректор кольорів на стороні надання контенту може надати деяку (додаткову) інформацію про художнє враження від певних областей та/або зображень. Наприклад, для певної EOTF, контент-провайдер може вказати, що для певної області бажано збільшити яскравість для кращої видимості, або зменшити контрастність для забезпечення туманного вигляду тощо. Таким чином, разом з EOTF (наприклад, представленою гаммою та яскравістю точки білого), посилання на цільовий дисплей може вказувати межі локального/часткового діапазону яскравості дисплея та надавати дані перетворення динамічного діапазону, які забезпечують більш точну інформацію про переважний розподіл рівнів сірого для нього. В деяких варіантах здійснення процесор (203) динамічного діапазону може бути виконаний з можливістю вибору між формуванням вихідного зображення як прийнятого кодованого зображення та формуванням вихідного зображення як перетвореного зображення, одержаного з першого кодованого зображення, у відповідь на згадане посилання на цільовий дисплей. Зокрема, якщо яскравість точки білого, вказана посиланням на цільовий дисплей, є достатньо близькою до яскравості точки білого дисплея кінцевого споживача, то перетворення динамічного діапазону може полягати просто у невиконанні будь-якої обробки прийнятого кодованого зображення, тобто вхідне зображення може просто бути використане як вихідне зображення. Однак, якщо яскравість точки білого, вказана посиланням на цільовий дисплей, відрізняється від яскравості точки білого дисплея кінцевого споживача, то перетворення динамічного діапазону може змінити прийняте зображення у відповідності з прийнятним відображенням пікселів прийнятого зображення у пікселі вихідного зображення. У таких випадках відображення може регулюватися залежно від посилання на цільовий дисплей. В інших прикладах може(-уть) використовуватись одне або більше заздалегідь визначене(-их) 17 UA 116082 C2 5 10 15 20 25 30 35 40 45 50 55 60 відображення(-ень). Наприклад, пристрій 103 обробки зображення може включати в себе заздалегідь визначене перше відображення, яке було визначене для забезпечення прийнятного вихідного зображення для збільшеного вдвоє рівня яскравості точки білого, та заздалегідь визначене друге відображення, яке було визначене для забезпечення прийнятного вихідного зображення для зменшеного вдвоє рівня яскравості точки білого. У такому прикладі пристрій 103 обробки зображення може вибирати між першим відображенням, другим відображенням та одиничним відображенням (тобто незмінним вхідним зображенням) залежно від яскравості точки білого посилання на цільовий дисплей та яскравості точки білого дисплея кінцевого споживача. Пристрій 103 обробки зображення, зокрема, може вибирати відображення, яке найбільш точно відповідає співвідношенню між яскравістю точки білого посилання на цільовий дисплей та яскравістю точки білого дисплея кінцевого споживача. Наприклад, якщо вхідне зображення прийняте з посиланням на цільовий дисплей, яке вказує, що воно було оптимізоване для дисплея з максимальною яскравістю 500 ніт, а дисплей кінцевого споживача являє собою дисплей з максимальною яскравістю 1000 ніт, то пристрій 103 обробки зображення вибере перше відображення. Якщо замість цього посилання на цільовий дисплей вказує, що вхідне зображення було оптимізоване для дисплея з максимальною яскравістю 1000 ніт, то пристрій 103 обробки зображення вибере одиничне відображення (тобто безпосередньо використає вхідне зображення). Якщо посилання на цільовий дисплей вказує, що вхідне зображення було оптимізоване для дисплея з максимальною яскравістю 2000 ніт, то пристрій 103 обробки зображення вибере друге відображення. Якщо для яскравості точки білого відповідного цільового дисплея були прийняті проміжні значення, то пристрій 103 обробки зображення може вибрати відображення, найближче до співвідношення між значеннями яскравості точки білого, або, наприклад, може виконати інтерполяцію між відображеннями. В деяких варіантах здійснення перетворення динамічного діапазону може включати в себе перетворення палітри кольорів або полягати в ньому. Таким чином, в деяких варіантах здійснення процесор 203 динамічного діапазону може змінити колірність відтворюваного зображення залежно від посилання на цільовий дисплей. Наприклад, коли прийняте HDRзображення відтворюють на LDR-дисплеї, стискання може призвести до м'якшого зображення з меншою кількістю варіацій та відтінків в окремих об'єктах зображення. Перетворення динамічного діапазону може компенсувати такі зменшення за рахунок збільшення варіацій chroma. Наприклад, якщо зображення з яскраво освітленим яблуком оптимізоване для відтворення на HDR-дисплеї, то відтворення на LDR-дисплеї зі зменшеним динамічним діапазоном, як правило, зробить яблуко на вигляд менш виділеним, менш чітким та більш тьмяним. Це може бути компенсоване перетворенням динамічного діапазону за рахунок збільшення насиченості кольору яблука. Як інший приклад, внаслідок зменшених варіацій яскравості можуть стати менш значними для сприйняття варіації текстури, та це може бути компенсоване збільшенням варіацій chroma текстури. В деяких системах відеосигнал може включати в себе поле даних, яке включає в себе дані керування, що мають стосунок до перетворення динамічного діапазону, та процесор 203 динамічного діапазону може пристосовувати перетворення динамічного діапазону у відповідь на ці дані керування. Це може використовуватись власником контенту/контент-провайдером для збереження принаймні деякого внеску у відтворення наданого контенту або контролю на цим відтворенням. Дані керування, наприклад, можуть визначати операцію або параметр перетворення динамічного діапазону, яка(-ий) повинна(-ен) бути застосована(-ий), може бути застосована(ий), або яка(-ий) рекомендована(-ий) для застосування. Дані керування, крім того, можуть бути різними для різних дисплеїв кінцевого споживача. Наприклад, окремі дані керування можуть надаватися для множини можливих дисплеїв кінцевого споживача, наприклад, один набір даних для дисплея з максимальною яскравістю 500 ніт, інший набір даних для дисплея з максимальною яскравістю 1000 ніт, ще один набір даних для дисплея з максимальною яскравістю 2000 ніт, та ще один набір даних для дисплея з максимальною яскравістю 4000 ніт. Як приклад, створювач контенту може вказати, яке тональне відображення повинно виконуватись процесором 203 динамічного діапазону в залежності від характеристик дисплея кінцевого споживача, як показано на Фіг. 11. В цьому прикладі дані керування можуть вказувати відтворення для кожної з трьох областей, що відповідають заданим значенням максимальної яскравості дисплея (ось абсцис) та навколишнього світла, яке падає на дисплей (та, отже, віддзеркалень від дисплея - ось ординат). Таким чином, в цьому конкретному прикладі відображення 1 застосовують для дисплеїв з 18 UA 116082 C2 5 10 15 20 25 30 35 40 45 50 55 60 низькою яскравістю в умовах низької навколишньої освітленості. Відображення 1 може просто бути одиничним відображенням, тобто прийняте LDR-зображення може використовуватись безпосередньо. Відображення 2 може бути застосоване для дисплея з високою максимальною яскравістю (HDR-дисплея) у відносно темних навколишніх умовах (з незначними віддзеркаленнями від екрана). Відображення 2 може виконувати відображення, яке додатково збільшує великі значення яскравості LDR-зображення, водночас по суті зберігаючи інтенсивність для темніших сегментів. Відображення 3 може бути застосоване для дисплея з високою максимальною яскравістю (HDR-дисплея) у відносно світлих навколишніх умовах (із значними віддзеркаленнями від екрана). Відображення 3 може виконувати більш агресивне відображення, яке не тільки збільшує великі значення яскравості LDR-зображення, але також висвітлює та збільшує контрастність для темніших областей зображення. В деяких випадках дані керування можуть визначати межі між відображеннями для заздалегідь визначених відображень (наприклад, стандартизованих або відомих як на стороні контент-провайдера, так і на стороні пристрою відтворення). В деяких випадках дані керування також можуть визначати елементи різних відображень, або фактично можуть точно визначати відображення, наприклад, використовуючи значення гамми або вказуючи конкретну функцію перетворення. В деяких варіантах здійснення дані керування, що мають стосунок до перетворення динамічного діапазону, можуть безпосередньо та в явному вигляді визначати перетворення динамічного діапазону, яке повинно виконуватись для перетворення прийнятого зображення у зображення з іншим динамічним діапазоном. Наприклад, дані керування можуть визначати пряме відображення значень вхідного зображення у значення вихідного зображення для діапазону точок білого цільового вихідного дисплея. Відображення може надаватися як простий параметр, який дозволяє відповідному перетворенню бути реалізованим процесором 203 динамічного діапазону, або можуть надаватися більш докладні дані, такі як конкретна таблиця відповідності або математична функція. Як приклад низької складності, перетворення динамічного діапазону може просто застосувати кусково-лінійну функцію до вхідних значень LDR-зображення для створення вдосконалених значень HDR. Фактично, в багатьох випадках може використовуватись просте відображення, яке складається з двох лінійних співвідношень, як показано на Фіг. 12. Відображення показує пряме відображення між значеннями вхідних пікселів та значеннями вихідних пікселів (або в деяких випадках відображення може відображати (можливо безперервне) відображення між значеннями яскравості вхідних пікселів та значеннями яскравості вихідних пікселів). Слід зазначити, що те ж саме відображення може використовуватись для відображення вхідного HDR-зображення у вихідне LDR-зображення. Зокрема, для відображення з LDR в HDR цей спосіб забезпечує перетворення динамічного діапазону, яке зберігає темні області зображення темними, в той самий час уможливлюючи використання істотно збільшеного динамічного діапазону для забезпечення значно яскравішого відтворення яскравих областей, а також, фактично, покращеного та більш живого вигляду середнього діапазону. Для відображення з HDR в LDR цей спосіб забезпечує перетворення динамічного діапазону, яке зберігає темні області зображення, але стискає яскравіші області, щоб відобразити зменшений діапазон яскравості дисплея. Однак точне перетворення залежить від цільового дисплея, для якого було сформоване зображення, та від дисплея, на якому воно повинно відтворюватись. Наприклад, при відтворенні зображення для дисплея з максимальною яскравістю 500 ніт на дисплеї з максимальною яскравістю 1000 ніт необхідне відносно незначне перетворення, та розтягнення яскравих областей є відносно обмеженим. Однак, якщо те саме зображення повинно відтворюватись на дисплеї з максимальною яскравістю 5000 ніт, то необхідне набагато більш значне перетворення для того, щоб повністю використати доступну яскравість без надмірного висвітлювання темних областей. Подібним чином відображення може залежати від цільового дисплея, для якого було сформоване первісне зображення. Наприклад, якщо вхідне зображення, оптимізоване для дисплея з максимальною яскравістю 1000 ніт, повинно відтворюватись на дисплеї з максимальною яскравістю 2000 ніт, то необхідне відносно незначне перетворення, та розтягнення яскравих областей є відносно обмеженим. Однак, якщо зображення було оптимізоване для дисплея з максимальною яскравістю 500 ніт та повинно відтворюватись на дисплеї з максимальною яскравістю 2000 ніт, то необхідне набагато більш значне перетворення для того, щоб повністю використати доступну яскравість без надмірного висвітлювання темних областей. На Фіг. 13 проілюстровано, як два різні відображення можуть бути застосовані для вхідного зображення, оптимізованого для дисплея з максимальною яскравістю 1000 ніт (крива 19 UA 116082 C2 5 10 15 20 25 30 35 40 45 50 55 60 1301, максимальне значення 255 відповідає яскравості 1000 ніт), та для вхідного зображення, оптимізованого для дисплея з максимальною яскравістю 500 ніт (крива 1303, максимальне значення 255 відповідає яскравості 500 ніт), з метою відображення у вихідне HDR-зображення, оптимізоване для дисплея з максимальною яскравістю 2000 ніт (максимальне значення 255 відповідає яскравості 2000 ніт). Перевага такого простого співвідношення полягає в тому, що бажане тональне відображення може бути передане з дуже низькими непродуктивними витратами. Дійсно, дані керування можуть вказувати перегин кривої, тобто точку переходу між двома лінійними відрізками. Таким чином, просте двокомпонентне значення даних може вказати бажане тональне відображення, яке повинно виконуватись пристроєм 103 обробки зображення, для різних дисплеїв. Пристрій 103 обробки зображення також може визначити прийнятні значення для інших значень максимальної яскравості шляхом інтерполяції між наданими значеннями. В деяких варіантах здійснення може надаватися більше точок, наприклад, для визначення кривої, яка все ще є кусково-лінійною, але з більшою кількістю лінійних інтервалів. Це може дозволити більш точне визначення тонального відображення та покращити якість зображення, що приймається, при введенні лише відносно незначних непродуктивних витрат. В багатьох варіантах здійснення дані керування можуть не вказувати конкретне тональне відображення, яке повинно бути виконане, але радше надавати дані, які визначають граничні значення, всередині яких перетворення динамічного діапазону/тональне відображення може бути вільно пристосоване пристроєм 103 обробки зображення. Наприклад, замість визначення конкретної точки переходу для кривих, показаних на Фіг. 12 та Фіг. 13, дані керування можуть визначати межі для точки переходу (можливо, з різними межами, передбаченими для різних рівнів максимальної яскравості). Таким чином, пристрій 103 обробки зображення може індивідуально визначати бажані параметри для перетворення динамічного діапазону так, щоб воно могло бути відрегульованим для забезпечення переходу, якому віддається перевага, для конкретного дисплея з урахуванням, наприклад, уподобань конкретного споживача. Однак в той самий час контент-провайдер може забезпечити, що ця свобода обмежена прийнятним діапазоном, що дозволяє контент-провайдеру зберегти певний контроль над тим, як відтворюється контент. Таким чином, дані керування, що мають стосунок до перетворення динамічного діапазону, можуть включати в себе дані, які визначають параметри перетворення, які повинні застосовуватися перетворенням динамічного діапазону, виконуваним процесором 203 динамічного діапазону, та/або які визначають граничні значення параметрів перетворення. Дані керування можуть надавати таку інформацію для множини рівнів максимальної яскравості, тим самим уможливлюючи пристосування перетворення динамічного діапазону до різних дисплеїв кінцевого споживача. Крім того, для рівнів максимальної яскравості, не включених в явному вигляді в дані керування, відповідні значення даних можуть бути отримані з доступних значень даних, наприклад, шляхом інтерполяції. Наприклад, якщо точка перегину між двома лінійними відрізками вказується для дисплеїв кінцевого споживача з максимальною яскравістю 2000 ніт та 4000 ніт, то прийнятне значення для дисплея з максимальною яскравістю 3000 ніт може бути знайдене простою інтерполяцією (наприклад, простим усередненням в цьому конкретному прикладі). Слід зазначити, що в різних системах залежно від конкретних уподобань та вимог окремого застосування можуть використовуватись багато різних та змінюваних способів як для перетворення динамічного діапазону, так і для його обмеження, пристосування та керування ним з боку контент-провайдера за допомогою додаткових даних керування. Фактично, в даних керування можуть надаватися багато різних команд або значень параметрів для формування тональних відображень відповідно до вподобань контентпровайдера. Наприклад, в системах низької складності може бути застосоване просте перетворення динамічного діапазону, та пристрій 101 контент-провайдера може просто надавати рівень білого та рівень чорного для цільового дисплея, які потім використовуються процесором 203 динамічного діапазону для визначення застосовуваного тонального відображення. В деяких системах функція тонального відображення (гамма або інше) може надаватися як обов'язкова для відображення щонайменше одного діапазону вхідного зображення. Наприклад, дані керування можуть вказувати, що темніші та/або середні діапазони мають відтворюватися відповідно заданому відображенню, водночас дозволяючи вільне відображення яскравіших діапазонів пристроєм 103 обробки зображення. В деяких випадках дані керування можуть надавати лише пропозицію прийнятного відображення, яке може бути застосоване, наприклад, в області середнього діапазону. У такому 20 UA 116082 C2 5 10 15 20 25 30 35 40 45 50 55 60 випадку контент-провайдер може відповідним чином допомагати пристрою 103 обробки зображення через надання пропонованих параметрів перетворення динамічного діапазону, які були знайдені (наприклад, через ручну оптимізацію контент-провайдером) для забезпечення високої якості зображення при перегляді на певному HDR-дисплеї. За варіантом, якому віддається перевага, пристрій 103 обробки зображення може це використовувати, але має змогу змінювати відображення, наприклад, для пристосування до вподобань окремого споживача. В багатьох випадках відображення, яке принаймні частково виконують, виходячи з даних керування, буде являти собою функціональне співвідношення відносно низької складності, таке як гамма-відображення, S-крива, комбіноване відображення, визначене частковими специфікаціями для окремих діапазонів тощо. Однак в деяких випадках, звичайно, можуть використовуватися більш складні відображення. Також слід зазначити, що перетворення динамічного діапазону часто може включати в себе збільшення або зменшення кількості бітів, використовуваних для представлення значень. Наприклад, 8-бітне зображення може бути перетворене у 12-бітне або 14-бітне зображення. В таких випадках дані керування від пристрою 101 контент-провайдера можуть надаватись незалежно від зміненого квантування. Наприклад, пристроєм 101 контент-провайдера може визначатись спільно кодоване тональне відображення з 8-бітного зображення у 8-бітне зображення("форма" для під-розподілення сірого), та пристрій 103 обробки зображення може масштабувати це відображення до яскравості білого конкретного дисплея шляхом врахування перетворення у більшу кількість бітів. В інших варіантах здійснення або сценаріях застосування, перетворення динамічного діапазону може включати в себе зменшення кількості бітів, використовуваних для представлення значень. Наприклад, 12-бітне зображення може бути перетворене у 8-бітне зображення. Такі варіанти застосування часто можуть мати місце, коли перетворенням динамічного діапазону забезпечується зменшення динамічного діапазону, наприклад, при перетворенні 12-бітного HDR-зображення для відтворення на LDR-дисплеї з 8-бітними вхідними значеннями. Як вже згадувалось, дані керування можуть містити обов'язкові або необов'язкові дані керування. Фактично, отримані дані можуть включати в себе одне або більше поле(-ів), яке(-і) вказує(-ють), чи є надані параметри тонального відображення обов'язковими, допустимими, або пропонованими. Наприклад, пропонована функція тонального відображення може надаватися разом із зазначенням величини допустимого відхилення від неї. Потім пристрій 103 обробки зображення в стандартній конфігурації може автоматично застосувати пропоноване відображення. Однак перетворення може бути змінене, наприклад, щоб відобразити особисті вподобання користувача. Наприклад, інформація, яка вводиться споживачем, може змінити налаштування пристрою 103 обробки зображення, наприклад, таким чином, що темні області зображення відтворюються світлішими, ніж контент-провайдер вважає ідеальним. Наприклад, споживач може просто натиснути кнопку для збільшення яскравості, та тональне відображення може бути відповідним чином змінене (наприклад, нижній лінійний відрізок кривих, показаних на Фіг. 12 та Фіг. 13, переміщається вгору). Таким чином, споживач може привносити тонке регулювання в тональне відображення. Однак дані про те, до якої міри тонке регулювання є прийнятним для контент-провайдера, можуть включатися в дані керування, тим самим обмежуючи перетворення динамічного діапазону, для формування вихідних зображень, які все ще вважаються контентпровайдером такими, що зберігають цілісність надаваного зображення. Дані керування можуть, наприклад, також визначати вплив взаємодій споживача, наприклад, визначати або обмежувати зміну яскравості, яка відбувається при кожному натисканні кнопки споживачем. Відповідно, перетворення динамічного діапазону забезпечує перетворення динамічного діапазону, яке призначене для надання зображення, яке є відповідним для конкретного дисплея 107 кінцевого споживача, беручи при цьому до уваги характеристики відображення дисплея, для якого сформоване вхідне зображення. Таким чином, пристрій 103 обробки зображення формує вихідний сигнал, що відповідає певному значенню максимальної яскравості, тобто який призначений для відтворення на дисплеї з цим значенням точки білого/максимальної яскравості. В деяких системах яскравість точки білого може не бути точно відомою пристрою 103 обробки зображення, та, отже, вихідний сигнал може формуватися для передбачуваної яскравості точки білого (наприклад, введеної вручну споживачем). В інших варіантах застосування (як буде описано далі) дисплей може надавати інформацію про яскравість точки білого, та пристрій 103 обробки зображення може пристосовувати перетворення динамічного діапазону, виходячи з цієї інформації. 21 UA 116082 C2 5 10 15 20 25 30 35 40 45 50 55 60 Якщо яскравість точки білого, для якої формують вихідний сигнал, точно або з достатньою точністю відповідає яскравості точки білого одного з прийнятих зображень (за будь-яким прийнятним критерієм, таким як знаходження різниці значень яскравості білої точки нижче граничної величини), то пристрій 103 обробки зображення може використовувати це зображення безпосередньо у вихідному зображенні, тобто перетворення динамічного діапазону може просто являти собою одиничне відображення. Крім того, якщо вихідна яскравість точки білого не відповідає безпосередньо яскравості точки білого прийнятого зображення, але відповідає яскравості точки білого дисплея кінцевого споживача, для якої були надані явні дані керування, що мають стосунок до перетворення динамічного діапазону, то ці дані керування можуть використовуватися безпосередньо для пристосування перетворення динамічного діапазону. Якщо вихідна яскравість точки білого не відповідає безпосередньо яскравості точки білого прийнятого зображення або яскравості точки білого, для якої були надані дані керування, що мають стосунок до перетворення динамічного діапазону, то параметри тонального відображення, надані даними керування для різних значень яскравості точки білого, можуть використовуватися для пристосування перетворення динамічного діапазону в залежності від вихідної яскравості точки білого. Зокрема, процесор 203 динамічного діапазону може виконати інтерполяцію між параметрами тонального відображення для інших значень яскравості точки білого до конкретної вихідної яскравості точки білого. В багатьох варіантах здійснення буде достатньо простої лінійної інтерполяції, але слід зазначити, що можуть використовуватися багато інших способів. Фактично, дані керування можуть, наприклад, також надавати інформацію про те, як надані параметри тонального відображення для різних значень яскравості точки білого дисплея повинні оброблюватись для створення параметрів тонального відображення для конкретної вихідної яскравості точки білого. Наприклад, дані керування можуть вказувати нелінійну функцію інтерполяції, яка повинна використовуватись для приймання придатних параметрів тонального відображення. Також слід зазначити, що перетворення динамічного діапазону не обов'язково є постійним для різних зображень або навіть для одного й того ж зображення. Фактично, в багатьох системах дані керування, що мають стосунок до перетворення динамічного діапазону, можуть постійно оновлюватися, тим самим дозволяючи перетворенню динамічного діапазону, виконуваному процесором 203 динамічного діапазону, пристосовуватися до поточних характеристик. Це може дозволити використання для темних зображень/сцен інших тональних відображень, ніж для яскравих зображень/сцен. Це може забезпечити покращені експлуатаційні якості. Дійсно, змінюване у часі перетворення динамічного діапазону, кероване у відповідь на згадані динамічно обновлювані дані керування, що мають стосунок до перетворення динамічного діапазону, може використовуватися для надання контентпровайдеру додаткового керування. Наприклад, відтворення темної сцени на HDR-дисплеї може бути різним в залежності від того, чи ця сцена є напруженою сценою, призначеною забезпечити занепокоєння, або ця сцена є темною лише для того, щоб відповідати сценарію у нічний час (у першому випадку темна сцена може відтворюватися на HDR-дисплеї такою ж темною, як і на LDR-дисплеї, а у другому випадку темна сцена може відтворюватися дещо світлішою, тим самим використовуючи додатковий динамічний діапазон для уможливлення покращеного візуально сприйманого розрізнення в темних областях). Ті ж самі способи можуть бути застосовані всередині зображення. Наприклад, сцена може відповідати яскравому небу над темною затіненою землею (наприклад, яскраве небо у верхній частині зображення та ліс у нижній частині зображення). Ці дві області за варіантом, якому віддається перевага, можуть відображатися по-різному при відображенні з LDR у HDR, та дані керування, що мають стосунок до перетворення динамічного діапазону, можуть визначати відмінність у цих відображеннях. Таким чином, дані керування, що мають стосунок до перетворення динамічного діапазону, можуть включати в себе параметри тонального відображення, які змінюються для різних зображень та/або які залежать від положення в зображенні. Як конкретний приклад, принаймні деякі дані керування можуть бути пов'язані з певною областю зображення, діапазоном яскравості, та/або діапазоном зображення. Дані керування, що мають стосунок до перетворення динамічного діапазону, можуть надаватися пристрою 103 обробки зображення за будь-яким прийнятним способом або стандартом обміну даними. В конкретному прикладі обміну даними між пристроєм 101 контент-провайдера та пристроєм TM 103 обробки зображення використовується носій Blu-ray . Передавання команд керування для перетворення динамічного діапазону може здійснюватись шляхом впровадження значень цих 22 UA 116082 C2 5 параметрів в дані BDROM на диску. Для цього може бути використана структура даних розширення у файлі (xxxxx.mpls) списку відтворення. Ця структура даних розширення матиме TM унікальну та нову ідентифікацію. Застарілі програвачі BDROM будуть в невіданні про цю нову структуру даних та просто ігноруватимуть її. Це забезпечить зворотну сумісність. Нижче показаний можливий варіант реалізації синтаксису та семантики такого "опису LHDR" (LHDR_descriptor). Синтаксис LHDR_Descriptor () { Video_Process_descriptor DR_Process_descriptor Level_Process_descriptor Dynamic_range } 10 Кількість бітів Мнемоніка 8 8 8 uimsbf uimsbf uimsbf В цьому прикладі LHDR_descriptor містить 3 дескриптори обробки. Ці параметри визначають додаткову обробку відео у випадку, якщо категорія цільового дисплея відрізняється від категорії дисплея кінцевого споживача. Як приклад, ці параметри можуть мати наступні значення. Video_Process_descriptor: Обробка відео/графіки у випадку, якщо: Значення - Цільовий дисплей=LDRДисплей кінцевого споживача = HDR 0×00 Додаткова обробка відсутня Дозволити обмежену додаткову обробку в 0×01 залежності від DR_Process_descriptor та Level_Process_descriptor. Обробка відео/графіки у випадку, якщо: - Цільовий дисплей=HDRДисплей кінцевого споживача = LDR Додаткова обробка відсутня Дозволити обмежену додаткову обробку в залежності від DR_Process_descriptor та Level_Process_descriptor. Обмеження на додаткову обробку 0×02 Обмеження на додаткову обробку відсутні відсутні 0×03-0×FF зарезервовано зарезервовано 15 DR_Process_descriptor: Обробка відео/графіки у випадку, якщо: Значення - Цільовий дисплей = LDR - Дисплей кінцевого споживача = HDR Дозволити збільшення динамічного 0×00 діапазону до 125 % Дозволити збільшення динамічного 0×01 діапазону до 150 % Дозволити збільшення динамічного 0×02 діапазону до 200 % 0×03-0×FF зарезервовано Обробка відео/графіки у випадку, якщо: - Цільовий дисплей = HDR - Дисплей кінцевого споживача = LDR Дозволити зменшення динамічного діапазону до 80 % Дозволити зменшення динамічного діапазону до 70 % Дозволити зменшення динамічного діапазону до 50 % зарезервовано Level_Process_descriptor: Обробка відео/графіки у випадку, якщо: Значення - Цільовий дисплей = LDR - Дисплей кінцевого споживача = HDR Дозволити пристосування діапазону 0×00 рівнів до 80-125 % 0×01 0×02 0×03-0×FF Обробка відео/графіки у випадку, якщо: - Цільовий дисплей = HDR - Дисплей кінцевого споживача = LDR Дозволити пристосування діапазону рівнів до 80-125 % Дозволити збільшення діапазону рівнів Дозволити збільшення діапазону рівнів до до 70-150 % 70-150 % Дозволити збільшення діапазону рівнів Дозволити збільшення діапазону рівнів до до 50-200 % 50-200 % зарезервовано зарезервовано Попередні приклади зосереджувались на прикладах, які відрізняються тим, що сигнал, 23 UA 116082 C2 5 10 15 20 25 30 35 40 45 50 55 60 прийнятий від пристрою 101 контент-провайдера, включає в себе тільки одну версію зображення/відеопослідовності, та, зокрема, де сигнал включає в себе тільки LDRзображення/відеопослідовність. Однак в деяких системах та варіантах здійснення, пристрій 101 контент-провайдера може формувати сигнал зображення, який включає в себе більше однієї версії зображення(-ень). В таких випадках одне зображення може бути тонально відображене для одного цільового дисплея, та інше зображення може відповідати тому ж самому первісному зображенню, але тонально відображеному для іншого цільового дисплея. Зокрема, одне зображення може являти собою LDR-зображення, сформоване, наприклад, для дисплея з максимальною яскравістю 500 ніт, та інше зображення може являти собою HDR-зображення, сформоване, наприклад, для дисплея з максимальною яскравістю 2000 ніт. В такому прикладі сигнал зображення також може включати в себе посилання на другий цільовий дисплей, тобто посилання на цільовий дисплей може надаватися для кожного із зображень, тим самим вказуючи характеристики дисплея, для яких було оптимізоване тональне відображення на стороні кодувального пристрою, для окремих зображень. Зокрема, для кожного зображення/відеопослідовності може надаватися максимальна яскравість та параметр гамми. В таких системах пристрій 103 обробки зображення може бути виконаний з можливістю застосування згаданого перетворення динамічного діапазону у відповідь на згадане посилання на другий цільовий дисплей, та, зокрема, шляхом врахування посилань як на перший, так і на другий цільові дисплеї. Перетворення динамічного діапазону може не тільки пристосовувати конкретне відображення або операцію, яке(-а) виконується на зображенні, але також може, залежно від посилань на цільові дисплеї, вибирати, яке зображення використовувати як основу для такого перетворення. Як приклад низької складності, процесор 203 динамічного діапазону може вибирати між використанням першого та другого зображень залежно від того, наскільки точно посилання на відповідний цільовий дисплей відповідає яскравості точки білого, для якої формують вихідний сигнал. Зокрема, може бути вибране зображення, яке відповідає яскравості точки білого, яка є найближчою до бажаної вихідної яскравості точки білого. Таким чином, якщо формують вихідне LDR-зображення, то перетворення динамічного діапазону може виконуватися на кодованому LDR-зображенні. Однак, якщо формують HDR-зображення збільш високою максимальною яскравістю, ніж у кодованого HDR-зображення, то перетворення динамічного діапазону може виконуватися на кодованому HDR-зображенні. Якщо зображення повинно формуватися для максимальної яскравості, яка знаходиться між значеннями яскравості точки білого кодованих зображень (наприклад, для дисплея з максимальною яскравістю 1000 ніт), то перетворення динамічного діапазону може ґрунтуватись на обох зображеннях. Зокрема, може виконуватись інтерполяція між зображеннями. Така інтерполяція може бути лінійною або нелінійною, та може виконуватися безпосередньо на кодованих зображеннях перед перетворенням, або може застосуватися на зображеннях після застосування перетворення. Вагомість окремих зображень зазвичай може залежати від того, наскільки вони є близькими до бажаної вихідної максимальної яскравості. Наприклад, перше перетворене зображення може бути сформоване шляхом застосування перетворення динамічного діапазону до згаданого першого кодованого зображення (LDRзображення), і друге перетворене зображення може бути сформоване шляхом застосування перетворення динамічного діапазону до згаданого другого кодованого зображення. Після цього перше та друге перетворені зображення об'єднують (наприклад, шляхом сумування) для формування вихідного зображення. Вагомість відповідно першого та другого перетворених зображень визначається тим, наскільки точно посилання на цільовий дисплей відповідно першого та другого кодованих зображень відповідає бажаній вихідній максимальній яскравості. Наприклад, для дисплея з максимальною яскравістю 700 ніт вагомість першого перетвореного зображення може бути значно більшою, ніж вагомість другого перетвореного зображення, а для дисплея з максимальною яскравістю 3000 ніт вагомість другого перетвореного зображення може бути значно більшою, ніж вагомість першого перетвореного зображення. Для дисплея з максимальною яскравістю 2000 ніт вагомість двох перетворених зображень може бути однаковою, та вихідні значення можуть формуватися шляхом усереднення значень для кожного зображення. Як інший приклад, перетворення може бути виконане вибірково, виходячи з першого або другого зображень, для різних областей зображення, наприклад, залежно від характеристик зображення. Наприклад, для відносно темних областей перетворення динамічного діапазону може 24 UA 116082 C2 5 10 15 20 25 30 35 40 45 50 55 60 застосовуватися до LDR-зображення для формування значень пікселів, які прийнятні для дисплея з максимальною яскравістю 1000 ніт, при цьому використовуючи більш високу ступінь деталізації, яка може бути доступною для темних областей для LDR-зображення, що відповідає HDR-зображенню (наприклад, якщо для обох зображень використовують однакову кількість бітів). Однак для яскравіших областей значення пікселів можуть бути сформовані шляхом застосуванням згаданого перетворення динамічного діапазону до HDR-зображення, тим самим використовуючи той факт, що це зображення зазвичай матиме більше інформації у високих діапазонах яскравості (зокрема, втрата інформації внаслідок відсікання, як правило, є значно меншою для HDR-зображення у порівнянні з LDR-зображенням). Таким чином, якщо від пристрою 101 контент-провайдера приймають більше ніж одне зображення, то пристрій 103 обробки зображення може формувати вихідне зображення з одного із цих зображень або може поєднувати їх при формуванні вихідного зображення. Вибір та/або поєднання кодованих зображень ґрунтується на посиланні на цільовий дисплей, наданому для кожного зображення, а також на максимальній яскравості, для якої формують вихідний сигнал. Слід зазначити, що на додаток до поєднання та/або вибору окремих кодованих зображень, окремі перетворення динамічного діапазону також можуть бути відрегульовані та пристосовані у відповідь на згадане перетворення динамічного діапазону. Наприклад, раніше описані способи можуть бути застосовані окремо для кожного перетворення динамічного діапазону. Подібним чином, можуть бути прийняті дані керування, що мають стосунок до перетворення динамічного діапазону, які можуть використовуватися для пристосування та керування кожним перетворенням динамічного діапазону, як описано вище. Крім того, дані керування, що мають стосунок до перетворення динамічного діапазону, можуть містити інформацію, яка визначає обов'язкові, факультативні або переважні/пропоновані параметри для поєднання обробки першого та другого кодованих зображень. В деяких системах дані керування, що мають стосунокдо перетворення динамічного діапазону, містять різні дані керування, що мають стосунок до перетворення, для різних категорій зображень. Зокрема, різні види зображень/контенту можуть оброблятися по-різному при виконанні перетворення динамічного діапазону. Наприклад, різні тональні відображення можуть бути визначені або запропоновані для різних видів відеоконтенту. Наприклад, різне перетворення динамічного діапазону визначають для мультфільму, фільму жахів, футбольного матчу тощо. Відеосигнал, що приймається, у такому випадку може надавати метадані, які описують вид контенту (або аналіз контенту може застосовуватися локально в пристрої 103 обробки зображення), та для конкретного контенту застосовують відповідне перетворення динамічного діапазону. Як інший приклад, відтворюване зображення може бути сформоване із застосуванням поєднання зображень з різними перетвореннями, забезпечуваними для різних зображень, які TM перекривають одне одне. Наприклад, в Blu-ray визначають декілька рівнів подання (як показано на Фіг. 5), та для різних рівнів подання можуть бути застосовані різні перетворення динамічного діапазону. Характеристики кожного з цих рівнів подання є оптимізованими контент-провайдером для конкретного цільового дисплея. Враження від перегляду для кінцевого споживача можуть бути оптимізовані шляхом пристосування характеристик рівнів подання до дисплея кінцевого споживача. Як правило, оптимальне пристосування буде відрізнятися для різних рівнів подання. Щодо тонального відображення, ситуація в існуючій на теперішній час системі BDROM виглядає наступним чином: - Тональне відображення відео (загальне та/або локальне) виконують у студії із використанням студійного монітора. - Тональне відображення графіки (яке, як правило, відрізняється від тонального відображення відео) виконують у студії із використанням студійного монітора. - Тональне відображення OSD (on-screen display, тобто зображень, що накладаються поверх зображення відео) виконують у програвачі BDROM. - Загальне та/або локальне тональне відображення виконують у дисплеї на об'єднаному сигналі відео та графіки. Ця обробка не може керуватися кінцевим споживачем. - Загальне тональне відображення виконують у дисплеї на об'єднаному сигналі відео та графіки. Ця обробка залежить, крім іншого, від значень яскравості та контрастності, встановлених кінцевим споживачем. Покращена якість зображення досягається, коли: 1. Тональне відображення відео оптимізоване для дисплея кінцевого споживача. 2. Тональне відображення графіки оптимізоване для дисплея кінцевого споживача. 25 UA 116082 C2 5 10 15 20 25 3. Система дозволяє тональне відображення графіки, яке відрізняється від тонального відображення відео. 4. Система дозволяє різне тональне відображення графіки для різних компонентів графіки. 5. Система дозволяє тональне відображення відео та графіки, яке залежить від характеристик відео. Також слід зазначити, що у випадку, коли на диску присутні як LDR-версія, та і HDR-версія відео, додаткове тональне відображення залежатиме від двох наборів параметрів для цільових дисплеїв: одного для LDR-версії відео та одного для HDR-версії відео. В іншому вдосконаленому варіанті здійснення тональне відображення відео та/або графіки змінюється в часі та залежить, наприклад, від відеоконтенту в сцені. Контент-провайдер може передавати програвачу інструкції тонального відображення залежно від характеристик відео- та графічного контенту. В іншому варіанті здійснення програвач автономно виділяє характеристики відео з відеосигналу та пристосовує тональне відображення відео та графіки залежно від цих характеристик. Наприклад, субтитри можуть бути затемнені протягом певного проміжку часу, або може бути здійснена певна зміна гамми протягом періоду часу (та обидві ці дії можуть бути узгоджені). Далі описується приклад того, як забезпечити команди керування для тонального відображення графіки для BDROM. Потік графічних даних BDROM складається з сегментів, вкладених в PES-пакети, які вкладені в транспортний потік. На Фіг. 14 показана відповідна структура даних. Синхронізація з основним відео здійснюється на рівні елементарного потоку з використанням значень PTS у PES-пакетах. Сегмент графічних даних BDROM складається з дескриптора сегмента та даних сегмента. Дескриптор сегмента містить тип сегмента та його довжину. В наступній таблиці наведені деякі типи сегментів, визначених в стандарті Blu-ray Disc. Значення 0×00 - 0×13 0×14 0×15 0×16 0×17 0×18 0×19-0×7F 0×80 0×81 - 0×82 0×83 0×84-0×FF 30 Сегмент зарезервовано сегмент визначення палітри сегмент визначення об'єкта сегмент композиції подання сегмент визначення вікна сегмент інтерактивного компонування зарезервовано сегмент установки кінця відображення використовується потоками текстових субтитрів HDMV LHDR_Processing_Definition_Segment зарезервовано В існуючій специфікації значення від 0×83 до 0×FF зарезервовані. Внаслідок цього новий тип сегмента визначають із використанням, наприклад, значення 0×83, щоб вказати сегмент, який містить сегмент LHDR_Processing_definition. В цілому, сегмент LHDR_Processing_definition визначає спосіб обробки графіки декодером графіки у випадку, якщо цільовий дисплей відрізняється від дисплея кінцевого споживача. В наступній таблиці показаний приклад можливої структури сегмента LHDR_Processing_definition: 35 Синтаксис LHDR_Processing_definition segment () { segment_descriptor() Pop-up_process_descriptor Subtitle_process_descriptor Number_of_HDR_Palettes for (i=0; i< Number_of_HDR_Palettes; i++) { palette_id palette_version_number Number_of_entries for (i=0; i= 128 встановити T_value >= 192 встановити T_value >= 222 використати палітри LHDR обмеження відсутні зарезервовано Обробка графіки у випадку, якщо: - Цільовий дисплей = HDR - Дисплей кінцевого споживача = LDR додаткова обробка відсутня додаткова обробка відсутня додаткова обробка відсутня додаткова обробка відсутня використати палітри LHDR обмеження відсутні зарезервовано Обробка графіки у випадку, якщо: - Цільовий дисплей = LDR - Дисплей кінцевого споживача = HDR спеціальна обробка відсутня luma:= luma /5 luma:= luma /3 luma:= luma /2 використати палітри LHDR обмеження відсутні зарезервовано Обробка графіки у випадку, якщо: - Цільовий дисплей = HDR - Дисплей кінцевого споживача= LDR спеціальна обробка відсутня luma:= luma *5 luma:= luma *3 luma:= luma *2 використати палітри LHDR обмеження відсутні зарезервовано Конкретні приклади диференційованого тонального відображення, яке залежить від 27 UA 116082 C2 5 10 15 20 25 30 35 40 45 50 55 60 характеристик дисплея, показані на Фіг. 15 та Фіг. 16. В цих прикладах первісний контент включає в себе HDR-відеоконтент та субтитри. Тональне відображення для відео є таким самим, як у прикладі, показаному на Фіг. 6. Графіка включає в себе білі символи субтитрів з чорною каймою. Первісна гістограма має пік в діапазоні низьких значень luma та інший пік в діапазоні високих значень luma. Ця гістограма для контенту субтитрів добре підходить для LDR-дисплея, оскільки вона матиме результатом яскравий чіткий текст на дисплеї. Однак на HDR-дисплеї ці символи будуть занадто яскравими, викликаючи роздратування, ореол та відблиски. З цієї причини тональне відображення для графіки субтитрів буде пристосоване, як показано на Фіг. 16. В попередніх прикладах пристрій 103 обробки зображення формував вихідне зображення, яке відповідає бажаній максимальній яскравості, тобто призначене для відтворення на дисплеї з певним(-ою) динамічним діапазоном/яскравістю точки білого. Вихідний сигнал, зокрема, може формуватися як такий, що відповідає налаштуванням споживача, які характеризують бажану максимальну яскравість/яскравість точки білого, або може просто передбачати певний динамічний діапазон для дисплея 107. В деяких системах пристрій 103 обробки зображення може включати в себе процесор 203 динамічного діапазону, який виконаний з можливістю пристосування своєї обробки в залежності від даних, прийнятих від дисплея 107, які вказують характеристику яскравості дисплея 107. Приклад такого пристрою 103 обробки зображення показаний на Фіг. 17. Цей пристрій 103 обробки зображення відповідає пристрою 103 обробки зображення, показаному на Фіг. 1, але в цьому прикладі він додатково включає в себе приймач 1701 даних від дисплея, який приймає сигнал даних від дисплея 107. Сигнал даних включає в себе поле даних, яке містить певну характеристику динамічного діапазону дисплея для дисплея 107. Ця характеристика динамічного діапазону дисплея включає в себе щонайменше одну характеристику яскравості, яка вказує характеристику яскравості дисплея. Зокрема, характеристика яскравості може включати в себе визначення максимальної яскравості, тобто максимальної яскравості/яскравості точки білого для дисплея. Зокрема, характеристика динамічного діапазону дисплея може визначати, чи дисплей являє собою HDR-дисплей, чи LDR-дисплей, та, зокрема, може вказувати максимальний світловий вихід в нітах. Таким чином, характеристика динамічного діапазону дисплея може визначати, чи дисплей являє собою дисплей з максимальною яскравістю 500 ніт, 1000 ніт, 2000 ніт, 4000 ніт тощо. Приймач 1701 даних від дисплея пристрою 103 обробки зображення з'єднаний з процесором 203 динамічного діапазону, якому подається характеристика динамічного діапазону дисплея. Відповідно, процесор 203 динамічного діапазону може формувати вихідний сигнал, який безпосередньо відповідає конкретному дисплею, замість того, щоб формувати вихідний сигнал для передбачуваного або встановленого вручну значення яскравості точки білого. Процесор 203 динамічного діапазону може відповідним чином пристосувати перетворення динамічного діапазону у відповідь на прийняту характеристику динамічного діапазону дисплея. Наприклад, прийняте кодоване зображення може являти собою LDR-зображення, та можна припустити, що це зображення було оптимізоване для дисплея з максимальною яскравістю 500 ніт. Якщо характеристика динамічного діапазону дисплея вказує, що дисплей дійсно являє собою дисплей з максимальною яскравістю 500 ніт, то пристрій 103 обробки зображення може використати кодоване зображення безпосередньо. Однак, якщо характеристика динамічного діапазону дисплея вказує, що дисплей являє собою дисплей з максимальною яскравістю 1000 ніт, то може бути застосоване перше перетворення динамічного діапазону. Якщо характеристика динамічного діапазону дисплея вказує, що дисплей 107 являє собою дисплей з максимальною яскравістю 2000 ніт, то може бути застосоване інше перетворення тощо. Подібним чином, якщо прийняте зображення являє собою зображення, оптимізоване для дисплея з максимальною яскравістю 2000 ніт, то пристрій 103 обробки зображення може використати це зображення безпосередньо, якщо характеристика динамічного діапазону дисплея вказує, що дисплей являє собою дисплей з максимальною яскравістю 2000 ніт. Однак, якщо характеристика динамічного діапазону дисплея вказує, що дисплей являє собою дисплей з максимальною яскравістю 1000 ніт або 500 ніт, то пристрій 103 обробки зображення може виконати відповідне перетворення динамічного діапазону для зменшення динамічного діапазону. Наприклад, як показано на Фіг. 18, два різних перетворення можуть бути визначені для дисплея з максимальною яскравістю 1000 ніт та дисплея з максимальною яскравістю 4000 ніт, відповідно, та третє відображення із співвідношенням один до одного визначається для дисплея з максимальною яскравістю 500 ніт. На Фіг. 18 відображення для дисплея з максимальною яскравістю 500 ніт позначається кривою 1801, відображення для дисплея з 28