Автоматичне розпізнавання символів на структурованому фоні за допомогою комбінування моделей фону і символів

1. Спосіб автоматичного розпізнавання електронними засобами символів, віддрукованих на будь-якому матеріалі, навіть у випадку, коли фон має контрастні структури, при якому використовують оптоелектронний пристрій зчитування зображення і систему обробки зображення, що містить наступні етапи, при яких здійснюють налагодження, при якій формують модель фону, що отримується шляхом зчитування зображень одного або декількох зразків, на яких зображений тільки фон, формують модель символів (цифр і/або букв, а також інших символів), що отримуються шляхом зчитування зображень набору символів, віддрукованих на білому фоні, що містять щонайменше один примірник кожного символу, здійснюють розпізнавання, при якому зчитують зображення, яке підлягає розпізнаванню зразка, що містить невідомі символи, віддруковані на певному фоні, реєструють модель фону разом з фоном зчитаного зображення, виділяють із зареєстрованої моделі фону елементарне зображення фону, яке відповідає кожному невідомому символу, комбінують для кожного положення символу модель букв і/або цифр з відповідним елементарним зображенням фону (комбіновані моделі), зіставляють невідомі символи з всіма комбінованими моделями, які відповідають одному і тому ж положенню символу, розпізнають кожний невідомий символ. 2. Спосіб за п.1, в якому кожний невідомий символ розпізнають відповідно до технології "порівняння з шаблоном". 2 (19) 1 3 70933 4 12. Спосіб за будь-яким з пп. 1-11, який використокожного з положень символів і відповідної йому вують для перевірки якості друку шляхом порівкомбінованої моделі, вибраної на рівні розпізнаняння з пороговим значенням величини коефіцієнвання. та кореляції між елементарним зображенням Винахід, що пропонується стосується способу автоматичного розпізнавання символів, друкованих на будь-якому придатному для цього матеріалі, навіть в тому випадку, коли фон має вельми контрастні структури, внаслідок чого сильно інтерферуючими зі структурою друкованих символів. Переважна більшість відомих систем розпізнавання символів підходить до розв'язання цієї проблеми, намагаючись відокремити символи від фону за допомогою використання системи порогових значень, часто вельми хитромудрої і складної. На жаль, така технологія не призводить до успіху в ти х випадках, коли контраст структур фон у є вельми значним, особливо якщо положення символів є змінним по відношенню до згаданих структур. Як наслідок, зображення символів в ряді випадків містять частину знаків фону (ти х, які перевищують рівень відповідного порогового значення) або іноді ці зображення не є повними, оскільки частина структури символів не перевищує відповідного порогового значення. Це, зокрема, стосується випадку контролю банківських білетів, на яких др ук номерів серії здійснюється в процесі фази, окремої (звичайно подальшої) від фази друку іншого зображення, і звичайно з використанням іншого друкарського обладнання. Таким чином, реєстрація не може бути цілком довершеною і, отже, номери серії "ворушаться" по відношенню до фону. Це означає, що якщо ці номери друковані на структурованій зоні даного банківського білету, тобто на зоні, що містить який-небудь малюнок, то вони "ворушаться" або можуть бути зміщені довільним чином по відношенню до структури (до малюнка) фону. У доповнення до сказаного вище в згаданих випадках навіть пошук і сегментація символів можуть не призвести до успіху внаслідок наявності специфічних структур фону. Дійсно, навіть з урахуванням величезної кількості варіацій процес виділення і розпізнавання символів практично завжди проходить через наступні етапи, під час яких здійснюють - прочитання зображень документа і, особливо, об'єкта, що містить підлягаючі розпізнаванню символи. Прочитання цих зображень забезпечується за допомогою електронної камери, після чого ці зображення звичайно зазнають обробки з метою підвищення контрасту і зниження перешкод; - пошук на зображенні (тепер вже електронному) положення символів, що підлягають розпізнаванню. Цей пошук часто гр унтується на аналізі різких змін освітленості (типу переходу від білого до чорного) і, зокрема, просторового розподілу цих переходів; - сегментацію ідентифікованої зони на дільниці, кожна з яких містить тільки один символ. Ця сегментація здійснюється, наприклад, шляхом аналізу проекції щільності чорного на сегмент, паралельний основі лінії символів: мінімальні значення цієї щільності піддаються кореляції з білим простором між символами; - кожний ізольований такимчином символ зіставляють з прототипами (моделями) всіх букв і/або всіх цифр, або з точки зору міри їх збігу (технології, відомі під англійською назвою "template matching"), або з точки зору послідовності характерних структур, таких, наприклад, як вертикальні лінії, горизонтальні лінії, похилі лінії і т.п. (технології, відомі під назвою "features extraction" або структурний аналіз). У будь-якому випадку очевидно, що якщо частина зображення, що сегментована як символ, містить структури, сторонні по відношенню до форми самого цього символу (наприклад, лінії, що належать структурі фон у), небезпека неспроможності або невдачі порівняння із згаданими прототипами виявляється вельми високою. Ця небезпека також може бути зумовлена втратою відмітних частин структури даного символу з подальшим різким пороговим переходом в фазі відділення цього символу від фону. Саме тому попередні підходи до розв'язання проблеми автоматичного розпізнавання символів, друкованих на сильно структурованих фонах, що мають високу контрастність, не є цілком задовільними. Відповідно до винаходу, що пропонується об'єкти, на яких друкуються підлягаючі розпізнаванню символи, зазнають оптичного аналізу за допомогою добре відомих оптоелектроиних засобів, таких, наприклад, як камера типу CCD (лінійна або матрична, чорно-біла або кольорова) з бажаною роздільною здатністю, для формування електронних зображень символів, що підлягають розпізнаванню. У подальшому викладі буде використаний термін "зображення" в значенні електронного зображення, зокрема, дискретної системи величин світлової насиченості, звичайно організованої у вигляді прямокутної матриці. Кожний елемент цієї матриці, або так званий піксель, являє собою міру інтенсивності світла, відображеного відповідною частиною об'єкта. Для кольорових зображень їх загальний опис складається з трьох матриць, які відповідають складовим червоного, зеленого і синього кольорів для кожного елемента зображення або пікселя. Для спрощення викладу подальший опис стосується випадку чорно-білого зображення. При цьому розширення для кольорового зображення здійснюється шляхом повторення тих же самих операцій для трьох матриць. В основу винаходу, що пропонується встановлена задача реалізації автоматичного розпізна 5 70933 6 вання на електронних зображеннях символів, друсимволів); кованих на сильно структурованому фоні, контрас- виділення зареєстрованої моделі фону з тність якого навіть може бути порівнянна з контраелементарного зображення фону, яке відповідає стністю структур самих цих символів (як це кожному невідомому символу; показано на прикладі, проілюстрованому на - комбінування, для кожного з положень симфіг.І/4с). волів, моделей символів з відповідним елементаПерший крок способу відповідно до винаходу, рним зображенням моделі фону (див. фіг.ІІІ/4-3). що пропонується складається в формуванні модеОскільки модель фону була зареєстрована разом лі фону, яка може бути отримана шляхом прочиз фоном зображення, що містить підлягаючі розпітання зображень одного або декількох зразків, на знаванню символи, в елементарних зображеннях, яких представлений тільки малюнок фону без жощо поєднують модель фону з моделлю цифр і/або дних символів (як це показано на прикладі, пробукв, відносне положення символ-фон виявляєтьілюстрованому на фіг.І/4б). ся тим же самим, що і в невідомому зображенні. Як таку модель можна використати, зокрема, Таким чином, в синтезі для кожного положення середнє арифметичне зображення згаданих зразсимволу будуть створені нові прототипи (комбіноків. При цьому у разі чорно-білих зображень буде вані моделі) символів (букв і/або цифр) з тим же отримана одна єдина матриця цих усереднених самим фоном, що і в невідомому зображенні. Одзображень, тоді як у разі кольорових зображень на з розроблених те хнологій комбінування буде цих матриць усереднених зображень буде три, описана в розділі "Опис декількох переважних ванаприклад, матриці червоного, зеленого і синього ріантів". Однак, тут може бути використаний і кольорів. будь-який з методів, запропонованих іншими авПотім формують моделі підлягаючих розпізнаторами; ванню символів (наприклад, букв і/або цифр), або - зіставлення кожного з невідомих символів з шляхом прочитання зображень системи цих симусіма моделями, комбінованими на попередніх волів, друкованих на білому фоні, або шляхом етапах. Розпізнавання символу з фоном здійснюбезпосереднього використання електронних зоється, таким чином, шляхом зіставлення з модебражень з інформаційних комп'ютерних файлів, які лями символів з тим же самим фоном і в тому ж в цей час мають комерційне поширення для більсамому положенні. Тут можна використати будьшості шрифтів. У першому випадку можна сфорякі відомі технології розпізнавання, наприклад, мувати модель кожного підлягаючого розпізнаванметод "template matching" або "features extraction" і ню символу у вигляді усередненого зображення з т.д. деякого числа примірників одного і того ж символу, На фіг.І/4 представлений приклад послідовнодрукованого на білому фоні. сті символів, друкованих на сильно структуроваПісля того, як сформовані моделі всіх симвоному і такому, що має високу контрастність фоні, лів і модель фону, перша фаза даного способу, причому на вигляді а) показана послідовність симяку можна назвати "фазою відладки", завершуєтьволів, друкованих на білому фоні, на вигляді б) ся. показаний малюнок власного фону і на вигляді с) У процесі здійснення подальшої фази розпіпоказана послідовність символів а), друкована на знавання символів виконуються дії у відповідності фоні б). до наступних етапів: На фіг.ІІ/4 вигляд а) повністю відповідає ви- здійснюють прочитання зображення підлягагляду с), показаному на фіг.І/4, тоді як вигляд б) ючого розпізнаванню зразка, що містить невідомі демонструє результат віднімання моделі зареєстсимволи, друковані на певному фоні в положенрованого фону із зображення повністю друкованонях, які також є невідомими (приклад проілюстрого білета. ваний на фіг.ІІ/4-а); На фіг.ІІІ/4 вигляд а) демонструє дільницю бі- реєстрація моделі фону разом з прочитаним лета з прикладу, показаного на попередніх фігузображенням за допомогою будь-якої з відомих рах, що містить підлягаючі розпізнаванню симвотехнологій реєстрації зображень, наприклад, з ли, і вигляд б) демонструє елементарні використанням методу максимальної кореляції; зображення, відповідні кожній позиції символу, а - віднімання зареєстрованої моделі фону з якості результату сегментації. Вигляд с) показує, прочитаного зображення. Отримане таким чином для кожного положення символу, комбінацію, відрізницеве зображення, де фон буде практично повідну елементарним зображенням зареєстроваповністю усунений, дуже чітко виявляє положення ного фону з моделями всіх можливих символів, символів (приклад різницевого зображення, яке тобто комбіновані моделі, описані в тексті. Цей являє собою прочитане зображення мінус зареєсприклад наочно показує, що підлягаючі обробці трована модель фону, показаний на фіг.ІІ/4-б); символи (б) можуть бути більш ефективно розпі- пошук положення кожного з символів на різзнані, якщо порівнювати з комбінованими моделяницевому зображенні. Ця операція здійснюється ми (с), ніж з моделями символів, друкованих на за допомогою будь-якої з відомих технологій локабілому фоні (показані, наприклад, на фіг.ІІІ/4-d). лізації і сегментації символів, наприклад, шляхом На фіг.IV/4 показана типова схема побудови аналізу різких переходів насиченості типу перехосистеми розпізнавання, описаної в тексті. ду від чорного до білого. Таким чином, для кожноУ подальшому викладі буде описаний в якості го положення символу буде виділене елементарне такого, що не є обмежувальним, приклад реалізазображення, розміри якого співпадають з розмірації винаходу, що пропонується, один з переважних ми моделей символів (на фіг.ІІІ/4б показані приїї варіантів, що стосується автоматичного розпіклади елементарних зображень сегментованих знавання номерів серій, друкованих на банківських 7 70933 8 білетах. вставляється з дільницею S1 тих же розмірів, Дійсно, в більшості типів банківських білетів центр якого зміщується крок за кроком на кожну номер серії частково або повністю друкується позицію (піксель) зображення з набору НВФ для прямо на малюнку фону цього білета. Друк ування того, щоб знайти положення х1 , у1 , де коефіцієнт банківських білетів здійснюється, зокрема, з викокореляції має своє максимальне значення (це відристанням зміщення різних технологій, звичайно, повідає найбільш точному накладенню між двома щонайменше, офсету і дрібної насічки. Ця остання зображеннями). При цьому зміщення може бути технологія, зокрема, звичайно представляє зони з визначене наступним виразом: великою кількістю ліній дуже високого контрасту. Dх=х1-хо и D y=у1-уо. Коли друкують номер серії на одній з цих зон, доВідповідно до цього варіанту модель фону Mf сить важко за допомогою звичайних технологій формується у вигляді середнього арифметичного відокремити символи від фону, а значить і розпізображення НВФ, зареєстрованих разом з еталонзнати ці символи. ним зображенням. Крім того, номер серії звичайно друкується на У процесі здійснення фази відладки моделей заключній фазі виробництва, після офсетного друсимволів підсистема обробки зображень 6: ку і дрібної насічки, і на іншій друкарській машині. - забезпечує збір зображень сукупності банківНавіть якщо використовуються вельми складні і ських білетів, де на білому фоні друковані всі цисучасні системи розмітки, відносна реєстрація між фри і/або букви, що використовуються в номерах номерами серії і малюнком фону в результаті висерії, кожні поодинці, і у відомих положеннях (наявляється швидше змінною, і може звичайно "вобір для відладки символів НВС (ЕАС); руши тися" або зміщатися в межах декількох мі- потім сегментує зображення з набору ЕАС в ліметрів. елементарні зображення, кожне з яких містить На фіг.IV/4 показана побудова системи розпіодин єдиний символ. Відповідно до цього варіанту знавання номерів серії на банківських білетах. Тут сегментація забезпечується з використанням сталінійна камера CCD 1 із своїми лінзами 2 і своєю ндартної технології аналізу переходу від чорного системою освітлення 3 використовується для продо білого, вельми ефективної в тих випадках, коли читання зображень банківських білетів 4, на яких символи друковані на білому фоні; необхідно прочитати номери серій, поки вони - формує модель Ms для кожного символу (бутранспортуються за допомогою всмоктуючої стрічкви або цифри) як середнє арифметичне з набору ки 5. НВС елементарних зображень кожного положенЛінії сканування камери послідовно запам'ятоня, зареєстрованого, наприклад, разом з симвовуються в першому контурі буферного запам'ятолом першого білета з набору НВС, взятого як етавуючого пристрою підсистеми обробки зображень лонне. Реєстрація і усереднення здійснюються так 6 для формування електронного зображення кожсамо, як і у разі моделі фону, але основи розмітки ного банківського білета. співпадають з цілим елементарним зображенням Підсистема обробки зображень 6, яка може символу. бути заснована як на спеціалізованій обчислюваЗвичайно в складі номера серії банківського льній апаратурі, так і на комп'ютерах, що програбілета використовуються літерні і цифрові симвомуються типу DSP (Digital Signal Processor), швидли одного і того ж шрифту. Таким чином, звичайно кодіючих персональних комп'ютерах PC і т.д., буде досить одного положення на білетах з набору здійснюють різні операції як в фазі відладки (форНВС на символ (один символ А, один символ В і мування моделі фону і моделей символів), так і в т.д.). У іншому випадку буде необхідно передбачифазі розпізнавання. ти стільки положень на символ, скільки використоУ процесі здійснення фази відладки моделі вується різних шри фтів (наприклад, А шрифту New фону підсистема обробки зображень: York, А шри фту Courrier, А шри фту Geneve і т.д.). - забезпечує збір не пронумерованих зобраУ процесі здійснення фази розпізнавання віджень банківських білетів, вибраних як "Набір для повідно до варіанту реалізації винаходу, що провідладки фону" (НВФ) (EAF) і запам'ятовує цей понується, який описується тут, підсистема обробнабір у відповідному запам'ятовуючому пристрої; ки зображень 6 після прочитання зображення: - виділяє з набору НВФ одне "еталонне" зо- передусім, реєструє зображення фону кожнображення для реєстрації і робить це або автомаго підлягаючого прочитанню банківського білета тично (наприклад, виділяє перше зображення з разом з моделлю фону за допомогою тієї ж основи набору НВФ), або за допомогою оператора систерозмітки, яка була використана для відладки моми, який використовує для цього пульт управління делі, і з застосуванням тієї ж технології кореляції; 7; - формує різницеве зображення, яке являє со- реєструє всі зображення з набору НВФ, вибою зареєстроване зображення повного білета значаючи, передусім, горизонтальне зміщення Dх і мінус модель фону, після чого здійснює пошук положень символів. Технологія, що використовувертикальне зміщення Dy кожного зображення по ється при цьому заснована на вже згаданому вивідношенню до еталонного зображення, і наклаще аналізі переходів. Звичайно пошук може бути даючи потім відповідне зміщення -Dх і -Dy. В цьому виконаний на обмеженій зоні білета, оскільки друк варіанті вимірювання зміщення здійснюється з номера серії може бути зміщений по відношенню використанням методу максимальної кореляції. до малюнка фону не більш, ніж на декілька мілімеНевелика прямокутна дільниця So (основа розміттрів; ки) еталонного зображення з центром, що має - виділяє для кожного положення символу, координати Хо, Yо, вибрані, наприклад, оператовідміченого на різницевому зображенні, відповідне ром (поза зоною наддруковування символів), спі 9 70933 10 елементарне зображення моделі фону. Будучи близьке до 1, тоді як погана якість буде відповідазареєстрованим, згадане елементарне зображенти значенню коефіцієнта, більш близькому до нуня буде точно являти собою дільницю фону, на ля. якій був др укований невідомий символ; Інші переважні варіанти реалізації винаходу, - комбінує для кожного положення символу що пропонується будуть включати: відповідне зареєстроване елементарне зображенa) його застосування для розпізнавання симня фону Mf з кожною з моделей символів Ms. волів на документах, відмінних від банківських Також для кожного положення символу будуть білетів, тобто таких, наприклад, як листи, поштові отримані нові моделі, символи плюс фон, з тим же картки, етикетки, банківські або поштові чеки і т.д.; відносним положенням, що і на підлягаючому проb) заміну системи транспортування на стрічці читанню білету. У цьому варіанті реалізації винана систему транспортування, придатну для листів ходу, що пропонується, згадана комбінація Мс; великих розмірів, наприклад, на циліндр за типом формується, піксель за пікселем, з використанням що використовуються в др укарських машинах в наступних рівнянь: друкарнях або на систему відповідно до патенту США №5598006 від 28.01.1998; [1] Мс = К оМf Ms + К1 1- Ms c) заміну в системі розпізнавання лінійної каякщо спочатку друкують фон, а потім друкують мери на матричну камеру; символи. В іншому випадку: d) використання усередненого зображення набору зображень НВФ в якості еталонного зобра[2] Мс = К оМf Ms + К1 1- Mf ження для реєстрації фону; У всіх випадках коефіцієнти Ко і К1 являють сое) автоматичне виділення основи розмітки для бою константи, що характеризують друкарські фареєстрації фону, наприклад, відповідно до технорби, які використовуються і папір. У рівняннях [1] і логії, запропонованої в Патенті князівства Монако [2] перший член (а саме, добуток КОMf Ms) враховує №2411992479; передавальну здатність друкарських фарб, що f) побудова моделі фону з використанням сповикористовуються і відображаючу здатність папесобу, відмінного від усереднення, наприклад, з ру, тоді як другий член в цих рівняннях пов'язаний використанням технології, вказаної в Патенті США з відображаючою здатністю поверхні друкарської №5778088 від 7.07.1998. фарби, яка була нанесена останньою; Список використаної літератури - для кожного положення символу розраховує (1) L. Stringa - "Inspection Automatique de la qualite коефіцієнт кореляції між відповідним елементарdimpression par un modele elastique" - Патент на ним зображенням білета і всіма новими моделями винахід №2411.99.2479, виданий Державним міні(символи плюс фон). При цьому, підлягаючий обстерством Князівства Монако (27.04.99). робці символ розпізнається як символ комбінова(2) L. Stringa - "Procedure for Producing A Reference ної моделі, яка відповідає максимальному значенModel etc." - Патент США №5.778.088 -7 липня ню згаданого коефіцієнта кореляції; 1998p. - відповідно до цього варіанту реалізації вина(3) L. Stringa - "Procede de controle automatique de ходу, що пропонується додатково проводять спіla qualite dimpession dune image multichrome" - Завставлення згаданого максимального значення явка на Європейський патент №97810160.8-2304. коефіцієнта кореляції з певним пороговим значен(4) L. Stringa "Installation for Quality Control of ням для того, щоб перевірити якість друку символу Printed Sheets, Especially Security Paper " - Патент і фону елементарних зображень, які відповідають США №5.598.006 - 28 січня 1998p. кожному положенню символу. Якщо якість виявля(5) Rice-Nagy-Nartkr "Optical Character ється задовільною (підлягаюче обробці елементаRecognition" Klumer Academic Publishers - 1999. рне зображення і комбінована модель є практично ідентичними), коефіцієнт має значення, вельми ( ) ( ) 11 Комп’ютерна в ерстка О. Гапоненко 70933 Підписне 12 Тираж 37 прим. Міністерство осв іт и і науки України Держав ний департамент інтелектуальної в ласності, вул. Урицького, 45, м. Київ , МСП, 03680, Україна ДП “Український інститут промислов ої в ласності”, вул. Глазунова, 1, м. Київ – 42, 01601