Спосіб синтезу та навчання багатошарової нейронної мережі класифікації образів

Спосіб синтезу та навчання багатошарової нейронної мережі класифікації образів, який полягає у тому, що навчання нейромережі здійснюють Винахід відноситься до кібернетики й обчислювальної техніки і може бути використаний для навчання багатошарових нейронних мереж класифікації образів за ознаками Відомий спосіб навчання багатошарових нейронних мереж, який обрано за прототип, полягає у тому, що задають КІЛЬКІСТЬ шарів мережі, КІЛЬКІСТЬ нейронів у шарі, а також топологію зв'язків нейронів у мережі, після чого ваги нейронів мережі ІНІЦІалізують випадковими числами і далі в ітераційному режимі послідовно для кожного екземпляру навчальної вибірки корегують ваги з урахуванням градієнту помилки, яку вносять ваги у результат класифікації [1] Недоліком відомого способу є низька швидкість навчання класифікації образів, що обумовлюється ітераційністю процедури настроювання ваг і великим обсягом обчислень для розрахунку градієнтів цільової функції навчання, а також те, що у результаті використання такого способу отримують нейромережеву модель, яка має складну структуру та є незручною для аналізу людиною для видобування знань з даних у вигляді правил "Якщо — то" Окрім того, відомий спосіб сильно залежить від вибору користувачем значень параметрів і топології нейромережі, що знижує точність навчання нейромережі та робить и структуру неадекватною топології та структурі даних предметної області, що моделюється В основу винаходу поставлена задача прискорення побудови та підвищення швидкості навчання багатошарової нейромережі класифікації багатопараметричних образів за ознаками, а також на основі заданої навчальної вибірки даних, яку використовують для визначення ваг мережі, який відрізняється тим, що спочатку формують кластери у просторі ознак навчальної вибірки, при цьому визначають координати центрів кластерів, після чого структуру та топологію нейромережі задають у ВІДПОВІДНОСТІ ДО КІЛЬКОСТІ кластерів кож ного класу, ваги нейромережі настроюють автоматично у безітераційному режимі на основі значень координат центрів кластерів та заданих правил забезпечення адекватності топології і структури нейромережі, топології і структурі даних предметної області Поставлена задача вирішується тим, що в способі синтезу та навчання багатошарової нейронної мережі класифікації образів, який полягає в тому, що навчання нейромережі здійснюють на основі заданої навчальної вибірки даних, яку використовують для визначення ваг мережі, згідно з винаходом, спочатку формують кластери у просторі ознак навчальної вибірки, при цьому визначають координати центрів кластерів, після чого структуру та топологію нейромережі задають у ВІДПОВІДНОСТІ до КІЛЬКОСТІ кластерів кожного класу, ваги нейромережі настроюють автоматично у безітераційному режимі на основі значень координат центрів кластерів та заданих правил Такий спосіб дозволяє прискорити побудову та підвищити швидкість навчання нейромережі класифікації образів, забезпечити адекватність топологи й структури нейромережі топології й структурі даних предметної області, що моделюється, а також синтезувати логічно прозору нейромережу, яку легко аналізувати для видобування знань з даних у вигляді рішаючих правил "Якщо —то" Синтез та навчання нейромережі на основі запропонованого способу здійснюють наступним чином Спочатку виділяють кластери (компактні області групування екземплярів) у даних предметної області, що моделюється, виконуючи кроки 1-29 Крок 1 Задають навчальну вибірку екземпля (О (О 61619 s рів x = { x } , 1 = 1 , 2 , , N, а також співставленні ys - y s * екземплярам навчальної вибірки бінарні номери класів { y s } , s = 1, 2, , S, де x s — значення І-ОІ Ег = У ВІДПОВІДНО Установлюють р = 1, q = 1, де Р т а класів 0 та 1, ВІДПОВІДНО Крок 3 класів Ота 1 К° 9 — лічильники КІЛЬКОСТІ кластерів, що належать до ys = 1 п КІЛЬКІСТЬ екземплярів у навчальній вибірці, N — КІЛЬКІСТЬ ознак, що характеризують екземпляри Крок 2 Установлюють К° = 1, К 1 = 1, де К° та 1 К — КІЛЬКОСТІ кластерів у класах 0 та 1, ys - y s * s=1 S 1 ознаки s-ro екземпляра навчальної вибірки, S — , ys = о, Крок 10 Якщо Ег 0 > 0, тоді установлюють К° = + 1, р = р + 1додають новий кластер s s г^О(Р) _ -0 ys^ys* y 1 ft Е и Крок 11 Якщо Ег1 > Отоді установлюють К1 = K + 1,q = q + 1 , додають новий кластер 1 Установлюють нові кластери для 4 E r s=1 Крок 12 Переходять на крок 4 Крок 13 Знаходять відстані між центрами кластерів для класу 0 s=1 S x*,ys=1, і, р 2 = 1 , 2 , ^ s1 = Замінюють де c ° ' p ' та C 1 ' q ' — I-TI координати р-го та q-ro кластерів класів 0 та 1, ВІДПОВІДНО, S° та S 1 — КІЛЬ КІСТЬ екземплярів, що належать до класів 0 та 1, ВІДПОВІДНО Крок 4 Знаходять відстані від кожного s-ro екземпляру навчальної вибірки xs, s = 1, 2, , S до S 0(р) S 1(q) центрів кластерів R ( X , С )та R(X , C J P = 1, z, , w , q — і, z, , w Відстань між двома точками у N-вимірному просторі визначають за формулою N усі а та b ВІДПОВІДНО Крок 5 Знаходять мінімальні відстані серед відстаней від екземпляру до центрів кластерів MmR(x s , С 0 ( р ) ) т а MmR(x s , C 1 ( q ) ) класів 0 та 1 для всіх екземплярів навчальної вибірки, s = 1, 2, ,Sp=1,2, , К Ь , q = 1,2, , К1 Крок 6 Здійснюють класифікацію для всіх екземплярів навчальної вибірки за правилом якщо MmR(x s , С 0 ( р ) ) Р2 Крок 15 с о ( Р і ) т а со(р2) Mm R°(Pi,P2), Об'єднують с°'Р2' кластер т а к е , Щ° кластери установлюють -о ио К и = К•- 1 Крок 16 Знаходять відстані від кожного s-ro екземпляру навчальної вибірки xs, s = 1, 2, , S, до центрів R(XS,С 0 ( р ) ) т а R(XS, C1(q)) кластерів р = 1,2, , К ° , q = 1,2, , К 1 Крок 17 Знаходять мінімальні відстані серед відстаней від екземпляру до центрів кластерів MmR(x s , С 0 ( р ) ) т а MmR(x s , C 1 ( q ) ) класів 0 та 1 для всіх екземплярів навчальної вибірки, s = 1, 2, , S, р = 1 , 2 , , К°, q = 1,2, , К1 Крок 18 Здійснюють класифікацію для всіх екземплярів навчальної вибірки за правилом якщо , S р = 1, 2, MmR(x s , C 0 ( p ) ) Err тоді ВІДМІНЯЮТЬ об'єднання та видалення кластерів й відновлюють попередні значення центрів кластерів 61619 0 0 К = К + 1 й переc O( P l ) J a c 0(p 2 )^ установлюють ходять на крок 21, у протилежному випадку — переходять на крок 13 Крок 21 Знаходять відстані між центрами кластерів для класу 1 1 1 1 R ( q i ,q 2 ) = R ( c ^ ) c ^ ) ) , q i , q 2 = 1,2, ,К Замінюють 1 1 усі R (a,a) = 0 на 1 R (a,a) = RealMax, д е RealMax —максимальне додатне число, що може бути представлене розрядною сіткою ЕОМ 1 таке Крок 22 Знаходять Mm R (q-],q2), Крок 23 Об'єднують кластери C 1 ( q , ) = l ( C K q , ) + C 1 ( q 2 )) і 2 ' Видаляють > Щ° установлюють л -1 K'=K'-1 Крок 24 Знаходять відстані від кожного s-ro екземпляру навчальної вибірки xs, s = 1, 2, , S, S до центрів кластерів R ( X , С 0(р) S )та R ( X , C 1(q) І Р = 1,2, , К°, q = 1 , 2 , , К1 Крок 25 Знаходять мінімальні відстані серед відстаней від екземпляру до центрів кластерів MmR(xs, С 0 ( р ) ) т а MmR(xs, C 1 ( q ) ) класів 0 та 1 для всіх екземплярів навчальної вибірки, s = 1, 2, , S, р = 1 , 2 , , К°, q = 1,2, , К1 Крок 26 Здійснюють класифікацію для всіх екземплярів навчальної вибірки за правилом якщо MmR(xs, C 0 ( p ) ) 5 -у ! s1 = Дискримшантні функції нейронів р-го шару М = 3,6,9, 1 ,М, д е М=Мах(3(К°-1),3(К -1)) N cp(x,w) = n w , x , 11 = Дискримшантні функції усіх інших нейронів N (p(X,W) = ^WjX, + Wo 11 = Функції активації нейронів р-го шару Г0 а £ 0 = 2,3, 5, 6, 8,9, , Р ш(а)= якщо 1-1, YV щ ' 11, а>0, та | = кластер Ф(х, w) = x - w Крок 28 Якщо Er* > Err, тоді ВІДМІНЯЮТЬ об'єднання та видалення кластерів та відновлюють попередні значення центрів кластерів с 1 ^ та С^2\ установлюють К1 = К1 + 1 та переходять на крок 29, у протилежному випадку — переходять на крок 21 Крок 29 Зупинення Після формування кластерів синтезують нейромережу та встановлюють значення м ваг на основі заданих правил Якщо сформовано К° кластерів класу 0 та К1 кластерів класу 1, тоді функціонування синтезованої нейромережі описують наступними формулами Дискримінанти! функції нейронів першого шаРУ Ф(а)=а, м = 1, 4, 7,1, , М + 1, М+2 Ваговий коефіцієнт j-ro входу і-го нейрону р-го шару мережі визначають за формулою 0, V[j, j=0, Cj (l) , | = t 1 = 1,2, ,K°, j = 0, J C] (q) , м = 1, q = i-K°, i = K° + 1, ,K° + K1, j = 0, 1, [J = 2+M, | = 1 J = i i _ -1, | = 2 + M, 1 = 1, j = 1, J 1, p = 4,7,10, ,1 + M, VI, J>0, 1, M = 3,6,9, ,M, VI, J>0, 1, M = 2,5,8, ,M-1, Vi і mod2 = 0, j = 1, -1, M = 2,5,8, ,M-1, Vi і mod2 = 0, j = 2, 1, M = 2,5,8, ,M-1, Vi і mod2*0, j = 2, -1, M = 2,5,8, ,M-1, Vi Схема структури синтезованої багатошарової нейронної мережіпредставлена на Фіг 1 і Фіг 2 Після синтезу та навчання нейромережі запропонованим способом м можна використовувати для рішення задач розпізнавання і діагностики Для цього формують розпізнавальну вибірку екземплярів з тим же набором ознак, що використовувалися для характеристики екземплярів навчальної вибірки Вибірку вводять у пам'ять ЕОМ Ознаки для кожного розпізнаваного екземпляра з цієї вибірки подають на входи мережі, які з використанням значень ваг, знайдених за допомогою запропонованого способу, мережа перетворює у бінарний номер класу цього екземпляру Перевагою запропонованого способу у порівнянні з [1] є те, що такі параметри мережі, як КІЛЬКІСТЬ шарів нейронів у мережі, КІЛЬКІСТЬ нейронів у шарі, КІЛЬКІСТЬ та топологія зв'язків між нейронами у мережі формуються автоматично, що робить процес побудови нейромережевої моделі незалежним від користувача та свідчить про високий рівень універсальності запропонованого способу Нейромережі, що синтезують та навчають на основі розробленого способу, є логічно прозорими, легко перетворюються у дерево рішаючих правил "Якщо —то", що дозволяє використовувати їх для видобування знань з даних Точність класифікації та швидкість навчання нейромереж, сформованих у запропонований спосіб, є достатньо високими для більшості прикладних задач діагностики та 8 61619 розпізнавання образів Завдяки тому, що схема роботи мережі, яка синтезована та навчена на основі запропонованого способу, є дуже простою, нейрони всіх шарів мережі, крім першого, мають тільки два входи, один із операндів при множенні у більшості випадків дорівнює 1 або -1, а функції активації нейронів — ЛІНІЙНІ або порогові, нейромережа, може бути реалізована апаратно або використовуватися на ЕОМ з паралельною архітектурою Література 1 Neural Network Toolbox User Guide for use with MATLAB / Beale M , Demuth H — Natick Mathworks, 1997 — P 5 31-5 33 Фіг 1 Фіг. 2 Комп'ютерна верстка Н Кураєва Підписне Тираж39 прим Міністерство освіти і науки України Державний департамент інтелектуальної власності, Львівська площа, 8, м Київ, МСП, 04655, Україна ДП "Український інститут промислової власності", вул Сім'ї Хохлових, 15, м Київ, 04119