Спосіб навчання нейронної мережі

Реферат: UA 96456 U фрагменти по осях xj. В результаті чого у 2-му шарі нейронної мережі збільшують кількість активаційних нейронів XP[j,j] вздовж осей xj. Збільшують кількість інформаційних модулів m (збільшують число М) і у 3-му шарі відповідно збільшують кількість нейронів B к,[1, 2,…, n]. У m процесі навчання розділяють нові створені нейрони B к,[1, 2,…, n] на вказані три групи і m повторюють відповідні операції з групами нейронів B к,[1, 2,…, n] до зведення до нуля кількості інформаційних модулів третьої групи. UA 96456 U 5 10 15 20 25 30 35 40 45 50 55 Корисна модель належить до галузі нейрокібернетики, може бути застосованою для навчання чіткої та нечіткої нейронної мережі на основі єдиного алгоритму при розв'язанні задач обробки даних, створенні експертних систем прийняття рішень, в автоматичних системах управління та системах штучного інтелекту. Розглянемо навчання чітких нейронних мереж. Відомий аналог є спосіб навчання нейронів за дельта-правилом або правилом ВідроуХоффа (Widrow-Hoff), згідно з яким на початку навчання ваговим коефіцієнтам нейронів надаються малі випадкові значення, наприклад, із діапазону [-0,1;…;+0,1] із випадковим призначенням знаків «+» та «-», а розрахунки вагових коефіцієнтів виконуються за формулою: НОВЕ СТАРЕ НОВЕ wj =w j+η(у1Е-у1)·хj=w j+η·хj, СТАРЕ НОВЕ де =(у1Е-у1); wj , wj - старе та нове значення вагових коефіцієнтів; η=0…1 коефіцієнт навчання (звичайно приймається рівним 0,05….0,25); у1Е, у1 – еталонне та розраховане значення виходу. У процесі навчання на вхід нейрона подається одна навчальна еталонна пара (у вигляді входів та виходу) за іншою, у результаті чого вагові коефіцієнти нейронів коригуються доти, доки для всіх еталонів похибка в розпізнаванні об'єктів не стане меншою від деякого прийнятого значення [1; 2]. Недоліком аналога є ускладнення аналізу багатошарових мереж, для яких стає невідомим еталонний навчальний вихід для всіх шарів, крім останнього. Найбільш близьким аналогом до корисної моделі є спосіб зворотного розповсюдження похибки (back-propagation), призначений для навчання багатошарової нейронної мережі для розпізнавання образів ряду класів із порядковим номером к={1, 2,…, К}, з ознаками об'єктів у вигляді вектора числових вхідних змінних X={x1, x2,…, xj, …, xn }, де j=1, 2,…, n - порядковий номер числової змінної xj, із першим сенсорним шаром на вході для розмноження та нормалізації вхідних змінних, у якому кількість нейронів дорівнює n, та з реагуючим шаром на виході, у якому кількість нейронів дорівнює кількості класів К, за умови, що нейрони першого сенсорного шару у кількості n не мають активаційних функцій, і їх використовують для розмноження та нормалізації змінних xj навчальних векторів, наступні проміжні шари з проміжними вирішальними функціями та активаційними функціями нейронів зі значеннями (0…+1) на їх виходах використовують як асоціативні шари, в яких кількість нейронів та ваги їх входів визначають у процесі навчання, вихідний шар із проміжними вирішальними функціями та активаційними функціями нейронів зі значеннями (0…+1) на їх виходах використовують для розділу об'єктів на класи [3-5]. Найближчий аналог використовує два потоки розрахунків у багатошаровій нейронній мережі (пряме переміщення вхідного вектора змінних навчальної пари "вхід-вихід" від початкового вхідного шару до кінцевого вихідного шару; зворотне переміщення отриманої похибки розрахунків від кінця до початку нейронної мережі) при застосуванні в таких переміщеннях описаного вище дельта-правила. Недоліком найближчого аналога є складність навчання при коригуванні у нейронів вагових коефіцієнтів, можливість зависання програми навчання через попадання системи у точку локального оптимуму, невідомість оптимальної структури мережі, яка коригується в процесі навчання шляхом зміни кількості шарів та кількості нейронів в асоціативних шарах на основі компромісу за точністю роботи НМ та за часом її навчання. Причиною, що перешкоджає одержанню очікуваного технічного результату у найближчому аналогу (спрощення процедури навчання, відсутність процесу коригування у нейронів вагових коефіцієнтів, використання у процесі подальшого навчання лише частки ще не навчених нейронів) є відсутність зв'язку внутрішньої структури нейронної мережі з розв'язком поставленої задачі. Недоліками найближчого аналога є: - підвищена вартість нейронної мережі у зв'язку з неоптимальністю структури схеми, яка пояснюється відсутністю критеріїв визначення кількості асоціативних шарів та кількості нейронів у них; - складність процедури навчання; - необхідність коригування у процесі навчання усіх без винятку вагових коефіцієнтів нейронів. В основу корисної моделі поставлена задача зменшення вартості експлуатації нейронної мережі за рахунок: - спрощення процедури навчання; - вилучення процесу коригування у нейронів вагових коефіцієнтів; 1 UA 96456 U 5 10 15 20 25 30 35 40 45 50 55 - прозорості отриманого рішення внаслідок визначення логічного призначення і функції кожного нейрону в проміжних асоціативних шарах системи; - можливості самонавчання нейронної мережі за рахунок введення нових експериментальних об'єктів навчання. Загальні суттєві ознаки корисної моделі, які співпадають із суттєвими ознаками найближчого аналога, полягають у тому, що спосіб навчання використовує багатошарову нейронну мережу для розпізнавання образів ряду класів з порядковим номером к={1,2,…, Κ}, з ознаками об'єктів у вигляді вектора числових вхідних змінних X={x1, x2,…, xj, …, xn}, де j=1, 2,…, n - порядковий номер числової змінної xj, з 1-м сенсорним шаром на вході для розмноження та нормалізації сигналів, у якому кількість нейронів дорівнює п, та з реагуючим шаром на виході, у якому кількість нейронів дорівнює кількості класів К. Поставлена задача вирішується тим, що у 2-му шарі кожну j-ту вісь змінної xj, при j=1, 2,…, n, розділяють на фрагменти (відрізки) XP[j, j] із порядковими номерами j=1, 2,…, Aj, для чого на кожний фрагмент осі xj виділяють один активаційний нейрон XP[j, j] (з позначенням нейронів по їх вихідних сигналах) з одним входом, до якого вводять відповідну змінну xj, з активаційною функцією XP[j, j] у вигляді прямокутного сигналу зі значеннями "1" у межах фрагмента осі xj та значеннями "0" у іншому разі, та з одним виходом, з якого отримують числове значення m активаційної функції XP[j, j], 3-ій шар складають з нейронів B к, [1, 2,…, n], до кожного з n входів m нейронів B к, [1, 2,…, n] з ваговими коефіцієнтами "1" вмикають відповідні виходи нейронів 2-го m шару XP[j, j], фрагменти яких утворюють для одного нейрона B к, [1, 2,…, n] у сукупності один відповідний інформаційний модуль нейронної мережі, кожний з яких складається з гіпероб'єму, обмеженого по усіх осях xj відповідними значеннями фрагментів XP[j, j] з порядковими m номерами [1, 2,…, n], у нейронів B к, [1, 2,…, n] помічають верхній індекс m=1,2,…, Μ, який означає його порядковий номер у нейронній мережі, та нижній індекс "к", який означає порядковий номер класу об'єктів, які попали у відповідний інформаційний модуль у процесі навчання (у один інформаційний модуль можуть попасти об'єкти різних класів), визначають m вихід, який дорівнює добутку всіх відповідних входів нейрона B к, [1, 2,…, n] і на якому отримують m значення B к, [1, 2,…, n]=1, якщо на всі його входи подані величини XP[j, j]=1, та отримують m m значення B к, [1, 2,…, n]=0 у іншому разі, всі отримані інформаційні модулі з нейронами B к, [1, m 2,…, n] при навчанні розділяють на три групи, всі виходи нейронів B к, [1, 2,…, n] інформаційних модулів першої групи, усередину яких при навчанні попали навчальні об'єкти лише одного класу, вмикають до входів нейронів Fк відповідного класу у 4-му реагуючому шарі, де к=1, 2,…, К - порядковий номер нейрона відповідного класу, кожний з яких має для всіх входів вагові коефіцієнти "1" та активаційну функцію, яка видає на виході "1", якщо на входи поданий хоча б один сигнал "1", та "0" у іншому разі, причому нейрон Fк у 4-му реагуючому шарі передбачають лише при наявності у нього не менше двох входів із використанням у іншому разі замість нього m m виходу відповідного нейрона B к, [1, 2,…, n], всі нейрони B к, [1, 2,…, n] інформаційних модулів m другої групи, у які не попав жодний навчальний об'єкт, вилучають з мережі, у всіх нейронів B к, [1, 2,…, n] інформаційних модулів третьої групи, у які попали об'єкти різних класів, дроблять їх відповідні фрагменти по осях xj, у результаті чого у 2-му шарі нейронної мережі збільшують кількість активаційних нейронів XP[j, j] вздовж осей xj, збільшують кількість інформаційних m модулів (збільшують число М) і у 3-му шарі відповідно збільшують кількість нейронів B к, [1, 2,…, m n], знову у процесі навчання розділяють нові створені нейрони B к, [1, 2,…, n] на вказані три m групи і повторюють відповідні операції з групами нейронів B к, [1, 2,…, n] до зведення до нуля кількості інформаційних модулів третьої групи. Корисна модель пояснюється кресленнями, де: Фіг. 1 - Зв'язок основних сигналів нейронної мережі з двома вхідними координатами х 1 та х2; Фіг. 2 - Приклад застосування способу навчання нейронної мережі з двома вхідними координатами х1 та х2; Фіг. 3 - Розміщення на універсумі чисел, нечітких множин, термін лінгвістичної змінної, функцій належності згідно із [6; 7]. На Фіг. 1 використано позначення: - х1 та х2 - числові вхідні змінні об'єкта, для якого нейронна мережа формує у процесі навчання функціональну залежність виходу від входів х 1 та х2; - ΧΡ[1,1] та ХР[1,2] - сигнал зі значенням "1" вздовж осі х1 на ділянці власного фрагмента та значенням "0" при іншій величині змінної Х! (на Фіг. 2 цим двом сигналам відповідають два нейрони 2-го шару з аналогічним позначенням, які мають на вході значення Хі та сигнали ΧΡ[1,1], ХР[1,2] на виході); 2 UA 96456 U 5 10 15 20 25 30 35 40 45 50 55 - ΧΡ[2,1] та ХР[2,2] - сигнал зі значенням "1" вздовж осі х 2 на ділянці власного нечіткого фрагмента та значенням "0" при іншій величині змінної х2 (на Фіг. 2 цим двом сигналам відповідають два нейрони 2-го шару з аналогічним позначенням, які мають на вході значення х 2 та сигнали ΧΡ[2,1] та ХР[2,2] на виході); m 1 2 3 4 - B к[1, 2]=(В 1[1,1], В 0[2,1], В 2[1,2], В 2[2,2]) - сигнал нейрона m-го інформаційного модуля (для двомірної системи координат х1 та х2 інформаційний модуль - це площина, яка обмежена по осях координат відповідними фрагментами), який приймає значення "1" лише коли вхідні координати х1 та х2 входять у m-ий інформаційний модуль та дорівнює "0" у іншому разі. Верхній m індекс "m" нейрона B к[1, 2] вказує на його порядковий номер; нижній індекс "к" вказує на номер класу об'єктів, які при навчанні попали у інформаційний модуль (може вказуватись кілька номерів класів); нижній індекс "[1, 2,]" у квадратних дужках вказує на порядкові номери відповідних фрагментів осей, які створюють даний інформаційний модуль. У даному прикладі 1 ми розглядаємо лише два класи, і нейрон В 1[1,1] буде давати сигнал про появу об'єктів одного 1 класу к=1 (у результаті вихід нейрона В 1[1,1] може безпосередньо використовуватись для сигналізації появи класу к=1, тому на Фіг. 2 відповідний нейрон реагуючого шару F1 помічений 2 пунктирними лініями, вилучається з нейронної мережі), нейрон В 0[2,1] ніколи не буде давати сигнали і тому повинен вилучатись із нейронної мережі (на Фіг. 2 цей нейрон помічений 3 4 пунктирними лініями), два нейрони (В 2[1,2] та В 2[2,2]) будуть давати сигнал про появу класу к=2 (на Фіг. 2 виходи цих двох нейронів увімкнені до входів одного нейрона F2, який видає на виході m сигнал про клас к=2). Два нижні індекси [1, 2,] нейрона B к, [1, 2] вказують відповідні порядкові номери фрагментів осей, які створюють відповідний інформаційний модуль; - F1, F2 - сигнал нейрона Fк к-го класу у четвертому реагуючому шарі (на Фіг. 2 нейрон F1 помічений пунктирними лініями, бо він вилучається з нейронної мережі і замість його вихідного 1 сигналу використовується сигнал нейрона 3-го шару В 1[1,1])· Для спрощення схеми на Фіг. 2 всі нейрони помічені позначеннями їх сигналів виходів. На Фіг. 2 помічено: - цифрами "1" на входах нейронів - числове значення вагових коефіцієнтів для входів нейронів, які не змінюються у процесі навчання нейронної мережі; - х1 x2 - нейрони 1-го сенсорного шару нейронної мережі, призначеного для розмноження вхідних змінних та їх нормалізації; - ΧΡ[1,1] ХР[1,2], ΧΡ[2,1], ХР[2,2] - нейрони, які мають аналогічні позначення сигналів виходу, не навчаються та не мають вагових коефіцієнтів на входах, тому що складаються з активаційних функцій у вигляді прямокутних сигналів зі значенням "1" на відрізку відповідного фрагмента та значенням "0" у іншому разі; m 1 2 3 4 - B к[1,2]=(В 1[1,1], В 0[2,1], В 2[1,2], В 2[2,2]) - нейрони інформаційного модуля 3-го шару, призначення сигналів яких описано у поясненнях до Фіг. 1; - F1, F2 - нейрони Fк к-го класу у 4-му шарі, призначення сигналів яких описано у поясненнях до Фіг. 1. На Фіг. 3 помічено згідно із даними [6; 7]: - "UВАГА" - універсум числової осі "Вага" з числовими значеннями від "10" до "40" (тобто загальний діапазон зміни "Ваги"); - "Мала"=10, "Середня"=25, "Велика"=40 - визначені експертом і помічені на осі "Вага" чорними точками "терми-числа" на універсумі UВАГА=10…40, що також визначають на осі "Вага" нечіткі множини "Мала", "Середня", "Велика", які охоплюються відповідними функціями належності "термів-чисел" (функція належності змінюється від "1" у вибраного терму до "0" у сусідніх термів); - "Вага" - позначення осі числових значень універсуму "UВАГА=10…40", яке одночасно використовується як лінгвістична змінна, що може приймати лінгвістичні значення нечітких множин "Мала", "Середня", "Велика" з відповідними функціями належності [8]; - μВАГА - ось числових значень функцій належності, які лінійно змінюються у межах від "1" на заданому термі до "0" на сусідніх термах; M С B - μВАГА , μВАГА , μВАГА - логічні функції належності, що лінійно змінюються у межах 0…1 і належать до нечітких множин "Мала", "Середня", "Велика" (у розрахунках використовуються лише "нечіткі фрагменти" нечітких множин, які є лише частками нечітких множин і для яких відповідні частки функцій належності виділені жирними лініями і лише монотонно зростають при зростанні значень "Ваги"), Розглянемо алгоритм роботи пропонованого способу навчання спочатку на прикладі чіткої нейронної мережі з двома вхідними сигналами х 1 та х2 згідно з Фіг. 1. Дана нейронна мережа належить до нейронних мереж прямого розповсюдження вхідного сигналу. 3 UA 96456 U 5 10 15 20 25 30 35 40 45 50 55 Вздовж осей х1 та х2 Фіг. 1 сигнали ΧΡ[1,1], ХР[1,2], ΧΡ[2,1], ХР[2,2] набувають значення "1" на довжині фрагмента відповідних осей х1 та х2, коли вхідна координата об'єкта х1 або х2 попадає на відповідний фрагмент. Довжини фрагментів помічені на Фіг. 1 у вигляді відрізків ΧΡ[1,1], ХР[1,2], ΧΡ[2,1], ХР[2,2]. Разом із тим відрізки фрагментів розділяють площину вхідних змінних х1 та х2 на чотири інформаційних модулі (розділ площини х1 та х2 наведений пунктирними лініями). Середини інформаційних модулів помічені позначками сигналів m 1 2 3 4 B к[1,2]=(В 1[1,1], В 0[2,1], В 2[1,2], В 2[2,2]) та (F1, F2). m 4 С С Наприклад, сигнал B к[1,2]=(В 2[2,2]) дорівнює "1", якщо вхідна точка змінних С(х 1 , х2 ) 4 попала у простір відповідного інформаційного модуля (В 2[2,2]), та дорівнює "0" у іншому випадку. 4 На Фіг. 2 ця логічна функція виконується нейроном В 2[2,2] (з позначкою аналогічною сигналу), який передає свій вихідний сигнал у "1" або "0" на вхід нейрону 4-го реагуючого шару. Розглянемо Фіг. 2. Призначення нейронів та зв'язки між ними для 1-го, 2-го та 3-го шарів Фіг. 2 не відрізняються від описаних даних для Фіг. 1. Припустимо, що після навчання, отримані позначення нейронів m 1 2 3 4 B к, [1, 2,…, n] у вигляді (В 1[1,1], В 0[2,1], В 2[1,2], В 2[2,2]).·Ці нейрони ми повинні розділити на три m групи: у першу групу попадають нейрони B к, [1, 2,…, n], у інформаційний модуль яких при 1 3 4 навчанні попали об'єкти лише одного класу (це нейрони В 1[1,1], В 2[1,2], В 2[2,2]); до другої групи m відносять нейрони B к, [1, 2,…, n], у інформаційні модулі яких не попав жодний навчальний об'єкт 2 m (це нейрон В 0[2,1], його вилучають з нейронної мережі); до третьої групи відносять нейрони B к, [1, 2,…, n] у які попали об'єкти різних класів (таких нейронів у даному випадку немає). Але при наявності таких нейронів, дроблять їх відповідні фрагменти по осях xj, у результаті чого збільшують кількість активаційних нейронів XP[j, j] вздовж осей xj у 2-му шарі нейронної мережі, збільшують кількість інформаційних модулів (збільшують число М) і у 3-му шарі відповідно m збільшують кількість нейронів B к, [1, 2,…, n], знову у процесі навчання розділяють нові створені m нейрони B к, [1, 2,…, n], на вказані три групи і повторюють відповідні операції з групами нейронів m B к, [1, 2,…, n] до зведення до нуля кількості інформаційних модулів третьої групи. У даному випадку у кінцевому вигляді 4-ий шар складається лише з одного нейрона F2, який 3 4 об'єднує виходи нейронів 3-го шару (В 2[1, 2], В 2[2,2]) і сигналізує про наявність класу к=2. Сигнал 1 про наявність класу к = 1 отримується з виходу нейрона В 1[11] 3-го шару. С С Таким чином, якщо координати вхідного об'єкта відображуються точкою С(х1 , х2 ) згідно з Фіг. 1, то відповідні сигнали нечітких фрагментів ХР[1,2] та ХР[2,2] набувають значення "1", що 4 призводить до того, сигнал B 2[2,2]=1. У результаті вихідна функція нейронної мережі F2=1, що вказує на клас к=2 об'єкта. У процесі навчання на вхід нейронної мережі подають всі навчальні пари, визначають, у які інформаційні модулі вони потрапили, розділяють всі інформаційні модулі на три групи, m з'єднують виходи нейронів першої групи B к[1, 2] з відповідними входами нейронів 4-го шару, m вилучають з нейронної мережі нейрони B к[1, 2] другої групи, дроблять фрагменти нейронів m B к[1, 2] третьої групи і в результаті таких повторних операцій зводять до нуля кількість нейронів третьої групи. Мережа здатна до самонавчання при використанні даних її експлуатації. Фіг. 3 належить до випадку застосування даного способу навчання нейронної мережі при нечітких змінних входу xj та виходу. Для пояснення розглянемо основні положення нечіткого аналізу згідно із [6; 7]. Для невідомої функції F(X), Х={х1 × 2,…,,…, хn}, де j=1, 2,…, n - порядковий номер числової змінної xj, вважаються відомими універсуми - чіткі числові діапазони входів xj та виходу F(X). Універсуми входів та виходу (вони помічаються літерами Ux1, UX2,…, Uxn, UF) мають позитивний напрямок осей у бік зростання чисел. Якісний універсум переводять у числові значення: наприклад, "Акуратність" змінюють у межах від 0 до 100 %. "Терми-числа" на універсумі UВАГА=Вага=10…40 (Фіг. 3) мають лінгвістичні назви з мірою належності, яка дорівнює точно 100 % ("Мала", "Середня", "Велика"), та відповідні однозначні числові значення: "Мала"=10, "Середня"=25, "Велика"=40. Два терми ("Мала" = 10 та "Велика" = 40) завжди розміщені по краях універсуму, а кількість та розміщення інших "середніх" термів довільно визначає експерт. Нечітка множина належить кожному терму-числу і складається з числових значень вздовж універсуму до сусідніх термів. Нечіткі множини взаємно перекриваються. На універсумі UВАГА=10…40 ці нечіткі множини, які належать термам "Мала" = 10, "Середня" = 25, "Велика" = M С B 40, охоплені лініями функцій належності μВАГА , μВАГА , μВАГА , а самі числа-терми помічені M С B чорними точками на осі "Вага" та на прямих лініях функцій належності μ ВАГА , μВАГА , μВАГА . 4 UA 96456 U 5 10 15 20 25 30 35 40 Лінгвістична змінна ("Вага") може набувати значень одного з термів-чисел ("Мала" =10, "Середня" = 25, "Велика" = 40) з деякою мірою належності, яка визначається по лініях функцій M С B належності μВАГА , μВАГА , μВАГА . Щоб збутися дубльованої інформації ураховуються лише ті частки функцій належності, які зростають у напрямку зростання універсуму (показані жирними лініями на Фіг. 3). В результаті зміна числового значення змінної на будь-якому універсумі супроводжується однозначною зміною його логічно-лінгвістичного еквіваленту і навпаки: досягається повна тотожність (синонімальна однозначна взаємозалежність) між числовим та логічно-лінгвістичним значеннями змінних універсуму. При застосуванні розглянутого способу навчання до нейронечіткої мережі використовується "нечіткий фрагмент" відповідної осі xj, який визначається експертом і розглядається як частка нечіткої множини, на якій функція належності лише зростає при зростанні числового значення змінної. Цим досягається однозначна залежність між значенням лінгвістичної змінної з функцією належності та числом. Отриманий за розглянутим способом числовий вихід нейронечіткої мережі перетворюється експертом у однозначне значення лінгвістичної змінної з відповідною величиною функції належності. Використання корисної моделі дозволяє розв'язувати складні задачі управління, навчати та перенавчати систему у процесі її роботи при зміні функцій системи шляхом введення нових навчальних експериментальних даних. Він надає можливість зменшити витрати на обладнання, експлуатацію, налагодження системи за рахунок спрощення схеми нейронної мережі, використання нечітких систем та виділення складних ділянок досліджуваного процесу (на них приходиться найменші значення фрагментів осей). Джерело інформації: 1. Widrow В., Hoff Μ. Ε. Jr. Adaptive switching circuits //Western Conference Rec, IRE. - 1960. № 4. - P. 94-104. 2. Руденко О.Г. Штучні нейронні мережі /О.Г. Руденко, С.В. Бодянський. - Харків: ТОВ "Компанія СМІТ", 2006. - 404 с. 3. Галушкин А.И. Синтез многослойных систем распознавания образов /А.И. Галушкин. - М.: Энергия, 1974. 4. Werbos P.J. Beyond regression: New tools for prediction and analysis in behavioral sciences. Ph. D. thesis, Harvard University, Cambridge, MA, 1974. 5. Rumelhart D.E., Hinton G.E., Williams R.J. Learning Internal Representation by Error Propagation //Parallel Distributed Processing. - V.I. – PP. 318-362. - Cambridge, MA, MIT Press. 1986. 6. Турти Μ.В. Теорія однозначних нечітких систем та нейронні мережі. Монографія. Частина 1 /М.В. Турти. - Миколаїв: Вид-во Європейський університет, Миколаївська філія, 2007. - 140 с. 7. Турти М.В. Теорія однозначних нечітких систем та нейронні мережі. Монографія. Частина 2 /М.В. Турти. - Миколаїв: Вид-во Європейський університет, Миколаївська філія, 2007. - 114 с. 8. Заде Л. Понятие лингвистической переменной и его применение к понятию приближенных решений /Л. Заде. - М.: Мир, 1976. - 165 с. ФОРМУЛА КОРИСНОЇ МОДЕЛІ 45 50 55 60 Спосіб навчання нейронної мережі для розпізнавання образів ряду класів з порядковим номером к={1, 2,…, К}, з ознаками об'єктів у вигляді вектора числових вхідних змінних X={x1, x2, …, xj, …, xn}, де j=1, 2,…, n - порядковий номер числової змінної xj, з 1-м сенсорним шаром на вході для розмноження та нормалізації сигналів, у якому кількість нейронів дорівнює n, та з реагуючим шаром на виході, у якому кількість нейронів дорівнює кількості класів К, який відрізняється тим, що у 2-му шарі кожну j-ту вісь змінної xj, при j=1, 2,…, n, розділяють на фрагменти (відрізки) XP[j,j] з порядковими номерами j=1, 2,…, Aj, для чого на кожний фрагмент осі xj виділяють один активаційний нейрон XP[j,j] (з позначенням нейронів по їх вихідних сигналах) з одним входом, до якого вводять відповідну змінну xj, з активаційною функцією XP[j,j] у вигляді прямокутного сигналу зі значеннями "1" у межах фрагмента осі xj та значеннями "0" у іншому разі, та з одним виходом, з якого отримують числове значення активаційної функції m m XP[j,j], 3-й шар складають з нейронів B к,[1, 2,…, n], до кожного з n входів нєйронів B к,[1, 2,…, n] з ваговими коефіцієнтами "1" вмикають відповідні виходи нейронів 2-го шару XP[j,j], фрагменти m яких утворюють для одного нейрона B к,[1, 2,…, n] у сукупності один відповідний інформаційний модуль нейронної мережі, кожний з яких складається з гіпероб'єму, обмеженого по усіх осях xj відповідними значеннями фрагментів XP[j,j] з порядковими номерами [α1, α2,…, an], у нейронів m B к,[1, 2,…, n] помічають верхній індекс m=1, 2,…, Μ, який означає його порядковий номер у 5 UA 96456 U 5 10 15 20 нейронній мережі, та нижній індекс "к", який означає порядковий номер класу об'єктів, які попали у відповідний інформаційний модуль у процесі навчання (у один інформаційний модуль можуть попасти об'єкти різних класів), визначають вихід, який дорівнює добутку всіх відповідних входів m m нейрона B к,[1, 2,…, n] і на якому отримують значення B к,[1, 2,…, n]=1, якщо на всі його входи m подані величини XP[j,j]=1, та отримують значення B к,[1, 2,…, n]=0 у іншому разі, всі отримані m інформаційні модулі з нейронами B к,[1, 2,…, n] при навчанні розділяють на три групи, всі виходи m нейронів B к,[1, 2,…, n] інформаційних модулів першої групи, у середину яких при навчанні попали навчальні об'єкти лише одного класу, вмикають до входів нейронів Fк відповідного класу у 4-му реагуючому шарі, де к=1,2,…, К - порядковий номер нейрону відповідного класу, кожний з яких має для всіх входів вагові коефіцієнти "1" та активаційну функцію, яка видає на виході "1", якщо на входи поданий хоча б один сигнал "1", та "0" у іншому разі, причому нейрон Fк у 4-му реагуючому шарі передбачають лише при наявності у нього не менше двох входів з m використанням у іншому разі замість нього виходу відповідного нейрона B к,[1, 2,…, n], всі m нейрони B к,[1, 2,…, n] інформаційних модулів другої групи, у які не попав жодний навчальний m об'єкт, вилучають з мережі, у всіх нейронів B к,[1, 2,…, n] інформаційних модулів третьої групи, у які попали об'єкти різних класів, дроблять їх відповідні фрагменти по осях xj, в результаті чого у 2-му шарі нейронної мережі збільшують кількість активаційних нейронів XP[j,j] вздовж осей xj, збільшують кількість інформаційних модулів (збільшують число М) і у 3-му шарі відповідно m збільшують кількість нейронів B к,[1, 2,…, n], знову у процесі навчання розділяють нові створені m нейрони B к,[1, 2,…, n] на вказані три групи і повторюють відповідні операції з групами нейронів m B к,[1, 2,…, n] до зведення до нуля кількості інформаційних модулів третьої групи. 6 UA 96456 U Комп’ютерна верстка А. Крижанівський Державна служба інтелектуальної власності України, вул. Урицького, 45, м. Київ, МСП, 03680, Україна ДП “Український інститут промислової власності”, вул. Глазунова, 1, м. Київ – 42, 01601 7