Спосіб прискореного навчання багатошарових нейронних мереж

Спосіб прискореного навчання багатошарових нейронних мереж, який полягає в тому, що навчання нейронної мережі здійснюють шляхом іте Винахід відноситься до обчислювальної техніки та кібернетики і може бути використаний для навчання багатошарових нейронних мереж розпізнаванню образів (класифікації), чисельній апроксимації залежностей та неруйнівній діагностиці виробів за ознаками Відомий спосіб навчання багатошарових нейронних мереж полягає в тому, що ваги нейронної мережі налагоджують в ітеративному режимі на основі інформації про ознаки екземплярів навчальної вибірки При цьому навчання нейромережі представляє собою процес мінімізації цільової функції - середньоквадратичної помилки мережі, який здійснюють корегуванням ваг нейромережі шляхом зміни значень ваг на величину порівняну з внеском нейрона у загальну помилку мережі, для чого визначають градієнти функції помилки [1] Недоліком відомого способу є повільна швидкість навчання нейронної мережі при рішенні більшості задач розпізнавання багатопараметричних образів зі складними границями поділу образів, що пояснюється тим, що мережа потрапила до локального мінімума, а КІЛЬКІСТЬ обчислень на основі відомого способу для виводу мережі з локального мінімума є достатньо великою В основу винаходу поставлена задача підвищення швидкості навчання нейронних мереж розпізнаванню образів і апроксимації залежностей Поставлена задача вирішується тим, що в способі прискореного навчання багатошарових нейронних мереж, який полягає в тому, що навчання нейронної мережі здійснюють шляхом іте раційної корекції вагових коефіцієнтів мережі, який відрізняється тим, що ведуть автоматичне спостереження за процесом навчання нейронної мережі і, якщо за задану КІЛЬКІСТЬ ЦИКЛІВ навчання цільова функція навчання мережі не зменшиться більше, ніж на задану величину, вагові коефіцієнти мережі змінюють для виводу мережі з локального мінімуму, причому такі зміни вносять лише тоді, коли значення цільової функції навчання мережі зменшиться раційної корекції вагових коефіцієнтів мережі, ведуть автоматичне спостереження за процесом навчання нейронної мережі і, якщо за задану КІЛЬКІСТЬ ЦИКЛІВ навчання цільова функція навчання мережі не зменшиться більше, ніж на задану величину, вагові коефіцієнти мережі змінюють для виводу мережі з локального мінімума, причому такі зміни вносять лише тоді, коли значення цільової функції навчання мережі зменшиться Такий спосіб навчання багатошарової нейронної мережі дозволяє істотно прискорити процес навчання у порівнянні з використанням відомого способу Навчання мережі запропонованим способом здійснюють послідовно виконуючи кроки 1-11 Крок 1 Ініціалізують параметри навчання нейронної мережі та параметри для спостереження за процесом навчання і виведення мережі з локального мінімуму крок а, розмір вікна спостереження At (у циклах), критерій ДОЦІЛЬНОСТІ застосування процедури спостереження на даному етапі'%і покажчик ячійки вікна спостереження pt pt = 1 Резервують пам'ять для вікна спостереження Err(At), тут Err(At) - масив At елементів Крок 2 Встановлюють лічильник циклів навчання epoch = 0 Крок 3 Якщо epoch > Epochs, де Epochs - задана максимальна припустима КІЛЬКІСТЬ ЦИКЛІВ навчання нейронної мережі, тоді переходять на крок 11, в іншому випадку - переходять на крок 4 Крок 4 Обчислюють значення pert цільової (О со о Ю 50361 функції навчання нейронної мережі В якості ціпроцедури, тоді встановлюють w = w льової функції навчання, як правило, задають міКрок 10 Встановлюють epoch = epoch + 1 німум середньоквадратичної помилки навчання Переходять на крок З Крок 5 Якщо номер ячійки пам'яті Pt < At, тоді Крок 11 Зупинення виконання кроків 1-11 приймають Err(pt) - pert, pt = pt + 1, у противному В якості правила R(w) використовують одну з випадку, приймають pt= 1, Err(pt) = pert наступних формул Крок 6 Перевіряють, чи досягнуто мінімум ціR(w) = aw, льової функції навчання'? Якщо мінімум досягнуто, R(w) = w + aw, тоді переходять на крок 11, в іншому випадку R(w) = w + arand, де rand - випадкове число в діакорегують ваги нейронної мережі для даного циклу пазоні [0,1] навчання з урахуванням градієнтів функції помилПараметри для спостереження і виведення ки w* = w + s(w, pert), де w і w* - набори значень мережі з локального мінімуму задають у такий ваг і порогів нейронної мережі ВІДПОВІДНО ДО І ПІСЛЯ спосіб At і | pert - Err(mod(epoch, задач свідчать про те, що в результаті застосуAt) + 1) | /At < 4, де mod(a, b) - залишок від цілочивання запропонованого способу швидкість насельного ділення а на Ь, тоді переходять на крок 8, вчання нейромереж збільшується на 20 - 60% у у противному випадку - переходять на крок 10 порівнянні з навчанням на основі відомого спосоКрок 8 Приймають w* = R(w), де w і w* - набу, що дозволяє істотно скоротити час навчання бори значень ваг і порогів нейронної мережі ВІДПОмережі ВІДНО до і після застосування коригувального праВикористані джерела вила ваг нейронної мережі коригувальної 1 Реклейтис Г, Рейвиндран А , Рэгсдел К Оптипроцедури R(w) і обчислюють значення цільової мизация в технике В 2-х кн Кн 1 Пер с англ - М функції pert* після застосування правила R(w) Мир, 1986 -С 130-131 Крок 9 Якщо pert* < pert, де pert - значення цільової функції до застосування коригувальної ДП «Український інститут промислової власності» (Укрпатент) вул Сім'ї Хохлових, 15, м Київ, 04119, Україна ( 0 4 4 ) 4 5 6 - 2 0 - 90 ТОВ "Міжнародний науковий комітет" вул Артема, 77, м Київ, 04050, Україна (044)216-32-71