Пристрій двонапрямленої аналого-дискретної асоціативної пам’яті

Пристрій двонапрямленої аналого-дискретної асоціативної пам'яті, що утворений на основі нейронних мереж адаптивної резонансної теорії (APT), складається із двох сенсорних шарів нейронів, проміжного шару нейронів, елементи якого зв'язані двонапрямленими зваженими збуджуючими зв'язками з усіма елементами розпізнавального шару модуля, що являє собою дискретну нейронну мережу АРТ-1 і містить у собі шар інтерфейсних елементів, нейрони якого зв'язані з відповідними їм елементами сенсорного шару бінарними двонапрямленими збуджуючими зв'язками, шар розпізнавальних елементів, нейрони якого зв'язані з кожним з елементів в інтерфейсному шарі двонапрямленими зваженими збуджуючими зв'язками з безперервними ваговими коефіцієнтами, вирішальний нейрон, зв'язаний збуджуючими вхідними зв'язками з усіма елементами сенсорного шару та гальмуючими вихідними зв'язками з елементами розпізнавального шару і вхідними гальмуючими - із елементами інтерфейсного шару, і керуючі нейрони, перший серед яких зв'язаний збуджуючими вхідними зв'язками з усіма елементами сенсорного шару та вихідними збуджуючими зв'язками з елементами інтерфейсного шару і гальмуючими вхідними - із елементами розпізнавального шару, а другий зв'язаний збуджуючими вхідними зв'язками з усіма елементами сенсорного та вихідними збуджуючими зв'язками з усіма елементами розпізнавального шару, і третій керуючий нейрон зв'язаний збуджуючими вхідними зв'язками з усіма нейрона U 2 (19) 1 3 33321 4 Відомий пристрій асоціативної пам'яті містить рів, двох однотипних паралельно працюючих моосновний шар асоціативних нейронів, які в процесі дулів, кожний з яких являє собою дискретну нейнавчання асоціюють зображення-збудження, що ронну мережу адаптивної резонансної теорії [3]. поступають на асоціативні входи із зображеннямиВикористання мереж адаптивної резонансної відгуками на понятійних входах. Крім того в притеорії в прототипі дозволило досягти здатність строї є спеціальні нейрони-селектори, призначені додаткового навчання двонапрямленої асоціативдля вибору за певним критерієм вихідного сигналу ної пам'яті в процесі її функціонування. Це стає на виходах асоціативних нейронів на етапі розпіможливим завдяки тому, що нейронні мережі адазнавання асоціативних зображень, і накопичуваптивної резонансної теорії відносять вхідне зольні нейрони для формування з послідовних у часі браження до одного з відомих класів зображень, вхідних сигналів паралельні образи, що надходять якщо воно є достатньо подібне або резонує із прона паралельні асоціативні входи асоціативних тотипом цього класу. Якщо знайдений прототип з нейронів [1]. певною точністю, що задається спеціальним паНедоліком цього пристрою є те, що даний прираметром подібності, відповідає вхідному зобрастрій асоціативної пам'яті працює тільки в одному женню, то в режимі навчання він модифікується, напрямку, тобто може асоціювати запам'ятовані щоб стати більше схожим на пред'явлене зобразображення-відгуки із зображеннямиження, а в режимі розпізнавання залишається в збудженнями, але не навпаки, і фактично відновактивному стані відповідний розпізнавальний нейлює відповідні зображення по зашумленим асоціарон. Коли вхідне зображення недостатньо подібно тивним образам. жодному з наявних прототипів, то на його основі й Відомий пристрій асоціативної пам'яті являє у режимі навчання і в режимі розпізнавання ствособою дискретну нейронну мережу Хопфілда, що рюється прототип нового класу. Це можливо заодержала назву двонапрямленої асоціативної павдяки наявності в мережі великої кількості надлим'яті й складається із двох сенсорних шарів елешкових нейронів, які не використовуються доти, ментів, нейрони яких зв'язані між собою зваженипоки в цьому немає необхідності. Отже, нові обрами двонапрямленими зв'язками із відповідними зи можуть запам'ятовуватися мережею без переваговими коефіцієнтами. Поширення сигналів у кручування вже запам'ятованої раніше інформації. мережі відбувається у двох напрямках: від входу Крім того, нейронні мережі адаптивної резонансної до виходу і назад синхронно, доти, поки в мережі теорії відрізняються здатністю відокремлювати не встановиться стан рівноваги при досягненні нові образи від перекручених або зашумлених енергії мережі локального мінімуму, при цьому відомих образів. забезпечується зважений характер зв'язків, і форГоловним недоліком прототипу є те, що даний муються матриці двонапрямлених зв'язків, що допристрій двонапрямленої асоціативної пам'яті мозволяє використати відомий пристрій для двостоже працювати тільки з дискретними зображенняроннього відновлення асоціацій з пам'яті пристрою ми, а значить не може бути використаний для за(нейронної мережі). Крім того в даному пристрої пам'ятовування або відновлення безперервних уведені додаткові нейрони в обидва шари, які збізображень. льшують розмірність мережі й коректують неточЗавдання корисної моделі - розробка приності функціонування зв'язків при виникненні построю двонапрямленої асоціативної пам'яті, що милок [2]. володіє можливістю розпізнавання і запам'ятовуНезважаючи на те, що даний аналог має значвання безперервних та дискретних зображень. но краще якість розпізнавання асоціативних обраЗавдання вирішується завдяки тому, що призів і характеристики двонапрямленої асоціативної стрій двонапрямленої асоціативної пам'яті, перепам'яті в цілому, а також відновлює зображення в будовується так, що являє собою нейронну мереобох напрямках, залишається багато недоліків, жу, яка складається із двох сенсорних шарів серед яких - неможливість донавчання нейронної нейронів, проміжного шару нейронів, елементи мережі в процесі функціонування і не здатність якого зв'язані двонапрямленими зваженими збувідокремлювати нові образи від перекручених або джуючими зв'язками з усіма елементами розпізназашумлених відомих образів, крім того існує ситувального шару модуля, що являє собою дискретну ація, коли при навчанні мережі деякою навчальнейронну мережу АРТ-1 і містить у собі шар інною парою зображень енергія мережі не може дотерфейсних елементів, нейрони якого пов'язані з сягти локального мінімуму, а відповідно дана відповідними їм елементами сенсорного шару бінавчальна пара не може бути розпізнана меренарними двонапрямленими збуджуючими зв'язкажею, навіть якщо на вхід поданий незашумлений ми, шар розпізнавальних елементів, нейрони якого вихідний образ. Ще одним недоліком пристрою є зв'язані з кожним з елементів в інтерфейсному те, що нейронна мережа погано розпізнає зобрашарі двонапрямленими зваженими збуджуючими ження якщо в процесі навчання подібним до вхідзв'язками з безперервними ваговими коефіцієнтаних асоціювали різко відмінні вихідні зображення. ми, вирішальний нейрон, пов'язаний збуджуючими Найбільш близьким до заявленого пристрою є вхідними зв'язками з усіма елементами сенсорного пристрій двонапрямленої асоціативної пам'яті пешару та гальмуючими вихідними зв'язками з елеребудований шляхом введення в його структуру ментами розпізнавального шару і вхідними гальдвох модулів на основі дискретних нейронних мемуючими - із елементами інтерфейсного шару, і реж адаптивної резонансної теорії (APT) і проміжкеруючі нейрони, перший серед яких пов'язаний ного шару нейронів, елементи якого зв'язані двозбуджуючими вхідними зв'язками з усіма елеменнапрямленими зваженими зв'язками із тами сенсорного шару та вихідними збуджуючими відповідними їм елементами розпізнавальних шазв'язками з елементами інтерфейсного шару і га 5 33321 6 льмуючими вхідними - із елементами розпізнаваЕлементи інтерфейсних шарів Z1i, Z2i i Z3l (i=1,...,n; льного шару, а другий пов'язаний збуджуючими l=1,...,k) пов'язані з елементами розпізнавальних вхідними зв'язками з усіма елементами сенсорного шарів Y1j, Y2j і Y3g (j=1,...,m; g=1,...,m), відповідно та вихідними збуджуючими зв'язками з усіма елемодулів М11, М12 і М2 нейронної мережі. З'єднання ментами розпізнавального шару, і третій керуючий між елементами інтерфейсних і розпізнавальних нейрон пов'язаний збуджуючими вхідними зв'язкашарів здійснюється зваженими зв'язками з вагоми з усіма нейронами проміжного шару та активівими коефіцієнтами b1ij, b2ij, t1ji, t2ji (i=1, ..., n; j=1, ..., зуючими вихідними зв'язками із іншими двома кеm) і V1lg, V2gl (l=1,...,k; g=1,...,m), відповідно для М11, руючими нейронами, і відрізняється тим, що в М12 і М2 нейронної мережі. У модулях М1, М12 і М2 нього введено другий модуль, що складається із шари Y1j, Y2j і Y3g (j=1,...,m; g=1,...,m) є шарами двох однотипних паралельно працюючих підмодунейронів, що змагаються, у яких кожний елемент лів, кожний з яких являє собою модифіковану безможе перебувати в одному із трьох станів: активперервну нейронну мережу АРТ-2 і пов'язані між ному, неактивному, загальмованому. Під час розсобою за допомогою двонапрямлених збуджуючих пізнавання вхідних зображень в результаті змазв'язків між елементами розпізнавальних шарів і гання у кожному модулі нейронної мережі відповідними елементами загального розпізнавазалишається активним тільки один нейрон розпільного шару, елементи якого у свою чергу пов'язнавального шару Y1J, Y2J і Y3G у відповідних їм зані збуджуючими двонапрямленими зв'язками із шарах Y1j, Y2j і Y3g (j=1,...,m; g=1,...,m) модулів М11, кожним елементом проміжного шару між модуляМІ2 і М2 нейронної мережі. За допомогою вирішами, а також вихідними збуджуючими зв'язками від льних нейронів R1, R2 і R2, відповідно модулів М11, елементів розпізнавального шару першого підмоМ12 і М2, визначаються параметри подібності р 11, дуля до відповідних елементів розпізнавального р12 і р2, відповідно для модулів М11, М12 і М2, а за шару другого підмодуля, одночасно із цим, підмодопомогою нейрона R1 модуля М1, визначається дулі містять у собі шари інтерфейсних елементів, загальний параметр подібності р 1 модуля М1 нейнейрони яких пов'язані з відповідними їм елеменронної мережі. Нейроном R2 можуть загальмовутами сенсорного шару нейронів безперервними ватися нейрони Y-шару модуля М2, у випадку не вихідними збуджуючими зв'язками, а також із кожвиконання умови відповідності вхідного зображенним елементом у відповідних їм розпізнавальних ня й зображення, що зберігається у вагах зв'язків шарах двонапрямленими збуджуючими зваженими нейрона-переможця Y3G модуля М2. Аналогічно зв'язками з безперервними ваговими коефіцієнтанейронами R1, R2 можуть загальмовуватись нейми, вирішальні нейрони, які зв'язані збуджуючими рони шарів Y1j, Y2j модулів М11, М12, якщо не виковхідними зв'язками з усіма елементами інтерфейнується умова по величині параметрів подібності сних шарів, гальмуючими вихідними - із елеменр11, р12 відповідно для модулів М11 і М12. тами розпізнавальних шарів і збуджуючими вихідДвонапрямлена асоціативна пам'ять, побудоними із загальним вирішальним нейроном, що у вана на нейронних мережах АРТ-2Д и АРТ-1, орієсвою чергу зв'язаний гальмуючими вихідними зв'янтована на роботу, як з безперервними, так і з бізками із усіма елементами загального розпізнаванарними вхідними зображеннями. У модулі М1 льного шару і із елементами розпізнавального ваги зв'язків b1ij, b2ij, t1ji, t2ji (i=1,...,n; j=1,...,m) є безшару першого підмодуля, а також нормуючі нейперервними, а в модулі М2 всі ваги зв'язків нейророни, що зв'язані вхідними збуджуючими безперенів є бінарними за винятком ваг зв'язків із виходів рвними зв'язками з усіма елементами сенсорних інтерфейсних нейронів на входи розпізнавальних шарів, вхідними гальмуючими зв'язками із керуюнейронів. Зв'язки від нейронів вхідного шару S2l чим нейроном та збуджуючими вихідними зв'язка(l=1,...,k) до керуючих нейронів G1, G2, до вирішами з усіма елементами інтерфейсних шарів другольного нейрона R2 і до інтерфейсних нейронів Z3l го модуля нейронної мережі. (l=1,...,k), а також від керуючих нейронів G1 до шаКорисна модель ілюструється рисунком, на ру Z3l (l=1,...,k) і G2 до шару Y3g (g=1,...,m) і від виякому наведена схема пристрою двонапрямленої рішального нейрона R2 до шару Y3g (g=1,...,m) моасоціативної пам'яті розробленої на основі нейдуля М2, є гальмуючими. Сигнали, які передаються ронних мереж адаптивної резонансної теорії. від інтерфейсних Z3l (l=1,...,k) нейронів до нейрона Двонапрямлена асоціативна пам'ять, побудоR2 й від розпізнавальних нейронів Y3g (g=1,...,m) до вана на основі безперервних і дискретної нейроннейрона G1 модуля М2, є гальмуючими. Кожний них мереж APT, складається із двох паралельно нейрон в інтерфейсному і розпізнавальному шарах працюючих модулів, один із яких являє собою модуля М2 має по три джерела вхідних сигналів, у нейронну мережу АРТ-2Д, а інший - нейронну мезв'язку із чим вихідний сигнал нейронів цих шарів режу АРТ-1. До складу модулів М1 і М2 входять визначається по "правилу два із трьох", тобто для сенсорні шари елементів, відповідно S1і та S2l, які переводу нейрона в активний стан потрібно наявв режимі навчання приймають пари асоціативних ність на його входах збудливих сигналів мінімум із вхідних зображень (S11,S2l), (S12,S22), ..., (S1q,S2q). двох різних джерел. Елементи сенсорних S-шарів модулів М1 і М2 пеАрхітектуру мережі, крім модулів М1 і М2 на редають вхідні зображення інтерфейсним нейрооснові нейронних мереж АРТ-2Д і АРТ-1, визначає нам Z1i, Z2i i Z3l (i=1,...,n; l=1,...,k), відповідно модушар проміжних нейронів Pd (d=1,...,m), що зв'язує лів М11 ,М12 і М2 нейронної мережі. Поряд із модулі М1 і М2 нейронної мережі, і додатковий кевстановленням значень нейронів інтерфейсних Zруючий нейрон G3. На етапі навчання модулі М1 і шарів модулів М11, М12 і М2, іде також активізація М2 нейронної мережі будуть запам'ятовувати пари керуючих G1, G2 нейронів модуля М2, вирішальних асоціативних зображень. При цьому поряд із устаR1 i R2 нейронів модулів М1 і М2 нейронної мережі. новленням значень ваг зв'язків усередині кожного 7 33321 8 з модулів, будуть установлюватися й матриці вамережі. Він визначається не в результаті змагання гових коефіцієнтів проміжного шару нейронів Pd нейронів розпізнавального шару, а активізується (d=1,...,m), що зв'язує модулі М1 і М2 нейронної нейроном-переможцем іншого модуля, через зв'ямережі. На основі цих вагових коефіцієнтів буде зки елементів Р-шару. Наприклад, нейронздійснюватися асоціативний зв'язок між запам'ятопереможець модуля за допомогою нейрона G3 ваними зображеннями двох модулів. Процес наактивізує нейрони G1 і G2. Після чого за допомогою вчання нової нейронної мережі вважається закінсигналів нейрона-переможця ХJ нейрона G2 визначеним, коли по закінченню чергової епохи чається нейрон-переможець Y3G. Цей переможець 1 навчання відсутні зміни вагових коефіцієнтів: b ij, за допомогою низхідних зв'язків і керуючого нейb2ij, V1lg і t1ji, t2ji, V2gl (і=1,...,n; j=1,...,m; l=1,...,k; рона G1 відновить в інтерфейсному шарі Zg=1,...,m), відповідно ваг зв'язків від елементів інелементів зображення, що зберігається в його терфейсного шару до елементів розпізнавального пам'яті. Відновлене зображення повториться на шару, і ваг зв'язків від елементів розпізнавального шарі S-елементів і надійде на виходи модуля. Ташару до елементів інтерфейсного шару модулів ким чином, відбудеться вибір зображення асоціаМ11, М12 і М2 нейронної мережі. Матриці ваг зв'язків тивного вхідному зображенню, що подається на між елементами шарів, що розпізнають, модулів вхід першого модуля нейронної мережі. М1 і М2 нейронної мережі та елементами проміжДвонапрямлена асоціативна пам'ять, на основі ного Р-шару на умову зупинки навчання не вплинейронних мереж АРТ-2Д та АРТ-1, функціонує вають. відповідно до двох алгоритмів: навчання й розпіВ режимі розпізнавання вхідних зображень і знавання. визначення ними асоціативних зображень n- або kВ алгоритмах прийняті наступні позначення: мірні вхідні вектора можуть подаватися відповідно m - максимальне число пар асоціативних зона входи S1i або S2l (i=1,...,n; l=1,...,k) елементів, бражень; відповідно модулів М1 або М2 нейронної мережі. n - число безперервних компонентів у вхідноПри роботі нейронної мережі в режимі розпізнаму векторі модуля М1 ; вання та визначення асоціативних зображень не k - число бінарних компонентів у вхідному векпередбачається подача зображень на обидва поля торі модуля М2 ; вхідних елементів одночасно. Нейрон-переможець L - константа, що перевершує одиницю, рекоXJ модуля М1, визначається сигналами нейронівмендоване значення: L=2; переможців Y1J і Y2J розпізнавальних шарів Y1j, Y2j p11, р12 - параметри подібності між вхідними (j=1,...,m), відповідно модулів М11, М12. В свою червекторами й векторами, що зберігаються у вагах гу нейрон-переможець Y1J вибирається в резульзв'язків перемігших нейронів, відповідно Y1J і Y2J 1 таті змагання нейронів розпізнавального шару Y j модуля М1 нейронної мережі; діапазон припусти(j=1,...,m), модуля М11 нейронної мережі. Нейронмих значень параметрів: 0 If (ti ), f = 1 n, ti = 0,1 n - 1 . ,..., ,..., î і де ||Pr*1(f,ti)|| і ||Pr*2(f,ti)|| - норми функцій Pr*1(f,ti) що визначаються співвідношеннями: Pr*2(f,ti), r P1 * (f , t i ) = n -1 å ti = 0 r r P1 * (f , t i ) , P2* (f , t i ) = n -1 å ti = 0 r P2* (f , t i ) . Для модуля М2 нейронної мережі обчислюється норма вектора вихідних сигналів нейронів інтерфейсного шару: Uвих.Z 3 = k åU l =1 вих.Z 3 l до наступного кроку алгоритму. Аналогічним образам проводиться перевірка правильності вибору нейрона-переможця Y2J в шарі Y2j (j=1,...,m) модуля М12 нейронної мережі. Одночасно із цим у модулі М2 перевіряється за параметром подібності р2 правильність вибору нейрона-переможця Y3G. Якщо p = Uвих .Z3 Uвих .S2 < p2 , l Крок 14 За обчисленими параметрами подібності р 11, р12 перевіряється правильність вибору нейронівпереможців Y1J, Y2J у відповідних їм шарах Y1 j, Y2j (j=1,...,m) модулів М11, М12 нейронної мережі. Правильність вибору перевіряється в такий спосіб: якщо р11