Пристрій безперервної двоспрямованої асоціативної пам’яті

Пристрій безперервної двоспрямованої асоціативної пам'яті, який створений на основі нейронних мереж адаптивної резонансної теорії (APT), складається із сенсорного шару нейронів, проміжного шару нейронів, елементи якого зв'язані парами бінарних двоспрямованих зважених зв'язків з усіма елементами шарів спільних вирішальних нейронів двох модулів, до складу першого з яких входять два паралельно працюючі підмодуля, зв'язані один з одним односпрямованими зв'язками, і являють собою модифіковані безперервні нейронні мережі АРТ-2, кожна з яких включає в собі шар інтерфейсних елементів, нейрони якого пов'язані з відповідними їм елементами сенсорного шару нейронів модуля парами двоспрямованих зв'язків з безперервними ваговими коефіцієнтами, шар розпізнавальних елементів, нейрони якого зв'язані бінарними односпрямованими зв'язками з відповідними їм розпізнавальними нейронами іншого підмодуля нейронної мережі, з кожним з елементів інтерфейсного шару підмодуля парами двоспрямованих зважених зв'язків з безперервними ваговими коефіцієнтами й з відповідними їм спільними розпізнавальними нейронами модуля безперервної нейронної мережі, парами двоспрямованих зважених зв'язків з безперервними ваговими коефіцієнтами, вирішальний нейрон, що зв'язаний збудливими й гальмуючими бінарними односпрямованими зв'язками з усіма елементами інтерфейсного й розпізнавального шарів підмодуля нейронної мережі й загальним вирішальним нейроном модуля, що, у свою чергу, зв'язаний бінарними односпрямованими вихідними зв'язками з усіма елементами загального розпізнавального шару нейронів модуля, а також нормуючий нейрон, що зв'язаний безперервними односпрямованими вихідними зв'язками з усіма елементами інтерфейсного шару нейронів підмодуля безперервної нейронної мережі й безперервними 2 (19) 1 3 Корисна модель належить до обчислювальної техніки, зокрема, до області побудови інтелектуальних автоматизованих систем підтримки прийняття рішень, а саме до напрямку створення баз знань систем підтримки прийняття рішень. Корисна модель може бути використана при побудові системи підтримки прийняття рішень машиністом такого складного технічного об'єкта, як дизель-поїзд із тяговим асинхронним електроприводом. Відомий пристрій двоспрямованої асоціативної пам'яті, створеної на основі дискретних нейронних мереж адаптивної резонансної теорії (APT), складається із двох сенсорних шарів нейронів і відрізняється тим, що в нього введений проміжний шар нейронів, елементи якого зв'язані парами двоспрямованих зважених зв'язків з відповідними їм елементами розпізнавальних шарів двох однотипних паралельно працюючих модулів, кожний з яких являє собою дискретну нейронну мережу адаптивної резонансної теорії, що містить у собі шари інтерфейсних елементів, нейрони яких пов'язані з відповідними їм елементами сенсорних шарів парами бінарних двоспрямованих зв'язків, шари розпізнавальних елементів, нейрони яких пов'язані з кожним з елементів у відповідних їм інтерфейсних шарах парами двоспрямованих зважених зв'язків з безперервними ваговими коефіцієнтами, вирішальні нейрони, які зв'язані збудливими й гальмуючими зв'язками з усіма елементами сенсорних, інтерфейсних і розпізнавальних шарів, і керуючі нейрони, які зв'язані збудливими й гальмуючими зв'язками з усіма елементами сенсорних, інтерфейсних і розпізнавальних шарів, а також з відповідними керуючими нейронами, які, у свою чергу, зв'язані з усіма нейронами в проміжному шарі елементів нейронної мережі [1]. Недоліками відомого пристрою є відсутність можливості запам'ятовування й відновлення зі своєї пам'яті асоціативних зображень, які представлені у вигляді векторів з безперервними складовими. Відомий пристрій двоспрямованої аналогодискретної асоціативної пам'яті, створений на основі нейронних мереж адаптивної резонансної теорії, що складається із двох сенсорних шарів нейронів, проміжного шару нейронів, елементи якого зв'язані парами бінарних двоспрямованих зважених зв'язків з усіма елементами спільних вирішальних нейронів одного модуля й з усіма елементами розпізнавального шару іншого модуля, що являє собою дискретну нейронну мережу АРТ-1 і містить у собі шар інтерфейсних елементів, нейрони якого пов'язані з відповідними їм елементами сенсорного шару модуля парами двоспрямованих зважених зв'язків з бінарними ваговими коефіцієнтами, шар розпізнавальних елементів, нейрони якого пов'язані з кожним з елементів в інтерфейсному шарі парами двоспрямованих зважених зв'язків з безперервними ваговими коефіцієнтами, вирішальний нейрон, що зв'язаний збуд 62606 4 ливими й гальмуючими зв'язками з усіма елементами сенсорного, інтерфейсного й розпізнавального шарів і два керуючі нейрони, один із яких зв'язаний збудливими й гальмуючими зв'язками з усіма елементами сенсорного, інтерфейсного й розпізнавальних шарів, а інший - зв'язаний збудливими й гальмуючими зв'язками з усіма елементами сенсорного й розпізнавального шару нейронів, а також з керуючим нейроном усього модуля, що, в свою чергу, зв'язаний вхідними зв'язками з усіма нейронами в проміжному шарі елементів нейронної мережі, і відрізняється тим, що в нього уведені два однотипних паралельно працюючих підмодуля, розпізнавальні нейрони яких пов'язані один з одним бінарними односпрямованими зв'язками, і являють собою модифіковані безперервні нейронні мережі АРТ-2, кожна з яких включає у себе шар інтерфейсних елементів, нейрони якого пов'язані з відповідними їм елементами сенсорного шару нейронів модуля парами двоспрямованих зв'язків з безперервними ваговими коефіцієнтами, шар розпізнавальних елементів, нейрони якого зв'язані бінарними односпрямованими зв'язками з відповідними їм розпізнавальними нейронами іншого підмодуля нейронної мережі, з кожним з елементів інтерфейсного шару підмодуля парами двоспрямованих зважених зв'язків з безперервними ваговими коефіцієнтами й з відповідними їм спільними розпізнавальними нейронами модуля безперервної нейронної мережі парами двоспрямованих зважених зв'язків з безперервними ваговими коефіцієнтами, вирішальний нейрон, що зв'язаний збудливими й гальмуючими бінарними односпрямованими зв'язками з усіма елементами інтерфейсного й розпізнавального шарів підмодуля й спільним вирішальним нейроном модуля, що, у свою чергу, зв'язаний бінарними односпрямованими вихідними зв'язками з усіма елементами спільного розпізнавального шару нейронів модуля нейронної мережі, а також нормуючий нейрон, що зв'язаний безперервними односпрямованими вихідними зв'язками з усіма елементами інтерфейсного шару нейронів підмодуля безперервної нейронної мережі й безперервними односпрямованими вхідними зв'язками з усіма елементами сенсорного шару нейронів паралельно працюючого модуля безперервної нейронної мережі [2]. При порівнянні з першим аналогом, двоспрямована аналого-дискретна асоціативна пам'ять має можливість запам'ятовування в своїй пам'яті зображень, представлених у вигляді векторів з бінарними складовими і ставити їм в асоціацію зображення, представлені у вигляді векторів з безперервними складовими. Однак у розглянутого пристрою відсутня можливість запам'ятовування та відновлення з пам'яті пристрою асоціативних зображень, які представлені тільки у вигляді векторів з безперервними складовими. Найбільш близьким до заявленого, є пристрій аналогової двоспрямованої асоціативної пам'яті, 5 створений на основі нейронних мереж адаптивної резонансної теорії, що складається з двох сенсорних шарів нейронів, проміжного шару нейронів, елементи якого пов'язані парами бінарних двоспрямованих зважених зв'язків з усіма елементами шару спільних вирішальних нейронів двох модулів, до складу першого з яких входять два паралельно працюючих підмодуля, пов'язаних один з одним односпрямованими зв'язками, і являють собою модифіковану безперервну нейронну мережу АРТ2, що включає в себе шар інтерфейсних елементів, нейрони якого пов'язані з відповідними їм елементами сенсорного шару нейронів модуля парами двоспрямованих зв'язків з безперервними ваговими коефіцієнтами, шар розпізнавальних елементів, нейрони якого пов'язані бінарними односпрямованими зв'язками з відповідними їм розпізнавальними нейронами іншого підмодуля нейронної мережі, з кожним з елементів інтерфейсного шару підмодуля парами двоспрямованих зважених зв'язків з безперервними ваговими коефіцієнтами і з відповідними їм спільними розпізнавальними нейронами модуля безперервної нейронної мережі парами двоспрямованих зважених зв'язків з безперервними ваговими коефіцієнтами, вирішальний нейрон, який пов'язаний збудливими і гальмуючими бінарними односпрямованими зв'язками з усіма елементами інтерфейсного і розпізнавального шару підмодуля нейронної мережі і спільним вирішальним нейроном модуля, який, у свою чергу, пов'язаний бінарними односпрямованими вихідними зв'язками з усіма елементами спільного розпізнавального шару нейронів модуля, а також нормуючий нейрон, який пов'язаний безперервними односпрямованими вихідними зв'язками з усіма елементами інтерфейсного шару нейронів підмодуля безперервної нейронної мережі і безперервними односпрямованими вхідними зв'язками з усіма елементами сенсорного шару нейронів, і відрізняється тим, що в нього введені два однотипних паралельно працюючих підмодуля, пов'язаних один з одним бінарними односпрямованими зв'язками, і являють собою модифіковані безперервні нейронні мережі АРТ-2, кожна з яких включає в себе шар інтерфейсних елементів, нейрони якого пов'язані з відповідними їм елементами сенсорного шару нейронів модуля парами двоспрямованих зв'язків з безперервними ваговими коефіцієнтами, шар розпізнавальних елементів, нейрони якого пов'язані бінарними односпрямованими зв'язками з відповідними їм розпізнавальними нейронами іншого підмодуля нейронної мережі, з кожним з елементів інтерфейсного шару підмодуля парами двоспрямованих зважених зв'язків з безперервними ваговими коефіцієнтами і з відповідними їм спільними розпізнавальними нейронами модуля безперервної нейронної мережі парами двоспрямованих зважених зв'язків з безперервними ваговими коефіцієнтами, вирішальний нейрон, який пов'язаний збудливими і гальмуючими бінарними односпрямованими зв'язками з усіма елементами інтерфейсного і розпізнавального шару підмодуля і спільним вирішальним нейроном модуля, який, у свою чергу, пов'язаний бінарними односпрямованими вихід 62606 6 ними зв'язками з усіма елементами загального розпізнавального шару нейронів модуля нейронної мережі, а також нормуючий нейрон, який пов'язаний безперервними односпрямованими вихідними зв'язками з усіма елементами інтерфейсного шару нейронів підмодуля безперервної нейронної мережі і безперервними односпрямованими вхідними зв'язкам і з усіма елементами сенсорного шару нейронів паралельно працюючого модуля безперервної нейронної мережі [3]. При порівнянні з розглянутими аналогами, пристрій-прототип дозволяє запам'ятовувати і відновлювати зі своєї пам'яті асоціативні зображення, які представлені тільки у вигляді векторів з безперервними складовими. Однак розглянутий пристрій-прототип не дозволяє зберігати в своїй пам'яті класи процесів, інваріантних до амплітуди вхідних сигналів (зображень). Таким чином, недоліком пристрою-прототипу є те, що він не дозволяє відносити до одного класу сигнали (процеси), однакові за формою, але різні за амплітудою. Задача корисної моделі - розробка пристрою безперервної двоспрямованої асоціативної пам'яті, що володіє можливістю запам'ятовування і відновлення зі своєї пам'яті асоціативних процесів (сигналів), які інваріантні до амплітуди вхідних векторів. Задача вирішується завдяки тому, що пристрій двоспрямованої асоціативної пам'яті змінюється шляхом введення в його структуру модуля, що являє собою базову архітектуру безперервної нейронної мережі АРТ-2, що, у свою чергу, містить у собі шар сенсорних елементів, нейрони якого зв'язані парами двоспрямованих зв'язків з відповідними їм нейронами інтерфейсного шару, елементи якого зв'язані бінарними односпрямованими вихідними зв'язками з першим нормалізуючим модулем і відповідними їм нейронами першого обробного шару, елементи якого, у свою чергу, зв'язані бінарними односпрямованими вхідними зв'язками з першим нормалізуючим модулем та бінарними односпрямованими вихідними зв'язками з відповідними їм нейронами другого обробного шару, які, у свою чергу, зв'язані бінарними односпрямованими вихідними зв'язками з другим нормалізуючим модулем і відповідними їм нейронами четвертого обробного шару, елементи якого зв'язані бінарними односпрямованими вихідними зв'язками з відповідними їм нейронами інтерфейсного та керуючого шарів, а також бінарними односпрямованими вхідними зв'язками з другим нормалізуючим модулем, і парами двоспрямованих зважених зв'язків з безперервними ваговими коефіцієнтами з нейронами проміжного шару, при цьому кожний з нейронів керуючого шару зв'язаний бінарними односпрямованими вихідними зв'язками з керуючим нейроном, що, у свою чергу, зв'язаний бінарними односпрямованими вихідними зв'язками з кожним з нейронів розпізнавального шару, елементи якого зв'язані двоспрямованими зваженими зв'язками з безперервними ваговими коефіцієнтами з кожним з нейронів проміжного шару, відповідні елементи якого зв'язані бінарними односпрямованими вихід 7 62606 8 ними зв'язками з відповідними їм нейронами керуючого шару елементів, третім нормалізуючим модулем, а також з відповідними їм нейронами третього обробного шару, елементи якого зв'язані бінарними односпрямованими вхідними зв'язками з третім нормалізуючим модулем, а також бінарними вихідними односпрямованими зв'язками з відповідними їм нейронами другого обробного шару. Корисна модель ілюструється кресленням, на якому наведена схема пристрою безперервної двоспрямованої асоціативної пам'яті, розробленої на основі нейронних мереж АРТ-2Д та АРТ-2. Корисна модель складається із двох паралельно працюючих модулів M1,M2 . Модуль M1 являє собою безперервну нейронну мережу АРТ-2Д, а модуль M2 - базову архітектуру безперервної повідно для підмодулів M11,M12 , а за допомогою нейронної мережі АРТ-2. До складу модулів M1 і Sl2 , l  1 ,k  , рівні відповідним сигналам пропо, нованих зображень і підсумовують їх з вихідними сигналами нейронів O l , l  1 ,k  . Вихідні сигнали , M2 входять сенсорні шари елементів, відповідно S1 і Sl2 , i  1 , n; l  1 , k  , які приймають пари , , i асоціативних вхідних зображень S , S S , S ,, S , S  . Елементи сенсорних S , 1 1 2 1 1 2 2 2 1 q 2 q шарів модулів M1 і M2 передають вхідні зображення інтерфейсним нейронам Z1, Zi2 i i  1,,n;l  1,,k , відповідно підмодулів і Z l3 нейронів R1 і R2 визначаються відповідні загальні параметри подібності p1 й p 2 модулів M1 і M2 нейронної мережі. Модуль M2 нейронної мережі містить у собі три поля нейронів: поле вхідних обробних нейронів, що складається із шести шарів елементів Zl3, Ol, Al, Bl, Cl, Xl2 , l  1 ,k  і нормалізуючих мо, дулів G1, G2, G3 , поле розпізнавальних нейронів 3 Yg , g  1 , m і поле керуючих нейронів, до яких , належать елементи R 2 і R l2 , l  1 ,k  нейронної , мережі. Нейрони Z l3 , l  1 ,k  модуля M2 ней, ронної мережі сприймають вхідні сигнали нейронів нейронів Z l3 , l  1 ,k  надходять на входи еле, ментів A l , l  1 ,k  і нормалізуючого модуля Gl , , що обчислює норму , M11,M12 і модуля M2 нейронної мережі. Поряд із встановленням значень нейронів інтерфейсних Z - шарів підмодулів M11,M12 і модуля M2 іде також активізація вирішальних R1 і R2 нейронів модулів M1 і M2 нейронної мережі. Z3  U2 вих .Z 3 l    U2 вектора вихідних сигналів шару Z l3 , вих .Z3 k l  1,,k . Вхідні сигнали нейронів A l , l  1 ,k  модуля M2 , визначаються за співвідношенням: U вих .Z3 l , l  1 , k , Uвх.А l  , e  Z3 де e - позитивна константа, що запобігає ді У підмодулях M11 і M12 нейронної мережі елементи інтерфейсних шарів i  1,,n пов'язані з елементами розпізнавальних шарів ленню на нуль у випадках, коли Z3  0 . При цьо Z1, Zi2 , i Yj1, Yj2 , З'єднання між елементами j  1,,m . му функція активації нейронів Z l3 і C l , l  1 ,k  , модуля M2 нейронної мережі, задається співвідношенням: інтерфейсних і розпізнавальних шарів здійснюєть2 ся зваженими зв'язками з ваговими b1, t1 , bij , t 2 , ij ji ji i  1,,n; j  1,,m M11,M12 коефіцієнтами, відповідно для підмодулів нейронної мережі. У підмоду лях M11,M12 і модулі M2 j  1,,m; g  1,,m 3 шари Yj1, Yj2 і Yg , є шарами нейронів, які змагаються, у яких кожний елемент може перебувати в одному із трьох станів: активному, неактивному, загальмованому. У результаті розпізнавання вхідних зображень у кожному модулі нейронної мережі залишається активним тільки один нейрон розпі1 2 3 знавального шару YJ, YJ і YG у відповідних ним 3 шарах Yj1, Yj2 і Yg , j  1 , m; g  1 , m підмоду, , лів M11,M12 і модуля M2 нейронної мережі. За допомогою вирішальних нейронів R1, R1 визнача1 2 ються відповідні параметри подібності 2 p1, p1 , 1 від U 3 якщо U 3  , вх.Z  вх.Zl , l  вих .Z3 0, якщо U 3  , l  вх.Z l  де  - параметр, що визначає поріг для заглушення шумових сигналів. Якщо величина вхідного сигналу U 3 менше граничного значення U вх.Z l  , то він розглядається як шум і заглушується   U 3  0 і U  0 .  вх.Z  вих .Z3 l l   Аналогічним чином визначається функція активації для нейронів C l , l  1 ,k  модуля M2 , нейронної мережі. Вихідні сигнали нейронів Bl , l  1 ,k  моду, ля M2 нейронної мережі визначаються виразом: Uвих .Bl  Uвих .Al  b  Uвих .Cl , l  1 , k  , де b - пози, тивна константа; Uвих .C , l  1 ,k  - вихідні сиг, l 9 62606 нали нейронів C l , l  1 ,k  модуля M2 . Нейрони , O l , l  1 ,k  модуля M2 , використовуючи відпо, відно вихідні сигнали нейронів Bl , l  1 ,k  і но, рмалізуючого модуля G2 , що обчислює норму B вектора вихідних сигналів шару Bl , l  1 ,k  мо, дуля M2 нейронної мережі, визначають свої вихідні сигнали по співвідношенню: Uвих .Bl Uвих .Ol  , l  1 , k . , e B 3 Якщо нейрон-переможець YG в Y 3 - шарі мо дуля M2 ще не визначений, то вихідні сигнали l  1,,k нейронів O l , однозначно визначають вихідні сигнали нейронів Xl2 і C l , l  1 ,k  моду, ля M2 нейронної мережі:  Uвих .Ol ; Uвих .Сl  вих .X2 l де вих .X2 l 2 e X нейронів шару X Сталий стан обробних нейронів у полі вхідних обробних нейронів модуля M2 при початкових 2. нульових вихідних сигналах нейронів Ol, Xl2 і C l , l  1,,k досягається після двох модифікацій вихідних сигналів нейронів цього поля. Після досягнення рівноваги в даному полі нейрони Xl2 , l  1,,k посилають свої вихідні сигнали на входи 3 нейронів Yg , g  1 , m : , k U 3 вх.Yg 1   VlgU l1 вих .X2 l , g  1 , m , , 1 де Vlg , l  1 , k; g  1 , m - ваги зв'язків від , , Xl2 , нейронів l  1,,k до нейронів g  1,,m . Серед g  1,,m розпізнавальних модуля M2 нейронів 3 Yg , 3 Yg , визначається нейрон 3 переможець YG , що має найбільший вихідний сигнал: U вих .Y3 G U 3 вих .Yg , g  1 , m . Під час ви, 3 значення нейрона-переможця YG вихідні сигнали всіх нейронів поля вхідних обробних нейронів залишаються незмінними доти, поки сигнал з виходу нейрона-переможця не надійде на входи нейронів Xl2 , l  1 ,k  . Після цього вихідними сигналами , від нейронів Xl2 і O l , значення вихідних l  1,,k сигналів визначаються нейронів l  1,,k модуля M2 нейронної мережі: R l2 , e B , l  1 , k ; , U 2  Uвих .Ol  VGl  U U  вих .X2 l вих .R2 l де вих .Y 3 G Uвих .Ol  xl  U вих .X2 l 2 e  O  xl  X , l  1 , k ; , , l  1 , k , , - ваги зв'язків від нейронів xl Xl2 , l  1,,k до нейронів R l2 , l  1 ,k  модуля M2 , нейронної мережі. Одержавши вихідні сигнали нейронів R l2 , l  1 ,k  модуля M2 , елемент R2 , розраховує норму вектора вихідних сигналів R l2 , l  1,,k : Uвих .Ol  xl  U вих .X 2 l 2 e  O  xl  X , l  1 , k , , - норма вектора вихідних сигналів X2 Uвих .Bl Uвих .Ol  R2  U U 10 , і порівнює її з параметром подібності p 2 між вхідним зображенням і зображенням, що зберіга3 ється у вагах зв'язків нейрона-переможця YG мо дуля M2 нейронної мережі. Якщо R2  p2 , то   3 нейрон YG загальмовується  U й на вих .Y3  1  G   далі не приймає участі в змаганнях при пред'явленні поточного зображення. Якщо відбувається навчання ваг R2  p2 , то зв'язків нейрона 3 YG переможця . Двоспрямована асоціативна пам'ять, побудована на нейронних мережах АРТ-2Д і АРТ-2, орієнтована на роботу з безперервними вхідними зображеннями, тому всі ваги зв'язків нейронів модулів M1 і M2 є безперервними. Архітектуру нейронної мережі, крім двох модулів на основі нейронних мереж АРТ-2Д і АРТ-2, визначає шар проміжних нейронів Pd , d  1 , m , , що зв'язує модулі M1 й M2 . На етапі навчання модулі M1 й M2 нейронної мережі будуть запам'ятовувати пари асоціативних зображень. При цьому поряд із установленням значень ваг зв'язків усередині кожного з модулів, будуть встановлюватися й матриці вагових коефіцієнтів проміжного шару нейронів Pd , d  1 , m , що зв'язує два модулі , нейронної мережі. На основі цих вагових коефіцієнтів буде здійснюватись асоціативний зв'язок між запам'ятованими зображеннями двох модулів. Процес навчання нейронної мережі вважається закінченим, коли по закінченню чергової епохи навчання відсутні зміни вагових коефіцієнтів: 2 1 b1,, bij , Vlg ij і 2 t1 , t 2 , Vgl , ji ji i  1,,n; j  1,,m;l  1,,k; g  1,,m , відповідно ваг зв'язків від елементів інтерфейсного шару до 11 62606 елементів розпізнавального шару і ваг зв'язків від елементів розпізнавального шару до елементів інтерфейсного шару, підмодулів M11,M12 і модуля M2 нейронної мережі. Матриці ваг зв'язків між елементами розпізнавальних шарів модулів M1 і M2 нейронної мережі й елементами проміжного Pd , d  1 , m шару на , умову навчання не впливають. У режимі розпізнавання вхідних зображень і визначення їм асоціативних зображень n - або k мірні вхідні вектори можуть подаватись відповідно на входи S1 або Sl2 , i  1 , n; l  1 , k  елемен, , i тів, відповідно модулів M1 і M2 нейронної мережі. При роботі нейронної мережі не передбачається подача зображень на обидва поля вхідних елементів одночасно. Нейрон-переможець X1 модуля J M1 визначається сигналами нейронів-переможців 1 YJ і 2 YJ розпізнавальних шарів Yj1, Yj2 ,  j  1,,m , відповідно підмодулів M11,M12 нейронної мережі. У свою чергу, нейрон-переможець 1 YJ вибирається в результаті змагання нейронів розпізнавального шару Y j1 ,  j  1,,m , підмодуля 2 M11 нейронної мережі. Нейрон-переможець YJ підмодуля M12 вибирається не в результаті змагання нейронів  j  1,,m розпізнавального шару Yj2 , підмодуля M12 , а сигналом з відповід 1 ного нейрона-переможця YJ підмодуля M11 після його перевірки за величиною параметра подібності p1 . 1 У зв'язку з цим уведені зв'язки між парами Y нейронів Yj1, Yj2 ,  j  1,,m у модулі M1 нейрон 2 ної мережі. Виділений у такий спосіб нейрон YJ підмодуля M12 , також перевіряється по величині p1 2 2 YJ параметра подібності . Якщо нейрон витримує цю перевірку й витримують наступну перевірку за величиною параметра подібності й пари 1 2 нейронів YJ, YJ підмодулів M11,M12 , то на виході розпізнавального нейрона X1 модуля M1 з'являJ ється одиничний сигнал, що свідчить про розпі2 знавання вхідного зображення. Якщо нейрон YJ 1 2 або пари елементів YJ, YJ підмодулів M11,M12 не витримують перевірку за величиною параметрів 1 подібності, то нейрон YJ підмодуля M11 загаль   2 мовується  U , а нейрон YJ підмодуля  вих .Y1  1  J   переводиться в неактивний стан M12   . У свою чергу, нейрон-переможець U  вих .Y 2  0   J   12 3 YG модуля M2 може визначатись в результаті змагання нейронів розпізнавального шару 3 Yg , g  1,,m , при цьому його вектор вагових коефіцієнтів, відповідно до заданого значення параметра подібності, повинен відповідати вхідному зображенню. 3 Після вибору нейрона-переможця X1 або YG J одного з модулів M1 або M2 , здійснюється вибір нейрона-переможця іншого модуля нейронної мережі. Він визначається не в результаті змагання нейронів розпізнавального шару, а активізується нейроном-переможцем першого модуля, через зв'язки елементів - P - шару. Цей нейронпереможець за допомогою спадаючих зв'язків відновить в інтерфейсному шарі Z - елементів зображення, що зберігається в його пам'яті. Відновлене зображення повториться на шарі сенсорних елементів і надійде на виходи модуля. Таким чином, відбудеться вибір зображення асоціативного вхідному зображенню, що подається на вхід іншого модуля нейронної мережі. Пристрій безперервної двоспрямованої асоціативної пам'яті, на основі нейронних мереж АРТ2Д і АРТ-2, функціонує відповідно до двох алгоритмів: навчання й розпізнавання. В алгоритмах прийняті наступні позначення: m - максимальне число пар асоціативних зображень, що запам'ятовуються, і число нейронів у шарах X1 і Y 3 ; n і k - число компонентів у вхідному векторі (зображенні) відповідно для модуля M1 й M2 ; p1 і p 2 - параметри подібності модулів M1 і M2 , 0  p1 , p2  1 ; q - число пар асоціативних зображень, що запам'ятовуються; p1, p1 - параметри подібності між вхідним век1 2 тором і векторами, що зберігаються у вагах зв'яз1 2 ків нейронів-переможців, відповідно YJ, YJ підмо дулів M11,M12 нейронної мережі; діапазон припустимих значень параметрів подібності: 0  p1 , p1  1 ; 1 2 2 b1, bij , ij i  1,,n; j  1,,m - ваги зв'язків від елементів інтерфейсних шарів Z1 і Z2 до елементів розпізнавальних шарів Y1 і Y 2 відповідно підмодулів M11,M12 ; рекомендоване початкове значення при навчанні: i  1,,n; j  1,,m ; t1 , t 2  j  1 , m; i  1 , n , , ji ji 2 b1  bij  1, ij - ваги зв'язків від елементів розпізнавальних шарів Y1 і Y 2 до елементів інтерфейсних шарів Z1 і Z2 , відповідно підмодулів M11,M12 ; рекомендоване початкове значення при навчанні: t1  t 2  1 , ji ji 13 62606 Pd , d  1 , m - нейрони проміжного шару, які ,  j  1,,m;i  1,,n ; tl3 і b l3 , l  1 ,k  , - ваги зв'язків, відповідно від нейронів X2 - шару, до нейронів O - шару, і від нейронів O - шару, до нейронів X2 - шару модуля M2 ;  l  1,,k; g  1,,m - ваги зв'язків від нейронів Xl2 , l  1 ,k  до елементів розпізнава, 3, льного шару Yg g  1 , m модуля M2 ; , 2 , 1 і H jd Qdg j, d, g  1 , m - ваги зв'язків від ві, 1 2 Vlg, Vgl , дповідно елементів розпізнавального шару модуля M1 до елементів проміжного P - шару й від елементів проміжного P - шару до елементів розпізнавального шару модуля M2 нейронної мережі; Q1 і H2 , g, d, j  1 , m - ваги зв'язків від ві, gd dj дповідно елементів розпізнавального шару модуля M2 до елементів проміжного P - шару й від еле ментів проміжного P - шару до елементів розпізнавального шару модуля M1 нейронної мережі; U ,U вих .S1 вих .S2 i l , i  1 , n; l  1 , k  - вихідні си, , гнали елементів сенсорних S - шарів, відповідно модулів M1 і M2 нейронної мережі; і U p ,U p вх.Z вих .Z i i U вх.Z3 l p  1,2;i  1,,n;l  1,,k ,U вих .Z3 l , - вхідні й вихідні сигнали елементів інтерфейсних Z - шарів, відповідно підмодулів M11,M12 і модуля M2 нейронної мережі; U ,U вих .Y1 вих .Y 2 j j j  1,,m , - вихідні сигнали розпізнавальних елементів, відповідно підмодулів M11,M12 нейронної мережі; U ,U 3 вих .X1 вих .Yg j сигнали нейронів відповідно шарів і керуючих нейронів дуля M2 нейронної мережі; S u1 u2 1 , S1 S , u1 u2 2 , S2 ,, S u1 u2 q , Sq R l2 Ol, Al, Bl, Cl , , l  1 ,k  мо,  - пари асоціати вних зображень, що належать до навчальної мноu жини M   u u M1 , Mu ,, ML 2 ; Mu , h  1 ,L - вхідні зображення, що нале, h жать до L образів (динамічних режимів), L  q ;  зв'язують модулі M1 й M2 асоціативний нейронної мережі; Ih min ti ,Ih max ti , h  1 , L; w  1 , K; ti  0,1 2, , , , w w - відповідно мінімальне й максимальне значення змінної Iw ti  в h -м, h  1 ,L режимі функціону, вання об'єкта у враховуваній множині I    2 2 Su1  S11,, S1 , Su2  Sr1,, Srk , r  1 , q , r r rn r безперервні вхідні вектори r -ї пари асоціативних зображень, відповідно для модулів M1 і M2 ; Y - норма вектора Y ;  ,Ih 2 ti ,,Ih h ti  навчаючих процесів w wM h w1 t i у мо менти часу t i ; K - число процесів у динамічному режимі; Алгоритм навчання двоспрямованої асоціативної пам'яті, побудованої на основі безперервних нейронних мереж АРТ-2Д і АРТ-2, передбачає виконання наступних кроків: Крок 1. Ініціюються параметри подібності й всі ваги зв'язків асоціативної нейронної мережі. Крок 2. Задаються нульові вихідні сигнали всіх розпізнавальних елементів підмодулів M11,M12 і модуля M2 нейронної мережі: U вих .Y1 j  0; U вих .Y 2 j  0; U вих .X1 j  0; U 3 вих .Yg  0; j, g  1 , m , . Крок 3. Для кожної навчальної множини Mu , h h  1,,L вхідних зображень, що належать до одного режиму функціонування об'єкта, виконуються кроки 4 - 22. Крок 4. Для кожної множини Mu , h  1 ,L , h вхідних зображень, що належать до одного режиму функціонування об'єкта, визначається множина верхніх Ih max ti  і нижніх Ih min ti  огинальних для w w кожного з K процесів:   Ih max ti   max Ih 1ti ,Ih 2 ti ,,Ih h ti  , h  1 , L; w  1 , K , , w w w wM ; ti  0,1 2,, T  n  1 , , , j, g  1 , m - вихідні сигнали , розпізнавальних елементів модулів M1 і M2 нейронної мережі; Uвих .Ol , Uвих .Al ,Uвих .Bl , Uвих .Cl , Uвих .Rl - вихідні l  1,,k 14   Ih min ti   min Ih1ti ,Ih2 ti ,,Ih h ti  , h  1 , L; q  1 , K , , q q q qM ; ti  0,1 2,, T  n  1 . , Отриманими огинальними активізуються нейрони сенсорного шару S1 , i  1 ,n модуля M1 : , i U вих .S1 i  Su1, i  1 , n . , ri Нейрони сенсорного шару Sl2 , l  1 ,k  мо, дуля M2 нейронної мережі активізуються безперервним вхідним вектором, що відповідає r -й парі асоціативних зображень: U вих .S2 l  Su2, l  1 , k . , rl Крок 5. Для двох вхідних зображень виконуються кроки алгоритму 6-24. Крок 6. Формуються вхідні сигнали елементів інтерфейсних шарів Z1, Zi2 i і Z l3 , 15 i  1,,n;l  1,,k 62606 підмодулів M11,M12 і модуля p вх.Z i U ;U вих .S1 вх.Z3 i l U вих .S2 l ; p  12; i  1 , n; l  1 , k , , , . Крок 7. Формуються вихідні сигнали елементів інтерфейсних Z1, Zi2 i шарів i  1,,n;l  1,,k і підмодулів M11,M12 і модуля U p ;p вх.Z i вхідні сигнали нейронів l  1,,k модуля M2 нейронної мережі: U , 2  Uвих .Ol , l  1 , k . вих .X l Крок l  1,,k вих .Z3 l U l  1,,k 8. Вихідні сигнали вих .X 2 1 Крок 15. нейронів Z l3 , модуля M2 надходять на вхід нормалі зуючого модуля G1 , що обчислює норму вектора вихідних сигналів U вих .Z3 l Z3  U2 вих .Z 3 l вих .Z3 k l  1,,k входи нейронів A l , l  1 ,k  модуля M2 нейрон, ної мережі, вхідні сигнали яких визначаються за виразом: U вих .Z3 l , l  1 , k , Uвх.А l  , e  Z3 ленню на нуль у випадках, коли Z3  0 . Uвих .Bl  Uвих .Al  b  Uвих .Cl , l  1 , k  , , нейронів Bl , лізуючого модуля G2 , що обчислює норму вектора вихідних сигналів Uвих .B , l  1 ,k  : , l 2 2 B  Uвих.B1    Uвих.Bk . l  1,,k ються нейронів Ol , модуля M2 нейронної мережі визнача по вихідних сигналах l  1,,k : Uвих .Ol  Uвих .Bl e B сигнали елементів вих .X2 l 2 нейронів Bl , , l  1 , k . , Крок 13. Якщо нейрон-переможець в Y 3 - шарі Xl2 , , l  1,, k . e X l  1,,k g  1,,m : k U 3 вих .Yg посилають 1   VlgU вих .X2 l l1 3 Yg , , g  1 , m . , При цьому для всіх незагальмованих розпізнавальних Y - нейронів підмодулів M11,M12 нейронної мережі розраховуються їхні вихідні сигнали: n U вих .Yk j вих .Yk j   bkU ij i1 вих .Zk i якщо ,  1 k  1 2; j  1 , m . , , , 3 Крок 17. Серед розпізнавальних нейронів Yg , g  1,,m модуля M2 надходять на входи норма сигнали Вихідні , l  1,, k . свої вихідні сигнали на входи нейронів U Крок 10. Визначаються вихідні сигнали нейронів Bl , l  1 ,k  модуля M2 нейронної мережі: , Вихідні вих .X 2 l U де e - позитивна константа, що запобігає ді 12.    U2 Крок 16. Нейрони Xl2 , ного шару Z l3 , l  1 ,k  надходять на відповідні , Крок , l  1 ,k  : , модуля M2 нейронної мережі визнача Uвих .Cl  Крок 9. Вихідні сигнали елементів інтерфейс l  1,,k Xl2 , M2 : . де b - позитивна константа. Крок 11. Вихідні сигнали нейронів ють вхідні сигнали нейронів C l , l  1 ,k  модуля , , l  1 ,k  : ,    U2 сигнали модуля M2 надходять на входи норма X2  U2 де a - ваговий коефіцієнт. Крок Вихідні вих .X2 l  a  Uвих .Ol , l  1 , k , , вх.Z3 l 14. ра вихідних сигналів U  12; i  1 , n . , , Для модуля M2 : U однозначно визначають лізуючого модуля G3 , що обчислює норму векто Для підмодулів M11,M12 : p вих .Z i l  1,,k Xl2 , Z l3 , M2 асоціативної нейронної мережі. U модуля M2 ще не визначений, то вихідні сигнали нейронів O l , M2 нейронної мережі: U 16 модуля M2 визначається нейрон 3 переможець YG , що має найбільший вихідний сигнал: U , 3 U 3 , g  1 , m . вих .Y G вих .Yg При цьому в розпізнавальних Y - шарах підмодулів визначаються нейрониM11,M12 1 2 переможці, відповідно YJ, YJ , що задовольняють умові: U , , k U k , k  1 2; j  1 , m . вих .Y J вих .Y j 1 2 3 Якщо елементів YJ, YJ і YG в розпізнавальних Y - шарах підмодулів M11,M12 і модуля M2 декілька, то вибираються елементи з найменшими індексами. Якщо знайдений нейрон-переможець є загальмованим, то вхідне зображення для даного модуля не може бути запам'ятоване. 17 Крок 18. 62606 Вихідним сигналам нейронів 1 2 3 переможців YJ, YJ , YG присвоюються значення: U ; 1 U 2  1U 3  1, вих .Y J вих .Y J одиничні вих .Y G а всі інші незагальмовані нейрони розпізнавальних шарів підмодулів M11,M12 і модуля M2 переводяться в неактивний стан: ; U , 1 U 2  0; j  1 , m; j  J вих .Y j вих .Y j U 3 вих .Yg 18 Ih min ti  значенням або, іншими словами, значенk ням отриманих змінних, що знаходяться у відповідних полях між двома огинальними, і визначаються по співвідношеннях: 1, якщо Ih max ti   Ih ti , k  1,, K, ti  0,1,, T  n  1,  k k h P1 k, ti    h h 0, якщо Ik max ti   Ik ti , k  1,, K, ti  0,1,, T  n  1,  1, якщо Ih min ti   Ih ti , k  1,, K, ti  0,1,, T  n  1,  k k h P2 k, ti    h h 0, якщо Ik min ti   Ik ti , k  1,, K, ti  0,1,, T  n  1;   0; g  1 , m; g  G . , h h h P1 k, ti  і P2 k, ti  - норми функцій P1 k, ti  і Крок 19. Розраховуються вихідні сигнали елементів інтерфейсних шарів Z1, Zi2 , i  1 ,n від, i h P2 k, ti  , обумовлені співвідношеннями: повідно підмодулів M11,M12 нейронної мережі: U U t1 , i вих .Z1 вих .Y1 Ji i J t2 ,i вих .Y 2 Ji J вих .Z2 i При  1 , n , , U U цьому визначення нейрона 3 переможця YG в розпізнавальному Y 3 - шарі мо дуля M2 , вихідними сигналами від нейронів Xl2 і Ol , l  1,,k визначаються значення вихідних сигналів нейронів R l2 , l  1 ,k  : , Uвих .Ol  Uвих .Bl e B U  вих .R 2 l ,l вих .Y 3 G Uвих .Ol  xl  U вих .X 2 l e  O  xl  X l  1,,k Вихідні сигнали нейронів R l2 , модуля M2 подаються на вхід виріша льного нейрона R2 , що розраховує норму вектора вихідних сигналів R l2 , l  1 ,k  : , R2  Uвих .Ol  xl  U вих .X 2 l 2 O  xl  X . При цьому визначаються також параметри подібності p1, p1 відповідно для підмодулів M11,M12 1 2 нейронної мережі: p1  1 h P1 k, ti  K T  1 , p1  2 h P2 k, ti  K T  1 , де k, ti  й k, ti  - функції, що відповідають h -му динамічному режиму, розпізнаваному по h P1 T k 1ti 0 них сигналів нейронів R l2 , l  1 ,k  з параметром , подібності p 2 між вхідним зображенням і зображенням, що зберігається у вагах зв'язків нейрона2 R 2, p модуля M2 то нейрон нейронної мережі. 3 YG загальмовується Якщо R2  p2 , то відбувається навчання ваг зв'я , l  1,, k , до нейрона R l2 , l  1 ,k  модуля M2 нейронної , мережі. 20. K h   P2 k, ti  ,   й не приймає надалі участі в змаU  вих .Y3  1  G   ганнях при пред'явленні поточного зображення.  1 , k ; , де xl - вага зв'язку від нейрона Xl2 , l  1 ,k  , Крок h P2 k, ti   Крок 21. Елемент R2 модуля M2 нейронної мережі виконує порівняння норми вектора вихід Якщо 2  Uвих .Ol  VGl  U вих .X2 l k 1ti 0 3 нереможця YG , l  1 , k ; , U T h   P1 k, ti , де K - число процесів у розпізнаваних режимах функціонування об'єкта.  1 , n . , після K h P1 k, ti   h P2 відповідно максимальним Ih max ti  і мінімальним k 3 зків перемігшого нейрона YG . При цьому, по обчислених параметрах подіб ності p1, p1 перевіряється також правильність ви1 2 бору 1 2 YJ, YJ нейронів-переможців M11,M12 нейронної мережі. Якщо не виконується, елемент U вих .Y1 J 1 YJ p1 1 підмодулів 1, p то умова загальмовується:  1 ; здійснюється перехід до другої час тини кроку 17 алгоритму. Якщо p1  p1 , то умова, 1 що підтверджує правильність вибору нейрона1 переможця YJ підмодуля M11 , виконується й здійснюється перехід до наступного кроку алгоритму. Аналогічним образом проводиться перевірка пра 2 вильності вибору нейрона-переможця YJ у відпо відному йому шарі Yj2 , j  1 , m підмодуля M12 , нейронної мережі. Крок 22. Адаптуються ваги зв'язків елементів 1 2 3 YJ, YJ , YG відповідно для підмодулів M11,M12 модуля M2 нейронної мережі: і 19 b1  U iJ , t1 вх.Z1 Ji i U 2 biJ  U 62606 2 2 , t Ji  U вх.Z i 1 VlG  U вх.X2 l ,i вх.Z1 i  1 , n ; , , 2 , i  1 , n ; вх.Z i 2 , VGl  U вх.X2 l , l  1 , k . , 1 2 Крок 23. Пара нейронів-переможців YJ, YJ активізує відповідний їм елемент розпізнавального шару X1 модуля M1 нейронної мережі. Крок 24. Перевіряється умова закінчення навчання модуля M1 і M2 нейронної мережі, якщо вона не виконується, то навчання триває, у протилежному випадку здійснюється перехід на наступний крок алгоритму з метою визначення ваг зв'язків нейронів P - шару. Крок 25. Для кожної пари вхідних зображень S u1 u2 r , Sr 20 мента PJr , що, у свою чергу, в активний стан переводиться нейроном-переможцем X1 . При цьоJr 3 му вихідному сигналу нейрона-переможця YGr присвоюється одиничне значення: U вих .Y3 Gr всі інші нейрони розпізнавального шару модуля M2 нейронної мережі переводяться в неактивний стан: U , , 3  1U 3  0; g  1 , m; g  Gr . вих .Y Gr U r  1,, q , що подаються відповідно на входи модулів M1 і M2 нейронної мережі, визначаються 3 нейрони-переможці X1 , YGr модулів M1 і M2 нейJr ронної мережі. Крок 27. Визначаються ваги зв'язків між ней роном-переможцем X1 модуля M1 , й елементаJr ми P - шару: H1 ,Jr Jr  H2 ,Jr Jr  1 H1 ,d ; Jr  H2Jr j,  0, d, j  1 , m; d  Jr; j  Jr , . Крок 28. Визначаються ваги зв'язків між ней3 роном-переможцем YGr модуля M2 й елементами P - шару: Q2 ,Gr  Q1 ,Jr  1 Q1 ,d  Q2,Gr  0, d, g  1 , m; d  Jr; g  Jr ; Gr , Jr Gr g . Крок 29. Зупин. Алгоритм роботи у режимі визначення асоціативних зображень пристрою безперервної двоспрямованої асоціативної пам'яті, побудованої на основі безперервних нейронних мереж АРТ-2Д і АРТ-2, передбачає виконання наступних кроків: Крок 1. Ініціюються параметри подібності нейронної мережі та всі її ваги зв'язків. Крок 2. На вхід одного з модулів мережі подається вхідне зображення. Припустимо, що вхідне зображення S1 подається на вхід модуля M1 нейr ронної мережі. Тоді аналогічним образом, як і в алгоритмі навчання, визначається нейронпереможець X1 модуля M1 нейронної мережі. Jr 3 Крок 3. Визначається нейрон-переможець YGr модуля M2 нейронної мережі. Він виділяється не в результаті змагання між розпізнавальними елементами модуля M2 , а одиничним сигналом еле вих .Yg Крок 4. Розраховуються вихідні сигнали , 2 , Uвих .Ol , U 3 , l  1 , k  відповідно еле вих .X l вих .Z l l  1,,k Xl2, Ol, Zl3 , ментів шару ронної мережі:  , r  1,, q виконуються кроки 26-29. Крок 26. Вхідними зображеннями Su1 і Su2 , r r  1, а U вих .X2 l 2  VGl  U вих .Y 3 G модуля M2 ней ; Uвих .Ol  U вих .X2 l ;U вих .Z3 l  Uвих .Ol . Крок 5. На основі вихідних сигналів елементів інтерфейсного шару Z l3 , l  1 ,k  модуля M2 , нейронної мережі, формуються вхідні й вихідні сигнали елементів сенсорного шару Sl2 , l  1 ,k  , модуля M2 нейронної мережі. Отримане на виході   2 2 2 модуля M2 зображення Sr  Sr1,, Srk є асоціа   цією зображенню S1  S11,, S1 , r  1 , q , що , r r rn подається на елементи сенсорного шару нейронів модуля M1 нейронної мережі. Крок 6. Зупин. Джерела інформації: 1. Пат. 18624 Україна, МПК G06G 7/00. Пристрій двоспрямованої асоціативної пам'яті / Дмитрієнко В. Д., Заковоротний О. Ю.; заявник та власник патенту Національний технічний університет «Харківський політехнічний інститут». - № u 2006 05460; заявлено 19.05.2006; опубліковано 15.11.2006, Бюл. № 11. 2. Пат. 33321 Україна, МПК G06G 7/00. Пристрій двоспрямованої аналого-дискретної асоціативної пам'яті / Дмитрієнко В. Д., Заковоротний О. Ю., Романов О. Ю.; заявник та власник патенту Національний технічний університет «Харківський політехнічний інститут». - № u 2008 00804; заявлено 23.01.2008; опубліковано 10.06.2008, Бюл. № 11. 3. Пат. 47481 Україна, МПК G06G 7/00. Пристрій аналогової двоспрямованої асоціативної пам'яті / Дмитрієнко В. Д., Заковоротний О. Ю., Романов О. Ю.; заявник та власник патенту Національний технічний університет «Харківський політехнічний інститут». - № u 2009 07222; заявлено 10.07.2009; опубліковано 10.02.2010, Бюл. № 3. 21 Комп’ютерна верстка А. Крулевський 62606 Підписне 22 Тираж 23 прим. Державна служба інтелектуальної власності України, вул. Урицького, 45, м. Київ, МСП, 03680, Україна ДП “Український інститут промислової власності”, вул. Глазунова, 1, м. Київ – 42, 01601