Пристрій для обробки слабоструктурованих даних на основі мереж байєса

1. Пристрій для обробки слабоструктурованих даних на основі мереж Байєса, що містить послідовно з’єднані шинами даних блок вводу даних, блок побудови мережі Байєса, блок пам’яті зберігання побудованої мережі Байєса, блок виводу результатів, зв’язані з блоком керування, який відрізняється тим, що додатково містить блок агрегування даних, вхід якого з’єднаний з виходом блока вводу даних, вихід з’єднаний з входом блока побудови мережі Байєса. 2. Пристрій за п. 1, який відрізняється тим, що додатково містить послідовно з’єднані шинами даних блок побудови таблиці умовних U 2 (19) 1 3 28751 4 множини інстанційованих значень, вхід якого Відомий статистичний аналізатор [заявка на з’єднаний з виходом блоку вводу даних, та винахід РФ RU №2004134293/09, G06F17/18, 2006, послідовно з’єднані шинами даних блок побудови бюл. №13] [3], який базується на використанні матриці емпіричних значень сумісного розподілу блоку визначення належності вибірки до одного з ймовірностей всієї мережі Байєса, вхід якого чотирьох типів та застосуванні блоку обчислення з’єднаний з виходом блоку агрегування даних, математичного очікування та блоку визначення блок пам’яті зберігання матриці емпіричних Гама-функції. Недоліками даного пристрою значень сумісного розподілу ймовірностей всієї постають також достатньо вузькі функціональні мережі Байєса та блок пам’яті формування можливості через застосування зафіксованої імовірнісного виводу, вхід якого з’єднаний з обмеженої типізації вибірок даних, відсутність виходом блоку пам’яті зберігання побудованої можливості врахування різнотипних вхідних даних мережі Байєса і з виходом блоку вводу даних, та та недостатня якість визначення вихідного сигналу вихід якого з’єднаний з входом блоку виводу без здійснення імовірнісного виводу. результатів. Структура операційних блоків Відомі пристрій вибору оптимального дерева пристрою та їх функціональна реалізація рішень для обробки даних [міжнародна заявка за забезпечують побудову мережі Байєса вузлів РСТ №WO03/075182Al, G06F17/30, 12.09.2003] [4] станів системи за навчальними статистичними та аналізатор дерева рішень [заявка на патент даними та визначення вихідного сигналу пристрою США US №2004/0199484А1, G06N5/02, G06F9/44, через виконання ймовірнисного виводу у G06N7/02, G06N7/06, G06F17/00, 07 Д 1.2004] [5]. побудованій мережі Байєса. При цьому пристрій Вони базуються на застосуванні Байєсового містить блок агрегування даних і передбачає два підходу, проте вони не передбачають здійснення ланцюги блоків формування імовірнісного виводу імовірнісного виводу вихідного сигналу на основі для визначення результуючого сигналу: блоки різнотипних слабоструктурованих даних, та виводу через таблицю умовних ймовірностей (ТУІ) потребують відносно багато часу на одержання та через матриці емпіричних значень спільного вихідного сигналу. розподілу ймовірностей всієї мережі Байєса. Найбільш близьким до заявленої корисної Технічним результатом корисної моделі є моделі аналогом є система з адаптивною забезпечення обробки слабоструктурованих мережею Байєса (МБ) моделювання обробки даних, поєднання даних різного типу, спільного даних [патент США US №6973459B1, G06F17/30, врахування кількісних і якісних вхідних даних, 06.12.2005] [6], яка містить функціональні блоки зменшення часу на одержання результату і керування, вводу даних, виводу результатів, підвищення якості імовірнісного виводу для зберігання навчальних даних, побудови моделі визначення вихідного результуючого сигналу. мережі Байєса, пам’яті побудованої мережі, Перелік фігур креслення. вибору і заміни моделі та блок визначення і Фіг. Структура пристрою для обробки прогнозування вихідного значення. Основним слабоструктурованих даних на основі мереж недоліком системи є орієнтація на однотипні Байєса. структуровані дані, що суттєво звужує галузі її На Фіг. зображені функціонально-операційні застосування. блоки пристрою та зв’язки між ними. Тонкими Задача корисної моделі, що вирішується, стрілками показані сигнали керування, а широкими полягає у розробці пристрою автоматичної стрілками - шини даних, що з’єднують відповідні обробки (перетворення) статистичних даних будьблоки. якого типу для одержання вихідного сигналу, що Суть корисної моделі полягає у створенні визначає поточний та прогнозний стан системи чи пристрою обробки слабоструктурованих даних, процесу, який здатний враховувати спільно як який складається з таких операційних блоків: кількісні, так і якісні вхідні дані, нечіткі та неповні блока керування 1, блока вводу даних 2, блока дані, зменшує час одержання результату, агрегування даних 3, блока побудови МБ 4, блока підвищує якість і точність виводу. пам’яті зберігання побудованої МБ 5, блока Поставлена задача вирішується завдяки тому, перевірки множини інстанційованих значень 6, що пристрій для обробки слабоструктурованих блока побудови матриці емпіричних значень даних на основі мереж Байєса містить блок спільного розподілу ймовірностей всієї мережі керування, послідовно з’єднані блок вводу даних, Байєса 7, блока пам’яті зберігання матриці блок побудови мережі Байєса, блок пам’яті емпіричних значень спільного розподілу зберігання побудованої мережі Байєса, блок ймовірностей всієї мережі Байєса 8, блока пам’яті виводу результатів, блок агрегування даних, вхід формування імовірнісного виводу А 9, блока якого з’єднаний з виходом блоку вводу даних, та побудови ТУІ 10, блока пам’яті зберігання ТУІ 11, вихід якого з’єднаний з входом блоку побудови блока пам’яті формування імовірнісного виводу Б мережі Байєса. Крім того, пристрій містить 12, блока виводу результатів 13. Блок керування 1 послідовно з’єднані шинами даних блок побудови з’єднаний з блоком вводу даних 2, блоком таблиці умовних імовірностей, вхід якого з’єднаний агрегування даних 3, блоком побудови МБ 4, з виходом блоку агрегування даних, блок пам’яті блоком перевірки множини інстанційованих зберігання таблиці умовних імовірностей та блок значень 6, блоком побудови матриці емпіричних пам’яті формування імовірнісного виводу, вхід значень спільного розподілу ймовірностей всієї якого з’єднаний з виходом блоку пам’яті зберігання мережі Байєса 7, блоком пам’яті формування побудованої мережі Байєса, та вихід якого імовірнісного виводу А 9, блоком побудови ТУІ 10, з’єднаний з входом блоку виводу результатів. блоком пам’яті формування імовірнісного виводу Б Додатково пристрій містить блок перевірки 5 28751 6 маючи інформацію про структуру моделі МБ та 12 двосторонніми шинами керування, а з блоком інстанційовані значення виконується послідовний виводу результатів 13 односторонньою шиною перебір всіх вузлів МБ. Якщо вузол не є керування (від блоку 1 у бік блоку 13) для передачі інстанційованим, то виконується розрахунок усіх сигналів керування. Сигнали керування на Фіг. можливих станів цього вузла. Після чого зображені тонкими стрілками. Крім цього, певні проводиться послідовний перебір усіх строк блоки пристрою поєднані один з одним матриці емпіричних значень спільного розподілу односторонніми шинами даних. Так вихід блоку 2 ймовірностей всієї МБ, і якщо значення вузла з’єднаний з входом блоку 3, блоку 6 і блоку 9; строки співпадає із значеннями інстанційованих вихід блоку 3 - з входом блоку 4, блоку 7 і блоку вузлів і значенням аналізованого вузла, то 10; вихід блоку 4 - з входом блоку 5; вихід блоку 5 відповідне значення додається до значення - з входом блоку 9 і входом блоку 12; вихід блоку 7 імовірності відповідного стану аналізованого - з входом блоку 8; вихід блоку 8 - з входом блоку вузла. Після цього виконується нормування 9; вихід блоку 9 - з входом блоку 13; вихід блоку 10 значень ймовірностей станів аналізованого вузла. - з входом блоку 11; вихід блоку 11 - з входом Блок побудови ТУІ 10 призначений для блоку 12; вихід блоку 12 - з входом блоку 13. побудови ТУІ для кожного вузла МБ за множиною Блок керування 1 призначений для генерації навчальних даних. сигналів керування, що забезпечують роботу Блок пам’яті зберігання ТУІ 11 призначений всього пристрою, та обробку сигналів керування, для зберігання ТУІ всіх вузлів МБ. які поступають від зв’язаних з ним блоків. Блок пам’яті формування імовірнісного виводу Блок вводу даних 2 призначений для вводу Б 12 призначений для виконання імовірнісного даних в пристрій, які складаються з а: множини виводу. Для здійснення імовірнісного виводу навчальних даних та b: множини інстанційованих застосовується класичний метод прямого значень (значень вузлу МБ з одиничною розповсюдження ймовірностей по МБ [8]. Спочатку ймовірністю). рахуються імовірності значень кореневих вузлів, Блок агрегування даних 3 призначений для тобто вузлів у яких відсутні батьківські вузли. виконання операції агрегування даних відносно Після цього визначаються імовірності усіх інших множини навчальних даних введених в блок вводу вузлів за формулою Байєса та ТУІ. даних 2. Операція агрегування здійснюється Блок виводу результатів 13 призначений для наступним чином, якщо якийсь вузол з множини здійснення виводу остаточного результату навчальних даних приймає числові значення, то ці розрахованих прогнозних значень вузлів МБ. числові значення замінюються інтервальними Функціонування запропонованого пристрою оцінками. складається з такої послідовності операцій. Блок побудови МБ 4 призначений для Крок 1. Блок керування 1 подає сигнал 1 для виконання операції побудови МБ за навчальними приведення блока вводу даних 2 в робочий стан. даними, переданими з блока агрегування даних 3. Крок 2. В блок вводу даних 2, через шину Для побудови МБ застосовується евристичний даних 3, здійснюється введення даних в пристрій. метод побудови МБ за навчальними даними [7], Дані для вводу складаються з множини який складається з двох етапів. На першому етапі навчальних даних та множини інстанційованих здійснюється розрахунок значення взаємної значень. інформації між всіма вузлами мережі. На другому Крок 3. Після того, як введення даних етапі виконується цілеспрямований пошук, який завершено, з блока вводу даних 2 подається застосовує в якості функції оцінки описання сигнал 2, про успішне завершення операції мінімальною довжиною. введення даних в пристрій, в блок керування 1. Блок пам’яті зберігання побудованої МБ 5 Крок 4. Блок керування 1 подає сигнал 4 для призначений для зберігання побудованої МБ. приведення блока агрегування даних 3 в робочий Блок перевірки множини інстанційованих стан. значень 6 призначений для перевірки множини Крок 5. В блоці агрегування даних 3 інстанційованих значень. Якщо множина здійснюється операція агрегування числових інстанційованих значень не порожня, то пристрій даних, для чого з блок вводу даних 2 через шину продовжує працювати з групою операційних блоків даних 6 передається множина навчальних даних. 7-9, в противному випадку з групою операційних Операція агрегування здійснюється у такий спосіб: блоків 10-12. якщо якийсь вузол з множини навчальних даних Блок побудови матриці емпіричних значень приймає числові значення, то ці числові значення спільного розподілу ймовірностей всієї мережі замінюються інтервальними оцінками. Байєса 7 призначений для побудови матриці Крок 6. З блока агрегування даних 3 в блок емпіричних значень спільного розподілу керування 1 подається сигнал 5 про успішне ймовірностей всієї мережі Байєса за навчальними завершення, операції агрегування. даними. Крок 7. Блок керування 1 подає сигнал 7 для Блок пам’яті зберігання матриці емпіричних приведення блока побудови МБ 4 в робочий стан. значень спільного розподілу ймовірностей всієї Крок 8. Блок побудови МБ 4 здійснює мережі Байєса 8 призначений для зберігання побудову МБ за навчальними даними, які матриці емпіричних значень спільного розподілу передаються по шині даних 9 з блока агрегування ймовірностей всієї МБ. даних 3. Для побудови МБ застосовується Блок пам’яті формування імовірнісного виводу евристичний метод побудови МБ за навчальними А 9 призначений для розрахунку імовірнісного даними [7], який складається з двох етапів. На виводу. Операція виконується у такий спосіб: 7 28751 8 аналізованого вузла, то відповідне значення першому етапі здійснюється розрахунок значення додається до значення імовірності відповідного взаємної інформації між всіма вузлами мережі. На стану аналізованого вузла. Після цього другому етапі виконується цілеспрямований виконується нормування значень ймовірностей пошук, який застосовує в якості функції оцінки станів аналізованого вузла. описання мінімальною довжиною. Крок 20. Блок 9 подає сигнал 19 в блок Крок 9. В блоці пам’яті 5 здійснюється керування 1 про успішне виконання операції зберігання побудованої МБ, для чого з блока формування імовірнісного виводу. побудови МБ 4, по шині даних 10, передається Крок 21. Блок керування 1 подає сигнал 23 відповідна інформація. приведення блока виводу результатів 13 в Крок 10. Блок побудови МБ 4, подає сигнал 8 в робочий стан. блок керування 1 про успішне виконання операції Крок 22. Блок виводу результатів 13 здійснює побудови МБ та збереження МБ в блоці пам’яті 5. вивід остаточного результату - розрахованих Крок 11. Блок керування 1 подає сигнал 11 прогнозних значень вузлів по шині даних 25 для приведення блока перевірки множини чого з блока пам’яті формування імовірнісного інстанційованих значень 6 в робочий стан. виводу 9 по шині даних 24 передається відповідна Крок 12. В блоці 6 здійснюється перевірка інформація. множини інстанційованих значень. Для чого по Крок 23. З блока 6 в блок керування 1 шині даних 13 передається множина подається сигнал 12, який містить інформацію про інстанційованих значень. Якщо множина те, що множина інстанційованих значень порожня. інстанційованих значень не порожня пристрій Крок 24. Блок керування 1 подає сигнал 26 продовжує працювати з кроку 13, в противному приведення блока побудови ТУІ 10 в робочий випадку з кроку 23. стан. Крок 13. З блока 6 в блок керування 1 Крок 25. Блок 10 виконує побудову ТУІ для подається сигнал 12, який містить інформацію про кожного вузла МБ, для чого з блока агрегування те, що множина інстанційованих значень не даних 3 по шині даних 28 передаються навчальні порожня. дані. Крок 14. Блок керування 1 подає сигнал 14 Крок 26. В блоці пам’яті 11 здійснюється приведення блока 7 в робочий стан. зберігання ТУІ всіх вузлів МБ, для чого з блока 10 Крок 15. В блоці 7 здійснюється побудова по шині даних 29 передається відповідна матриці емпіричних значень спільного розподілу інформація. ймовірностей всієї мережі Байєса за навчальними Крок 27. Блок 10 подає сигнал 27 в блок даними. Ця інформація передається по шині даних керування 1 про успішне виконання операцій 16 з блока агрегування даних 3. В блоці 7 побудови ТУІ для всіх вузлів МБ та їх збереження виконується розрахунок ймовірностей здійснення в блоці пам’яті 11. кожної можливої спільної події всіх вузлів мережі. Крок 28. Блок керування 1 подає сигнал 30 Крок 16. В блоці пам’яті 8 здійснюється приведення блока 12 в робочий стан. зберігання матриці емпіричних значень спільного Крок 29. В блоці 12 виконується імовірнісний розподілу ймовірностей всієї мережі Байєса, для вивід. Для цього з блока 11 по шині даних 32 чого з блока 7 по шині даних 17 передається передаються ТУІ, а з блока пам’яті зберігання відповідна інформація. побудованої МБ 5 по шині 33 передається Крок 17. Блок 7 подає сигнал 15 в блок інформація про структуру моделі МБ. Для керування 1 про успішне виконання операцій здійснення імовірнісного виводу застосовується побудови матриці емпіричних значень спільного класичний метод прямого розповсюдження розподілу ймовірностей всієї мережі Байєса та ймовірностей по МБ [8]. Спочатку рахуються збереження цієї матриці в блоці пам’яті 8. імовірності значень кореневих вузлів, тобто вузлів Крок 18. Блок керування 1 подає сигнал 18 у яких відсутні батьківські вузли. Після цього приведення блока 9 в робочий стан. рахуються імовірності усіх інших вузлів за Крок 19. В блоці 9 здійснюється розрахунок формулою Байєса та ТУІ. імовірнісного виводу. Для цього з блока вводу Крок 30. Блок 12 подає сигнал 31 в блок даних 2 в блок 9 по шині даних 20 передається керування 1 про успішне виконання операції множина інстанційованих значень, а з блока формування імовірнісного виводу. пам’яті зберігання побудованої МБ 5 по шині даних Крок 31. Блок керування 1 подає сигнал 23 21 передається інформація про структуру моделі приведення блока виводу результатів 13 в МБ. Надалі маючи інформацію про структуру МБ робочий стан. та інстанційовані значення виконується Крок 32. Блок виводу результатів 13 здійснює послідовний перебір всіх вузлів МБ. Якщо вузол не вивід остаточного результату - розрахованих є інстанційованим, то потрібно виконати прогнозних значень вузлів, по шині даних 25, для розрахунок усіх можливих станів цього вузла. Для чого з блока пам’яті формування імовірнісного чого з блока пам’яті 8 в блок 9 по шині даних 22 виводу 12, по шині даних 34, передається передаються значення матриці емпіричних відповідна інформація. значень спільного розподілу ймовірностей всієї Обробка запропонованим пристроєм мережі Байєса. Після чого проводиться кількісних і якісних даних, перетворення послідовний перебір усіх строк матриці емпіричних слабоструктурованих та нечітких даних, значень спільного розподілу ймовірностей всієї зменшення часу на одержання результуючого МБ. Якщо значення вузла строки співпадає зі вихідного сигналу відбувається через значеннями інстанційованих вузлів і значенням 9 28751 10 використання блоку агрегування даних 3 та блоків сетей// Кибернетика и системный анализ. - 2005. 4,5 і блоків 7-12, що забезпечують визначення 4. - с.133-147. вихідного сигналу пристрою на основі принципу ймовірнисного виводу у мережі Байєса вузлів станів системи, яка будується за навчальними статистичними даними. Наявність в пристрої двох ланцюгів операційних блоків формування імовірнісного виводу для визначення результуючого сигналу (блоків виводу через таблицю умовних ймовірностей (блоки 10-12) та блоків виводу через матриці емпіричних значень спільного розподілу ймовірностей всієї мережі Байєса (блоки 7-9) забезпечує підвищення якості і точності імовірнісного виводу для визначення вихідного результуючого сигналу. Така структурна схема пристрою для одержання більш точного і якісного імовірнісного виводу передбачає використання необхідних блоків в залежності від вхідних даних, які поступають на вхід пристрою - у блок вводу даних 2. Таким чином, заявлена корисна модель пристрій для обробки слабоструктурованих даних на основі мереж Байєса, - вирішує поставлену задачу і забезпечує досягнення технічного результату. Практична реалізованість корисної моделі випливає з використання операційних блоків, які забезпечують виконання елементарних функціональних процедур з введення, зберігання, перетворення, передачі даних та видачі вихідного результуючого сигналу. Список використаної літератури 1. Бидюк П.И., Терентьев А.Н., Коршевнюк Л.А. Применение байесовских сетей для интеллектуального анализа данных// Інтелектуальні системи прийняття рішень і прикладні аспекти інформаційних технологій: Матеріали НІЖ. Т.2 - Херсон: ПП Вишемирський B.C., 2007. - с.15-17. 2. Устройство для прогнозирования случайных событий. Пат. RU 2290689С1 РФ, МПК G06F17/18; Опубл. 27.12.2006, Бюл. изобретений и полезных моделей №36. 3. Статистический анализатор. Заявка на изобретение RU №2004134293/09 РФ, МПК G06F17/18; Опубл. 27.12.2006, Бюл. изобретений и полезных моделей №13. 4. Apparatus and method for selecting an optimal decision tree for data mining. Міжнародна заявка за РСТ. - № WO03/075182A1 (PCT/KR03/00407), МПК G06F17/30; Опубл. 12.09.2003. 5. Decision Tree Analysis. Заявка на патент US №2004/0199484А1 США, МПК G06N5/02, G06F9/44, G06N7/02, G06N7/06, G06F17/00; Опубл. 07.11.2004. 6. Adaptive Bayes network data mining modeling. Пат. US №6973459B1 США, МПК G06F17/30; Опубл. 06.12.2005. 7. Терентьев А.Н., Бидюк П.И. Эвристический метод построения Байесовских сетей// Математические машины и системы. - 2006. - 3.с.12-23. 8. Бидюк П.И., Терентьев А.Н., Гасанов А.С. Построение и методы обучения Байесовских