Автоматизована система тестування, навчання та моніторингу

Автоматизована система тестування та навчання, що містить персональний комп'ютер викладача, хоча б один індивідуальний пристрій тестування та сервер з мережевим підключенням до персонального комп'ютера викладача та індивідуального пристрою тестування, причому персональний комп'ютер викладача містить модуль формування блока даних та модуль передачі блока даних, причому сервер наділено базою даних екзаменаційного та навчального матеріалу, запам'ятовуючим пристроєм, базою даних для зберігання результатів тестування, пов'язаною з запам'ятовуючим пристроєм, та модулем аналізу результатів тестування, пов'язаним з базою даних для збе U 2 (19) 1 3 запам'ятовуючий пристрій, модуль вводу даних, пристрій для виводу даних, мікропроцесорний пристрій, модуль відліку часу, модуль аналізу результатів тестування, який проводить числовий підрахунок результатів тестування, та модуль передачі результатів виконання тестового завдання. Модуль аналізу результатів тестування, розміщений на сервері, реалізує числовий підрахунок результатів в порівнянні з еталонним часом, відведеним на відповідь. Відомо, що в автоматизованих системах тестування та навчання можуть змінюватись характеристики, що були визначені на стадії пілотного експерименту (сертифікації системи). Причинами таких змін можуть бути, як зміни, внесені в змістовну частину системи в процесі експлуатації, так і зміни в контингенті, для якого призначена система. Тому, недоліком автоматизованої системи тестування та навчання зазначеної в аналогу є те, що в системі відсутній моніторинг параметрів системи, який би дозволяв оцінювати якість системи в процесі її експлуатації. Отримана під час моніторингу інформація може бути використана також для підвищення точності оцінок підготовки тих, хто навчається, шляхом накопичення дослідної інформації та корегування попередніх результатів. В основу корисної моделі поставлена задача удосконалити відому систему шляхом реалізації функції моніторингу за допомогою введення додаткових модулів, що дозволять перевіряти якість системи після кожного сеансу тестування, уточнювати показники якості системи за рахунок статистичної обробки накопичених дослідних даних та підвищувати точність отриманих оцінок показників та оцінок рівня підготовленості опитуваних шляхом використання індивідуальних коригуючих дій на основі отриманих показників якості тестового простору. Поставлена задача вирішується тим, що автоматизована система тестування та навчання, що містить персональний комп'ютер викладача, хоча б однин індивідуальний пристрій тестування та сервер з мережевим підключенням до персонального комп'ютера викладача та індивідуального пристрою тестування, при чому персональний комп'ютер викладача містить модуль формування блока даних та модуль передачі блока даних, при чому сервер наділено базою даних екзаменаційного та навчального матеріалу, запам'ятовуючим пристроєм, базою даних для зберігання результатів тестування, пов'язаною з запам'ятовуючим пристроєм, та модулем аналізу результатів тестування, пов'язаним з базою даних для зберігання результатів тестування, при чому індивідуальний пристрій тестування містить послідовно з'єднані модуль отримання сформованого блока даних, запам'ятовуючий пристрій, модуль виводу даних та пристрій виводу інформації, а також послідовно з'єднані пристрій вводу інформації, модуль передачі результатів виконання тестового завдання та модуль аналізу результатів тестування, що пов'язані з мікропроцесорним пристроєм, та модуль відліку часу, пов'язаний з мікропроцесорним пристроєм доповнюється модулем калібрування тес 43616 4 тових завдань, базою даних характеристик тестових завдань, модулем корегування результатів тестування та модулем формування та передачі оцінки тестування, що розміщені на сервері, а також модулем запиту даних, розміщеного на персональному комп'ютері викладача, та модулем запиту результатів тестування, розміщеного на індивідуальному пристрої тестування. Суть корисної моделі пояснюється кресленням, де на Фіг. зображена структурна схема автоматизованої системи тестування, навчання та моніторингу, що заявляється. На структурній схемі позначено: 1- персональний комп'ютер викладача; 2 - модуль формування блока даних; 3 - модуль передачі блока даних; 4 модуль запиту даних: 5 - сервер; 6 - база даних екзаменаційного та навчального матеріалу; 7 запам'ятовуючий пристрій; 8 - база даних для зберігання результатів тестування; 9 - модуль аналізу результатів тестування; 10 - модуль калібрування тестових завдань; 11 - база даних характеристик тестових завдань; 12 - модуль корегування результатів тестування; 13 - модуль формування та передачі оцінок тестування; 14 - індивідуальний пристрій тестування; 15 - модуль отримання сформованого блока даних; 16 - запам'ятовуючий пристрій; 17 - модуль виводу даних; 18 - пристрій виводу даних; 19 - пристрій вводу інформації; 20 модуль передачі результатів виконання тестового завдання; 21 - модуль аналізу результатів тестування; 22 - мікропроцесорний пристрій; 23 - модуль відліку часу; 24- модуль запиту результатів тестування. Наведені модулі дозволяють проводити моніторинг системи, який реалізується за наступним алгоритмом. Сформований в модулі формування блока даних 2, що розміщений в персональному комп'ютері викладача 1, блок даних з тестових завдань за допомогою модуля передачі блока даних 3 та мережі передається на індивідуальний пристрій тестування 14, і через модуль отримання сформованого блока даних 15, запам'ятовуючий пристрій 16, модуль виводу даних 17 та пристрій виводу даних 18 надається учневі. Відповіді учня на тестові завдання через пристрій вводу 19, модуль передачі результатів виконання тестового завдання 20 та модуль аналізу результатів тестування 21 за допомогою мережі передаються на сервер 5. При цьому процесом тестування в індивідуальному пристрої тестування керує мікропроцесорний пристрій 22 та пов'язаний з ним модуль відліку часу 23. Отримані відповіді учня на тестові завдання зберігаються в запам'ятовуючому пристрої 7 та базі зберігання результатів тестування 8 сервера 5 та передаються в базу даних для зберігання результатів тестування 9. На основі інформації, отриманої з бази даних для зберігання результатів тестування модуль аналізу результатів тестування 9 проводить підрахунок первинних балів учня. На основі первинних балів, що передаються до модуля калібрування тестових завдань 10 проводиться розрахунок попередніх рівнів трудності завдань тесту та рівнів підготовленості опитуваних за ста 5 43616 ндартними алгоритмами теорії моделювання та параметризації тестів [2] за наступними формулами: q d0 = ln , (1) p p¢ q0 = ln , q¢ р' - відносна кількість завдань, на які правильно відповів опитуваний. За отриманими показниками трудності завдань тесту в модулі корегування результатів тестування 12 проводиться розрахунок скорегованих результатів тестування за формулою: (2) qnew = q0 + де d0 - початковий рівень трудності завдання тесту (розраховується для кожного завдання), q - відносна кількість опитаних, які неправильно відповіли на завдання, p - відносна кількість опитаних, які правильно відповіли на завдання, q0 - початковий рівень підготовленості опитуваних (розраховується для кожного опитуваного), q' - відносна кількість завдань, на які неправильно відповів опитуваний, d= 6 1 K å dL K L =1 , (3) де dL - попередні оцінки показника трудності завдань тесту (L = 1,2...К), на які відповідав учень. При другому та наступних сеансах використаннях системи в модулі калібрування тестових завдань 10 крім алгоритмів записаних в формулах (1) та (2) проводиться корегування показників трудності завдань тесту за формулою: nS _ 0 + nnew _ 0 1 , nS × qS + nnew × qnew + ln nS + nnew - nS _ 0 - nnew _ 0 nS + nnew ( де d - уточнений після нового сеансу тестування рівень трудності, що розраховується для кожного завдання; nS - кількість опитуваних, які проходили процедуру тестування до останнього сеансу тестування; nnew - кількість опитуваних, які проходили тестування в останньому сеансі тестування; `qS - середній рівень навченості, підрахований на основі попередніх ітерацій процедури тестування; `qnew - середній рівень навченості, підрахований на основі останньої процедури тестування; nS_0 - кількість опитуваних, які неправильно відповіли на дане завдання з тих, що проходили процедуру тестування до останнього сеансу тестування; nnew_0 - кількість опитуваних, які неправильно відповіли на дане завдання з тих, що проходили процедуру тестування в останньому сеансі процедури тестування. Поточні показники трудності тестового простору системи зберігаються в базі характеристик тестових завдань 11. Модуль формування та передачі оцінки тестування 13 за сигналом від модуля запиту даних 4 з персонального комп'ютера викладача 1 проводить передачу показників трудності завдань тесту, ) отриманих після поточного сеансу роботи системи, та результатів тестування учнів, а також за сигналом від модуля запиту результатів тестування 24 з індивідуального пристрою тестування 14 результатів тестування учнів. При цьому на етапі розробки системи в модуль формування та передачі оцінок тестування закладаються норми оцінювання, які можуть бути скореговані адміністратором системи за запитом викладача на етапі експлуатації системи. Формування результатів тестування проводиться шляхом порівняння результатів, отриманих від модуля корегування результатів тестування 12, та закладених норм. Результат такого порівняння передається за запитом учня та викладача на індивідуальний пристрій тестування 14 та персональний комп'ютер викладача 1 відповідно і представляється у вигляді потрапляння отриманого результату у відповідну класифікаційну градацію. Джерела інформації: 1. Патент Російської Федерації на корисну модель № 53477 G09B7/06 (2006). 2. Ю.М. Нейман В.А. Хлебников. Введение в теорию моделирования и параметризации педагогических тестов. М. - «Прометей», 2000, 168 с. 7 Комп’ютерна верстка Л.Литвиненко 43616 8 Підписне Тираж 28 прим. Міністерство освіти і науки України Державний департамент інтелектуальної власності, вул. Урицького, 45, м. Київ, МСП, 03680, Україна ДП “Український інститут промислової власності”, вул. Глазунова, 1, м. Київ – 42, 01601