Спосіб проведення комп’ютерного тестування знань студентів

Спосіб проведення комп'ютерного тестування знань студентів, який включає формування матеріалу для тестування з тестових завдань різних типів та визначення величини сигналу оцінки як суми всіх сигналів, кожний з яких пропорційний нормі балів за вірну відповідь на дане питання у відповідності з рівнем його складності, який відрізняється тим, що перед проведенням тестування визначають рівень складності завдань тестового сеансу у залежності від типу тестового завдання 3 що використовуються, розташувавши їх у наступному порідку - завдання закритого типу із однією правильною відповіддю, завдання закритого типу із множинним вибором, завдання на встановлення відповідності та завдання відкритої форми із вільним вводом відповіді - то можна зробити висновок: кожен наступний тип тестового завдання цього ряду включає (агрегує) перелік знань та навичок, що перевіряються з використанням тестових завдань попереднього типу. Отже, якщо для студентів із рівнем підготовки нижче середнього проходження усіх видів тестових завдань надає можливість накопичити обумовлену кількість балів, достатню для отримання позитивної оцінки тестування, то для студентів із середнім та сильним рівнем підготовки лише вирішення певної групи тестових завдань більш високих рівнів складності дозволяє об'єктивно оцінити рівень їх знань, у той час як проходження більшості тестових завдань (особливо, низького рівня складності) тільки викликає втомленість, послаблює увагу студентів та є даремною тратою їх часу. В основу корисної моделі поставлено задачу удосконалення способу проведення комп'ютерного тестування знань студентів, в якому шляхом введення нових технологічних операцій та параметрів досягається можливість підвищення ефективності процесу проведення комп'ютерного тестування та диференціальної спроможності тесту шляхом оптимізації показників тривалості тестового сеансу та обсягу навчального матеріалу, що перевіряється у тестовому сеансі, для кожного окремого студента, за рахунок чого забезпечується підвищення об'єктивності та адекватності процесу оцінки рівня засвоєння знань та в цілому сприяє підвищенню якості підготовки учнів. Поставлена задача досягається тим, що у відомому способі проведення комп'ютерного тестування знань студентів, який включає формування матеріалу для тестування з тестових завдань різних типів та визначення величини сигналу оцінки як суми всіх сигналів, кожний з яких пропорційний нормі балів за вірну відповідь на дане питання у відповідності з рівнем його складності, у якому перед проведенням тестування визначають рівень складності завдань тестового сеансу в залежності від типу тестового завдання та задають величину сигналу граничного значення проценту правильних відповідей на тестові завдання різних рівнів складності; встановлюють послідовність подання тестових завдань різних типів за принципом зменшення рівня складності - відкрита форма завдань, завдання на встановлення відповідності, завдання із множинним вибором та завдання із однією правильною відповіддю; перехід на наступний рівень тестування із складністю завдань, що зменшується, відбувається, якщо за результатами порівняння величина сигналу фактичного проценту, нижче ніж величина сигналу відповідної граничної величини, а у противному випадку тестовий сеанс припиняється; оцінку результату тестування здійснюють шляхом коригування отриманої величини сигналу оцінки в залежності від значення сигналу кількості пройдених рівнів складності тестових завдань. 58657 4 Технічним результатом заявленого способу є підвищення диференціальної спроможності тесту, яке досягається шляхом реалізації принципу послідовного подання тестових завдань різних типів у порядку зменшення рівня складності та правила достатності проходження студентом у процесі комп'ютерного тестування певної кількості типів тестових завдань, яка залежить від фактично встановленого у процесі тестування рівня знань та умінь кожного окремого студента. На фігурі 1 наведена функціональна схема виміру рівня знань учнів у процесі комп'ютерного тестування, де: 1 - блок формування набору завдань тестового сеансу; 2 - блок подання матеріалу для тестування; 3 - блок задавання величини граничного значення проценту правильних відповідей на тестові завдання різних рівнів складності; 4 - блок визначення величини фактичного сигналу проценту правильних відповідей; 5 - блок порівняння величини сигналів фактичного та граничного проценту правильних відповідей на тестові завдання поточного рівня складності; 6 - блок формування оцінки результатів комп'ютерного тестування знань студентів. Блоки 1-6 реалізовані по типу IBM-стандарту з використанням стандартних процесорів, постійних пристроїв, що запам'ятовують, а також пристроїв вводу та виводу інформації таких як монітор, принтер, сканер и т.д. Вихід блоку 1 з'єднаний із відповідними входами блоків 2 та 6. З іншим входом блоку 6 також з'єднаний один із виходів блоку 2, інший вихід якого з'єднаний із блоком 4. Виходи блоків 3 та 4 підключені до входів блока 5, виходи якого у свою чергу з'єднані із відповідним входом блоку 2 та єдиним входом блоку 1. Тут та далі під поняттям сигнал приймається біт-послідовний цифровий потік, що несе інформацію про хід та результати тестування. Наприклад, сигнал граничного проценту правильних відповідей, сигнал оцінки. Електричні параметрі таких сигналів відповідають стандартам обміну інформацією в персональних комп'ютерах серії IBM згідно суті та назві заявленої корисної моделі. Запропонований спосіб проведення комп'ютерного тестування знань студентів реалізується наступнім чином: 1. У блоці 1 формується сигнал набору завдань тестового сеансу із тестових завдань чотирьох різних структур Х={Х1, Х2, Х3, Х4}, де Xi - набор тестових завдань певної структури. У відповідності із чотирма структурами тестових завдань визначається чотири рівня складності R={R1, R2, R3, R4}, де Ri - значення рівня складності (4-й рівень - найскладніший): перший тип - завдання закритого типу із однією правильною відповіддю (R1=7); другий тип - завдання закритого типу із множинним вибором (R2=2); третій тип - завдання на встановлення відповідності (R3=3); четвертий тип - завдання відкритої форми на встановлення послідовності (R4=4). 5 Рівень складності тестового завдання визначається вірогідністю вгадування Рі його правильного рішення - чим нижче вірогідність, тим вище складність. За результатами обробки та аналізу статистичного матеріалу по даним тестування вибіркової групи студентів визначено граничні вірогідності вгадування правильної відповіді по чотирьох типах тестових завдань: для першого типу – Р1=0,2; для другого типу - Р2=0,125; для третього типу – Р3=0,025; для четвертого типу - Р4=0,002. Завданням певного рівня складності відповідає величина сигналу норми балів за його вірне рішення SНБ–R. 2. У блоці 2 подається матеріал для тестування. Першими для рішення у тестовому сеансі подаються завдання четвертого рівня складності (R4=4). 3. У блоці 3 задається величина граничного (порогового) значення проценту правильних відповідей на тестові завдання різних рівнів складності Gei, яка є результатом обробки та аналізу статистичного матеріалу по результатам тестування достатньої з точки зору показності вибірки кількості груп студентів. 4. У блоці 4 за результатами відповідей на тестові завдання поточного рівня складності (сигнал Yi) визначаються значення сигналів фактичного проценту правильних відповідей на тестові завдання поточного рівня складності Gфі, який свідчить про тривкість та впевненість знань студента, а також про наявність у певних навичок, які відповідають успішному виконанню тестових завдань поточного рівня складності. 5. У блоці 5 за результатами зіставлення величини сигналів фактичного та граничного проценту правильних відповідей на тестові завдання поточного рівня складності визначається сигнал Zi, що визначає необхідність переходу на рівень тестування із складністю завдань, що зменшується, якщо за результатами порівняння величини сигналу фактичного проценту нижчу ніж величина сигналу відповідної граничної величини, а у противному випадку вимагає припинення тестового сеансу. Цей принцип виправдано тим, що типи тестових завдань, що використовуються, призначені для перевірки наступних навичок лиць, що навчаються: перший та другий тип - вміння впізнавати об’єкти, поняття, факти, закони, моделі (R1=1, R2=2); третій тип - вміння вирішувати типові задачі, діяти за зразком, по знайомому алгоритму чи правилу (R3=3); четвертий тип - вміння проводити аналіз ситуації, виділяти головне та будувати із опанованих операцій процедури, що дозволяють отримати рішення тестового завдання (R4=4). Навички кожного наступного рівня складності тестових завдань включають у себе перелік навичок попереднього рівня. За способом, що пропонується, тестовий сеанс починається з подання завдань четвертого рівня складності, а це означає, що для його рішення потрібні знання та навички усіх попередніх рів 58657 6 нів складності. Тому успішне вирішення більшої кількості питань четвертого рівня складності може бути інтерпретоване як успішне опанування усього тестового матеріалу. У випадку незадовільного результату проходження тестових завдань поточного рівня студент може покращити свої результати на тестових завданнях меншого рівня складності. 6. У блоці формування оцінки результатів комп'ютерного тестування знань студентів (блок 6) одержується величина сигналу оцінки результату тестування SPEЗ як сума всіх сигналів SНБ–Ri, кожний з яких пропорційний нормі балів за вірне рішення на питання поточного рівня складності, скоригована у залежності від значення сигналу кількості пройдених етапів тестового сеансу n. На фігурі 2 наведена функціональна схема прикладу практичної реалізації запропонованого способу проведення комп'ютерного тестування знань студентів, де: 1 - блок формування набору завдань тестового сеансу; 2 - блок подання матеріалу для тестування; 3 - блок задавання величини граничного значення проценту правильних відповідей на тестові завдання різних рівнів складності; 4 - блок визначення величини фактичного сигналу проценту правильних відповідей; 5 - блок порівняння величини сигналів фактичного та граничного проценту правильних відповідей на тестові завдання поточного рівня складності; 6 - блок формування оцінки результатів комп'ютерного тестування знань студентів; 7 - блок визначення послідовності подання тестових завдань; 8 - перший суматор; 9 - блок множення; 10 - блок пам'яті числового ряду оцінок результатів тестування; 11 - другий суматор. Для реалізації блоків 1-11 використовуються стандартні цифрові блоки суматора, пам'яті, тактового генератора та дисплея із контролером. Виходи блоку 2 зв'язані з відповідними входами блоків 4, 7, 8 та 9. Із входом блоку 6 пов'язаний також вихід блоку 11. Виходи блоку 8 підключені до входів блоків 4 та 9. Вихід блоку 9 підключений до входу блоку 10, вихід якого зв'язаний із входом блоку 11. Вихід блоку 4 підключений на відповідний вхід блоку 5, інший вхід якого з'єднаний із виходом блоку 3. Єдиний вихід блоку 5 підключений до входу блока 7, вихід якого разом із єдиним виходом блоку 1 з'єднані з відповідними входами блоку 2. Згідно з фігурою 2 спосіб проведення комп'ютерного тестування знань студентів реалізується наступнім чином: 1. У блоці 1 формується сигнал набору завдань Xi тестового сеансу із тестових завдань чотирьох різних структур відповідно чотирьох рівнів складності. Кількість Коl тестових завдань кожного рівня складності однакова. У завданнях закритого типу із однією правильною відповіддю та із множинним вибором викорис 7 58657 товується оптимальна кількість дистракторів К=5. Для завдань на встановлення відповідності кількість питань у лівому стовбці К=5, а у правому М=2*К. У завданнях відкритої форми на встановлення послідовності кількість вікон для підстановки К=5, а кількість варіантів для підстановки М=2*К. 2. Першими для рішення у тестовому сеансі подаються завдання четвертого рівня складності (R4=4). Виходами блоку подання матеріалу для тестування (блок 2) є: 8 a) Yik - сигнал результату відповіді на k-те тестове завдання поточного (і-то) рівня складності, який одночасно потрапляє на вхід першого суматору (блок 8); b) SНБ–Ri - сигнал нормативної кількості балів за вірне рішення тестового завдання поточного (iго) рівня складності, який подається на вхід блоку множення (блок 9); Приклад результату формування величини сигналу норми балів за вірне рішення SНБ–R тестового завдання кожного рівня складності наведено у таблиці 1. Таблиця 1 Максимальна кількість балів за результатами тестування =200 (Коі–10) Рівень складності Вірогідність вгадування Ваговий коефіцієнт складності тестового завдання Норма балів за вірне рішення одного тестового питання c) n - сигнал кількості пройдених етапів тестового сеансу, що відповідає кількості пройдених рівнів складності тестових завдань (n=4-і), та подається на вхід блоку формування оцінки результатів комп'ютерного тестування знань студентів (блок 6); d) Kol - сигнал кількості тестових завдань поточного (і-го) рівня складності, що подається на вхід блоку визначення величини фактичного сигналу проценту правильних відповідей (блок 4). 3. У блоці першого суматора (блок 8) визначається величина сигналу кількості правильних відповідей на тестові завдання поточного (i-го) рівня R4=4 Р4=0,002 4=0,33 SНБ_R4=6,6 R3=3 Р3=0,125 3=0,31 SНБ_R3=6,2 R2=2 R1=1 Р2=0,25 Р1=0,2 2=0,21 1=0,14 SНБ_R2=4,3 SНБ_R1=2,9 складності Ni= Yik, який подається на вхід блоку множення (блок 9) для формування сигналу кількості балів за результатами тестування на (і-му) рівні складності, пропорційного добутку норм балів за вірне рішення завдань різного рівня складності та кількості правильних відповідей Sоці=SНБ_Ri.Ni та одночасно на вхід блоку визначення величини фактичного сигналу проценту правильних відповідей (блок 4). 4. У блоці 3 задається величина граничного (порогового) значення проценту правильних відповідей на тестові завдання трьох рівнів складності Gei (приклад наведено у таблиці 2). Таблиця 2 Рівень складності Величина граничного значення 5. У той же час у блоці 4 визначаються значення сигналу фактичного проценту правильних відповідей на тестові завдання (i-го) рівня складності Gфі=Ni/Kol. 6. У блоці 5 виконується зіставлення величини сигналів фактичного та граничного проценту пра R4=4 Ge4=90% R3=4 Ge3=85% R2=2 Ge2=75% вильних відповідей на тестові завдання поточного рівня складності, внаслідок чого у блоці 7 визначається послідовність подання тестових завдань за наступним алгоритмом (таблиця 3): Таблиця 3 Поточний рівень складності Умови Алгоритм послідовності подання тестових завдань Zn тестових завдань R4=4 Gф4