Спосіб навчання та виміру якості тестового матеріалу

Спосіб виміру рівня знань учнів у процесі комп'ютерного тестування, який включає передчасне задання величини коефіцієнта кореляції як залежності між значеннями величин сигналів, пропорційних відповідно нормативному та фактично витраченому часу на кожну відповідь, подання матеріалу для тестування, визначення значення фактичного сигналу коефіцієнта кореляції та зіставлення величини сигналів фактичного та заданого коефіцієнта кореляції, який відрізняється тим, що передчасно задають сигнал сукупності навчального матеріалу, що визначений для розглядання на навчальному занятті, що планується; передчасно користувачам подають сигнал навчального матеріалу для самостійного вивчення за сигналом сукупності навчального матеріалу, що визначений для розглядання на навчальному занятті, що планується; передчасно задають значення сигналів відносної кількості (долі) тестових завдань із повної сукупності тестового матеріалу для попереднього тестування та визначають значення сигналів відносної кількості (частки) тестових завдань для контрольного тестування за сигналом, визначеної для вивчення сукупності навчального матеріалу; на початку навчального заняття формують та подають у випадковому порядку із сигналу повної сукупності тестового матеріалу сигнали визначеної для попереднього тестування відносної кількості тестового матеріалу; формують сигнали індивідуального списку тестових завдань, одержаних кож U 2 UA 1 3 65657 4 тів тестування, пов'язаною з запам'ятовуючим чином, наприклад, 10 питань із 30 за один тестопристроєм, та модулем аналізу результатів тестувий сеанс ( M  10 , N  30 ) для 10 осіб, що навчавання, пов'язаним з базою даних для зберігання та ються ( K  10 ) дорівнює оброблення результатів тестування з визначенням 10 10  1  якості тестових завдань згідно з класичною теорі  1 PA   10    , єю тестування. При цьому дихотомічна та кореля 30 045 015   167 * E  75 ,  c     30  ційна матриці результатів формуються тільки за тобто дуже мала та потребує проведення великої умови наявності статистичної вибірки відповідей кількості тестових сеансів. на усі питання тестового матеріалу не менше 100- крім того, якщо, із урахуванням отриманої ві150 особами, що навчаються. [Автоматизована рогідності PA , із метою прискорення процесу система тестування, навчання та моніторингу [Текст]: патент на корисну модель № 43616 (13)U. отримання повної матриці результатів виконувати Україна: МПК G09B 7/00 . Ціделко В. Д., Яремчук послідовно декілька сеансів тестування тих самих Н. А., Шведова В. В.; Заявник та патентовласник: осіб, що навчаються (наприклад, на початку та Ціделко В. Д., Яремчук Н. А., Шведова В. В. - № наприкінці навчального заняття), на тому ж самому и200902620, заявл. 23.03.2009, опубл. 25. 08. тестовому матеріалі, вірогідності PB випадіння 2009. Бюл. 16, 2009 р] та [2. Напрасник С. В., Такожній з K осіб, що тестуються, різного (відмінноранов В. Б., Шкиль А. С. Технологии подготовки го від отриманого під час попереднього сеансу) тестовых заданий и проведения тестирования в набору із M питань при вибірці із N питань при R системе OpenTEST. http://opentest.com.ua/texnologii-podgotovki-testovyxсеансах тестування (наприклад R  2 ): zadanij-i-provedeniya-testirovaniya-v-sistemeR 1 21   1  1  1  opentest]. PB        3 628 800   2,76 * E  7 ,  Недоліками цих способів є приділення більшої  m!   10!    уваги розробці інтерфейсу та технології організатобто теж дуже мала та, як вже відзначалось, свіційної підтримки процесу тестування, та наявність дчить про спотворення та надмірне усереднення ряду проблем із реалізацією технології оцінки та отриманих результатів виміру знань та зниження аналізу якості тестового матеріалу, а саме: точності та адекватність процесу тестового конт- по-перше, через довгочасність та трудомістролю. кість отримання повної матриці результатів тестуНайбільш близьким до способу, що заявляєтьвання на початкових етапах тестового контролю ся, (прототипом) є спосіб виміру рівня знань учнів системами використовується тестовий матеріал, у процесі комп'ютерного тестування, який передякість якого не пройшла експертизи, та, як наслібачає підвищення якості та точності оцінки виміру док, ідентифікація результатів виміру знань не рівня знань учнів завдяки урахуванню величини може визнаватися достатньо об'єктивною; сигналу коефіцієнта кореляції як залежності між - по-друге, формування матриці результатів значеннями величин сигналів, пропорційних відпозгідно з класичною теорією тестування припускає відно нормативному та фактично витраченому вірогідність повторного отримання одного й того ж часу на кожну відповідь, що також може розглядатестового завдання особою, що тестується, із затися як додаткова якісна характеристика тестових пам'ятовуванням тільки останньої відповіді, що завдань із урахуванням індивідуальних характеризначно знижує точність та адекватність результастик та особливостей осіб, що навчаються. [3. тів тестового контролю; Спосіб виміру рівня знань учнів при комп'ютерному - по-третє, очевидно, що результати обробки тестуванні [Текст]: патент на корисну модель № достатнього для формування матриці результатів 51559 Україна: МПК G06F 7/00; Замовник та патестатистичного масиву носять усереднений харакнтовласник: Тараненко Ю. К., Ризун Н. О. - № u тер та не відображують індивідуальних характери200913726, заявл. 28. 12. 2009, опубл. 26. 07. стик та особливостей середовища учнів, у якому 2010, Бюл. № 14, 2010 р]. виконуються виміри; Недоліком цього способу також є, незважаючи - у-четвертих, класична теорія тестування пена введення нових інструментів підвищення точредбачає отримання статичного "знімка" результаності та достовірності виміру фактичних знань, та, тів оцінки знань, але не передбачають аналізу як наслідок, інструментів оцінки якості тестового динамічних змін рівня знань та умінь осіб, що наматеріалу, завдяки введенню додаткової індивідувчаються, у реальному масштабі часу. альної характеристики, що вимірюється у реальТобто, згідно з класичною теорією тестування ному масштабі часу, - коефіцієнта кореляції між вірогідність отримати повну матрицю результатів рядами фактичного та нормативного часу на виковідповідей на M із N питань за одно навчальне нання тестового завдання особи, що навчається, заняття дуже мала та складається з наступних відсутність ефективної технології гарантованого (із складових: вірогідністю 1) формування класичної бінарної та - вірогідності PA випадіння кожному з K осіб, кореляційної матриць результатів для попередньої оцінки якості тестового матеріалу, який використощо тестуються, одного й того ж набору із M пивується, що дозволило би значно підвищити стуk  1  пінь об'єктивності процедури ідентифікації результань при вибірці із N питань: PA   m  . c  татів тестування, а також рівень адекватності  n  прийняття рішень щодо удосконалення системи Тоді, вірогідність отримання повної матриці організації навчального процесу. результатів відповідей при вибірці випадковим 5 65657 6 В основу корисної моделі поставлено задачу налом повної експрес-матриці результатів тестуудосконалення способу виміру рівня знань учнів у вання формують сигнал повної кореляційної експроцесі комп'ютерного тестування, в якому шляпрес-матриці результатів тестування; за результахом введення нових технологічних операцій та тами попереднього та контрольного тестування параметрів досягається зростання об'єктивності формують сигнали динамічних експрес-матрицьпроцесу оцінки рівня засвоєння навчального матестовпців результатів попереднього та контрольноріалу завдяки оптимізації процедури та підвищенго тестування за кожним тестовим завданням; фоня ефективності інструментів експрес-оцінки якості рмують сигнали динамічних кореляційних експрестестового матеріалу через скорочення тривалості матриць-стовпців результатів тестування за кожта зниження трудомісткості процесу формування ним тестовим завданням за сигналами експресповної кореляційної матриці результатів тестуванматриць-стовпців за результатами попереднього ня та розширення спектра критеріїв експертизи та контрольного тестування за кожним тестовим якості тестового матеріалу завдяки уведенню у завданням; за результатами порівняння сигналів розгляд показників динамічних змін рівня знань та повної кореляційної експрес-матриці та динамічумінь осіб, що навчаються, у реальному масштабі них кореляційних експрес-матриць-стовпців за часу, що в цілому сприяє підвищенню якості прокожним тестовим завданням формують сигнал цесу навчання. списку та експертної оцінки тестових завдань, що Поставлена задача вирішується тим, що сповикликають сумнів із точки зору їх якості. сіб виміру рівня знань учнів у процесі комп'ютерноТехнічним результатом заявленого способу є го тестування, який включає передчасне задання підвищення ефективності системи навчання та величини коефіцієнта кореляції як залежності між процедури експрес-експертизи якості тестового значеннями величин сигналів, пропорційних відпоматеріалу завдяки комплексному поєднанню техвідно нормативному та фактично витраченому нології організації навчального процесу із процечасу на кожну відповідь, подання матеріалу для дурою гарантованого отримання матриці результестування, визначення значення фактичного сигтатів тестування за одне навчальне заняття із налу коефіцієнта кореляції та зіставлення величидодатковою реалізацією системної експертної оціни сигналів фактичного та заданого коефіцієнта нки динамічних змін рівня знань та умінь осіб, які кореляції, відрізняється тим, що передчасно заданавчаються, у реальному масштабі часу, що доють сигнал сукупності навчального матеріалу, що зволяє знизити витрати на проведення експертизи визначена для розглядання на навчальному зата підвисити якість тестового матеріалу, що виконятті, що планується; передчасно користувачам ристовується, а також оптимізувати управлінські подають сигнал навчального матеріалу для саморішення, які приймаються на підставі отриманих стійного вивчення за сигналом сукупності навчарезультатів, щодо вдосконалення системи нального матеріалу, що визначена для розглядання вчання із урахуванням індивідуальних характерисна навчальному занятті, що планується; передчатик учнів. сно задають значення сигналів відносної кількості На кресленні наведена функціональна схема (частки) тестових завдань із повної сукупності тесспособу навчання та виміру якості тестового матетового матеріалу для попереднього тестування та ріалу, де: визначають значення сигналів відносної кількості 1 - блок задання сигналу сукупності навчаль(частки) тестових завдань для контрольного тестуного матеріалу, що відзначено для розглядання на вання за сигналом визначеної для вивчення сукунавчальному занятті, що планується; пності навчального матеріалу; на початку навча2 - блок подання сигналу навчального матерільного заняття формують та подають у алу для самостійного розглядання; випадковому порядку із сигналу повної сукупності 3 - блок задання сигналу відносної кількості тестового матеріалу сигнали визначеної для попетестових завдань із повної сукупності тестового реднього тестування відносної кількості тестового матеріалу для попереднього тестування; матеріалу; формують сигнали індивідуального 4 - блок задання сигналу відносної кількості списку тестових завдань, одержаних кожним коритестових завдань із повної сукупності тестового стувачем у результаті їх генерації із повної сукупматеріалу для контрольного тестування; ності тестового матеріалу; формують сигнали 5 - блок формування сигналу тестового матепроміжної неповної експрес-матриці результатів ріалу; попереднього тестування; наприкінці поточного 6 - блок подання у випадковому порядку сигнавчального заняття із урахуванням сигналів індиналу тестового матеріалу у заданій для попередвідуального списку тестових завдань, які були нього тестування відносної кількості; одержані кожним користувачем у процесі прове7 - блок формування сигналу проміжної неподення попереднього тестування, та сигналу повної вної експрес-матриці індивідуального списку тессукупності тестового матеріалу формують та потових завдань, одержаних для попереднього тесдають у випадковому порядку відносну кількість тування; тестового матеріалу, визначену для контрольного 8 - блок формування сигналу індивідуального тестування; формують сигнали проміжної неповної списку тестових завдань, одержаних для попередекспрес-матриці результатів контрольного тестунього тестування; вання; сигнал повної експрес-матриці результатів 9 - блок подання у випадковому порядку сигтестування за усіма завданнями повної сукупності налу тестового матеріалу у заданій для контрольтестового матеріалу формують за сигналами проного тестування відносній кількості; міжних неповних експрес-матриць результатів 10 - блок формування сигналів проміжної непопереднього та контрольного тестування; за сигповної експрес-матриці результатів контрольного 7 65657 8 тестування та повної експрес-матриці результатів 2. У блоці 2 за сигналом Х={Х1,Х2,...Хn} із затестування; значеним викладачем випередженням задається 11 - блок формування сигналу повної корелясигнал структурованого навчального матеріалу ційної експрес-матриці результатів тестування; NM={NM1, NM2,... NMn}, із яким особа, що навчать12 - блок формування сигналу динамічних ся, до визначеного часу (частіше усього - до наекспрес-матриць-стовпців за результатами попеступного навчального заняття) повинна ознайомиреднього тестування за кожним тестовим завдантися та самостійно засвоїти. ням; 3. У блоці 3 задається значення сигналувідно13 - блок формування сигналу динамічних сної кількості (частки) тестових завдань із повної експрес-матриць-стовпців за результатами контсукупності тестового матеріалу, що призначені для рольного тестування за кожним тестовим завданпроведення попереднього тестування Dp. ням; 4. У блоці 4 формується значення сигналу від14 - блок формування сигналу динамічних коносної кількості (частки) тестових завдань із повної реляційних експрес-матриць-стовпців результатів сукупності тестового матеріалу, що призначені для тестування попереднього та контрольного теступроведення попереднього тестування Dk=1-Dp. вання; 5. У блоці 5 за сигналом Х={Х1,Х2, ...Хn] фор15 - блок порівняння сигналів кореляційної мується сигнал тестового матеріалу ТМ={ТМij,..., експрес-матриці та динамічних кореляційних ексTMmn}, що відібраний для розглядання на заплапрес-матриць-стовпців результатів попереднього нованому навчальному занятті (i=1,Mj), де i - індекс та контрольного тестування; тестового завдання за j-м структурним елементом 16 - блок формування сигналу списку тестових навчального матеріалу, Mj - кількість тестових зазавдань, що викликають сумнів із точки зору їх вдань у j-му структурному елементі, K= Mj - загаякості; льна кількість тестових завдань. 17 - блок формування сигналу експертної оці6. На початку навчального заняття у блоці 6 нки тестових завдань, що викликають сумнів із виконується у випадковому порядку пропорційно з точки зору їх якості. кожного j-м структурним елементом навчального Блоки 1-17 з'єднані згідно з фігурою 1 та реаматеріалу подання сигналу тестових завдань лізовані по типу ІВМ - стандарту з використанням TPL={TPiiDp) для попереднього тестування у кількостандартних процесорів, постійних пристроїв, що сті КOLp= Dр* Mj запам'ятовують, а також пристроїв вводу та виво7. За результатами попереднього тестування у ду інформації таких як монітор, принтер, сканер і блоці 7 формується сигнал проміжної неповної т.д. експрес-матриці результатів попереднього тестуТут та далі під поняттям сигнал приймається вання MA TRP. біт-послідовний цифровий потік, що несе інфорУ таблиці 1 наведено приклад результату гіпомацію про результати функціонування способу тетичного сеансу навчання та виміру якості тестонавчання та виміру якості тестового матеріалу. вого матеріалу. Наприклад, сигнал відносної кількості тестових Вихідні дані, що використовувались: завдань, сигнал експертної оцінки тестових за- кількість відібраних для розгляду на навчавдань, сигнал динамічних кореляційних експресльному занятті, що планується, структурних елематриць-стовпців результатів тестування. Електментів n=3; ричні параметрі таких сигналів відповідають стан- кількість тестових завдань структурних еледартам обміну інформацією в персональних комментах: М1=4; М2=6; М3=4; п'ютерах серії IBM згідно з суттю та назві - загальна кількість тестових завдань К=14; заявленої корисної моделі. - відносна кількість (частка) тестових завдань Запропонований спосіб навчання та виміру із повної сукупності тестового матеріалу, що призякості тестового матеріалу реалізується наступнім начені для проведення попереднього тестування чином: Dp=0,5, та, як наслідок, відносна кількість (частка) 1. У блоці 1 задається сигнал сукупності натестових завдань із повної сукупності тестового вчального матеріалу, що відзначений для розгляматеріалу, що призначені для проведення контродання на наступному навчальному занятті Х={Х1, льного тестування Dk=0,5; Х2..., Хn}, де n - кількість відібраних навчальних - кількість осіб, що навчаються L=12. структурних елементів, що відібрані для розглядання на навчальному занятті, що планується. 9 65657 10 Таблиця 1 Проміжна неповна експрес-матриця тестування результатів попереднього MATR_Р 1 2 3 4 5 Студенти 6 7 8 9 10 11 12 1 1 1 Питання 1 2 3 0 1 1 0 0 4 0 1 5 1 0 6 0 1 1 1 1 0 0 1 0 0 1 0 1 1 0 1 Тестові завдання Питання 2 7 8 0 0 0 1 0 1 1 1 0 0 1 1 0 0 1 Оскільки співвідношення кількості тестових завдань, що призначені для проведення попереднього та контрольного тестування Dp = Dk, отримана проміжна неповна експрес-матриця результатів попереднього тестування MATRP заповнена рівно на половину. 8. Додатково за результатами попереднього тестування у блоці 8 формується сигнал індиві 11 1 1 0 1 0 1 1 0 1 0 Питання 3 12 13 1 0 1 1 х 14 0 1 1 0 1 0 10 1 1 1 0 0 9 0 1 1 0 1 1 1 0 0 0 1 1 1 0 1 1 1 3 2 5 6 4 6 4 5 2 2 5 4 дуального списку тестових завдань SL={SS,..SDp), одержаних для попереднього тестування, де s індекс номера тестового завдання, одержаного Lм користувачем у результаті генерації KOLP тестових завдань із повної сукупності тестового матеріалу ТР (у таблиці 2 наведено приклад результатів формування індивідуального списку тестових завдань за даними таблиці 1). Таблиця 2 Індивідуальні списки тестових завдань SL, одержаних для попереднього тестування Питання SL1 1 3 4 5 8 9 12 SL2 2 5 6 8 10 12 14 SL3 1 3 6 7 9 11 13 SL4 2 5 6 8 10 12 14 SL5 1 4 5 7 8 9 11 SL6 3 6 7 9 11 13 14 9. Наприкінці заняття (після додаткового розглядання та обговорення на поточному занятті визначеної сукупності навчального матеріалу X={X1, Х2..., Хn}) у блоці 9 виконується подання у випадковому порядку сигналу тестових завдань TKL={TPiiDk) для попереднього тестування у кількості KOLk=Dk* К. При цьому, обов'язковими умовами, що виконуються, є: а) загальна сумарна кількість тестових завдань, отриманих кожною особою, що проходить етапи попереднього та контрольного тестування, дорівнює загальній кількості елементів тестового матеріалу ТМ={ТМij...,ТМmn}, що відібраний для розглядання на запланованому навчальному занятті: KOLk+ KOLP= К SL7 2 4 6 8 10 11 12 SL8 1 3 5 7 8 9 12 SL9 2 5 6 7 10 12 14 SL10 1 3 8 10 11 13 14 SL11 2 6 7 8 11 12 14 SL12 1 4 5 7 18 10 13 б) кожна особа, що проходить етапи попереднього та контрольного тестування, у процесі проходження цих етапів отримує у випадковому порядку усі питання тестового матеріалу TM{TMij..., ТМmn}без повторів: TKLJTPL=TM TKL TPL= 10. За результатами контрольного тестування у блоці 10 формуються сигнали проміжної неповної експрес-матриці результатів контрольного тестування MATR_K та, як результат виконання операції об'єднання множин MATR_P  MATR_K, повної експрес-матриці результатів тестування MATR (приклади наведено у таблицях 3 та 4), отриманої за одне навчальне заняття. 11 65657 12 Таблиця 3 Проміжна неповна експрес-матриця результатів контрольного тестування МАТР_Р 1 Студенти 1 2 3 4 5 6 7 8 9 10 11 12 0 1 0 1 0 1 Питання 1 2 3 0 1 1 1 1 0 1 1 0 0 0 1 1 0 4 Тестові завдання Питання 2 6 7 8 9 1 1 1 1 1 0 1 1 1 1 0 0 0 0 1 0 0 1 1 0 5 1 0 1 1 1 1 1 1 0 0 1 0 1 10 1 11 1 0 0 1 1 0 1 1 0 1 0 Питання 3 12 13 1 1 0 0 1 1 1 1 1 1 1 1 0 х 14 0 0 1 1 1 0 5 5 3 5 6 5 6 5 1 2 7 2 Таблиця 4 Повна експрес-матриця результатів тестування MATR_P 1 2 3 4 5 Сту6 ден7 ти 8 9 10 11 12 1 1 0 1 1 0 0 1 1 0 0 1 0 Питання 1 2 3 0 0 1 1 1 1 0 1 1 0 1 0 0 1 0 0 1 0 0 0 0 1 1 0 4 0 1 0 1 1 1 1 1 0 0 1 1 5 1 0 1 1 1 1 1 1 0 0 1 1 6 1 0 1 1 1 1 0 0 0 1 1 1 Тестові завдання Питання 2 7 8 1 0 1 0 0 1 0 1 0 1 1 1 1 1 1 1 0 0 0 0 0 1 0 0 11. На основі сигналу матриці повної експресматриці результатів тестування MATR у блоці 11 формується сигнал повної кореляційної експрес 9 0 1 1 1 0 1 0 0 0 1 1 0 10 1 1 0 1 1 0 0 1 1 1 1 1 11 1 0 0 1 1 1 1 1 0 0 1 0 Питання 3 12 13 1 1 0 0 0 1 1 0 1 1 1 1 1 1 1 0 0 1 1 1 1 1 0 1 х 14 0 0 0 1 1 1 1 1 0 0 1 0 8 6 8 11 10 11 10 9 3 5 12 6 матриці результатів тестування KOR (приклад наведено у таблиці 5). 13 65657 14 Таблиця 5 Повна експрес-матриця результатів тестування KOR 1 2 3 4 5 1 1,00 -0,67 0,51 0,00 0,58 2 -0,67 1,00 -0,17 0,00 -0,19 3 0,51 -0,17 1,00 0,24 0,10 4 0,00 0,00 0,24 1,00 0,41 5 0,58 -0,19 0,10 0,41 1,00 6 0,00 0,00 -0,12 -0,13 0,41 7 0,17 -0,17 -0,03 0,24 0,10 8 0,51 -0,17 0,37 0,48 0,68 9 0,00 0,00 0,51 0,00 -0,19 10 -0,19 -0,19 -0,29 0,00 -0,33 11 0,51 -0,51 0,03 0,48 0,68 12 0,35 -0,71 -0,12 0,25 0,41 13 -0,19 0,19 -0,29 -0,41 0,11 14 0,33 -0,33 0,17 0,71 0,58 6 0,00 0,00 -0,12 -0,13 0,41 1,00 -0,48 0,12 0,35 0,00 0,12 0,25 0,41 0,00 7 0,17 -0,17 -0,03 0,24 0,10 -0,48 1,00 0,03 -0,17 -0,29 0,37 0,24 -0,29 0,17 8 0,51 -0,17 0,37 0,48 0,68 0,12 0,03 1,00 0,17 -0,49 0,66 0,48 -0,10 0,85 9 0,00 0,00 0,51 0,00 -0,19 0,35 -0,17 0,17 1,00 -0,19 -0,17 0,00 -0,19 0,00 У наведеній таблиці стовбець REZ_1 є елементом повної кореляційної експрес-матриці результатів тестування KOR та утримує інформацію про рівень якості тестового завдання ( - достатній Rxy 0,5; ! - середній 0,3 0,5 дистрактори; REZ_2z