Спосіб рейтингового тестування рівня навчання у вищому навчальному закладі

Реферат: Спосіб рейтингового тестування рівня навчання у вищому навчальному закладі, в якому шляхом введення нових технологічних операцій та параметрів досягається можливість підвищення точності та достовірності виміру фактичних знань за рахунок зменшення технологічної похибки при розрахунку часу, витраченого на відповідь, що виникає за рахунок урахування у ньому й технологічного часу завантаження на екран тестових завдань та за рахунок використання чистого (без урахування технологічного) часу, витраченого на правильну відповідь, як ідентифікатора складності тестового завдання, у результаті чого забезпечується зниження показника розсіювання результатів тестування на 20-30%, що сприяє зростанню об'єктивності процесу оцінки рівня засвоєння матеріалу, що викладається, та в цілому підвищенню якості підготовки учнів. UA 72657 U (54) СПОСІБ РЕЙТИНГОВОГО ТЕСТУВАННЯ РІВНЯ НАВЧАННЯ У ВИЩОМУ НАВЧАЛЬНОМУ ЗАКЛАДІ UA 72657 U UA 72657 U 5 10 15 20 25 30 35 40 45 50 55 60 Корисна модель належить до галузі освітніх систем із комп'ютерними технологіями і може застосовуватися в освіті як самостійно, так і в сполученні з традиційними освітніми методиками. Аналогом способу, що заявляється, є автоматизована система тестування та навчання, що містить базу даних екзаменаційного та навчального матеріалу, базу даних для зберігання результатів тестування, запам'ятовуючий пристрій та модуль аналізу результатів тестування, модуль відліку часу, модуль аналізу результатів тестування, який проводить числовий підрахунок результатів тестування, модуль передачі результатів виконання тестового завдання та модуль калібрування тестових завдань шляхом корегування показників складності завдань тесту на підставі результатів статистичної обробки накопичених дослідних даних [1. Пат. UA № 43616Г: МКВ G09B 7/00. Автоматизована система тестування та навчання / Ціделко В. Д., Яремчук Η. Α., Шведова В. В. - № u200902620; Заявл. 23.03.2009; Опубл. 25.08.2009, Бюл. № 16, 2009.-4 с: ил.1]. Недоліком способу є недостатня достовірність результатів контролю знань, пов'язана із: - визначенням складності лише як співвідношення між відносною кількістю опитаних, які неправильно відповіли на завдання, та відносною кількість опитаних, які правильно відповіли на завдання. Це не дозволяє враховувати особливості сприйняття учнями візуального подання та змістовного формулювання тестового завдання. При визначенні складності тестового завданні таким способом враховуються тільки знання учнів (причому усіх рівнів знань), без урахування погляду на ступінь складності тестового завдання викладачів, що складали тест та є експертами у своїй предметній області; - вимір часу, що витрачено на кожну відповідь, виконується лише для контролю фактичного загального часу за весь тестовий сеанс та його співвідношення із нормативно встановленим із метою повідомлення учня про залишок часу на відповіді. Крім того, вимір часу виконується із урахуванням технологічного часу - тобто часу на завантаження із серверу тестового завдання та його зображення на екран, що порушує об'єктивність інтерпретації його показника як ідентифікатора фактичної тривалості відповідей учня. - крім того, у системі не враховується ємність показника часу на правильну відповідь із точки зору його інформативності щодо складності та якості тестового завдання, специфіки візуального сприйняття інформації на екрані та можливості виявити спроби вгадати правильну відповідь. Аналогом способу, що заявляється, також є система рейтингового тестування рівня підготовки до навчання у вищому навчальному закладі, згідно з яким привласнюють вагові коефіцієнти кожного питання тесту, запам'ятовують оцінку кожної вибраної учнем відповіді, визначають рейтинг учня як середньоарифметичне оцінок відповідей з урахуванням вагового коефіцієнта питання, при цьому процес тестування учня ведуть, контролюючи час формування відповідей на кожне питання, обчислюють середньоарифметичний час відповіді групи учнів на нього і коректують ваговий коефіцієнт питання в залежності від результату обчислення [3. Патент на изобретение 004114690 А Россия: G06F 7 G09B7/02. Способ рейтингового тестирования обучаемых в высшему учебном заведении. Заявитель: Государственное образовательное учреждение высшего профессионального образования "Санкт-Петербургский государственный морской технический университет" (RU). Авторы: Андрющенко Р. С, Дубров С. Н., Нечаев Ю. И., Резников Ю. Э., Смольников А. В.-№2004114690/12, заявл. 14.05.2004, опубл. 10.11.2005]. Недоліки цієї системи є наступні факти: - процес коригування вагового коефіцієнта тестового питання виконується на підставі середньоарифметичне часу на відповіді усіх студентів, але ж як експерти, з точки зору часу, що потрібен на вірну відповідь, можуть виступати тільки студенти із високим ступенем стійкості знань. У іншому випадку порушуються показники об'єктивності та надійності процесу виміру знань; - час на вірну відповідь на тестове завдання використовують лише як інструмент коригування вагового коефіцієнта тестового питання, не враховуючи складності та тонкості цього показника для аналізу стійкості та надійності знань учнів, а також складності та якості тестових завдань. Крім того, знову ж таки вимір часу виконується із урахуванням технологічного часу на завантаження із серверу тестового завдання та його зображення на екран. Найбільш близьким до способу, що заявляється (прототипом), є спосіб виміру рівня знань учнів при комп'ютерному тестуванні, у якому перед проведенням тестування за допомогою блока пам'яті та блока обліку часу визначають нормативний час, який витрачають на відповіді учні в контрольній групі, та за допомогою блоків кореляції задають величину коефіцієнта кореляції як залежності між значеннями величин, пропорційних відповідно нормативному та фактично витраченому часу на кожну відповідь, матеріал для тестування подають як групу питань з можливістю довільного обрання чергового запитання, а рівень знань учнів визначають 1 UA 72657 U 5 10 15 20 25 30 35 40 45 50 55 шляхом коригування отриманої величини в залежності від результатів порівняння за допомогою блока порівняння величини фактичного та заданого коефіцієнтів кореляції [2. Патент на винахід 97149 Україна: G06F 7/04 (2006.01). Спосіб виміру рівня знань учнів при комп'ютерному тестуванні. Винахідник: Холод Б.І., Тараненко Ю.К., Різун Н.О. Замовник та патентовласник: ЗАТ "Дніпропетровський університет економіки та права". - № а 2009 12950, Заявл. 14.12.2009, Опубл. 10.01.2012, Бюл. № 1/2012р.-11 с]. Недоліком способу є недостатня точність та достовірність результатів контролю знань, пов'язана із: - урахуванням при визначенні часу на правильну відповідь й технологічного часу; - відсутністю методики визначення ступеня складності тестових завдань із урахуванням нормативного часу на їх вирішення. Нормативний та фактичний час використовуються для отримання інформації про стійкість знань та вірогідність вгадування із подальшим коригуванням фактично набраної суми балів за правильну відповідь на підставі отриманих значень коефіцієнтів кореляції залежності між значеннями величин, пропорційних відповідно нормативному та фактично витраченому часу на кожну відповідь; - відсутністю методики переходу від шкальованого визначення нормативного часу на правильне вирішення тестового завдання (отриманого експертним шляхом за результатами тестування учнів в контрольній групі) до відносного - із урахуванням особливостей рівня знань та специфіки сприйняття навчального матеріалу середовища, у якому виконується вимір знань. Передумовами до корисної моделі, що пропонується, є наступне: По-перше, наявність змінних вагових коефіцієнтів у кожному тестовому завданні робить комп'ютерний елемент тестування, а отже і всю систему, більш гнучкою, підвищуючи тим самим здатність адаптуватися до будь-якого рівня знань в учнів. Цим забезпечується універсальність системи рейтингового контролю. Визначення вагових коефіцієнтів може здійснюватися по-різному, залежно від конкретних завдань, що вирішуються системою рейтингового тестування. Один з варіантів заснований на комп'ютерній обробці статистичного масиву відомостей про відносну частку правильних відповідей на кожне поставлене запитання тесту. Чим більше відносна частка правильних відповідей на питання, тобто чим більше учнів успішно відповідають на нього, тим менше поточне значення вагового коефіцієнта може бути присвоєно цьому питанню, і навпаки. Але, як недолік цього методу можливо зазначити: - відсутність більш тонких механізмів визначення дійсно вагомих результатів тестування, спроможних вплинути на визначення необхідності коригування значення вагового коефіцієнта із їх урахуванням; - можливість вгадування правильної відповіді, яка також може бути врахована як частка нового (поточного) вагового коефіцієнта. Інший варіант полягає в експертній оцінці складності кожного питання тесту. Ваговий коефіцієнт визначається шляхом статистичної обробки експертних оцінок складності. Чим вище експертна оцінка складності питання, тим більший ваговий коефіцієнт присвоюється, і навпаки. Як недолік цього методу, головним виступає неможливість у реальних обставинах залучити до процесу експертних оцінок достатню кількість експертів, що забезпечать необхідну точність визначення вагового коефіцієнта. Тому, як інструмент підвищення точності та об'єктивності вимірювання показника вагового коефіцієнта тестового завдання потрібно додатково використовувати методики коригування первинного (шкальованого) вагового коефіцієнта шляхом переходу до відносного вагового коефіцієнта із урахуванням особливостей рівня знань та специфіки сприйняття навчального матеріалу середовища, у якому виконується вимір знань. Важливо також врахування методик визначення груп учнів, показники оцінки знань яких доцільно використовувати як коригувальні, таким чином, щоб не порушити показники об'єктивності та адекватності процесу ідентифікації результатів тестування реальному рівню підготовленості учнів. По-друге, використання чистого (без урахування технологічного) часу, витраченого на правильну відповідь, як ідентифікатора складності тестового завдання, є найбільш об'єктивною методологією виміру досить нечіткого у формалізації показника. Це пов'язано із тим, що у показнику "час, витрачений на відповідь", водночас враховується: - час на прочитання тестового завдання (це залежить як від кількості тексту або графічних об'єктів, що з'являються на екрані, так і від складності його формулювання); - час на надання правильної відповіді. Із другого боку, інформація про час, фактично витрачений на правильну відповідь на тестове завдання, дозволяє отримати додаткову інформацію про: 2 UA 72657 U 5 10 15 20 25 30 35 40 45 50 55 60 - психологічну специфіку як окремої особистості, що тестується, так й середовища виміру знань взагалі; - вірогідність вгадування правильної відповіді; - ступінь стійкості та надійності знань учня; - об'єктивність встановлення нормативного часу на надання правильної відповіді; - якість тестового завдання. Отже, в основу корисної моделі поставлено задачу удосконалення способу рейтингового тестування рівня навчання у вищому навчальному закладі, в якому шляхом введення нових технологічних операцій та параметрів досягається можливість підвищення точності та достовірності виміру фактичних знань за рахунок зменшення технологічної похибки при розрахунку часу, витраченого на відповідь, що виникає за рахунок урахування у ньому й технологічного часу завантаження на екран тестових завдань, та за рахунок використання чистого (без урахування технологічного) часу, витраченого на правильну відповідь, як ідентифікатора складності тестового завдання, у результаті чого забезпечується зниження показника розсіювання результатів тестування на 20-30 %, що сприяє зростанню об'єктивності процесу оцінки рівня засвоєння матеріалу, що викладається, та в цілому - підвищенню якості підготовки учнів. Поставлена задача вирішується тим, що спосіб рейтингового тестування рівня навчання у вищому навчальному закладі, який характеризується тим, що перед проведенням тестування визначають нормативний час на правильні відповіді та задають величину коефіцієнта кореляції як залежності між значеннями величин, пропорційних відповідно нормативному та фактично витраченому часу на кожну відповідь; рівень знань учнів визначають шляхом коригування отриманої величини в залежності від результатів порівняння величини фактичного та заданого коефіцієнтів кореляції, відрізняється тим, що база тестових завдань зберігається на сервері; база тестових завдань формується як безліч правильних відповідей і безліч неправильних відповідей до кожного питання; формування безлічі відповідей виробляють з безлічі правильних відповідей і з безлічі неправильних відповідей випадковим чином; питання та відповіді на питання видаються особам, що тестуються, у випадковому порядку; запам'ятовується час очищення кешу відеопам'яті при повному завантаженні зображення поточного тестового завдання та час натиснення кнопки завершення роботи із поточним тестовим завданням; виконується емуляція клавішної команди PrintScreen, що виконує формування файлів зображення екрану у момент очищення кешу відеопам'яті при повному завантаження зображення поточного тестового завдання та у момент натиснення кнопки завершення роботи із поточним тестовим завданням; отримані файли-зображення зберігаються на сервері; розрахунок чистого часу виконання тестового завдання здійснюється як різниця між часом очищення кешу відеопам'яті при повному завантаження зображення поточного тестового завдання та часом натиснення кнопки завершення роботи із поточним тестовим завданням; визначення складності тестових завдань виконується із урахуванням чистого часу виконання тестового завдання; визначення складності тестових завдань виконується за допомогою первинного етапу (шкалювання складності тестових завдань) та ітераційних (визначення відносного вагового коефіцієнта складності тестових завдань) етапів; на етапі шкалювання складності тестових завдань ваговий коефіцієнт складності завдання тестового сеансу визначається як середній нормативний час на вирішення тестового завдання групою викладачів-експертів; перед ітераційним етапом задається максимальна кількість балів за вірне вирішення усіх тестових завдань поточного тестового сеансу; перед ітераційним етапом задається значення критичного зменшення фактичного часу на правильну відповідь у порівнянні із нормативним часом; на ітераційному етапі, у разі критичного зменшення фактичного часу на правильну відповідь у порівнянні із нормативним часом, передбачається повторне подання (із визначеним інтервалом часу) та порівняння результатів відповідей на одне й те ж тестове завдання із іншою, сформованою випадковим чином, безліччю правильних та неправильних відповідей; на ітераційному етапі накопичуються результати відповідей учнів; за результатами ітераційного етапу визначається рейтинг учня із урахуванням максимальної кількості балів за вірне вирішення усіх тестових завдань, вагового коефіцієнта складності тестового завдання, результатів відповідей та значення коефіцієнта кореляції; за результатами ітераційного етапу виконується коригування вагового коефіцієнта складності завдань тестового сеансу (визначення відносного вагового коефіцієнта) із урахуванням коефіцієнта кореляції та середнього фактичного часу на вірне вирішення цих тестових завдань за поточний та усі попередні ітераційні етапи; за результатами тестування визначаються показники розсіювання значень та аналізується закон розподілення показника середнього часу на вірне вирішення тестового завдання за поточний та усі попередні ітераційні етапи; після кожного ітераційного 3 UA 72657 U 5 10 15 20 25 30 35 40 45 50 55 етапу викладачами-експертами виконується аналіз та, у разі необхідності, тимчасове вилучення із бази для коригування змісту (структури) визначених тестових завдань, якість яких викликає сумнів за результатами порівняння фактичного та нормативного часу на його вирішення за поточний та усі попередні ітераційні етапи; перед кожним наступним ітераційним етапом база даних тестових завдань оновлюється із визначеною викладачами-експертами періодичністю, яка визначається необхідністю підтримки актуальності предметної галузі та достатнього рівня якості тестових завдань. Технічним результатом є підвищення точності та достовірності обробки інформації, за рахунок чого забезпечується розширення області застосування способу виміру рівня знань учнів при комп'ютерному тестуванні, оскільки сприяє підвищенню якості підготовки учнів. На фігурі 1 наведена функціональна схема рейтингового тестування рівня навчання, де: 1 - блок зберігання тестових завдань; 2 - блок формування та подання матеріалу для тестування; 3 - блок визначення та запам'ятання чистого часу формування відповідей на кожне питання; 4 - блок визначення та зберігання середнього фактичного часу на вирішення тестового завдання; 5 - блок визначення та зберігання вагового коефіцієнта складності тестових завдань; 6 - блок задавання максимальної кількості балів за тестовий сеанс; 7 - блок задавання показника критичного зменшення фактичного часу на правильну відповідь у порівнянні із нормативним часом; 8 - блок задавання коефіцієнта кореляції; 9 - блок запам'ятовування часу очищення кешу відеопам'яті при повному завантаження зображення поточного тестового завдання та часу натиснення кнопки завершення роботи із поточним тестовим завданням; 10 - блок емуляції клавішної команди PrintScreen, який виконує формування файлу зображення екрану у момент очищення кешу відеопам'яті при повному завантаження зображення поточного тестового завдання та у момент натиснення кнопки завершення роботи із поточним тестовим завданням; 11 - блок зберігання отриманих файлів зображення екрану; 12 - блок визначення необхідності повторного подання тестового завдання; 13 - блок повторного подання тестового завдання; 14 - блок запам'ятання результатів вибраних відповідей особою, що тестується; 15 - блок визначення коефіцієнта кореляції; 16 - блок визначення рейтингу учня; 17 - блок визначення тестових завдань, якість яких викликає сумнів за результатами порівняння фактичного та нормативного часу на його вирішення за поточний та усі попередні ітераційні етапи; 18 - блок термінового зберігання тестових завдань, якість яких викликає сумнів; 19 - блок визначення показників розсіювання значень та аналізу закону розподілення показника середнього часу на вірне вирішення тестового завдання. Блоки 1-19 реалізовані по типу IBM-стандарту з використанням стандартних процесорів, постійних пристроїв, що запам'ятовують, а також пристроїв вводу та виводу інформації таких як монітор, принтер, сканер і т.д. Для реалізації блоків 1-19 використовуються стандартні цифрові блоки суматора, корелятора, комутатора, пам'яті, тактового генератора та дисплея із контролером. Вихід блока 1 підключений на відповідний вхід блоків 2 та 18. На інший вхід блока 18 підключений єдиний вихід блока 17. На інший вхід блока 2 підключений єдиний вихід блока 13. Виходи блока 2 відповідно на входи блоків 3, 9, 10 та 14. Єдиний вихід блока 9 підключений до відповідного входу блока 3. Виходи блока 3 підключені до входів блоків 4, 12, 15 та 17. Єдиний вихід блока 12 підключений до єдиного входу блока 13. Виходи блока 4 з'єднані із відповідними входами блоків 5, 15 та 17. У свою чергу, один з виходів блока 5 пов'язаний із відповідним входом блока 4, а інший - із відповідним входом блока 19. На вхід блока 5 також підключені виходи блоків 8 та 16. Єдиний вихід блока 10 підключений до єдиного входу блока 11. Єдині виходи блоків 14 та 15 пов'язані із відповідними входами блока 16, на інші входи якого підключені єдині виходи блоків 6 та 8. На відповідний вхід блока 12 також підключений єдиний вихід блока 7. Вихід блока 17 підключений до відповідних входів блоків 18 та 1. Запропонований спосіб рейтингового тестування рівня навчання реалізується наступним чином: 1. У блоці 1: 4 UA 72657 U  R W  - формують базу тестових завдань D  Qi ; Qi як безліч правильних неправильних відповідей QiW до кожного i-го питання i  1,  ;  10 15  і безліч - виробляють безліч відповідей   D  з безлічі правильних відповідей і з безлічі неправильних відповідей випадковим чином; 2. На первинному етапі (шкалювання складності тестових завдань) за допомогою блока 2 у випадковому порядку виконується подання питань та відповідей на питання групі із N викладачів-експертів, що тестуються. 3. У процесі подання тестових завдань на первинному та ітераційному етапах: j - у блоці 9 запам'ятовується час Starti очищення кешу відеопам'яті при повному j завантаження зображення поточного тестового завдання та час Finishi натиснення кнопки завершення роботи із поточним тестовим завданням; - у блоці 10 реалізується функція емуляції клавішної команди PrintScreen, який виконує формування файлу зображення екрану у момент очищення кешу відеопам'яті при повному завантаження зображення поточного тестового завдання та натиснення кнопки завершення роботи із поточним тестовим завданням; 4. На первинному етапі шкалювання складності тестових завдань виконується: - запам'ятання результатів кожної, вибраної викладачем-експертом відповіді Rezj, j  1,  (блок 14); - визначення чистого часу, витраченого на правильну відповідь на i-e i  1,  тестове j завдання кожним j-м викладачем-експертом Тi (блок 3) здійснюється як різниця між часом очищення кешу відеопам'яті при повному завантаження зображення поточного тестового завдання та часом натиснення j-м викладачем-експертом кнопки завершення роботи із поточним тестовим j j j завданням запам'ятання часу Тi =Starti – Finishi ; - первинне визначення та подальше зберігання (блок 4) середнього нормативного часу на вирішення тестового завдання i , який буде використовуватися як первісний ваговий QR ; QiW i 5   QR i   20 25   0 30 35 40 45 50 коефіцієнт складності завдання L Di= i (блок 5). 5. По закінчені поточного етапу тестування у блоці 11 виконується зберігання отриманих файлів зображення Screen на сервері із метою надавання можливості контролю часу виконання завдання та вірогідності повтору тестових завдань у ході одного тестового сеансу. 6. Перед ітераційним етапом задається: - у блоці 6 - максимальна кількість балів Ваl_Мах за вірне вирішення усіх тестових завдань поточного тестового сеансу; - у блоці 7 - показник критичного зменшення Kri, фактичного часу на правильну відповідь у порівнянні із нормативним часом; - у блоці 8 - величина встановленого коефіцієнта кореляції Кe як залежності значень величин, пропорційних відповідно нормативному та фактично витраченому часу на кожну відповідь. Значення коефіцієнта кореляції може задаватися у вигляді величини порогового значення Кe або нормованих ділянок його значень та є результатом обробки та аналізу статистичного матеріалу по результатах тестування достатньої з точки зору показності вибірки кількості груп учнів. 7. На ітераційному етапі рейтингового тестування рівня навчання за допомогою блока 2 знов у випадковому порядку виконується подання питань та відповідей на питання групі учнів, що тестуються. Цей етап передбачає: - запам'ятання результатів вибраних відповідей на тестові завдання особою, що тестується Re zj (блок 14); - розрахунок фактичного чистого часу, витраченого на правильні відповіді учнем, що тестується i j (блок 3), як різниця між часом очищення кешу відеопам'яті при повному завантаження зображення поточного тестового завдання та часом натиснення j-м учнем кнопки завершення роботи із поточним тестовим завданням запам'ятання часу j j i j = Starti – Finishi ; - визначення необхідності повторного подання Ρο - {1,0} тестового завдання за результатами порівняння фактичного чистого часу i j , витраченого на правильні відповіді 55 учнем, що тестується, та показника критичного зменшення Кri фактичного часу на правильну відповідь у порівнянні із нормативним часом (блок 12); 5 UA 72657 U 5 - у разі Ρο = 1 повторне подання тестового завдання із визначеним інтервалом часу Per (блок 13); 8. Метою кожного ітераційного етапу також є: визначення рейтингу учня, адаптивне коригування вагового коефіцієнта складності завдання та контроль якості тестових завдань. Саме тому: На кроці визначення рейтингу учня: 8.1. Визначається фактичне значення коефіцієнта кореляції Кi( i j , LS ), (блок 15), який Di свідчить про залежність між послідовностями часу, фактично витраченого на підготовку 1 відповіді i j та встановленої на відповідь норми часу L Di та одержується за співвідношенням: 10     m1  i ji, Ls   ji     Ls  Ls  / n    L , де  , LS - сигнали середнього значення послідовності  Di D  Di Di   i1 відповідно сигналів часу, фактично витраченого на підготовку відповіді i j та встановленої на 2 відповідь норми часу LS ; 2 ; L - дисперсії послідовності відповідно сигналів часу, фактично Di  15 20 25 витраченого на підготовку відповіді i j та встановленої на відповідь норми часу LS ; m1 Di кількість відповідей, даних учнем. j 8.2. Визначається рейтинг учня R із урахуванням результатів відповідей на тестові завдання Rezj, максимальної кількості балів за вірне вирішення усіх тестових завдань Ваl_Мах, вагового коефіцієнта складності тестового завдання LS , значення коефіцієнта кореляції Кi( i j , LS ), та Di Di результатів порівняння відповідей на одне й те ж тестове завдання із іншою, сформованою випадковим чином безліччю правильних та неправильних відповідей (блок 16). На кроці контролю якості тестових завдань визначається тестові завдання Problem, якість яких визиває сумнів із точки зору неспівпадання фактичного та нормативного часу на їх виконання (блок 17), та які, за рішенням викладача-експерта, тимчасово вилучаються із бази тестових завдань bd та зберігаються у блоці 18 для їх подальшого аналізу та, у разі необхідності, коригування змісту (структури)викладачами-експертами виконується. На кроці адаптивного коригування вагового коефіцієнта складності завдання виконується: 8.3. Визначення та подальше зберігання (блок 4) середнього фактичного часу на вирішення s тестового завдання  i (де s - номер ітераційного кроку). 8.4. Визначення (блок 5) поточного вагового коефіцієнта складності завдань тестового сеансу LS із урахуванням коефіцієнта кореляції Кi( i j , LS ), та середнього фактичного часу на Di Di 30 вірне вирішення цих тестових завдань за поточний та усі попередні ітераційні етапи. 9. У блоці 19 за результатами поточного етапу та усіх попередніх кроків тестування визначаються показники розсіювання значень та аналізується закон розподілення показника s 35 40 45 50 середнього часу на вірне вирішення тестового завдання  i . 10. База даних тестових завдань BD (блок 1) оновлюється із визначеною викладачамиекспертами періодичністю Р, яка визначається необхідністю підтримки актуальності предметної галузі та достатнього рівня якості тестових завдань. На фігурі 2 наведена функціональна схема прикладу практичної реалізації (ППP) запропонованого способу рейтингового тестування рівня навчання, де: 1 - блок зберігання тестових завдань; 2 - блок формування та подання матеріалу для тестування; 3 - блок визначення та запам'ятання чистого часу формування відповідей на кожне питання; 4 - блок визначення та зберігання середнього фактичного часу на вирішення тестового завдання; 5 - блок визначення та зберігання вагового коефіцієнта складності тестових завдань; 6 - блок задавання максимальної кількості балів за тестовий сеанс; 7 - блок задавання показника критичного зменшення фактичного часу на правильну відповідь у порівнянні із нормативним часом; 8 - блок задавання коефіцієнта кореляції; 9 - блок запам'ятовування часу очищення кешу відеопам'яті при повному завантаження зображення поточного тестового завдання та часу натиснення кнопки завершення роботи із поточним тестовим завданням; 10 - блок емуляції клавішної команди PrintScreen, який виконує формування файлу зображення екрану у момент очищення кешу відеопам'яті при повному завантаженні 6 UA 72657 U 5 10 15 20 25 30 35 40 45 зображення поточного тестового завдання та у момент натиснення кнопки завершення роботи із поточним тестовим завданням; 11 - блок зберігання отриманих файлів зображення екрану; 12 - блок визначення необхідності повторного подання тестового завдання; 13 - блок повторного подання тестового завдання; 14 - блок запам'ятання результатів вибраних відповідей особою, що тестується; 15 - блок визначення коефіцієнта кореляції; 16 - блок визначення рейтингу учня; 17 - блок визначення тестових завдань, якість яких викликає сумнів за результатами порівняння фактичного та нормативного часу на його вирішення за поточний та усі попередні ітераційні етапи; 18 - блок термінового зберігання тестових завдань, якість яких викликає сумнів; 19 - блок визначення показників розсіювання значень та аналізу закону розподілення показника середнього часу на вірне вирішення тестового завдання; 20 - блок задавання граничного перевищення фактичної швидкості виконання тестового завдання над нормативною; 21 - блок задавання граничного проценту осіб, що тестуються, швидкість виконання тестового завдання яких може бути відповідно значно нижче (або значно вище) середнього нормативного; 22 - блок визначення нормативної кількості балів за правильну відповідь на тестове завдання; 23 - блок визначення швидкості виконання тестового завдання кожним учнем; 24 - блок визначення фактичного проценту учнів, швидкість виконання якими тестового завдання, відповідно, нижче (або перевищує) середнього нормативного часу; 25 - блок порівняння фактичного проценту учнів, швидкість виконання якими тестового завдання, відповідно, нижче (або перевищує) нормативного часу, із граничним процентом осіб, що тестуються, швидкість виконання тестового завдання яких може бути відповідно значно нижче (або значно вище) середнього нормативного. Для реалізації блоків 1-25 використовуються стандартні цифрові блоки суматора, корелятора, комутатора, пам'яті, тактового генератора та дисплея із контролером. Вихід блока 1 підключений на відповідний вхід блоків 2 та 18. На інший вхід блока 18 підключений єдиний вихід блока 17. На інший вхід блока 2 підключений єдиний вихід блока 13. Виходи блока 2 відповідно на входи блоків 3, 9, 10 та 14. Єдиний вихід блока 9 підключений до відповідного входу блока 3. Виходи блока 3 підключені до входів блоків 4, 12, 15 та 23. Єдиний вихід блока 12 підключений до єдиного входу блока 13. Виходи блока 4 з'єднані із відповідними входами блоків 5, 15 та 23. У свою чергу, один з виходів блока 5 пов'язаний із відповідним входом блока 4, а інший - із відповідним входом блока 19. На вхід блока 5 також підключені виходи блоків 8 та 16. Єдиний вихід блока 10 підключений до єдиного входу блока 11. Єдиний вихід блока 6 підключений до єдиного входу блока 22, вихід якого підключений до одного входу блока 16. До іншого входу блока 16 підключений вхід блока 8. Виходи блоків 14 та 15 також пов'язані із відповідними входами блока 16, на інші входи якого підключені єдині виходи блоків 6 та 8. На відповідний вхід блока 12 також підключений єдиний вихід блока 7. Вихід блока 17 підключений до відповідних входів блоків 18 та 1. Єдині виходи блоків 23 та 20 підключені до відповідних входів блока 24, вихід якого та вихід блока 21 підключені до відповідних входів блока 25. Єдиний вихід блока 25 підключений до єдиного входу блока 17. Згідно з фігурою 2 приклад практичної реалізації способу рейтингового тестування рівня навчання функціонує наступним чином: а) У блоці 1 формують базу тестових завдань D  QR ; QiW як безліч правильних QR і безліч i i  неправильних відповідей 50 55 BA  D   QR ; QiW i  QiW    до кожного і-то питання i  1,  ; виробляють безліч відповідей з безлічі правильних відповідей і з безлічі неправильних відповідей випадковим чином; 2. База даних тестових завдань BD оновлюється із визначеною викладачами-експертами періодичністю Р, яка обґрунтовується необхідністю підтримки актуальності предметної галузі та достатнього рівня якості тестових завдань. 3. На первинному етапі (шкалювання складності тестових завдань) за допомогою блока 2 у випадковому порядку виконується подання питань та відповідей на питання групі із N викладачів-експертів, що тестуються. 4. У процесі подання тестових завдань на первинному та ітераційному етапах: 7 UA 72657 U j 5 а) у блоці 9 запам'ятовується час Starti очищення кешу відеопам'яті при повному j завантаження зображення поточного тестового завдання та час Finishi натиснення кнопки завершення роботи із поточним тестовим завданням; б) у блоці 10 реалізується функція емуляції клавішної команди PrintScreen, який виконує формування файлу зображення екрану у момент очищення кешу відеопам'яті при повному завантаження зображення поточного тестового завдання та натиснення кнопки завершення роботи із поточним тестовим завданням. 5. На первинному етапі рейтингового тестування рівня навчання виконується: а) запам'ятання результатів кожної, обраної викладачем-експертом, відповіді Re zj j  1, N (блок 14); б) розрахунок чистого часу, витраченого на правильну відповідь на i-e i  1,  тестове  10    завдання кожним j-м викладачем-експертом i (блок 3) здійснюється як різниця між часом очищення кешу відеопам'яті при повному завантаження зображення поточного тестового завдання та часом натиснення j-м викладачем-експертом кнопки завершення роботи із j j поточним тестовим завданням запам'ятання часу i j = Starti – Finishi ; j 15 в) первинне визначення та подальше зберігання (блок 4) середнього нормативного часу на вирішення тестового завдання i , який буде використовуватися як первісний ваговий 20 коефіцієнт складності завдання L0 = i (блок 5). Di 6. По закінчені поточного етапу тестування у блоці 11 виконується зберігання отриманих файлів Screen зображення на сервері із метою надавання можливості додаткового контролю часу виконання завдання та вірогідності повтору тестових завдань у ході одного тестового сеансу. Приклад результатів визначення первісного вагового коефіцієнта складності завдання L0 = Di i +ΔΕ приведено у таблиці 1 (кількість викладачів-експертів М=20). 25 Таблиця Середній час на вирішення тестового завдання i викладачем-експертом 18 (сек.) Нормативно встановлений середній час на вирішення тестового завдання 20 L0 (сек.) Di 30 35 40 13,5 22,5 16,2 20,7 15 25 18 23 18 20 21,6 17,1 23,4 19,8 24 19 26 22 де ΔΕ - похибка, що коригує нормативно встановлений середній час на вирішення тестового завдання i викладачем-експертом із поправкою на учнів, що будуть тестуватися (частіше усього приймається рівною 10 %). 7. Перед ітераційним етапом: у блоці 6 задається максимальна кількість балів Ваl_Мах за вірне вирішення усіх тестових завдань поточного тестового сеансу та у блоці 7 - значення показника критичного зменшення Кri фактичного часу на правильну відповідь у порівнянні із нормативним часом. 8. Крім того, у блоці 20 задається визначене експертним шляхом граничне перевищення фактичної швидкості виконання тестового завдання над нормативною GPi та у блоці 21 граничний процент осіб GPRj що тестуються, швидкість виконання тестового завдання яких може бути відповідно значно нижче (або значно вище) середнього нормативного L1 . Di 9. У блоці 8 задаються значення нормованих ділянок коефіцієнта кореляції Кi( i j , LS ). Di Приклад значення нормованих ділянок коефіцієнта кореляції та експертних висновків їх змістовної експертної інтерпретації щодо прийняття рішень по подальшому використанню у рейтинговому тестуванні рівня навчання надано в таблиці 2 [1]. 8 UA 72657 U Таблиця 2 Нормована ділянка  i ( i j, LS ), Di j  i ( i , LS Di ),  0,29 0,29<  i ( i j, LS ), 0,5, визначається як сума Di n усіх нормативних балів за усі вірні рішення тестових завдань R j   BalL i i1 L Di (тобто, коригування не потрібно). Згідно із даними таблиці 5, саме студенти із досить високими показниками 13 UA 72657 U  i ( i j, LS ),  0,5 (студенти № 1, 3, 5, 7, 8, 9) отримали найвищий відносний рейтинг Rankj, що Di свідчить про об'єктивність експертних висновків. 2) Рейтинг студентів, стійкість та впевненість знань яких можливо поставити під сумнів 0,3   i ( i j, LS ), < 0,5, визначається інтегрально шляхом коригування суми усіх нормативних балів Di 5 за усі вірні рішення тестових завдань на відношення сукупного фактичного та нормативного часу за весь тестовий сеанс. При цьому, при інтегральному визначені позитивні (довше) та негативні (скоріше) відхилення від фактично витраченого часу від норми часу по кожному тестовому завданню взаємокомпенсуються. n  ji та Але, якщо за результатами порівняння інтегральних показників фактичного i1 10 n  нормативного i1 LS Di виявляється, що студент мав більшу тенденцію до перевищення нормативного часу (це може бути пов'язано як із індивідуальними особливостями сприйняття візуальної інформації, так й з недостатньою впевненістю знань), рейтинг визначається за формулою n Rj  n LLD i  Bali  i1  ji i1 n . Тобто, при цьому підході позитивні (довше) та негативні (скоріше)  LS Di i1 15 відхилення від фактично витраченого часу від норми часу по кожному тестовому завданню взаємокомпенсуються та коригування буде не значне, тому що виконується тільки за найбільш довгими відповідями та буде використовуватися як інструмент стимулювання стійкості знань. У протилежному випадку (коли студент мав більшу тенденцію до більш швидких відповідей), n n  LL Di 1 рейтинг визначається за формулою R j   BalL  in i L Di i1  i1 20 . У цьому випадку коригування буде ji виконуватися тільки за найшвидшими відповідями, за якими може бути підозра "вгадування" та буде використовуватися як інструмент стимулювання стійкості знань. Саме тому, рейтинг студентів № 2 та №4 (із  i ( ji, LS ), =0,40 та 0,33 відповідно) знизився на Di 5 % та 10 %. При цьому, згідно із таблицею 5, студент № 2 мав більшу тенденцію до скоріших n n відповідей (  LS =212, Di i1 n =  ji 202, i1  ji n i1 n  i1 = 0,95) у порівнянні із студентом № 4 (  ji = 231, i1 LS Di n  LL Di 25 i1 n  i1 = 1,09). Слід зазначити, що зниження рейтингу студентів із значенням 0,29 <  i ( ji, LS ), < Di ji 0,5 незначне, тобто в основному буде стимулювати щодо підвищення стійкості знань, що є показником високої якості навчання та майбутнього професіоналізму. 3) Рейтинг студентів із дуже нестійкими знаннями  i ( ji, LS ),  0,29) буде визначатися із Di 30 метою "штрафування" спроб вгадати правильну відповідь та отримати необ'єктивну оцінку. Тому буде визначатися сума добутків норми балів за вірну відповідь на співвідношення відповідно фактично витраченого часу та норми часу на правильну відповідь у залежності від результату порівняння показників фактичного ji та нормативного LS часу на кожну відповідь: Di n Rj   i1 35    LLD i  Bali      n  LS  Di  i1 n  i1 ji n j  або R   i1       LLD i  Bali     n  ji i1 n  LS Di i1    .    Згідно із нашим прикладом, рейтинг студентів № 6 та № 10 знизився відносно фактичної кількості набраних балів за правильні відповіді, значно більше, ніж у попередніх студентів із 0,3 14 UA 72657 U  5  i ( ji, LS ),  0,49 - відповідно на 28 % та 27 %. Таке зниження є об'єктивним, оскільки, Di виявлена експертним шляхом тенденція щодо спроб вгадування, не є допустимою й саме можливість ліквідувати тенденцію деяких учнів отримати оцінку "не за що" є важливою метою підвищення якості виміру знань шляхом тестового контролю. 12. На кожному ітераційному етапі також виконується контроль якості тестових завдань. Для цього: + 12.1. Визначається фактичний процент учнів PR i та PR i із досить стійкими знаннями 0,3  j  i ( ji, LS ), швидкість виконання якими i-гo тестового завдання Speed i, відповідно нижче або Di + 10 перевищує граничну GP i та GP i (блок 24). + Слід зазначити, що значення GPi та GP i задаються як результат попередніх експертних оцінок викладачів та означають "критичну" невідповідність фактичного часу на вирішення тестового завдання нормативному часу (блок 20). + Приклад визначення показників PR i та PR i за результатами тестування (таблиця 2) + j j наведені у таблиці 8 при GP i: Speed i  1,5 та GP i: Speed i питання  Ri  Ri 20 25 30 35 40 45 1 0,0 % 2 0,0 % 3 0,0 % 4 0,0 % 5 0,0 % 6 0,0 % 7 0,0 % 8 0,0 % 9 10 12,5 % 87,5 % 12,5 % 12,5 % 0,0 % 0,0 % 0,0 % 0,0 % 0,0 % 12,5 % 0,0 % 12,5 % Перевищення проценту Ri та Ri учнів, швидкість виконання якими тестових завдань "критично" не відповідає нормативному часу, граничному проценту GPRj, означає наявність проблеми як тестового завдання. У нашому прикладі GPRi=80 %. Це означає, що питання №10 не відповідає достатньому рівню якості. Такі тестові завдання Problem пропонується тимчасово вилучати із бази тестових завдань BD та зберігати у блоці 17 для їх подальшого аналізу та, у разі необхідності, коригування змісту (структури) викладачами-експертами, на підставі евристичного алгоритму підтримки рішень щодо визначення причини цієї проблемності. У основу цього алгоритму покладено концепцію, що факт наявності великого проценту студентів із досить стійкими знаннями, швидкість виконання якими i-го тестового завдання j Speed i критично нижче або перевищує граничний GPi та GPi , не тільки і не стільки потребує адаптивного коригування складності тестового завдання, але у першу чергу може свідчити про: - некоректність формулювання тестового завдання (занадто довге; складно, незрозуміло, нечітко сформульоване; у питанні проглядається вірна відповідь); - некоректно підібрані дистрактори (занадто складні; нереальні; у одному дистракторі одразу проглядається правильна відповідь). А це означає, що оцінка знань учнів за таким питанням є необ'єктивним, що не відповідає меті виміру знань з використанням тестового контролю. Тобто викладачеві, що проводить тестування, видається інформація про наявність проблем із тестовим питанням та вказується ймовірна причина проблеми. На базі отриманої від системи підтримки рішень інформації викладач-експерт може самостійно вирішити: - або наявність проблеми дійсно свідчить про низьку якість тестового завдання та його необхідно переглянути; - або достатньо тільки адаптивного коригування коефіцієнта його складності, що забезпечить ступінь об'єктивності оцінки, що відповідає вимогам. На фіг.4 показана функціональна схема евристичного алгоритму підтримки рішень. 13. Наявність за результатами тестування менш критичних відхилень фактичного часу від нормативного із метою підвищення якості виміру знань потребує адаптивного коригування вагового коефіцієнта складності. Для цього: 13.1. Визначаються та зберігаються (блок 4) середні фактичні значення часу на вірне s вирішення тестового завдання  i (де s - номер ітерації) студентами із досить стійкими знаннями  i ( ji, L1 )  о, 5, тому що тільки їх показники за вірними відповідями можуть Di 50 ставитися у один ряд із викладачами-експертами. 15 UA 72657 U 13.2. Визначаються (блок 5) поточні вагового коефіцієнта складності завдань тестового сеансу LS , які не вилучені із бази даних, шляхом коригування його попереднього значення LS 1 Di Di s 5 із урахуванням та середнього фактичного часу на вірне вирішення цих тестових завдань  i за наступним адаптивний алгоритм актуалізації вагового коефіцієнта складності: На першій ітерації:  1    1 1 1      L0  STR  i   ln STH , L1    Di  Di 1   ST1      STR    L 10 де Ν - кількість викладачів-експертів; 1 STR - кількість студентів із  i ( ji, L1 )  0,5, що на першій ітерації дали на i-те тестове Di завдання вірну відповідь; L0 - складність питання, встановлена на первинному етапі із використанням знань Di викладачів-експертів; 1  i - середній фактичний час на вірне вирішення тестового завдання студентами на першій ітерації із досить стійкими знаннями  i ( ji, L1 )  0,5; Di 1 STH - кількість студентів із  i ( ji, L1 )  0,5, що на першій ітерації дали вірну відповідь на iDi 15 те тестове завдання із перевищенням нормативного часу; 1 STL - кількість студентів із  i ( ji, L1 )  0,5, що на першій ітерації дали вірну відповідь на i-те Di тестове завдання із часом, що дорівнює або менше нормативного. На s-й ітерації: S 1 S     S 1 S1 s 1 S    STR  LDi  STR  i   ln ST  ST , LS    Di  S 1 S  STS1  STS   L   STR  STR    L 20 S де STR 1 - кількість студентів із  i ( ji, L1 )  0,5, що на усіх попередніх ітераціях дали на i-те Di тестове завдання вірну відповідь; S STR - кількість студентів із  i ( ji, L1 )  0,5, що на поточній s-й ітерації попередніх ітераціях Di дали на i-те тестове завдання вірну відповідь; LS 1 - складність питання, встановлена із урахуванням усіх попередніх ітерацій; Di 25 s  i - середній фактичний час на вірне вирішення тестового завдання студентами із досить стійкими знаннями  i ( ji, L1 )  0,5 на поточній s-й ітерації; Di S ST 1 - кількість студентів із  i ( ji, L1 )  0,5, що дали на усіх попередніх ітераціях вірну Di відповідь на і-те тестове завдання із перевищенням нормативного часу; S STL 1 - кількість студентів із  i ( ji, L1 )  0,5, що дали на усіх попередніх ітераціях вірну Di 30 відповідь на i-те тестове завдання із часом, що дорівнює або менше нормативного. S ST - кількість студентів із  i ( ji, L1 )  0,5, що дали на поточній s-й ітерації вірну відповідь Di на i-те тестове завдання із перевищенням нормативного часу; S STL - кількість студентів із  i ( ji, L1 )  0,5, що дали на поточній s-й ітерації вірну відповідь Di 35 40 45 на i-те тестове завдання із часом, що дорівнює або менше нормативного. Таким чином, адаптивний алгоритм актуалізації вагового коефіцієнта складності тестових завдань дозволяє: - підвищити точність вагових коефіцієнтів, що використовуються у тестовому сеансі, завдяки поступовому досягненню достатньої із точки зору вірогідності та надійності кількості вибіркових даних для їх визначення. - виконувати коригування його значення із урахуванням властивостей середовища, у якому виконується вимір знань. Приклад результатів виконання трьох ітерацій наведено у таблицях 9-11. З наведених прикладів ми можемо бачити тенденцію коригування вагового коефіцієнта у залежності від отриманих результатів на протязі тестового сеансу. Наприклад, у першій ітерації за тестовим 1 1 питанням №4 значення ST =1, a STL =4. Це означає, що більшість студентів із  i ( ji, L1 )  0,5 Di дали на поточній 1-й ітерації вірну відповідь на 4-те тестове завдання із часом, що дорівнює або 16 UA 72657 U менше нормативного. Тому результатом визначення L1 є зменшення його значення з L0 =18 Di Di на L1 =16,37. Di 3 3 Навпаки, у третій ітерації за тестовим питанням №9 значення ST =4, а STL =0. Це означає, 5 10 що більшість студентів із  i ( ji, L1 )  0,5 дали на поточній 5-й ітерації вірну відповідь на 9-те Di тестове завдання із збільшенням часу відносно нормативного. Тому результатом визначення L3 є коригування його значення на останній ітерації L2 =23,22 та із урахуванням усіх Di Di попередніх значень L0 .=26 та L1 =27,43 до L3 =24,27. Di Di Di У таблиці 12 зведена інформація про процес коригування показника складності тестових завдань протягом трьох ітерацій (із визначенням середнього значення за цей період та середнього квадратичного відхилення σ). 17 UA 72657 U 18 UA 72657 U 19 UA 72657 U 20 UA 72657 U Таблиця 12 Питання 4, 4, 4, 4, Середнє значення σ 5 10 1 20,00 20,25 20,06 20,50 20,20 0,20 2 15,00 13,57 18,31 18,39 16,32 2,10 3 25,00 24,35 20,62 21,21 22,80 1,91 4 18,00 16,37 18,59 18,72 17,92 0,94 20 25 30 35 40 6 20,00 21,17 20,93 20,30 20,60 0,47 7 24,00 24,05 21,08 21,13 22,56 1,46 8 19,00 18,18 18,73 17,66 18,39 0,52 9 26,00 27,43 23,22 24,27 25,23 1,61 10 22,00 24,83 22,38 22,40 22,90 1,12 Аналіз цієї інформації може служити додатковим роз'ясненням ступеня засвоєння того чи іншого питання тесту та якості тестового завдання, наприклад: - велике значення середнього квадратичного відхилення σ (питання №2,3) може свідчити про складність та нерівномірність сприйняття навчального матеріалу за цим питанням, та, можливо, перевантаженість формулювання самого тестового завдання; - низьке значення σ може інтерпретуватися як стабільність сприйняття навчальної інформації й достатньо високий рівень самого тестового завдання. 14. У блоці 19 за результатами поточного етапу та усіх попередніх кроків тестування визначаються показники розсіювання значень фактичного часу на вирішення тестових завдань i j 15 5 23,00 22,86 21,21 21,72 22,20 0,76 та аналізується закон розподілення показника середнього часу на вірне вирішення тестового завдання, який по досягненню достатньої кількості учнів, що опитувались (100-150), повинен наближатися до нормального. Саме цей фактор буде використовуватися як підтвердження об'єктивності адаптивної методики, що використовується. Наприклад, статистика за 3 ітерації за питанням № 5 дозволяє отримати частотну діаграму (фіг. 3), вигляд якої наближається до нормального. Це означає, що у цілому студенти витрачають середній час на вирішення цього питання. 15. Перед кожним наступним s-м кроком ітераційного етапу база даних тестових завдань BD може бути оновлена за рахунок нових або перероблених тестових завдань Problem. Таким чином, спосіб рейтингового тестування рівня навчання у вищому навчальному закладі, дозволяє: 1. Підвищити рівень достовірності виміру рівня знань студентів за рахунок: - введення як показника складності тестового завдання комплексного показника чистого (без урахування технологічного) часу, витраченого на його правильне вирішення; - розробки методики оцінки ступеня стійкості знань на підставі інформації про фактичне значення коефіцієнтів кореляції між числовими рядами фактично витраченого на підготовку відповіді часу і норм часу на відповідь. 2. Забезпечити високу об'єктивність та точність визначення рейтингу студента через формування цього показника у залежності від: - ступеня неспівпадіння фактичного на нормативного часу на правильне вирішення тестового завдання; - співвідношення між розрахованими у процесі тестування коефіцієнтами кореляції між числовими рядами фактично витраченого на підготовку відповіді часу і норм часу на відповідь та встановленими за результатами обробки та його граничними значеннями. 3. Забезпечити демократичність та прозорість процедури проведення тестового сеансу завдяки реалізації технології адаптації системи тестового контролю до середовища, у якому виконується вимір знань, завдяки розробці алгоритму актуалізації вагового коефіцієнта складності за рахунок статистичного матеріалу про результати вірних відповідей студентами із високим ступенем стійкості знань. Дані про впровадження корисної моделі: Корисна модель реалізована у програмній оболонці "Мережне тестування", яка застосовується на кафедрі економічної кібернетики і математичних методів в економіці Дніпропетровського університету ім. А. Нобеля. 45 21 UA 72657 U ФОРМУЛА КОРИСНОЇ МОДЕЛІ 5 10 15 20 25 30 Спосіб рейтингового тестування рівня навчання у вищому навчальному закладі, який характеризується тим, що перед проведенням тестування визначають нормативний час на правильні відповіді та задають величину коефіцієнта кореляції як залежності між значеннями величин, пропорційних відповідно нормативному та фактично витраченому часу на кожну відповідь; рівень знань учнів визначають шляхом коригування отриманої величини в залежності від результатів порівняння величини фактичного та заданого коефіцієнтів кореляції, який відрізняється тим, що база тестових завдань зберігається на сервері; база тестових завдань формується як безліч правильних відповідей і безліч неправильних відповідей до кожного питання; формування безлічі відповідей виробляють з безлічі правильних відповідей і з безлічі неправильних відповідей випадковим чином; питання та відповіді на питання видаються особам, що тестуються, у випадковому порядку; запам'ятовується час очищення кешу відеопам'яті при повному завантаження зображення поточного тестового завдання та час натиснення кнопки завершення роботи із поточним тестовим завданням; виконується емуляція клавішної команди PrintScreen, що виконує формування файлів зображення екрану у момент очищення кешу відеопам'яті при повному завантаження зображення поточного тестового завдання та у момент натиснення кнопки завершення роботи із поточним тестовим завданням; отримані файли-зображення зберігаються на сервері; розрахунок чистого часу виконання тестового завдання здійснюється як різниця між часом очищення кешу відеопам'яті при повному завантаженні зображення поточного тестового завдання та часом натиснення кнопки завершення роботи із поточним тестовим завданням; визначення складності тестових завдань виконується із урахуванням чистого часу виконання тестового завдання; визначення складності тестових завдань виконується за допомогою первинного етапу (шкалювання складності тестових завдань) та ітераційних (визначення відносного вагового коефіцієнта складності тестових завдань) етапів; на етапі шкалювання складності тестових завдань ваговий коефіцієнт складності завдання тестового сеансу визначається як середній нормативний час на вирішення тестового завдання групою викладачів-експертів; перед ітераційним етапом задається максимальна кількість балів за вірне вирішення усіх тестових завдань поточного тестового сеансу; перед ітераційним етапом задається значення критичного зменшення фактичного часу на правильну відповідь у порівнянні із нормативним часом; на ітераційному етапі, у разі 22 UA 72657 U 5 10 15 20 критичного зменшення фактичного часу на правильну відповідь у порівнянні із нормативним часом, передбачається повторне подання (із визначеним інтервалом часу) та порівняння результатів відповідей на одне й те ж тестове завдання із іншою, сформованою випадковим чином, безліччю привільних та неправильних відповідей; на ітераційному етапі накопичуються результати відповідей учнів; за результатами ітераційного етапу визначається рейтинг учня із урахуванням максимальної кількості балів за вірне вирішення усіх тестових завдань, вагового коефіцієнта складності тестового завдання, результатів відповідей та значення коефіцієнта кореляції; за результатами ітераційного етапу виконується коригування вагового коефіцієнта складності завдань тестового сеансу (визначення відносного вагового коефіцієнта) із урахуванням коефіцієнта кореляції та середнього фактичного часу на вірне вирішення цих тестових завдань за поточний та усі попередні ітераційні етапи; за результатами тестування визначаються показники розсіювання значень та аналізується закон розподілення показника середнього часу на вірне вирішення тестового завдання за поточний та усі попередні ітераційні етапи; після кожного ітераційного етапу викладачами-експертами виконується аналіз та, у разі необхідності, тимчасове вилучення із бази для коригування змісту (структури) визначених тестових завдань, якість яких викликає сумнів за результатами порівняння фактичного та нормативного часу на його вирішення за поточний та усі попередні ітераційні етапи; перед кожним наступним ітераційним етапом база даних тестових завдань оновлюється із визначеною викладачами-експертами періодичністю, яка визначається необхідністю підтримки актуальності предметної галузі та достатнього рівня якості тестових завдань. 23 UA 72657 U Комп’ютерна верстка Г. Паяльніков Державна служба інтелектуальної власності України, вул. Урицького, 45, м. Київ, МСП, 03680, Україна ДП “Український інститут промислової власності”, вул. Глазунова, 1, м. Київ – 42, 01601 24