Комп’ютерна система рейтингового виміру знань

Реферат: UA 75943 U UA 75943 U 5 10 15 20 25 30 35 40 45 50 55 Корисна модель належить до області освітніх систем і цифрових обчислювальних машин та пристроїв для обробки цифрових даних і виміру рівня знань студентів у процесі комп'ютерного рейтингового тестування. Близьким до способу, що заявляється, є спосіб проведення комп'ютерного тестування знань студентів, у тестовому сеансі можуть вирисовуватись завдання одного з чотирьох типів. Перед проведенням тестування визначають рівень складності запитань тестового сеансу у залежності від типу тестового завдання та задають величину сигналу граничного значення проценту правильних відповідей на тестові завдання різних рівнів складності; встановлюють послідовність подання тестових завдань різних типів за принципом зменшення рівня складності - відкрита форма завдань на встановлення послідовності, завдання на встановлення відповідності, завдання із множинним вибором, завдання із однією правильною відповіддю; перехід на наступний рівень тестування із складністю завдань, що зменшується, відбувається, якщо за результатами порівняння величина сигналу фактичного проценту нижче, ніж величина сигналу відповідної граничної величини, а у противному випадку тестовий сеанс припиняється; оцінку результату тестування здійснюють шляхом коригування отриманої величини сигналу оцінки в залежності від значення сигналу кількості пройдених рівнів тестових завдань [1. Спосіб проведення комп'ютерного тестування знань студентів [Текст]: патент на винахід № 58657U. Україна: МПК G06F 7/06. Тараненко Ю.К., Ризун И.О.; Заявник та патентовласник: Тараненко Ю.К., Ризун Н.О. - № u201009376, заявл. 26.07.2010, опубл. 26.04.2011 Бюл. № 8/2011 р.]. Недоліком найближчого аналога є, по-перше, відсутність залежності сигналу оцінки від терміну, протягом якого був отриманий сигнал відповіді на конкретне завдання, оскільки цей час характеризується тривкістю засвоєного матеріалу, по-друге, відсутність випадкової послідовності подачі тестів і можливість нестандартних відповідей, і як наслідок цього неадекватність оцінки його знань. В основу корисної моделі поставлено задачу удосконалення способу виміру знань студента при комп'ютерному тестуванні знань студентів, в якому шляхом введення нових технологічних операцій та параметрів досягається можливість підвищення ефективності виміру знань при проведенні комп'ютерного тестування, виміру комп'ютерного рейтингового виміру знань та диференціальної спроможності тесту шляхом оптимізації показників тривалості тестового сеансу та обсягу навчального матеріалу, за рахунок чого збільшується та підвищується об'єктивність та адекватність процесу оцінки рівня засвоєння знань та в цілому сприяє підвищенню якості підготовки студентів. Задача вирішується тим, що у подану корисну модель ввели базу тестів з кожного предмета, теми відповідно та базу відповідей на ці завдання, систему формування блоків тестів з предметів, генератор випадкової послідовності тестів та відповідей до них, що формує випадкову послідовність завдань та випадкову послідовність розміщення відповідей, механізм логічного виводу, що забезпечує зберігання розгорнутої відповіді на тест, фактичний час відповіді на конкретне завдання тесту, інтелектуальний інтерфейс, що забезпечує доступ до інформації, що знаходиться на сервері у формі звітів, і взаємозв'язок студента та викладача з системою при аналізі повних відповідей студента. Технічним результатом корисної моделі є підвищення рівня навчання з того предмету, з якого представлені тестові завдання, і достовірності визначення рівня і якості знань студента, розвиток його творчого підходу, зниження психологічних перенавантажень і зменшення впливу суб'єктивних факторів при контролі знань. Організація комп'ютерної системи рейтингового виміру знань з урахування вагомих ознак корисної моделі включає те, що після включення системи тестування студент проходить ідентифікацію, проводить вибір предмета для тестування та номер тесту. Далі система з основної бази тестів формує індивідуальний блок тестів для кожного користувача. Тестовий блок формується із завдань різного типу, вибраних випадковим чином: вибір один з багатьох; вибір кілька з багатьох; сортування послідовності відповідей по зростанню / спаданню; вибір правильного графічного об'єкта з багатьох об'єктів; повну відповідь, яка зберігається в системі на сервері у формі звіту до перевірки викладачем. Вибір одного із багатьох передбачає вибір однієї вірної відповіді серед представлених. Вибір кілька з багатьох передбачає вибір всіх вірних варіантів відповідей серед наведених. У завданнях цього виду передбачено, що всі варіанти відповідей можуть бути правильними, всі варіанти відповідей можуть бути неправильними та кілька варіантів відповідей можуть бути правильними. Сортування послідовності відповідей по зростанню/спаданню полягає у розміщенні відповідей згідно з поставленим завданням (по зростанню/спаданню). 1 UA 75943 U 5 10 15 20 25 30 35 40 45 50 55 Вибір правильного графічного об'єкта з багатьох представлених передбачає вибір одного правильного об'єкта. При вказані студентом розгорнутої відповіді на завдання програма зберігає цю інформацію у вигляді звіту на сервері. Такі завдання беруть участь в розрахунку кінцевого рейтингу, тільки після ознайомлення та оцінки її викладачем, який корегує кінцевий результат. Кількість завдань визначається при формуванні блока тесту і дорівнює числу N. В свою чергу кількість завдань (N) необхідних для правильного оцінювання матеріалу розраховується за формулою: кількість знаків вивченого матеріалу /1500*3. Для відповіді студенту з загальної бази завдань за предметом (N) видається не більше 15 %. Для кожного завдання при формуванні відповіді викладач вказує кількість тестових варіантів відповідей на даний тест (рекомендовано від 2 до 9)· Перед видачею студенту завдання всередині своєї категорії генеруються випадковим чином, після чого відбувається генерація випадковим чином варіантів відповідей всередині кожного завдання, що дає змогу системі бути більш гнучкою та здатною адаптуватися під різні рівні знань студентів і при повторному тестуванні ймовірність отримання цих завдань і такого ж порядку відповідей малоймовірна. В комп'ютерній системі рейтингового виміру знань кожному завданню тесту присвоюється власна вага, яка визначає один з трьох його рівнів складності: 1 - низький, 2 - середній, 3 високий. Перед початком тестування викладач в комп'ютерній системі вказує, яку максимальну кількість балів можна отримати за тест. Тому кожний студент в незалежності від свого рівня знань має право отримати за тест максимальну кількість балів, але кількість завдань різного рівня складності в кожного студента буде індивідуальна, і вона визначається системою на основі претензіційного рівня. Претензіційний рівень у студента може бути: низьким, середнім або високим. При самому першому проходженні тесту комп'ютерна система визначає претензіційний рівень студента, як середній бал між середнім балом за попередніми досягненнями студента по предмету і максимальному балу за тест, який планується пройти.   ki   max t   m  , де ret st  Round    2     kі - попереднє оцінки студента; m - кількість оцінок; maxt - максимальна кількість балів за тест. Отримане значення в балах система заносить в свою базу відповідно до претензіційного рівня. Також якщо є в наявності данні успішності студента за попереднім місцем навчання за аналогічним предметом, система використовує ці данні, як попередній рівень контролю. В залежності від претензіційного рівня (низький, високий, середній) кількість завдань різного рівня складності для студента розподіляється за таким відсотковим складом: при низькому претензіційному рівні 15 % завдань високого рівня, 25 % - середнього рівня та 60 % - низького рівня складності; при середньому претензіційному рівні 20 % - високого рівня, 40 % - середнього рівня та 40 % - низького рівня складності; при високому претензіційному рівні 35 % - високого рівня, 45 % - середнього рівня та 20 % - низького рівня складності. При наступному тестуванні система вже на основі отриманого претензіційного рівня визначає яку кількість завдань і якого рівня складності потрібно видати студенту для проходження тестового сеансу. При тестуванні контролюється тривалість часу відповіді студентом на кожне завдання і при перевищенні цього інтервалу пропонується наступне завдання тесту, що стимулює концентрацію та самостійність мислення у студента. Інтервал часу для відповіді на тест встановлюється викладачем (рекомендований проміжок від 30 до 180 сек.). Згодом система розраховує середній показник швидкості відповідей (tс) і коригує час виділений на відповідь. t c   t  / k  , де tB - час витрачений на відповідь кожним студентом на дане завдання; kB - кількість відповідей на дане завдання. В системі передбачена абсолютна та відносна шкала оцінювання. За абсолютною якщо студент вибрав не всі вірні відповіді серед поданих, то відповідь вважається невірною і за неї бали не нараховуються. За відносною системою за частково вірну відповідь нараховуються бали в процентному відношенні виходячи із ступеня правильності відповіді та власної ваги завдання. Крім того, якщо 2 UA 75943 U 5 10 15 20 25 час відповіді обмежений, то якщо студент правильно відповідає на завдання протягом перших 30 % часу, йому нараховуються додаткові бали (0,05 бала з розрахунку п'ятибальної системи оцінювання, 0,12 бала - дванадцятибальної системи, 0,25 бала - двадцятип'ятибальної системи, 0,5 - п'ятдесятибальної та 1 бал - стобальної системи оцінювання). Після проходження тесту за однією з тем предмету система обчислює рейтинг з урахуванням балів за вірні відповіді та частково вірну відповідь. Якщо варіант відповіді неправильний або студент не встиг дати правильну відповідь, то вклад в рейтинг його прирівнюється нулю. Інформація про вибраний варіант відповіді зберігається у формі звіту на сервері. Розрахунок підсумкових балів відбувається за кількома системам оцінювання: 5, 12, 25, 50, 100 балам. Систему оцінювання вказує викладач перед початком тестування. Таким чином, запропонована система комп'ютерного рейтингового виміру знань студентів, дозволяє: 1. Здійснити індивідуалізоване поетапне обчислення рейтингу виміру знань студента, причому найбільший внесок в рейтинг роблять завдання на сортування послідовності відповідей по зростанню/спаданню, вибору кілька з багатьох та розгорнутої відповіді, тому що вони зменшують коефіцієнт вгадування вірної відповіді. 2. Підвищити рівень демократичності та прозорості процедури проведення тестування та достовірності комп'ютерної системи рейтингового виміру знань студентів за рахунок подачі матеріалу за різними рівнями складності та типами; генерацією випадкового порядку завдань та випадковою генерацією варіантів відповідей на завдання. 3. Збільшити ефективність процесу проведення виміру знань студента шляхом встановлення для кожного завдання певного інтервалу часу для відповіді. 4. Покращити творче мислення студентів за допомогою розгорнутих відповідей на поставлені завдання та здійснити взаємозв'язок викладача, студента та системи при аналізі розгорнутих відповідей на поставлені тести. Дані про впровадження корисної моделі: Комп'ютерна система рейтингового виміру знань реалізована у комп'ютерній програмі «Електронний журнал», що використовується у Мелітопольському державному педагогічному університеті імені Богдана Хмельницького. 30 ФОРМУЛА КОРИСНОЇ МОДЕЛІ 35 40 45 Комп'ютерна система рейтингового виміру знань студентів, яка містить сервер, що містить засоби зберігання навчального матеріалу, засоби формування матеріалу для тестових завдань різних типів, засоби передавання сформованих індивідуальних завдань для користувача, засіб передавання розпізнаних дій користувача на сервер та засіб визначення рейтингу студента, його підсумкової оцінки, як суми всіх оцінок, що були отримані за правильні відповіді на завдання у відповідності за його рівнем складності та з урахуванням додаткових балів за швидкість відповіді (в перші 30 % часу), яка відрізняється тим, що перед проведенням тестування користувач за допомогою засобів ідентифікації проходить авторизацію та здійснює вибір тесту, а засоби формування матеріалу для тестових завдань різних типів за допомогою генератора формують випадкову послідовність завдань та випадкову послідовність розміщення відповідей до них; механізм логічного виводу забезпечує зберігання розгорнутої відповіді на тест у формі звіту, що за допомогою засобів передавання розпізнаних дій користувача передається і зберігається на сервері; фактичний час відповіді на конкретне завдання тесту; інтелектуальний інтерфейс, що забезпечує доступ до інформації, що знаходиться на сервері у формі звітів, і взаємозв'язок студента та викладача з системою при аналізі повних відповідей студента та визначення рейтингу студента та його підсумкової оцінки. Комп’ютерна верстка Шеверун Д.М. Державна служба інтелектуальної власності України, вул. Урицького, 45, м. Київ, МСП, 03680, Україна ДП “Український інститут промислової власності”, вул. Глазунова, 1, м. Київ – 42, 01601 3