СИСТЕМА КОМПЬЮТЕРНОГО АДАПТИВНОГО ТЕСТИРОВАНИЯ НА ОСНОВЕ МЕТОДИКИ, ПОСТРОЕННОЙ НА АППАРАТЕ НЕЧЕТКОЙ ЛОГИКИ И ЭКСПЕРТНЫХ ОЦЕНОК

В настоящее время компьютерное тестирование является одним из самых результативных методов для определения предварительного уровня знаний. На основе центра дополнительного образования по подготовке обучающихся старших классов к сдаче заключительных экзаменов ГИА и ЕГЭ предлагается внедрение системы компьютерного адаптивного тестирования (КАТ) для определения предварительного уровня знаний обучающихся. Данная система необходима для распределения обучающихся по группам, сформированных по уровню знаний.

В предлагаемой системе КАТ учитывается относительная степень сложности каждого вопроса и процент соотношения правильных ответов. Для определения относительной степени сложности темы и вопросов, относящихся к определенной теме, используется методика, основанная на использовании аппарата нечеткой логики и экспертных оценок.

Определение относительной степени сложности тем состоит из следующих этапов [1]:

1.  Определение степени сложности темы является однокритериальной задачей. Критерием для ее определения является  — умение действовать по образцу, по известному алгоритму, правилу.

2.  Построение функций принадлежности методом экспертных парных сравнений. Для обеспечения объективного характера оценкам степени сложности темы, целесообразно использовать мнение группы экспертов-преподавателей. Совокупность тем составляет множество , где n — количество тем. Эксперт или группа экспертов оценивают преимущества одной темы, включенной в тест над другой по отношению к критерию нечеткого множества. Парные сравнения представляются в виде следующей матрицы:

                                            (1)

где  — уровень преимущества элемента  над , , определяемый по девятибалльной шкале Саати (таблица 1) [5].

Таблица 1.

Девятибалльная шкала Саати

3.  Обобщение оценок экспертов путем нахождения среднего значения парных сравнений.

4.  Формирование нечетких множеств. Для этого определяется функция принадлежности нечеткого множества по формулам:

,;                          (2)

,.                      (3)

Тогда функции принадлежности степени сложности темы по каждому из трех критериев можно представить в виде нечетких множеств

 ,.                             (4)

5)  Определение относительной степени сложности тем (весовых коэффициентов). Весовые коэффициенты определяются по формуле:

 , .                                                     (5)

Далее производится расчет относительной степени сложности вопросов, который состоит из следующих этапов [1]:

1)  Определение степени сложности вопросов является многокритериальной задачей. Для определения степени сложности темы и вопросов используются следующие критерии:

·      — умение действовать по образцу, по известному алгоритму, правилу;

·      — умение проводить анализ ситуации и использовать совокупность различных методик.

2)  Формирование функций принадлежности количественно характеризующих степень сложности вопроса производится по описанной выше методике теории нечетких множеств и экспертных попарных сравнений.

3)  Определение относительной сложности заданий. Оптимальное решение, представляющее собой численное выражение относительной важности заданий, включенных в тестирование, с учетом нескольких критериев определяется согласно теории принятия решений в нечетких условиях по схеме Бельмана-Заде путем нахождения пересечения нечетких множеств по частным критериям:

. (6)

Весовые коэффициенты заданий , где t-количество вопросов, относящихся к определенной теме, определяются по формуле:

.                         (7)

После определения данных весовых коэффициентов производится распределение вопросов по пяти уровням сложности. Задания, имеющие минимальные весовые коэффициенты в каждой теме, определяются как задания минимального уровня сложности.

В основе последовательности вопросов в адаптивном тесте для определения предварительного уровня знаний обучающегося лежит алгоритм «идеального» теста [3]. Основу идеального теста составляет последовательный тест из 30 вопросов возрастающего уровня сложности. При правильных ответах на все вопросы обучающийся набирает 100 баллов. Максимально количество баллов 100 выбрано для удобства формирования оценки. Представленный на рисунке 1 граф описывает диалог при ответе клиента на любой вопрос последовательности разрабатываемого адаптивного тестирования [2]. Вершинами графа являются предлагаемые клиенту вопросы, а ребра отражают связь между ними при правильных (Пр), неправильных (Нп) и неточных (Нт) ответах клиента.

При прохождении клиентом теста учитываются не только базовые вопросы, являющиеся основой «идеального» теста, но и  — вопрос аналогичный вопросу ;  — наводящий вопрос;  — вопрос минимальной трудности, поэтому число баллов на i-м уровне сложности обычно меньше чем . Этим достигается адаптация к определению уровня знаний обучающихся. При этом клиент теряет баллы в случаях неправильного или неточного ответа, таким образом итоговый балл по тесту может отличаться от 100.

Рисунок 1. Последовательность подачи вопросов

Тестирование включает в себя вопросы с единственным и множественным выбором ответа. Переход на следующий уровень сложности теста выполняется после того, как обучающийся выполнит  вопросов текущего уровня сложности [2]:

.                                (8)

где:    i — номер уровня сложности;

N — количество уровней сложности.

Максимальное количество баллов , которое обучающийся может набрать на i-м уровне сложности, вычисляется по формуле:

.                                          (9)

При правильном ответе на базовый вопрос текущего уровня сложности обучающемуся предлагается вопрос из текущего / следующего уровня сложности. В результате он набирает максимальный балл равный весу вопроса, рассчитанный по формуле:

.                                                  (10)

Если обучающийся ответил неточно (в случае вопроса с множественным выбором ответа, когда обучающийся выбирает не все правильные ответы), то ему предлагается вопрос аналогичный предыдущему. В данном случае он получает балл, рассчитанный по формуле:

                                 (11)

где    — вес текущего базового вопроса;

— число ответов, выбранных неправильно;

— число ответов, выбранных правильно;

— число невыбранных правильных ответов

При правильном ответе на аналогичный вопрос обучающемуся предлагается базовый вопрос текущего / следующего уровня сложности, и он набирает балл, равный:

                     (12)

При неправильном ответе на базовый или аналогичный вопрос обучающемуся предлагается наводящий вопрос. При неточном ответе на аналогичный вопрос обучающемуся задается вопрос минимальной трудности, и он получает бал, равный

     (13)

Вопрос минимальной трудности предлагается обучающемуся и в том случае, если обучающийся ответил на наводящий вопрос верно. Тогда количество баллов равно

 .                                                              (14)

При неправильном или неточном ответе на наводящий вопрос выдается комментарий, поясняющий поставленный вопрос. Далее, осуществляется переход к вопросу минимальной трудности. В случае неправильного или неточного ответа на вопрос минимальной трудности также выводится поясняющий комментарий и обучающемуся предлагается базовый вопрос текущего / следующего уровня сложности. При правильном ответе на вопрос минимальной сложности, обучающемуся начисляется количество баллов, рассчитанное по формуле (14).

На рисунках 2—4 представлена блок-схема алгоритма прохождения адаптивного тестирования.

Рисунок 2. Блок-схема общего алгоритма прохождения адаптивного тестирования

Рисунок 3. Блок-схема процесса прохождения вопроса с одиночным выбором ответа

Рисунок 4. Блок-схема процесса прохождения вопроса с множественным выбором ответа

Таким образом, основными преимущества КАТ по сравнению с другими формами тестирования являются:

·     эффективность: требуется существенно меньше заданий для оценивания уровня подготовленности испытуемого;

·     точность: возможность оценить уровень подготовленности каждого испытуемого на его уровне с минимальной ошибкой измерения;

·     испытуемые не тратят время и силы на задания, не соответствующие их уровню подготовки (слишком легкие для них или слишком трудные), поэтому уменьшается влияние на результаты дополнительных факторов (утомление, беспокойство, неаккуратность);

·     участники тестирования более мотивированы и спокойны (т. к. им не предлагается заданий, слишком для них трудных).

Предлагаемая система адаптивного тестирования является эффективным способом определения предварительного уровня знаний обучающегося, так как при построении теста формируется объективная оценка знаний клиента. Правильный ответ на вопрос оценивается пропорционально его уровню сложности. Также, внедрение данной системы обеспечит появление дополнительных возможностей, предлагаемых обучающимся центра дополнительного образования, которые позволят увеличить конкурентоспособность образовательного учреждения, а также повысить эффективность процесса обучения обучающихся в группах, сформированных по уровню знаний.

Список литературы:
1.    Ризун Н.О. Использование теории нечетких множеств для идентификации степени сложности темы в системе компьютерного тестирования знаний. — Восточно-Европейский журнал передовых технологий. 6/2(42) 2009.
2.    Солдаткина Е.В., Р.А. Пятайкина. Адаптивный алгоритм обучающего тестирования в структуре электронного учебника «Теоретическая метрология». — Вестник ЮУрГУ, № 15, 2006. Серия «Образование, здравоохранение, физическая культура» № 6.
3.    Челышкова М.Б. Разработка педагогических тестов на основе современных математических моделей: Уч. пособие. М.: Исследовательский центр проблем качества подготовки специалистов, 1995.