УДК 004.8

Пономарёв K.А.

ИНТЕЛЛЕКТУАЛЬНЫЕ СИСТЕМЫ ТЕСТИРОВАНИЯ ЗНАНИЙ В ДИСТАНЦИОННОМ ОБРАЗОВАНИИ

Клайпедская государственная коллегия

В статье рассматриваются проблемы тестирования знаний студентов, связанные с возможностью выбрать правильный ответ из нескольких вариантов и интеллектуальные системы тестирования знаний (ИСТЗ), использующие для тестирования студентов вопросы открытого типа, то есть студентам задаются вопросы, когда он должен самостоятельно написать ответ, а не выбирать ответ из нескольких предложенных вариантов.

Ключевые слова: семантика, латентный семантический анализ, дистанционное образование, интеллектуальные системы тестирования.

The article deals with the problems of testing of the students knowledge, connected with an opportunity to choose a right answer from several variants and Intellectual Systems of  Testing Knowledge using the questions of the open type for testing students, that is, the students are asked the questions when he/she should write independently the answer, instead of choosing the answer from the several offered variants.

Key words: semantics, the latent semantic analysis, distant education, intellectual systems of testing.

C увеличением возможностей компьютеров и сетей коммуникации возрастают возможности применения педагогического арсенала в дистанционном образовании. Преподаватель любой дисциплины может самостоятельно создавать и модифицировать тесты, организовывать доступ студентов к ним, а также анализировать информацию о работе студента.

Предлагаемые тесты созданы в форме закрытого диалога, то есть в тестах студенту обычно предлагается выбрать один или несколько ответов из предложенных.

Благодаря простоте технической реализации, этот тип диалога является порой чуть ли не единственным инструментом выявления уровня знаний студентов в электронных системах тестирования. Известно также, что он имеет ряд существенных недостатков, мириться с которыми современный преподаватель уже не может, а именно: высокий уровень подсказки; сложность подбора дистракторов; ограниченность применения по ряду учебных фрагментов; возможность «вычисления» правильного ответа логическим путем без твердого знания учебного материала; внедрение в умы обучающихся массу неверных высказываний в дистрактарах; культивирование специфического мыслительного процесса угадывания ответов и многое другое.

Выход может быть найден в применении открытых вопросов, то есть таких, на которые обучающийся должен сам формулировать ответ без каких-либо синтаксических ограничений.

Далее в статье представлены две интеллектуальные системы тестирования знаний: интеллектуальная система для сравнения и тестирования ответа экзаменуемого в виде фразы на естественном языке, созданная Ножновым Виктором Алексеевичем [3] и интеллектуальная система для сравнения и тестирования ответа экзаменуемого в виде фразы на естественном языке, созданная в международном банковском институте г. Санкт-Петербура.

Интеллектуальная система тестирования знаний, созданная Ножновым Виктором Алексеевичем применяет метод, который позволяет оценивать введённые фразы ответов учащихся на естественном языке и определяет степень подобия с правильным ответом. По функциональной принадлежности описанный алгоритм имитирует естественный диалог и относится к функциям интеллектуального тренажера по распознаванию введенного ответа и вычислению коэффициента подобия [3].

На начальном этапе введенная тестируемым фраза преобразуется к верхнему регистру, очищается от знаков препинания, разбивается на последовательность слов. Чтобы незначительные опечатки, а также изменение окончаний не влияли на достоверность распознавания, в качестве меры оценки подобия отдельных ключевых слов используется расстояние Левенштейна [7].

Вычисленный по приведенному алгоритму коэффициент подобия принимает значение от 0 (отсутствие подобия) до 1 (полное совпадение).

Автор ИСТЗ опытным путем выявил, что слова, имеющие коэффициент подобия ниже 0,77 должны исключаться из дальнейшей обработки. В итоге из введенной фразы отбираются слова, наиболее похожие на ключевые слова из матрицы ключевых слов [3].

Использование матрицы ключевых слов вместо списка ключевых слов позволяет учитывать варианты обязательных ключевых слов, влияющих на выполнение задания и варианты дополнительных ключевых слов, влияющих только на поощрительные баллы. В столбцах матрицы указываются несвязанные тематически ключевые слова (например, “управление”, “проект”). В строках матрицы указываются варианты равнозначных слов, близких по смыслу к ключевому слову из первого столбца (так для слова “управление” допустимы варианты “менеджмент”, “руководство”). Проверка осуществляется по условию ИЛИ. Если совпало несколько слов, модуль распознавания выберет наиболее точный вариант (с наибольшим коэффициентом подобия). Если же несколько вариантов имеют одинаковый и наивысший коэффициент среди всех ключевых слов в строке матрицы, то будет засчитан вариант, имеющий наибольшее число баллов поощрения. Задание считается выполненным при наличии во всех столбцах, имеющих признак обязательности выполнения, хотя бы одного совпадения [3, 7, 8].

В таблице 1 матрица ключевых слов для вопроса “Укажите свойства защищенной информации?” с тремя обязательными ключевыми словами и наличием до 3 вариантов представления каждого из них может быть графически представлена следующим образом (табл 1):

Таблица 1

Варианты равнозначных ключевых слов [3]

Где M – признак обязательного ключевого слова.

Результаты тестирования представлены в таблице 2:

Таблица 2

Результаты тестирования [3]

В рассмотренном примере (табл. 2) система допускает использование ключевых слов третьей строки как правильных, но за более точный термин “целостность” начисляется 1 балл поощрения. Система поощрения и штрафов позволяет имитировать интеллектуальный процесс при оценочных суждениях: выдавать объективные и неназойливые оценочные суждения вместо стандартных “да/нет”, а также использовать накопленные штрафные либо поощрительные баллы в воспитательных целях [3].

Преимущества системы.

Из таблицы 2 очевидно, что система, используя алгоритм Левинштейна и матрицу ключевых слов, определяет ответы студентов:

• с орфографическими и грамматическими ошибками;
• если в ответе ключевые слова в другом падеже;
• близкие по значению слова как правильные.

Недостатки системы:

• очевидно, что если в матрицу не ввести все синонимы ключевого слова, то система не сможет опознавать ответ как правильный;
• процесс заполнения базы ключевых слов является неавтоматизированным, а процесс заполнения базы данных займёт у преподавателя немало времени.

Интеллектуальная система тестирования знаний экзаменуемого, созданная в международном банковском институте г. Санкт-Петербура.

Система производит частичный языковый анализ высказывания в контекстно-зависимой ситуации, при этом достаточно иметь частичную или упрощённую базу ключевых слов и взаиморасположение знаковых символов, предположительно ожидаемых в высказывании определяющем качество ответа [1, 2].

ИСТЗ, проверяет наличие ключевых слов и словочетаний, которые должны находиться в тексте в соответсвии с заданной маской и в определённой последовательности, система делает вывод о семантическом соответствии введённого высказывания [1, 5].

Процесс анализа строки пользователя конкретным анализатором проводится автоматически на основе алгоритма, заложенного в структуре анализатора. Процесс построения структуры анализатора неавтоматизирован [1, 2, 5].

Таблица 3

Пример работы интеллектуальной системы [6]

Преимущества системы.

Из таблицы 3 очевидно, что интеллектуальная система тестирования, используя базу ключевых слов, определяет ответы студентов:

• если студент использует ключевые слова в другом падеже;
• определяет близкие по значению слова как правильные;
• в случае неправильного ответа комментирует его недостатки, активизируя мыслительный процесс студента.

Недостатки системы:

• очевидно, что если в базу данных не ввести все синонимы ключевого слова, то система не сможет опознавать ответ как правильный;
• процесс заполнения базы ключевых слов является неавтоматизированным, а процесс заполнения базы данных займёт у преподавателя немало времени.

Имплантация интеллектуальных систем тестирования знаний с вопросами открытого типа в  дистанционном образовании позволит исключить возможность: «вычисления» правильного ответа логическим путем без твердого знания учебного материала; культивирования специфического мыслительного процесса угадывания ответов и многое другое.

Основные недостатки рассмотренных интеллектуальных систем тестирования знаний с вопросами открытого типа: неавтоматизированное заполнение базы данных ключевых слов по заданной теме предмета, то есть, преподаватель должен тратить своё время на её заполнение. Возможным решением этой проблемы мог бы быть метод латентно-семантического анализа, который с помощью тематического словаря сможет определять зависимость ключевых слов заданной темы, а преподавателю осталось бы проверить заполненную с помощью этого метода базу данных и, в случае необходимости, провести коррекцию [10, 11, 12]. Тематический словарь может использоваться как база данных слов синонимов, то есть, преподавателю не придется заполнять базу данных ключевых слов, близких по значению.

Литература:

1. Н.В.Карпухин, Т.С.Карпова, А.И.Стригун. Методология и практика применения компьютерных интеллектуальных тьюторов в системе дистанционного обучения, XI Телематика'2004, Sankt Peterburg <http://ict.edu.ru>
2. Стригун А.И. Примат виртуального интеллектуального тьютора в дистанционном обучении. Смена парадигмы открытого и дистанционного образования X Всероссийская научно-методическая конференция "Телематика'2003".
3. Ножнов Виктор Алексеевич. Способ распознавания ответов на естественном языке в автоматизированных обучающих системах. Международная конференция "Информационные технологии в образовании""ИTO-Москва-2010".
4. Hirschberg Daniel. Serial computations of Levenshtein distances // Pattern matching algorithms. Oxford, UK.: Oxford University Press. 1997.
5. А.И. Стригун, В.А. Стригун. Организация контекстно-зависимого естественно-языкового диалога. Международная конференция Диалог'2003.
6. А.И. Стригун. 15 международной конференции "Математика. Компьютер. Образование" (г. Дубна, 28 января - 2 февраля 2008г.).
7. Ножнов В. А. Распознавание ответов на естественном языке. 2008. <http://nozhnov.pp.ru/RASPOTV.PAS>.
8. Ножнов В. А. Сравнение и оценка строк по шаблону. 2008. <http://nozhnov.pp.ru/strcomp.htm>.
9. Тазетдинов А.Д., Тазетдинов Д.Р. Aвтоматизированные обучающие диалоги в естественно-языковой электронной образовательной среде ано впо «Международный банковский институт» Санкт-Петербург, Россия <http://econf.rae.ru/pdf/2009/10/6974ce5ac6.pdf>.
10. Landauer, T. K., Foltz, P. W., and Laham, D. (1998). An Introduction to Latent Semantic Analysis.
11. М.С. Соболев Латентный семантический анализ текстов. 48-я научная конференция МФТИ 2005.
12. Landauer, T. K., Foltz, P., and Laham, D. 1998. An Introduction to Latent Semantic Analysis. DiscourseProcesses, 25: 259-284.