Архитектура интеллектуальной системы тестирования уровней сформированности предметных компетенций

Нехаев Игорь Николаевич кандидат технических наук доцент, Поволжский государственный технологический университет 424007, Россия, Республика Марий Эл, г. Йошкар-Ола, пл. Ленина, 3, каб. 534а-1 Nekhaev Igor Nikolaevich PhD in Technical Science associate professor of the Department of Applied Mathematics and Information Technologies at Volga State University of Technology 424007, Russia, respublika Marii El, g. Ioshkar-Ola, pl. Lenina, 3, kab. 534a-1 nehaevin@volgatech.net Другие публикации этого автора     Жуйков Илья Владимирович аспирант, Поволжский государственный технологический университет 424007, Россия, Республика Марий Эл, г. Йошкар-Ола, пл. Ленина, 3, каб. 529а-1 Zhuykov Ilya Vladimirovich post-graduate student of the Department of Applied Mathematics and Information Technologies at Volga State University of Technology 424007, Russia, Republic of Mari El, Yoshkar-Ola, pl. Lenina, 3, room No. 529a-1 zhuikill@yandex.ru Другие публикации этого автора

Бастраков Роман Валерьевич программист, Поволжский государственный технологический университет 424007, Россия, Республика Марий Эл, г. Йошкар-Ола, пл. Ленина, 3, каб. 529а-1 Bastrakov Roman Valeryevich Programmer, Povolzhsky State Technological University 424007, Russia, respublika Marii El, g. Ioshkar-Ola, pl. Lenina, 3, kab. 529a-1 g-serg88@yandex.ru

Ранее, авторами была поставлена задача конструирования интеллектуальной системы тестирования, позволяющей идентифицировать уровни сформированности предметных компетенций ^{[1, 2]} и рассмотрены лежащие в основе построения такой системы модели ^{[3, 4]}. Были сформулированы основные признаки современной системы тестирования и обучения:

• предоставляет возможность оформить решение задачи;
• автоматически оценивает не только ответ, но и решение задачи;
• анализирует ошибки решения обучающихся, выдает обратную связь;
• поддерживает диалог, обучает;
• накапливает статистическую информацию об обучающихся и использует ее для организации адаптивного обучения;
• оценивает и фиксирует уровень достижений, уровень сформированности предметных компетенций;
• обеспечивает управление обучением.

Там же были сформулированы интегральные требования к системам тестирования и обучения: гибкость, аналитичность, управляемость, адаптивность, интеллектуальность ^[4].

Бурное развитие онлайн-обучения, применения онлайн-курсов в формальном обучении требует и применения новых сред обучения, в которых обучающиеся самостоятельно выбирают свои траектории обучения, получают компетентностные задачи, решают их, получают обратную связь, корректируют свои решения, и самостоятельно добиваются достижения запланированных уровней.

Появление мультиагентных, нейросетевых моделей и технологий обработки данных и обучения машин, технологий создания программных систем на основе баз знаний приводит к необходимости разработки и реализации новых архитектур обучающих систем, которые обладают такими важными свойствами, как открытость, адаптивность, прозрачность, интеллектуальность.

Многие существующие системы управления обучением (LMS) отвечают перечню требований к современным системам обучения (гибкость, аналитичность, управляемость) и доказали свою эффективность временем.

Представление и анализ архитектуры интеллектуальной системы тестирования уровней сформированности предметных компетенций, интегрированной в LMS MOODLE. Исследование свойств среды автоматизированного обучения, сконструированной на основе описанной архитектуры.

Представить возможные варианты использования и функционал проектируемой интеллектуальной системы тестирования (ИСТ).

Описать архитектуру модулей и компонентов ИСТ и схему её интеграции в виде модуля в системе управления обучения (LMS) MOODLE. Проанализировать свойства данной архитектуры.

Описать реализацию конкретной среды обучения с использованием разработанного модуля ИСТ. Провести анализ полученных результатов, перспектив дальнейшего развития и использования разработанного модуля тестирования, полезность генерируемых артефактов.

Как было уже сказано ранее, существующие LMS, в частности LMS MOODLE, обладают многими необходимыми признаками современных систем обучения. Если проанализировать какие из них имеют место быть или имеют возможность потенциально присутствовать во вновь создаваемых элементах, то получится следующая картина:

• предоставляет возможность оформить решение задачи (реализовано в LMS с использованием таких элементов курса, как форум, задание, семинар, виртуальный практикум программирования – VPL);
• автоматически оценивает не только ответ, но и решение задачи (возможно для задач программирования с использованием таких элементов курса, как VPL или может быть реализовано с помощью дополнительных модулей);
• логирует и анализирует ошибки решения обучающихся, выдает обратную связь (может быть реализовано в VPL или может быть реализовано с помощью дополнительных модулей);
• поддерживает диалог, обучает (может быть реализовано имеющимися средствами, но не очень удобно, гораздо удобнее можно это сделать с помощью внешних инструментов, внедряя диалоги в онлайн-курс с использованием SCORM-пакетов или Tin Can модулей);
• накапливает статистическую информацию об обучающихся и использует ее для организации адаптивного обучения (только накопление реализовано);
• оценивает и фиксирует уровень достижений, уровень сформированности предметных компетенций (встроено и реализовано, кроме уровня сформированности предметных компетенций – это реализовано пока очень формально и без хорошего проектирования, подбора и специальной калибровки заданий курса);
• обеспечивает управление обучением (основная задача, решаемая LMS).

Видим, что часть задач решается с помощью встроенных в LMS функций (накопление статистической информации, оценка и фиксация уровня достижений, управление обучением), другая часть задач (организация адаптивного диалога с пользователем) может быть решена за счет внешних инструментов с помощью стандартов SCORM, Tin Can, а часть задач может быть решена только с помощью специализированных модулей, например, модуль VPL и пока только в узком контексте обучения программированию (оформление решения в операционном пространстве, логирование решения, оценка решения). И есть задачи, которые могут быть решены только с помощью создания новых модулей (анализ решения, диагностика ошибок в решении, разбор ошибок, идентификация уровней сформированности предметных компетенций).

Поэтому основной задачей было создание такого внешнего модуля с реализованной в нем интеллектуальной системой тестирования (ИСТ), который дополнял бы функционал LMS и мог бы быть встроен в LMS, в частности в LMS MOODLE.

Ранее ^[1], были выделены подсистемы, которые необходимо было реализовать в составе модуля ИСТ и выделены основные роли пользователей ИСТ. С тех пор была добавлена еще одна подсистема оценки уровня сформированности предметных компетенций (см. рис. 1).

Рис. 1. Структурная схема интеллектуальной системы тестирования

При проектировании системы необходимо детализировать варианты использования подсистем для разных ролей пользователей.

С учетом того, что ИСТ должна реализовать некоторую операциональную среду решения задач и некоторые функции экспертных систем (диагностика ошибок, оценка рациональности) необходимо начинать создание такой системы с описания предметной области знаний, с использованием понятий которой и будут формулироваться задачи, оформляться решения и конструироваться экспертные оценки. Были выделены роли экспертов и основные варианты использования системы ими (рис. 2).

Рис. 2. Варианты использования интеллектуальной системы тестирования
при описании предметной области знаний и подготовке структуры тестовых задач.

Рис. 3. Взаимодействие экспертов и инженера знаний при создании учебного модуля,
состоящего из структуры экспертных модулей и банка типовых тестовых задач (ТТЗ)

Основной задачей главного эксперта является очертить круг решаемых задач (перечень абстрактных задач) и описать базовые используемые понятия и операции для их решения. Также он может добавлять описание типовых ситуаций (кейсов) и типовых задач. В задачу других экспертов входит описание методов для решения типовых задач, а также добавление новых понятий, ситуаций и типовых задач, с ними связанных (рис. 3).

Инженер знаний играет вспомогательную роль – он помогает реализовать задуманное экспертами в конкретной среде программирования и вычислений.

Ранее была принята концепция использования мультиагентности при создании среды решения задач ^[4]. Это означает, что формулируемые задачи (кейсы) могут решаться как человеком, как программными агентами (например, созданные экспертами), так и их симбиозом. Поэтому обучающийся в среде решения задач представлен своим интеллектуальным агентом (ИА), под которым может пониматься как сам человек, так и программная реализация, созданная им, и интерфейс среды решения сразу был адаптирован под универсального агента, за которым может скрываться как обучающийся, так и программный агент, способный решать поставленные задачи (рис. 4). Более того, при обучении программированию или конструированию ИА, ИСТ может дать возможность и самим обучающимся загружать программных ИА.

Обучающийся при тренировочном тестировании может сам выбирать любую типовую задачу из структуры усложнения. При контрольном тестировании типовые задачи для него подбирает агент-тестировщик в соответствии с уровнем тестируемого.

Рис. 4. Варианты использования интеллектуальной системы тестирования обучающимся

Использование принципа мультиагентности при проектировании ИСТ позволяет ввести понятие команды ИА, решающих совместно задачу. Как уже говорилось выше, задача может решаться симбиозом нескольких агентов, один из которых является координатором-менеджером работы остальных агентов. Работа менеджера должна отличаться от работы остальных агентов. Результатом его работы должна быть декомпозиция исходной задачи на подзадачи, анализ способностей агентов, делегирование решения подзадач способным агентам команды, анализ и коррекция структуры нерешенных задач после не/решения ими делегированных задач (рис. 5).

Рис. 5. Варианты использования интеллектуальной системы тестирования обучающимся
при командном решении задач

Для реализации ИСТ необходимо реализовать несколько программных модулей и их взаимодействие. Рассмотрим архитектуру взаимодействия модулей и компонентов.

Для создания базового учебного модуля знаний реализован модуль редактора базы знаний предметной области. Основными пользователями данного модуля являются главный эксперт и инженер знаний. Созданные в данном редакторе учебные модули используются в качестве входных данных для модулей редактора типовых тестовых заданий, редактора структуры усложнения ситуаций и редактора экспертных модулей знаний (см. рис. 6).

Рис. 6. Структура взаимодействия программных модулей
при создании модели предметной области ИСТ

Для организации адаптивного тестирования важно создать и использовать структуру постепенного усложнения ситуаций для формирования структуры тестовых задач, в которых эти ситуации используются как исходные. Для создания такой структуры задается отношение частичного порядка усложнения ситуаций ^[4]. Для описания подобной структуры разработан модуль редактора структуры усложнения ситуаций, результатом работы которого является решетка усложнения ситуаций.

Редактор типовых тестовых заданий предназначен для создания экспертами типовых учебных задач, в том числе сложных, кейсовых задач, используя структуру усложнения типовых ситуаций (типовых для экспертов, но не для обучающихся) и перечень абстрактных задач, ранее описанных в учебном модуле знаний.

Для создания экспертных модулей, являющихся надстройкой над базовым учебным модулем знаний, реализован редактор экспертных модулей знаний, позволяющий экспертам создавать методы возможных решений кейсовых задач и при необходимости вводить дополнительные понятия и ситуации, требующиеся для описания методов.

После описания экспертом и инженером знаний базового учебного модуля знаний, структуры усложнения ситуаций и типовых тестовых задач, преподаватель на онлайн-курсе может приступать к созданию заданий на онлайн-курсе с помощью модуля редактора тестов. Задание может явно указывать набор используемых для тестирования типовых тестовых задач, а может формулировать задачу для ИА «Тестировщик», с указанием ограничения на уровень сложности предъявляемых тестируемому задач, времени, отводимому на решение теста и цели тестирования. Основной целью тестировщика по умолчанию является уменьшение неопределенности (энтропии) карты компетенций тестируемого ИА. Карта компетенций показывает степень уверенности ИСТ в том, что испытуемый способен решить данную типовую задачу. Редактор тестов позволяет создавать наборы типовых тестовых задач, с указанием необходимого для тестирования количества генерируемых конкретных тестовых заданий (с конкретными исходными данными), максимального балла за решение каждого ТТЗ и алгоритма оценивания результатов.

Результаты тестирования, включающие в себя логи действий интеллектуального агента тестируемого при решении задачи и его ответы, передаются в модуль анализа и модуль начисления баллов.

Модуль начисления баллов использует данные, введенные преподавателем при создании тестового задания на онлайн-курсе, для вычисления балльно-рейтинговой оценки, которая автоматически выставляется в журнал оценок онлайн-курса за решение данного тестового задания.

Модуль анализа решения может анализировать логи решения задачи с использованием различных ИА-аналитиков, в основе работы которых могут использоваться как привычные экспертные системы с булевой логикой (решил/не решил), так и экспертные системы с нечеткой логикой, формирующие вероятностные суждения. Результаты работы ИА-аналитиков используются для обновления компетентностной карты ИА обучающегося, строящейся в виде оверлейной модели над структурой типовых тестовых задач. Данный компонент позволяет проверять представленное решение и оценивать рациональность решений, сравнивая его с решением ИА-экспертов.

Такая архитектура модулей позволяет решить задачу описания типовых учебных ситуаций, типовых учебных задач (кейсовых задач), позволяет сконструировать структуру усложнения тестовых задач, организовать адаптивное тестирование с учетом уровня сложности этих заданий и организовать проверку и диагностику ошибок в решении, оценку решения.

LMS Moodle имеет модульную архитектуру, благодаря которой возможности системы могут легко расширяться сторонними разработчиками Расширение функциональных возможностей, которые отсутствуют в базовой версии, возможно за счет установки дополнений (плагинов) – новых блоков, локальных плагинов и модулей элементов курса. При разработке плагинов использовался интерфейс программирования приложений Moodle API, для полной поддержки всех возможностей LMS Moodle, а также для возможности обновления плагинов при обновлении ядра системы Moodle.

Проектируемая интеллектуальная система тестирования для интеграции в LMS Moodle разделена на следующие основные компоненты (рис. 7):

• локальный плагин, включающий в себя большинство модулей редакторов системы;
• блок курса с элементами навигации для перехода в требуемые редакторы;
• модуль элемента курса, предоставляющий интерфейс преподавателю для создания и редактирования тестовых заданий и обучающимся для их решения.

Рис. 7. Структура компонентов ИСТ

Структура служебных файлов и каталогов, а также структура наследования базовых классов, полностью соответствует спецификации Moodle, применяемой при разработке плагинов ^[5].

Разработанный локальный плагин включает в себя модуль редактора базы знаний предметной области, редактор типовых тестовых заданий, редактор структуры усложнения ситуации, редактор экспертных модулей и модуль анализа решения, необходимых для работы экспертов и инженера знаний. Для этой цели был разработан MVC фреймворк (от англ. Model-View-Controller, шаблон проектирования модель-представление-контроллер). Данный фреймворк встроен в LMS Moodle как часть локального плагина, но с небольшими изменениями (при работе с базой данных) его можно вынести как самостоятельный сервис (рис. 8). Фреймворк разработан на PHP 5.6. Является быстрым и безопасным за счет подгрузки только необходимых в данный момент времени классов и встроенной валидации данных в базовой модели.

Рис. 8. Общая структура папок фреймворка,
разработанного для реализации плагина ИСТ

Папка actions – содержит в себе подпапки, которые по сути являются контроллерами с экшенами, в которых описывается взаимодействие представлений и бизнес-логики игры.

Папка components – содержит в себе необходимые для работы фреймворка классы.

Папка images предназначена для хранения картинок, используемых в GUI.

В папке managers – содержатся классы – менеджеры, для удобства вызова их методов в экшенах и моделях.

В папке models содержаться модели, разнесенные по своим модулям, а также в корне папки лежит базовая модель basicmodel.php – от которой унаследованы все остальные модели.

В папке themes содержаться файлы скриптов JavaScript и таблицы стилей CSS, а также картинки.

В папке views содержаться представления, также разнесенные по своим модулям, которые отвечают за вывод GUI.

Данная архитектура частично заимствована из популярных фреймворков, например YII и YII2 ^[6]. Но в отличие от популярных фреймворков при инициализации приложения подключаются только необходимые классы. Благодаря этому инициализация приложения происходит намного быстрее. Все модели приложения унаследованы от базовой модели, в которой содержатся методы работы с базой данных и методы валидации данных, поэтому некоторые модели содержат в себе только метод, определяющий правила валидации данных, и/или переопределены методы работы с базой данных.

Для навигации по модулям редакторов локального плагина был написан блок курса Moodle, позволяющий экспертам и инженеру знаний получить быстрый доступ к нужному редактору.

Модуль элемента курса содержит необходимые для преподавателя и обучающегося на онлайн-курсе инструменты работы с интеллектуальной системой тестирования, а именно: редактор тестов, модуль тестирования и модуль начисления баллов.

Модуль тестирования может использовать различных ИА-тестировщиков для организации тестирования в зависимости от поставленной задачи тестирования (рис. 9)

Предоставляется возможность для обучающихся тренироваться и проходить контрольное тестирование, регистрировать и отлаживать интеллектуальных агентов, загружать исходный код программного модуля агента (если предусмотрено заданием), просматривать своё решение задач, рейтинг агентов по различным показателям, просматривать свою компетентностную карту знаний (досье ИА обучающегося) и полученные баллы за решение задач контрольного тестирования.

Издательство

• О нас
• Наши реквизиты
• Наши партнеры
• Контактная информация
• Политика конфиденциальности

 

Авторам

• Договоры
• Авторская зона

 

Услуги

• Институт рецензирования

 

Разное

• Как написать статью?
• Журналы в перечне ВАК
• Мобильное приложение
• Вопрос - ответ

 

Наши сайты

• Aurora group s.r.o.

© 1998 – 2024 Nota Bene. Publishing Technologies. NB-Media Ltd.