Автоматизированная оценка ответов при контроле знаний для вопросов типа «Определение» и «Описание»
https://doi.org/10.26907/2541-7746.2024.4.580-593
Аннотация
Разработка эффективных систем автоматизированного контроля знаний непосредственно связана с реализацией программного модуля для оценки ответов на вопросы контрольного теста, свободно сформулированных на естественном языке. Ранее автором был разработан экспериментальный прототип такой системы и проведен эксперимент, в котором короткие ответы на вопросы базовых типов, полученные от студентов, были обработаны прагматически-ориентированным алгоритмом обработки вопросно-ответных текстов для оценки результатов работы алгоритма, нахождения и разрешения ситуаций некорректного функционирования. В настоящей статье представлена следующая итерация развития алгоритма для обработки ответов на более сложные вопросы, подразумевающие раскрытие нескольких отношений, такие как «Определение» и «Описание». Представлено описание особенностей алгоритма, в частности, решение проблемы сегментации текста ответа на базовые части, задача обработки которых уже решена. Описаны результаты эксперимента, проведенного с использованием полученного прототипа с получением ответов от студентов и анализом ситуаций некорректного функционирования.
Об авторе
Н. А. Прокопьев
Казанский (Приволжский) федеральный университет
Россия
Россия
Николай Аркадиевич Прокопьев, старший преподаватель
Институт вычислительной математики и информационных технологий
420008; ул. Кремлевская, д. 18; Казань
Список литературы
1. Khasianov A., Suleymanov D., Marchenko A. Three agent platform approach for digital education environment // INTED2017 Proc. 2017. P. 8580–8587. doi: 10.21125/inted.2017.2031.
2. Suleymanov D., Prokopyev N. Development of prototype of natural language answer processor for e-learning // Artificial Intelligence (RCAI 2020) : Proc. 18<sup>th</sup> Russ. Conf. Ser.: Lecture Notes in Computer Science. V. 12412. Cham: Springer, 2020. P. 448–459. doi: 10.1007/978-3-030-59535-7_33.
3. Suleymanov Dzh., Prokopyev N. Experimental prototype of the pragmatically oriented e-assessment algorithm for automatic natural language answer grading // EDULEARN20 Proc. 2020. P. 1917–1924. doi: 10.21125/edulearn.2020.0617.
4. Сулейманов Д.Ш. Система семантического анализа ответных текстов обучаемого на естественном языке // Онтол. проект. 2014. № 1 (11). С. 65–77.
5. Burrows S., Gurevych I., Stein B. The eras and trends of automatic short answer grading // Int. J. Artif. Intell. Educ. 2015. V. 25. P. 60–117. doi: 10.1007/s40593-014-0026-8.
6. Мишунин О.Б., Савинов А.П., Фирстов Д.И. Состояние и уровень разработок систем автоматической оценки свободных ответов на естественном языке // Соврем. наукоемк. технол. Техн. науки. 2016. № 1. С. 38–44.
7. Мерзляков Д.А. Генерация регулярных выражений для автоматизации проверки тестов открытого характера // Студенч. научн. форум – 2013 : V Междунар. студенч. науч. конф. 2013.
8. Ziai R., Rudzewitz B. CoMiC: Exploring text segmentation and similarity in the English entrance exams task // CLEF2015 Working Notes / Cappellato L., Ferro N., Jones G.J.F., Juan E.S. (Eds.). Ser.: CEUR Workshop Proceedings. 2015. V. 1391.
9. Pribadi F.S., Permanasari A.E., Adji T.B. Short answer scoring system using automatic reference answer generation and geometric average normalized-longest common subsequence (GAN-LCS) // Educ. Inf. Technol. 2018. V. 23, No 6. P. 2855–2866. doi: 10.1007/s10639-018-9745-z.
10. Xu L.-X., Wang N., Xu L., Li L.-Y. Research of automated assessment of subjective tests based on domain ontology // Multidisciplinary Social Networks Research (MISNC 2014) : Proc. Int. Conf. Ser.: Communications in Computer and Information Science. V. 473. Berlin, Heidelberg: Springer, 2014. P. 445–453. doi: 10.1007/978-3-662-45071-0_37.
11. Кожевников В.А., Сабинин О.Ю. Система автоматической проверки ответов на открытые вопросы на русском языке // Науч.-техн. ведом. СПбГПУ. Информ. Телекомм. Управл. 2018. Т. 11, № 3. С. 57–72. doi: 10.18721/JCSTCS.11306.
Рецензия
Для цитирования:
Прокопьев Н.А. Автоматизированная оценка ответов при контроле знаний для вопросов типа «Определение» и «Описание». Ученые записки Казанского университета. Серия Физико-математические науки. 2024;166(4):580-593. https://doi.org/10.26907/2541-7746.2024.4.580-593
For citation:
Prokopyev N.A. Automatic grading of answers in knowledge control for “Definition” and “Description” question types. Uchenye Zapiski Kazanskogo Universiteta. Seriya Fiziko-Matematicheskie Nauki. 2024;166(4):580-593. (In Russ.) https://doi.org/10.26907/2541-7746.2024.4.580-593
Просмотров:
210
Послать статью по эл. почте 