Российские исследователи разработали обширный набор тестов, который позволяет оценить эффективность и компетентность систем искусственного интеллекта в образовании. Этот новый подход выходит за рамки традиционного тестирования и основан на принципах психометрики. Он направлен на проверку ИИ в педагогике и оценку ключевых компетенций, необходимых для успешной работы в этой области, пишет ТАСС.
Исследователи отмечают, что с появлением большого числа систем искусственного интеллекта на базе языковых моделей возник интерес к разработке инструментов для оценки их эффективности и проверки компетенций. Для проведения таких проверок необходимо глубокое понимание области, в которой применяется искусственный интеллект.
Российские ученые сотрудничали с ведущими экспертами в области педагогики и образования для разработки и тестирования уникальных заданий, разделенных на различные профессиональные области. Они использовали методы психометрики, а также подходы, разработанные известным психологом Бенджамином Блумом.
Эти тесты были протестированы на русскоязычной версии языковой модели GPT-4. Результаты показали, что модель испытывает трудности в сложных заданиях, требующих глубокого понимания и адаптивного мышления. Искусственный интеллект успешно справляется с задачами на установление фактов, но менее успешен в анализе и гибком мышлении, а также не всегда справляется с простыми теоретическими задачами.
Разработанный подход позволяет выявить ключевые проблемы искусственного интеллекта в образовании. Важно устранить эти проблемы, так как предполагается, что ИИ станет незаменимым помощником как для преподавателей, так и для учеников.
