Русскоязычные модели не получили систематического преимущества перед зарубежными при прогнозировании тревоги и депрессии. Качество определяется доменной адаптацией, а не языком. DeepSeek-R1-32B лучше всех воспроизвёл распределения ответов, но занизил ожидаемый балл тревожности — 5,6 против 7,7 у людей. Для прогноза достаточно минимального описания респондента: детализация и пол не влияют на результат.
Как следует из статьи в журнале «Врач и информационные технологии», исследование выполнили сотрудники НИИ прикладного искусственного интеллекта и цифровых решений РЭУ имени Плеханова совместно с коллегами из других организаций. Эмпирическую базу составили деперсонализированные ответы 946 студентов-первокурсников (669 женщин, 277 мужчин) на 14 вопросов Госпитальной шкалы тревоги и депрессии.
Что проверяли
Целью было оценить пригодность больших языковых моделей, работающих в закрытом контуре, для прогнозирования показателей тревоги и депрессии. В исследование включили 11 моделей, развёрнутых локально на графических процессорах. Критерием отбора стало число параметров до 33 млрд — это позволяет работать без передачи данных внешним сервисам.
Модели получали описание персоны и вопросы шкалы. Распределения вероятностей ответов извлекались из логарифмических вероятностей токенов. Экспериментальный дизайн включал пять групп промптов, два формата подачи и четыре варианта формулировок.
Почему гипотеза не подтвердилась
Исследователи исходили из гипотезы, что российские модели, обученные на больших объёмах русскоязычных текстов и лучше адаптированные к локальному контексту, покажут более высокую точность. Она не подтвердилась. Модели с англоязычным обучением предпочитают англоязычные промпты, а для русскоязычных моделей языковые предпочтения определяются базовой архитектурой.
«Гипотеза о систематическом преимуществе русскоязычных моделей не подтвердилась: качество определяется доменной адаптацией, а не языковой принадлежностью», — говорится в выводах.
Какие модели показали лучший результат
Лучшую точность воспроизведения распределений показала DeepSeek-R1-32B. Однако она систематически занижала ожидаемый балл тревожности. Наиболее точные ожидаемые баллы тревожности продемонстрировали YandexGPT-pretrain (7,2) и T-pro-2.0 (7,1). Выбор модели объяснял 47% дисперсии метрики.
Детализация описания персоны и пол респондента не влияли на результат — различия статистически незначимы. Субшкала депрессии воспроизводилась хуже субшкалы тревожности.
Что это значит
Оценки устойчивы к вариациям промпта: достаточно минимального описания респондента. Модели не заменяют клиническую оценку специалиста. Для практического применения необходима валидация на эксперименте с людьми.
Коротко: главное
-
Подтвердилась ли гипотеза о преимуществе русскоязычных моделей? — Нет.
-
Какая модель лучше воспроизвела распределения? — DeepSeek-R1-32B.
-
Какой балл тревожности она дала? — 5,6 против 7,7 у людей.
-
Что не влияло на результат? — Детализация описания и пол.
-
Что нужно для практического применения? — Валидация на людях.
Резюме
-
Гипотеза о систематическом преимуществе русскоязычных моделей не подтвердилась.
-
Качество прогноза определяется доменной адаптацией, а не языком.
-
DeepSeek-R1-32B лучше всех воспроизвела распределения, но занизила балл тревожности.
-
Выбор модели объясняет 47% дисперсии метрики.
-
Для практического применения нужна валидация на эксперименте с людьми.
Материал подготовлен изданием «Техносуверен» (technosuveren.ru).
Дата публикации: 20 октября 2026 года.
