Классические системы машинного обучения, не использующие нейросети, остаются востребованными в медицине, финансах и автономных системах, но их работа требует значительных вычислительных ресурсов для оценки точности предсказаний, а традиционные методы построения доверительных интервалов либо дороги, либо неточны. Российские исследователи из НИУ ВШЭ теоретически обосновали простой и вычислительно лёгкий метод оценки неопределённости для стохастического градиентного спуска, одной из популярных форм классического ИИ. Как сообщила пресс-служба вуза, открытие позволит разработчикам получать надёжные оценки неопределённости быстрее и с меньшими затратами. «Мы хотели понять причину этого эмпирического преимущества и смогли дать ему строгую математическую интерпретацию», — пояснила младший научный сотрудник Института искусственного интеллекта и цифровых наук ФКН НИУ ВШЭ Марина Шешукова.
Алгоритмы стохастического градиентного спуска широко применяются для решения задач оптимизации и создания классических систем машинного обучения. Поскольку они используют элементы случайности, важной характеристикой их решений является доверительный интервал — диапазон, в котором с высокой вероятностью находится истинное решение. Традиционные способы построения таких интервалов требуют сложных статистических оценок, в частности явной оценки предельной ковариационной матрицы, что может быть затратно по времени и ресурсам или давать неточные результаты.
Учёные заинтересовались, можно ли решить эту задачу при помощи простых математических подходов, которые не требуют повторного обучения модели и сложных вычислений. Подобные методы уже применялись на практике и часто показывали лучшие результаты по сравнению с альтернативами. Теперь исследователи смогли дать этому эмпирическому преимуществу строгую математическую интерпретацию и определить рамки его применимости.
Полученное доказательство, по словам учёных, позволяет пересмотреть отношение к простым эмпирическим методам оценки точности в машинном обучении. Это особенно важно в областях, где критично знать не только предсказание, но и степень уверенности в нём — например, в медицине, финансах и автономных системах. Упрощение и удешевление решения оптимизационных задач станет возможным для большого числа систем машинного обучения, использующих алгоритмы стохастического градиентного спуска.
