Банки и финансовые организации всё чаще доверяют искусственному интеллекту принятие решений: от оценки кредитного риска до выявления мошеннических транзакций. Но чем сложнее алгоритмы, тем больше уязвимостей. Злоумышленники могут «отравить» данные, которыми обучают нейросети, или подменить модель так, чтобы она принимала выгодные им решения. Центральный банк России выпустил методические рекомендации по информационной безопасности при разработке и применении ИИ на финансовом рынке. Документ описывает риски — от галлюцинаций нейросетей до состязательных атак, — а также предлагает меры защиты: контроль целостности данных, тестирование на проникновение, шифрование, ограничение доступа и мониторинг работы моделей в реальном времени. Рекомендации адресованы кредитным и некредитным организациям, участникам платёжной системы и поставщикам ИИ-сервисов. Их цель — не запретить, а сделать внедрение технологий безопасным и предсказуемым.
Финансовый сектор активно внедряет искусственный интеллект: автоматические скоринговые системы, антифрод-модели, чат-боты для клиентов и алгоритмы оценки активов. Однако каждая такая система несёт риски, которые до недавнего времени регулировались разрозненно. Банк России систематизировал подходы к их минимизации в едином документе.
Рекомендации выделяют три основных типа угроз. Первый — ошибки самого ИИ: галлюцинации (когда модель выдаёт правдоподобный, но ложный результат), дрейф данных (смещение распределения входных данных со временем) и сбои в работе, которые могут привести к неверным управленческим решениям и прямым убыткам. Второй — умышленные атаки: «отравление» обучающих данных, когда злоумышленник подмешивает в выборку вредоносную информацию; состязательные атаки, которые заставляют модель ошибаться с помощью специально подготовленных входных данных; а также кража моделей и данных. Третий — риски, связанные с использованием сторонних поставщиков и компонентов с открытым исходным кодом, которые могут содержать закладки или уязвимости.
Документ содержит практические рекомендации. Для каждого этапа жизненного цикла ИИ — от подготовки данных до промышленной эксплуатации — предлагаются конкретные меры защиты. В их числе — шифрование данных, контроль целостности, регулярное тестирование на проникновение, определение показателей штатного функционирования модели и их мониторинг. Если ИИ используется в критически важных процессах (например, платежи или учётные системы), организациям рекомендуют оставить за человеком право валидировать результаты и изменять их при необходимости.
Особое внимание уделено политике информационной безопасности. В ней должны быть закреплены принципы минимальных прав доступа, обработки минимального объёма персональных данных, безопасной разработки и постоянного обновления знаний сотрудников об угрозах. Отдельно прописаны требования к использованию общедоступных сервисов ИИ и моделей с открытым исходным кодом — их необходимо учитывать, проверять и вести реестр.
Рекомендации ЦБ не являются обязательными, но их выполнение позволит финансовым организациям снизить риски и повысить доверие к системам, работающим на основе искусственного интеллекта.
