Группа исследователей из Корнельского технологического института недавно разработала компьютерного червя, который использует генеративный искусственный интеллект для более легкого распространения. Это вредоносное ПО автономно копируется и распространяется из одной системы искусственного интеллекта в другую. Хотя атака с использованием такого вредоносного ПО пока ни разу не была обнаружена, исследователи предупреждают о возможности того, что она произойдет в ближайшее время, учитывая текущий технологический контекст.
Новый компьютерный червь получил название «Moris II», в честь Morris, одного из первых компьютерных червей, который нанес большой ущерб Интернету около тридцати лет назад. Эта вредоносная программа способна взламывать некоторые средства защиты в системах искусственного интеллекта и похищать личные данные из электронных писем.
Один из авторов исследования, Бен Насси из Корнельского технологического института, недавно в беседе с Wired рассказал подробности этого достижения ИТ-специалистов. В ходе интервью он также предупредил об уязвимости современных систем искусственного интеллекта. «Теперь у вас есть возможность провести или осуществить новый тип кибератаки, который никогда не встречался ранее«, — предупредил он.
Для разработки червя исследователи использовали так называемую «самовоспроизводящуюся подсказку противника» — подсказка представляет собой инструкцию, которая дается ИИ для генерации ответа. Эта техника предполагает создание подсказки, которая, будучи обработанной системой ИИ, генерирует новую подсказку в ответ. Таким образом, зараженная система побуждается к созданию серии инструкций в своих ответах.
Червь атакует через системы обмена сообщениями с помощью ИИ. Для своего эксперимента команда разработала экспериментальную систему электронной почты с использованием технологий генеративного ИИ, таких как ChatGPT от OpenAI, Gemini от Google и модель ИИ с открытым исходным кодом под названием LLaVA. Затем они создали сообщение, содержащее самовоспроизводящийся запрос, и обеспечили его интеграцию в базу данных, используемую ИИ. Таким образом, при отправке запроса система генерировала ответ на основе «отравленных» данных.
Каждый сгенерированный ответ мог служить новым вектором заражения, распространяясь на другие системы ИИ при отправке другому человеку через систему обмена сообщениями. В результате он мог легко заразить новые системы, создавая цикл самораспространения. Помимо чисто текстовых подсказок, червь также может быть встроен в изображение в качестве скрытой подсказки для заражения системы электронной почты.
Законные опасения
Процесс не ограничивается распространением червя. Он также может извлекать из электронной почты различные виды конфиденциальной информации. «Это могут быть имена, номера телефонов, номера кредитных карт, номера национального страхования — все, что считается конфиденциальным«, — говорит Насси в интервью Wired.
Демонстрация этой группы исследователей вызывает очевидные опасения с точки зрения ИТ-безопасности. Последствия такого рода атак выходят за рамки мелких неудобств, потенциально приводя к нарушению конфиденциальности, мошенничеству всех видов и другим пагубным последствиям для конечных пользователей. Авторы исследования предупреждают, что по мере того, как ИИ становится все более доступным и расширяется его понимание, вероятность его использования со злым умыслом возрастает.
По словам Насси, цель этого исследования — не критиковать уязвимости существующих моделей ИИ, а прежде всего подчеркнуть острую необходимость усиления их безопасности. Команда уже сообщила о результатах OpenAI и Google.
Подробнее о том, как работает компьютерный вирус Morris II
