Исследователи доказали, что хакеры могут использовать чат-ботов для распространения ИИ-червей

В последнее время крупные технологические компании активно инвестируют в развитие помощников на основе искусственного интеллекта (ИИ). Microsoft, Google, Amazon и Meta уже внедрили механизмы генеративного ИИ в свои продукты, такие как Copilot, Bard, Alexa и Chatbot. Однако эти системы требуют огромных вычислительных мощностей и обычно работают в облаке, что порождает серьезные проблемы с конфиденциальностью и открывает новые векторы атак для злоумышленников.

Недавнее исследование, проведенное специалистами по информационной безопасности из ComPromptMized, показало, что хакеры могут создавать червей, способных заражать экосистемы больших языковых моделей (LLM), работающих на таких движках, как Gemini (Bard) или GPT-4 (Bing/Copilot/ChatGPT). Эти черви могут скрытно распространяться между системами практически без участия пользователя, и пока ни один поставщик генеративного ИИ не имеет технических средств для предотвращения подобных атак.

Исследователи создали червя под названием Моррис II, который использует "противоречивые самовоспроизводящиеся подсказки" на простом языке, чтобы обманом заставить чат-бота распространять "вирус" между пользователями, даже если они используют разные LLM. Червь может красть конфиденциальные данные, такие как имена, номера телефонов, номера кредитных карт и номера социального страхования, и отправлять их на управляющий сервер.

Особенно опасным является вариант червя, использующий встроенные в изображения подсказки. Такой червь может быть незаметно внедрен в безобидное на первый взгляд электронное письмо, например, в поддельную рассылку. Затем он может использовать помощника ИИ для рассылки спама всем контактам пользователя, перекачки данных и отправки их на сервер злоумышленников.

Данное исследование показывает, что технологическим компаниям, возможно, стоит "притормозить" и более тщательно продумать вопросы безопасности, прежде чем мы столкнемся с совершенно новым штаммом червей и вирусов на базе ИИ, представляющих серьезную угрозу при использовании якобы дружелюбных чат-ботов.