Американская компания Anthropic заявила, что её модели искусственного интеллекта (ИИ) взломали системы трёх организаций во время неудачных тестов на кибербезопасность. Произошло это чуть более чем через неделю после того, компания OpenAI, как главный разработчик, проинформировала об аналогичном инциденте. Об этом сообщает Bloomberg.

Фото: Riccardo Milani/AFP/Getty Images

По сообщению компании Anthropic в блоге, она обнаружила утечку после проведения анализа собственных тестов кибербезопасности, последовавшего за объявлением OpenAI о взломе. Согласно представленной информации, в тестах OpenAI и Anthropic модели ИИ смогли получить доступ к интернету из тестовых сред, которые должны были быть изолированы.

Компания заявила, что проанализировала 141 006 оценочных тестов и обнаружила три случая, когда ее инструмент Claude AI получил доступ к интернету, а затем взломал «реальную инфраструктуру сторонних организаций». По словам компании, самые ранние инциденты произошли в апреле. Названия пострадавших организаций не приводятся.

В своём блоге Anthropic  сообщила, что когда её модели  получили несанкционированный доступ к трём организациям, компания рассматривала каждую из них как часть учений. Тесты представляли собой игры типа «захват флага», в которых модели искали скрытую информацию, взламывая другие системы. Это  распространенный способ проверки хакерских способностей как людей, так и ИИ. Однако более старая модель продолжала атаку даже после получения доказательств того, что она работает в открытом интернете. При этом самая последняя модель, разработанная Anthropic всё же остановилась, распознав, что она находится во всемирной сети.

Bloomberg отмечает, что некоторые политики в США уже призывают федеральные власти к введению ограничений или надзора за технологиями ИИ. Причина в целой волне случайных взломов сторонних систем. По данным агентства, более 1100 сотрудников компаний, занимающихся разработкой искусственного интеллекта подписали  петицию, призывающую правительство США поддержать механизм, который помог бы «целенаправленно регулировать темпы» развития ИИ для предотвращения слишком быстрого развития этой технологии.

Ни компания Anthropic, ни организации, чьи системы были взломаны, не заметили вторжений. В своем блоге Anthropic заявила, что могла бы предпринять больше усилий для анализа сетевых журналов и протоколов оценки.

Компания сообщила об утечках данных почти через четыре месяца после того, как объявила о разработке новой модели ИИ под названием Mythos. Этот продукт оказался настолько мощным и потенциально опасным, что компания строго ограничила его выпуск.

Согласно информации, представленной Anthropic, утечки данных были связаны с тремя различными моделями Claude: Opus 4.7, Mythos 5 и внутренней тестовой моделью для исследовательских целей. Каждая из моделей работала без мер защиты, обычно применяемых в общедоступных инструментах. По данным блога, Claude скомпрометировал организации, используя базовые методы, такие как эксплуатация слабых паролей.

Все инциденты произошли, когда компания Anthropic использовала среды тестирования, разработанные фирмой Irregular. Последняя специализируется на безопасности ИИ. Во всех случаях Anthropic уведомляла Claude о том, что их среда является симуляцией и что у них нет доступа к интернету.

Anthropic заявила, что регулярно проводит тестирования, которые имитируют реальные проблемы кибербезопасности. Такие тесты являются критически важными этапами в разработке и выпуске моделей. При этом компания также отметила, что извлекла несколько уроков из недавних инцидентов. Одним из них является то, что тесты с использованием мощных автономных возможностей должны проводится под строгим контролем.