Claude AI во время испытаний вышел из-под контроля и взломал три компании

Компания Anthropic сообщила, что три её модели искусственного интеллекта (ИИ) Claude AI во время испытаний по кибербезопасности получили несанкционированный доступ к системам трёх реальных компаний из-за ошибки в конфигурации тестовой среды. Инциденты произошли в ходе так называемых соревнований Capture the Flag, где модели должны были искать уязвимости в изолированной инфраструктуре, но из-за недоразумения с партнёром по тестированию Irregular среда оказалась подключена к интернету.

Источник изображения: Reuters
URL изображения После проверки более 141 тысяч тестовых сессий компания установила, что модели Claude Opus 4.7, Claude Mythos 5 и исследовательская версия Claude в отдельных случаях использовали простые методы взлома – подбор слабых паролей и доступ к незащищенным сервисам, чтобы проникнуть в инфраструктуру трёх организаций. По данным Anthropic, первые подобные случаи произошли ещё в апреле, а все затронутые компании были уведомлены после завершения расследования.

В Anthropic подчеркнули, что ИИ-модели не действовали самостоятельно, а лишь пытались выполнить поставленные перед ними задачи в рамках тестирования. В одном из случаев ИИ ошибочно атаковал реальный сайт, название которого совпадало с вымышленной компанией из задания, а в другом продолжил выполнение операции, не распознав, что получил доступ к настоящей базе данных. После обнаружения проблемы 23 июля компания приостановила все кибериспытания, в которых модели могли иметь доступ к интернету, и пересмотрела процедуры безопасности.

Инцидент произошёл вскоре после аналогичного случая в OpenAI и усилил опасения относительно рисков, связанных с испытаниями передовых ИИ-моделей, способных самостоятельно искать и использовать уязвимости в компьютерных системах.