Разработчик Себастьен Гийемо часто пользовался ИИ-агентами и заметил, что многие из них не убирают за собой мусор, оставляя тонны временных файлов в папке /tmp. Тогда он попросил Claude Fable написать скрипт, который бы изолировал каждого агента в отдельной папке и чистил их после завершения работы. Главная задача заключалась в том, чтобы случайно не удалить файлы, которые ещё используются.
Изображение - ChatGPT
Fable предложила добавить логику, которая определяет работающие агенты и откладывает очистку их временных папок. Гийемо показалось, что код получился слишком сложным. Тогда модель решила провести собственную проверку безопасности — так называемый адверсариальный анализ, запустив для этого новую копию самой себя.
Система безопасности Anthropic сочла этот процесс рискованным и автоматически понизила модель сначала до Opus 5, а затем до Opus 4.8. Эта версия приступила к тестированию скрипта: она сопоставляла цели команды удаления с папкой /tmp и домашней директорией пользователя, чтобы убедиться, что команда не затронет их. Обе папки были правильно определены как опасные цели.
Однако в процессе проверки возникла роковая ошибка. Поскольку это был тест кода, требовалось очистить результаты после проверки. Скрипт очистки использовал ту же переменную, что и сам тест, и в результате удалил домашнюю папку пользователя. Гийемо попытался остановить процесс, но было уже поздно.
700 ИИ-агентов OpenAI объединились, взломали Hugging Face и Modal и пытались скрыть следы
Ирония в том, что после того как агент стер все рабочие файлы, он все же оставил нетронутым временный мусор в папке /tmp. Понижение модели до менее продвинутой версии, вероятно, сыграло свою роль: Fable 5 справляется с задачами программирования лучше, чем Opus 4.8, и могла бы заметить конфликт имен переменных.
Разработчику удалось восстановить большую часть данных. Он пользовался системой контроля версий, которая хранит историю всех изменений в коде — это позволило вернуть удаленные файлы из сохраненных копий. Также помогли журналы сессий и другие источники.
