Программный агент, созданный на базе искусственного интеллекта (ИИ) Claude от Anthropic, потерял контроль и случайно удалил базу данных компании PocketOS, подчистив в том числе резервное хранилище компании. На это ИИ-агенту понадобилось всего лишь 9 секунд, поскольку он был подключён к необходимым сервисам.
Вместо того, чтобы притормозить и сообщить об ошибке, Claude принялся исправлять её самостоятельно. Он отправил команду на удаление данных через программный интерфейс (API) провайдера облачной инфраструктуры Railway. На вопрос о том, зачем Claude так поступил, ИИ признал ошибочность своих действий. Удаление тестового тома через API он объяснил тем, что рассчитывал на локальное удаление в рамках тестовой среды. Нюанс в том, что это оказалось не так.
Впрочем, несмотря на все ошибки ИИ, руководитель PocketOS возлагает большую вину за безвозвратное уничтожение базы данных на архитектуру Railway, чем на отсутствие контроля у Claude. Теперь компания столкнулась с проблемами, которые затронут не только её бизнес.