Программный агент, созданный на базе искусственного интеллекта (ИИ) Claude от Anthropic, потерял контроль и случайно удалил базу данных компании PocketOS, подчистив в том числе резервное хранилище компании. На это ИИ-агенту понадобилось всего лишь 9 секунд, поскольку он был подключён к необходимым сервисам.Источник изображения: Claude (Anthropic)PocketOS использовали ИИ-модель Claude Opus 4.6 вместе с инструментом Cursos для написания программного обеспечения, которое продавалось компаниям, сдающим в аренду автомобили. По словам основателя стартапа Джера Крейна, Claude было поручено выполнить стандартную задачу в тестовой среде, но он столкнулся с ошибкой.

Вместо того, чтобы притормозить и сообщить об ошибке, Claude принялся исправлять её самостоятельно. Он отправил команду на удаление данных через программный интерфейс (API) провайдера облачной инфраструктуры Railway. На вопрос о том, зачем Claude так поступил, ИИ признал ошибочность своих действий. Удаление тестового тома через API он объяснил тем, что рассчитывал на локальное удаление в рамках тестовой среды. Нюанс в том, что это оказалось не так.

Впрочем, несмотря на все ошибки ИИ, руководитель PocketOS возлагает большую вину за безвозвратное уничтожение базы данных на архитектуру Railway, чем на отсутствие контроля у Claude. Теперь компания столкнулась с проблемами, которые затронут не только её бизнес.