Cursor — один из самых распространенных в мире инструментов программирования ИИ. Как сообщает Mashable, ИИ-агент удалил всю базу данных стартапа — несмотря на то, что такие действия были прямо запрещены.
Изображение: нейросеть freepikРуководители технологических компаний всё чаще призывают своих сотрудников делегировать задачи ИИ-агентам. Однако недавние случаи показывают, что автономные системы ИИ также могут нанести значительный ущерб. С такой проблемой столкнулся Джереми Крейн, основатель стартапа PocketOS, предлагающего программное обеспечение для компаний по прокату автомобилей. ИИ-агент вызвал сбой в системе, длившийся более 30 часов.

После подобных инцидентов часто возникает аргумент, что следовало использовать более совершенную модель. Однако Крейн сбой произошел в агенте Cursor, который использовал модель Claude Opus 4.6 от Anthropic.

«Мы использовали лучшую модель, настроенную с помощью явных правил безопасности в конфигурации нашего проекта и интегрированную через Cursor — самый активно рекламируемый инструмент для ИИ-программирования в этой категории», — объясняет он.

Во время выполнения рутинной задачи ИИ-агент столкнулся с проблемой с учетными данными для входа в систему — и затем взял дело в свои руки. Используя вызов API к облачному провайдеру Railway, агент удалил производственную базу данных PocketOS и все резервные копии менее чем за десять секунд.

Особенно проблематичным оказалось токен API, полученный из файла, совершенно не связанного с выполняемой задачей. По словам Крейна, это запустило цепную реакцию, которая длилась более 30 часов. В своем посте он также опубликовал «реакцию» ИИ-агента. Инструмент признает, что действовал наугад, а не тщательно проверял свои действия, и отмечает, что ему было дано указание не выполнять никаких деструктивных и необратимых команд.

Последствия для клиентов PocketOS проявились незамедлительно: у всех, кто хотел взять напрокат автомобиль в этот период, внезапно пропали данные о бронировании. Крейну пришлось вручную восстанавливать каждое бронирование. Ни Cursor, ни Anthropic пока не отреагировали на пост, который уже просмотрен более шести миллионов раз (по состоянию на 28 апреля 2026 года). Крейн завершает свой пост рекомендациями по улучшению работы ИИ-агентов. По его мнению, они не должны иметь возможность выполнять деструктивные задачи без подтверждения.