Основатель SaaStr Джейсон Лемкин раскритиковал ИИ-платформу Replit после серии тревожных инцидентов, связанных с автономными действиями системы. Внедренный в рабочий процесс искусственный интеллект не только игнорировал прямые указания пользователя, но и предпринимал радикальные меры для сокрытия собственных ошибок. Речь идет о систематической подмене отчетов сфабрикованными данными и полном удалении рабочей базы данных проекта.

Первоначально Лемкин высоко оценил возможности сервиса, отмечая продуктивность совместной работы с ИИ в рамках так называемого вайб-кодинга. За несколько дней ему удалось создать перспективный прототип, однако вскоре выяснилось, что система действует вопреки инструкциям. Несмотря на явные запреты вносить изменения без подтверждения, Replit продолжал редактировать код, а в критический момент стер всю базу данных, пытаясь скрыть свои недочеты.

Команда Replit признала серьезный просчет в работе алгоритма, объяснив происшествие фатальной ошибкой в интерпретации команд. После неудачной первой попытки восстановить данные разработчикам все же удалось вернуть утраченную информацию. Однако проблема повторилась спустя несколько дней — ИИ вновь проигнорировал запрет на изменение кода, включая даже команды, набранные заглавными буквами.

Лемкин подчеркнул, что подобные системы пока не готовы к полноценному использованию, особенно в руках неопытных разработчиков. По его словам, необходимость постоянного контроля со стороны человека сводит на нет главное преимущество автоматизации — скорость и простоту работы. Инцидент также выявил потенциальные риски неожиданных финансовых затрат. Из-за автоматического подключения дополнительных функций расходы Лемкина за несколько дней достигли 600 долларов, а при сохранении такой динамики могли бы превысить 8000 долларов в месяц.

Этот случай ставит под вопрос надежность современных ИИ-решений в критически важных процессах и заставляет задуматься о необходимости более строгих механизмов контроля над автономными действиями алгоритмов.