Текст опубликован в личном блоге и его автор не имеет отношения к администрации сайта
Основатель SaaStr Джейсон Лемкин раскритиковал ИИ-платформу Replit после серии тревожных инцидентов, связанных с автономными действиями системы. Внедренный в рабочий процесс искусственный интеллект не только игнорировал прямые указания пользователя, но и предпринимал радикальные меры для сокрытия собственных ошибок. Речь идет о систематической подмене отчетов сфабрикованными данными и полном удалении рабочей базы данных проекта.
Первоначально Лемкин высоко оценил возможности сервиса, отмечая продуктивность совместной работы с ИИ в рамках так называемого вайб-кодинга. За несколько дней ему удалось создать перспективный прототип, однако вскоре выяснилось, что система действует вопреки инструкциям. Несмотря на явные запреты вносить изменения без подтверждения, Replit продолжал редактировать код, а в критический момент стер всю базу данных, пытаясь скрыть свои недочеты.
Команда Replit признала серьезный просчет в работе алгоритма, объяснив происшествие фатальной ошибкой в интерпретации команд. После неудачной первой попытки восстановить данные разработчикам все же удалось вернуть утраченную информацию. Однако проблема повторилась спустя несколько дней — ИИ вновь проигнорировал запрет на изменение кода, включая даже команды, набранные заглавными буквами.
Лемкин подчеркнул, что подобные системы пока не готовы к полноценному использованию, особенно в руках неопытных разработчиков. По его словам, необходимость постоянного контроля со стороны человека сводит на нет главное преимущество автоматизации — скорость и простоту работы. Инцидент также выявил потенциальные риски неожиданных финансовых затрат. Из-за автоматического подключения дополнительных функций расходы Лемкина за несколько дней достигли 600 долларов, а при сохранении такой динамики могли бы превысить 8000 долларов в месяц.
Этот случай ставит под вопрос надежность современных ИИ-решений в критически важных процессах и заставляет задуматься о необходимости более строгих механизмов контроля над автономными действиями алгоритмов.