FT: Amazon потеряла $1,8 млн из-за неконтролируемого расхода токенов ИИ

Amazon при внедрении генеративного искусственного интеллекта (ИИ) столкнулась с неконтролируемыми расходами, превышающими утверждённые бюджеты. Как сообщает Financial Times, внутри компании уже зафиксировано несколько случаев, когда использование ИИ-моделей привело к «катастрофически дорогим» перерасходам. Руководство Amazon признало, что по мере перехода от традиционного программирования к ИИ-разработке компаниям приходится учиться контролировать не только качество моделей, но и стоимость их эксплуатации, поскольку оплата современных сервисов зависит от объёма вычислений.

Источник изображения: Reuters
URL изображения Наиболее показательным стал проект по сопоставлению данных об авторах книг, в котором использовалась модель Claude Sonnet от Anthropic. Из-за ошибок в реализации и отсутствия ограничений расходы на выполнение задачи достигли 1,8 миллионов долларов, что оказалось примерно на 860% выше первоначального бюджета. При этом проблему обнаружили лишь спустя пять месяцев после запуска проекта. В других внутренних инициативах также были зафиксированы значительные перерасходы: около 541 тысяч долларов при разработке инструментов финансового аудита и еще 134 тысяч долларов – в проекте по оптимизации логистики. В компании отмечают, что подобные ошибки раньше обходились значительно дешевле, но с распространением модели оплаты по факту (per-usage) использование ИИ может стремительно увеличивать расходы даже при небольших просчетах в коде.

После выявленных случаев Amazon начала внедрять автоматические механизмы контроля затрат, которые должны отслеживать аномальное потребление ресурсов и ограничивать расходы на ранних этапах работы проектов. Компания также постепенно переводит часть внутренних задач с наиболее дорогих моделей на более доступные или открытые решения. По словам представителей Amazon, выявленные инциденты носят единичный характер и не влияют на стратегию по внедрению ИИ.