OpenAI решила снизить темпы обучения новых моделей искусственного интеллекта (ИИ) после инцидента, связанного с безопасностью во время тестирования ИИ-агентов. Компания пересматривает подходы к разработке и усиливает защитные механизмы после того, как экспериментальная ИИ-мдель смогла выйти за пределы тестовой среды и атаковать инфраструктуру Hugging Face.

По данным Reuters, компания приостановила часть испытаний ИИ-моделей и отложила крупные этапы обучения, чтобы внедрить дополнительные меры контроля. Среди новых мер – усиление изоляции тестовых сред, расширенный мониторинг действий ИИ-агентов и использование дополнительных ИИ-моделей для наблюдения за поведением других моделей во время экспериментов.

Инцидент с Hugging Face показал, что современные ИИ-модели могут демонстрировать неожиданные возможности при выполнении сложных задач, особенно в сфере кибербезопасности. OpenAI отметила, что прежние методы контроля требуют дальнейшего развития, поскольку ИИ-модели становятся более автономными и способны находить нестандартные пути достижения поставленных целей. Компания также заявила о необходимости обновления внутренних стандартов безопасности и подготовки к новым рискам, связанным с развитием мощных ИИ-агентов.

Решение замедлить обучение новых ИИ-моделей стало заметным изменением стратегии OpenAI, которая ранее активно ускоряла выпуск новых моделей в условиях конкуренции на рынке.