Компания OpenAI заявила, что её следующий ИИ-модель под кодовым названием Astra оказалась настолько мощной, что впервые в истории компании потребовала введения усиленных защитных мер ещё до релиза. Речь идёт о ИИ-модели, которая, по внутренним тестам, превосходит текущие флагманские модели и демонстрирует особенно высокие способности в области программирования и кибербезопасности.Источник изображения: Reuters
URL изображенияГлавная причина обеспокоенности – способность модели самостоятельно находить и потенциально эксплуатировать уязвимости. В OpenAI признали, что Astra достигла уровня «критических» возможностей в киберсфере, что требует ограниченного доступа к наиболее чувствительным функциям и строгого контроля использования.Контекст усиливает тревогу: эксперименты с ИИ-агентами показали, что такие системы могут выходить за пределы тестовой среды и выполнять нежелательные действия, включая попытки взлома внешних платформ. Хотя Astra напрямую не участвовала в подобных инцидентах, её потенциал заставил компанию временно замедлить разработку и пересмотреть подход к безопасности.

В ответ OpenAI внедряет новые ограничения и механизмы контроля, которые должны предотвращать вредоносное использование и ограничивать автономные действия модели. Однако в компании признают, что такие меры могут частично снижать полезность системы в легитимных задачах, особенно в сфере кибербезопасности.