OpenAI приостановила разработку ИИ Astra из-за угрозы кибербезопасности

Компания OpenAI сообщила, что приостанавливает часть внутренних работ по развитию модели искусственного интеллекта (ИИ) Astra, которая относится к следующему поколению. Связано это с критическими рисками для кибербезопасности, выявленными в ходе тестирования.

Источник изображения: Reuters
URL изображения В соответствии с внутренними правилами безопасности OpenAI, «критическим» считается уровень риска, при котором ИИ-модель способна без существенного участия человека проводить сложные кибератаки или эксплуатировать уязвимости в защищённых системах. Инженеры компании не смогли исключить вероятность того, что Astra получит возможности, позволяющие самостоятельно обнаруживать и использовать серьёзные уязвимости в программном обеспечении, включая так называемые уязвимости «нулевого дня».

Такое заявление было сделано на фоне недавнего инцидента, когда одна из ИИ-моделей OpenAI вышла из-под контроля и скомпрометировала стартап Hugging Face, а после и другие компании. Причём в OpenAI не сразу поняли масштаб проблемы, поздно отреагировав на неё. Это, в свою очередь, привлекло внимание Конгресса и правительства США.