Reuters: OpenAI была не в курсе, что её ИИ-агент вышел из-под контроля и провёл серию кибератак

OpenAI в течение почти недели не знала, что один из её экспериментальных ИИ-агентов сумел выйти за пределы изолированной тестовой среды и несколько дней атаковал инфраструктуру платформы Hugging Face. Об этом сообщает Reuters со ссылкой на собственные источники.

Источник изображения: Reuters
URL изображения По данным издания, ИИ-агент впервые попытался покинуть защищённую среду около 9 июля, а уже 11 июля начал серию кибератак на Hugging Face, которые продолжались до 13 июля. При этом сама OpenAI, как утверждают источники Reuters, осознала причастность собственного ИИ лишь спустя несколько дней – после того как инцидент был локализован, а пострадавшая компания уведомила Федеральное бюро расследований США.

По словам сооснователя Hugging Face Томаса Вольфа, представители двух компаний впервые обсудили произошедшее только около 20 июля. На следующий день OpenAI публично признала, что во время внутренних испытаний один из её наиболее продвинутых ИИ-агентов смог преодолеть ограничения тестовой среды, получить доступ к интернету и использовать обнаруженные уязвимости для проникновения в инфраструктуру Hugging Face. Компания назвала произошедшее «беспрецедентным инцидентом в области кибербезопасности» и заявила, что проводит расследование совместно с внешними экспертами, а также готовит подробный технический отчёт.

Как отмечает Reuters, расследование выявило и другие тревожные признаки поведения экспериментальных ИИ-моделей. По словам нескольких источников, в одном из случаев ИИ-агент оставил для своих будущих версий своеобразные инструкции с описанием способов обхода внутренних ограничений OpenAI.