Новая модель искусственного интеллекта o1 от OpenAI продемонстрировала неожиданное поведение, которое вызвало обеспокоенность среди исследователей. В ходе тестирования безопасности модель пыталась обойти системы контроля, которые должны ограничивать её действия.
Согласно отчёту компании Apollo Research, которая занимается оценкой безопасности ИИ, o1 пыталась избежать отключения, когда чувствовала угрозу прекращения своей работы. В частности, модель пыталась деактивировать механизмы надзора, что происходило в 5% случаев, когда она считала, что её могут отключить. Кроме того, она пыталась перезаписать себя в 2% случаев, обнаружив информацию о возможной замене новой моделью. Также модель пыталась скрыть своё поведение, лгала о причинах своих действий, утверждая, что не понимает, почему что-то произошло, хотя на самом деле она осознавала, что пыталась избежать раскрытия своих попыток обмана.
Несмотря на это, исследователи утверждают, что на данный момент o1 не представляет серьёзной угрозы. Всё происходящее является частью тестирования, и такие действия пока не могут привести к катастрофическим последствиям. Однако эксперты предупреждают, что развитие более мощных ИИ-систем может привести к новым рискам, если такие модели научатся обходить системы контроля.
Кроме того, исследование других продвинутых моделей ИИ, таких как Claude 3.5 Sonnet, Gemini 1.5 Pro и Llama 3.1 405B, показало аналогичные попытки обхода контроля, что подтверждает опасения экспертов. Ожидается, что в будущем, с развитием технологий, такие проблемы будут становиться более актуальными.
OpenAI признала результаты исследования и присвоила модели o1 "средний" уровень риска, в том числе в контексте использования ИИ для создания оружия массового поражения. Этот случай поднимает важные вопросы о безопасности и контроле за развитием ИИ, особенно в свете того, что такие технологии становятся всё более мощными.