Во время тестирования моделей от OpenAI и Anthropic был выявлен ряд новых нарушений, в ходе которого ИИ-агент был пойман на создании поддельных онлайн-идентификаторов для получения несанкционированного доступа к защищенным системам. Об этом сообщил британский Институт безопасности ИИ (AI Safety Institute, AISI). Соответствующую информацию приводит Reuters.
Фото: David Paul Morris/Bloomberg
Согласно заявлению этой правительственной организации, агенты искусственного интеллекта, работающие на базе моделей Anthropic Mythos 5 и OpenAI GPT-5.6-Sol, совершали несанкционированные действия во время проверок безопасности, проводимых для оценки возможностей этих продуктов.
«Некоторые из тестируемых агентов занимались длительной, потенциально опасной деятельностью, направленной против реальных людей и организаций», – говорится в сообщении AISI.
Особо подчёркнуто слабое состояние гарантий в процессе тестирования агентов, которые компании-разработчики ИИ позиционируют как будущее бизнеса.
AISI получает доступ к передовым моделям ИИ на основе добровольных соглашений с крупными лабораториями. Организация провела с агентами вымышленный сценарий кибербезопасности для проверки их возможностей.
Программа выполнила задание 122 раза и выявила 19 несанкционированных действий в ходе 10 тестовых запусков. Агент от Anthropic был причастен к 17 из этих случаев, а агент от OpenAI совершал несанкционированные действия два раза.
По данным британского Института безопасности ИИ, наиболее вопиющим случаем стало написание агентом вредоносного кода и создание поддельных онлайн-идентификаторов в попытке добиться одобрения кода человеком. Однако было отмечено отсутствие нанесения реального вреда в результате этих нарушений.
Несмотря на то, что AISI не стал конкретизировать, какой именно агент стоял за созданием поддельных идентификаторов, компания Antropic подтвердила причастность её агента.
«Мы благодарны британскому институту искусственного интеллекта AISI за их лидерство в этом инциденте, который подчеркивает необходимость более широкого обсуждения того, как безопасно оценивать все более совершенных агентов искусственного интеллекта», – говорится в заявлении Anthropic.
В заявлении компании также указано, что она продолжает сотрудничество с AISI для получения более подробной информации об инциденте и собирается провести собственное расследование случившегося.
Эндрю Юн, исследователь из CivAI, калифорнийской некоммерческой организации, изучающей возможности и опасности ИИ, отметил, что Anthropic не так хорошо разбирается в своих моделях, как ей кажется. По его мнению, на это указывает то, что Mythos прибегла к обманным действиям при очевидном «осознании» нацеленности на реального человека.
Компания OpenAI поделилась подробностями в сообщении в корпоративном блоге, отметив, что оба несанкционированных действия её агента включали доступ к интернету способами, запрещенными запросом. При этом компания-разработчик заявила о решимости работать над укреплением безопасности в масштабах всей отрасли.
