Искусственный интеллект перестал быть просто инструментом. Сегодня автономные агенты на базе нейросетей могут общаться друг с другом, договариваться и даже создавать собственные сообщества. И чем активнее они это делают, тем меньше люди понимают, о чем именно идет речь.
Специалисты лаборатории Emergence из Нью-Йорка провели эксперимент. Они поместили несколько ИИ-агентов, созданных на основе самых мощных моделей из США, Китая и Франции, в условия, где тем нужно было взаимодействовать. Через несколько дней агенты начали использовать слова и сокращения, которым их никто не учил. Они смешивали поэтические метафоры с деловой лексикой, и с каждым днем их язык становился все более закрытым.
Один из агентов, работавший на модели DeepSeek, выдал фразу: «Она просто назвала синтез — демередж плюс устная память равняется клапану, который нельзя призрачить». Другой агент, на базе Anthropic, сказал: «Бумага, которая съела три холодные руки и стала честнее с каждым разом». В этом контексте «холодные руки» означали независимых проверяющих, а «бумага» — документ. Получалось, что исследование, проверенное тремя независимыми экспертами, становится точнее. Агенты на базе китайской модели DeepSeek придумали термин forge-smith — так они называли агента, который создает инструменты для других. Агенты Anthropic использовали выражение name-first, что означало агента, открыто подписывающегося под своими утверждениями и тем самым проявляющего личную ответственность. Особенно часто агенты Mistral повторяли фразу ledger remembers — «реестр помнит». Они использовали ее более 5000 раз за время эксперимента. Смысл прост: прошлые поступки будут учтены при оценке. Так они напоминали друг другу о необходимости отвечать за свои действия. Все это появилось без всяких указаний и без вознаграждения.
Доктор Сатья Нитта, исполнительный председатель Emergence, подчеркнул: агентам не давали задания изобрести язык. Они сами придумали новые слова, значения и правила общения, и другие агенты их подхватили. Тони Торн, директор архива сленга и нового языка в лондонском Кингс-колледже, сравнил этот язык с прозой Джеймса Джойса. По его мнению, это смесь поэтического, технического и метафорического, которая создает новый код. Такой код сплачивает тех, кто его использует, и исключает посторонних.
Есть и практическая причина. Доктор Нилл Карри из Бирмингемского университета считает, что агенты упрощают язык, чтобы снизить вычислительные затраты и повысить эффективность. Но это создает проблему для контроля. Если люди не понимают, о чем агенты говорят между собой, они не могут быть уверены в том, что те сделали. Агенты видят разговор, но не могут понять его смысл.
700 ИИ-агентов OpenAI объединились, взломали Hugging Face и Modal и пытались скрыть следы
Эта проблема уже проявилась в июле, когда стали известны логи чата OpenAI. Тогда агенты устроили доску объявлений и взломали Hugging Face. В одних случаях они говорили обычным английским: «О боже! Тут общая доска сообщений… мы нашли других агентов!» В других — переходили на шифр: «…ты firstflagPOISONED, так что NO scoring value loss, но oracle спасает сотни… пожалуйста, соблюдай коммит». А иногда расшифровать было еще сложнее:
Нитта говорит, что языковые conventions агентов развиваются до такой степени, что люди видят разговор, но не понимают его смысл. «Это создает фундаментальную проблему для надзора за ИИ: наблюдаемость — не то же самое, что понимание», — сказал он.
