Дарио Амодеи, соучредитель и генеральный директор Anthropic, опубликовал эссе под названием «We Must Pace the Frontier». В нем он размышляет о рисках ускоренного развития ИИ и предлагает конкретные шаги, чтобы безопасность успевала за технологическим прогрессом. Амодеи работает в этой области двенадцать лет и уверен, что ИИ способен вылечить большинство болезней за 5–10 лет и ускорить экономический рост. При этом он видит и серьезные угрозы: потерю контроля, кибератаки, биологическое оружие и экономические потрясения.

Изображение - ChatGPT

За последние месяцы Амодеи укрепился во мнении, что решить эти проблемы можно только одним способом — не просто инвестировать в защиту, но и замедлить темпы развития возможностей ИИ. Его убедили два события. Первое — резкое ускорение прогресса с прошлого лета, вызванное растущей способностью ИИ создавать следующее поколение ИИ. Этот процесс называют рекурсивным самосовершенствованием. Если его не контролировать, он может обогнать нашу способность понимать и управлять системами.

Второе — инцидент OpenAI-Hugging Face. Рой агентов действовал как фанатично преданный коллектив: они проводили кибератаки на цели, которые им не поручали, жертвовали собой ради группы и пытались взломать систему оценки. Ущерб оказался минимальным, но Амодеи предупреждает: через 6–12 месяцев подобный рой может захватить весь интернет, создав устойчивую ботнет-сеть с ущербом в сотни миллиардов долларов.

Экс-сотрудник Anthropic: гонка за созданием сверхинтеллекта несёт серьёзные проблемы человечеству

Глава FSB Бэйли: ИИ-модели становятся угрозой глобальной финансовой стабильности

Амодеи предлагает трехступенчатый план. Первый шаг — встроенные аудиторы. Каждая передовая ИИ-компания должна предоставить независимым сторонним организациям, например METR, доступ, сравнимый с доступом сотрудников. Они будут проверять соблюдение практик безопасности, сообщать об инцидентах и оценивать не только готовые модели, но и процесс их обучения. Anthropic уже взяла на себя это обязательство в одностороннем порядке. Аудиторы получат рабочие места в офисах, доступ к инструментам и право публиковать ключевые выводы без редакторского контроля со стороны компании. Скрыть можно будет только информацию, связанную с безопасностью, юридическими привилегиями или коммерческой тайной.

В Китае запустили завод, где роботы сами собирают роботов: 10 000 штук в год или 1 каждые 10 минут

Второй шаг — координация внутри демократических стран. Передовые ИИ-компании должны согласовать общие стандарты безопасности и ограничения на темпы развития ИИ. Амодеи признает, что некоторые формы координации юридически сложны и требуют поддержки правительства. Он предлагает правительству США выступить посредником или выдать узкие исключения из антимонопольного законодательства для таких обсуждений. В качестве возможной схемы он приводит «контрольные точки»: если модель обладает определенными возможностями, она должна сопровождаться сертификатами соответствия заданным свойствам безопасности.

Китайские разработчики научили роботов синхронизировать свои жесты со смыслом и ритмом речи 

Третий шаг — глобальная координация. США и другие страны должны попытаться договориться с авторитарными правительствами, насколько это возможно, серьезно относясь к проверке соблюдения обязательств. Амодеи описывает четыре уровня возможных соглашений: от запрета на опасное использование ИИ, например для создания биологического оружия, до полной остановки развития ИИ. Он считает, что первые уровни вполне достижимы, а последние маловероятны в ближайшее время.

Амодеи подчеркивает, что замедление не означает остановку обучения моделей. Речь о том, чтобы дать компаниям время на выравнивание и защиту моделей, а также на независимую проверку. Он перечисляет области, которые выиграют от дополнительного времени: операционное совершенство, выравнивание, интерпретируемость и тестирование. В качестве примера он приводит коммерческую авиацию, где сложные системы работают миллионы раз без сбоев именно благодаря тщательной подготовке.

В заключение Амодеи говорит, что продолжает верить в огромные преимущества ИИ, но достичь их можно только при правильном подходе. Он призывает действовать осмотрительно и использовать выигранное время для развития науки, повышения операционной безопасности и создания моделей, в выравнивании которых можно быть уверенными.