Цифровые агенты учатся друг у друга, создавая все более эффективные методы решения задач. Этот процесс напоминает естественную эволюцию, но происходит в компьютерной среде.

Ученые создали популяцию ИИ-агентов, которые пытались решать различные задачи. За их работой наблюдала «метасеть» — родительская система, анализировавшая эффективность методов обучения. Она отбирала наиболее успешные подходы и создавала новые поколения агентов.

В результате система разработала правило обучения DiscoRL, которое специалисты назвали Disco57. Алгоритм тестировали на 57 играх Atari, где он превзошел все человеческие разработки.

Команда проверила Disco57 в разных условиях. Сначала — на классических играх Atari, затем на новых задачах: ProcGen, Crafter и NetHack. В каждом случае алгоритм показывал лучшие результаты, чем решения, созданные человеком, включая PPO и MuZero.

Особенно важно, что система справилась с ранее незнакомыми задачами. Это доказывает, что ИИ действительно создал универсальное правило обучения, а не просто запомнил решения.

Традиционное обучение с подкреплением требует ручной настройки параметров. Новый подход позволяет системе самостоятельно находить оптимальные методы обучения. Исследователи отмечают, что их работа — шаг к созданию машинно-конструируемых алгоритмов.

Система работает по принципу эволюции: случайные изменения и отбор наиболее эффективных вариантов. Только вместо миллионов лет процесс занимает дни компьютерных вычислений.

Ученые считают, что такой подход может ускорить развитие искусственного интеллекта. Вместо ручного создания алгоритмов системы смогут самостоятельно находить оптимальные методы решения задач. Это особенно важно для сложных сред, где человеческая интуиция оказывается недостаточной.