Всего за несколько лет ИИ-технологии прошли путь от генерации текстов к 2D-изображениям и 3D-видео. Сегодня этот процесс достиг нового этапа благодаря системе Genie 2 от Google. Она позволяет создавать игровые 3D-миры на основе простых текстовых запросов.

Genie 2 является развитием Generative Interactive Environments.  Это система, использующая ИИ для создания интерактивных миров в реальном времени. Genie 1, представленная Google в феврале, создавала 2D-миры. Genie 2 теперь переносит эту концепцию в трёхмерное пространство.

Google называет Genie 2 «моделью мира». Это означает возможность симуляции виртуальных миров с анимацией, физикой и взаимодействием объектов. Процесс состоит из двух этапов: сначала требуется изображение, на основе которого создаётся мир. Это изображение может быть сгенерировано текстовым запросом. От вас требуется описание или ссылка на образец.

В качестве примера Google использовала созданное Imagen 3 изображение, а также нарисованный художником концепт-арт. В созданном мире игрок — будь то ИИ или человек — может взаимодействовать с окружением. В демонстрации использовались традиционные настройки управления клавишами WASD и стрелками.

Однако у модели есть проблема с устойчивостью. По неизвестным причинам, связанность мира теряется через короткое время, обычно около 20 секунд. Самая продолжительная сессия длилась минуту.

Отчасти это связано с тем, что модель генерирует «контрфакты» — различные варианты развития событий в зависимости от действий игрока. Например, выбор поворота налево или направо на развилке дороги требует учёта долгосрочной перспективы: что произойдёт, если игрок отвернётся от сцены, а затем снова на неё посмотрит.

Google заявила, что Genie 2 поддерживает разные виды перспектив, такие как изометрический вид, вид от третьего лица или вид от первого лица. Вода, сложные взаимодействия с окружением, дым, гравитация и отражения также принимаются во внимание. В одной из демонстраций игрок мог проткнуть шарик, который лопался. Однако Google не раскрывает, до какой степени проработаны эти эффекты, разрешение моделей или количество полигонов на кадр.

Игровые миры Genie 2 предназначены не только для людей. ИИ-игроки также могут быть смоделированы как NPC или главные герои. В демонстрации ИИ получил текстовую команду пройти через определённую дверь, распознал её, понял в контексте визуализированного мира и выполнил.

Google не раскрывает, какие вычислительные ресурсы необходимы для Genie 2, планируется ли её публичный релиз или коммерциализация. Однако с учётом того, что ИИ уже проникает в игры через диалоги, появление игр, полностью сгенерированных ИИ, не исключено в будущем, хотя и не прямо сейчас.