NVIDIA намерена упростить процесс создания 3D-миров с помощью новой модели искусственного интеллекта. По словам представителей компании, программная разработка GET3D способна генерировать модели персонажей, зданий, транспортных средств и другие типа 3D-объектов. Система также умеет быстро создавать нужные формы — уже сейчас она способна генерировать около 20 объектов в секунду с использованием одного графического процессора.

Разработчики обучили ИИ-модель, используя «синтетические 2D-изображения 3D-форм, снятых под разными углами. NVIDIA заявляет, что ей потребовалось всего два дня, чтобы загрузить около 1 миллиона изображений в GET3D с использованием графических процессоров A100 Tensor Core.

GET3D также способна создавать объекты с «высококачественными текстурами и сложными геометрическими деталями. Об этом заявил Иша Салиан из NVIDIA в своём блоге. Он также пояснил, что формы и объекты, которые делает GET3D, «имеют форму треугольной сетки, похожей на модель из папье-маше, покрытую текстурированным материалом».

Любопытно, что пользователи будут иметь возможность быстро импортировать сгенерированные объекты в игровые движки, средства 3D-моделирования, а также программы визуализации эффектов для фильмов, поскольку GET3D создаёт всё в совместимых форматах. Это означает, что разработчикам может быть намного проще создавать плотные виртуальные миры для игр и метавселенной. В качестве других возможных сфер применения нового инструмента NVIDIA были упомянуты робототехника и архитектура.

Команда поддержки GET3D заявила, что на основе обучающего набора изображений автомобилей система смогла создать седаны, грузовики, гоночные автомобили и фургоны. Она также может создавать лис, носорогов, лошадей и медведей после прохождения обучения на изображениях животных. Как и следовало ожидать, NVIDIA отмечает, что чем больше и разнообразнее тренировочный набор, загруженный в GET3D, «тем разнообразнее и детальнее будет результат».

С помощью другого инструмента NVIDIA AI, StyleGAN-NADA, можно применять различные стили к объекту с помощью текстовых подсказок. Пользователь сможет придать автомобилю, скажем, выгоревший вид, превратить модель дома в дом с привидениями или, как подсказывает видео, демонстрирующее технологию, применить тигровые полосы к любому животному.

Исследовательская группа NVIDIA, создавшая GET3D, считает, что будущие версии можно будет обучать на реальных изображениях, а не на синтетических данных. Также может быть возможно обучать модель сразу на различных типах 3D-форм, вместо того чтобы сосредотачиваться на одной категории объектов в текущий момент времени.