Исследователи продолжают находить новые способы использования возможностей искусственного интеллекта и машинного обучения по мере развития технологий. На этой неделе сотрудники Google объявили о создании Transframer, нового фреймворка, способного генерировать короткие видеоролики на основе отдельных изображений. Новая технология может когда-нибудь дополнить традиционные решения для рендеринга, позволяя разработчикам создавать виртуальные среды на основе возможностей машинного обучения.

 Название нового фреймворка является данью уважения другой модели на основе ИИ, известной как Transformer. Первоначально вышедший в 2017 году, Transformer представляет собой новую архитектуру нейронной сети с возможностью генерировать текст путем моделирования и сравнения других слов в предложении. С тех пор модель была включена в стандартные среды глубокого обучения, такие как TensorFlow и PyTorch.

 Подобно тому, как Transformer использует язык для прогнозирования потенциальных результатов, Transframer использует изображения с аналогичными атрибутами в сочетании с описанием запроса для создания коротких видеороликов. Полученные видеоролики перемещаются по целевому изображению и визуализируют точные перспективы, несмотря на отсутствие каких-либо геометрических данных в исходных изображениях.

 Новая технология, продемонстрированная с использованием платформы искусственного интеллекта Google DeepMind, работает путем анализа одного изображения для получения ключевых фрагментов данных изображения и создания дополнительных изображений. Затем контекстные изображения используются для дальнейшего прогнозирования того, как изображение будет выглядеть под разными углами. Предсказание моделирует вероятность дополнительных кадров изображения на основе данных, описания и любой другой информации.

 Платформа знаменует собой огромный шаг в развитии видеотехнологий, предоставляя возможность генерировать достаточно точное видео на основе очень ограниченного набора данных. Transframer также показал чрезвычайно многообещающие результаты в других задачах и тестах, связанных с видео, таких как семантическая сегментация, классификация изображений и прогнозирование оптического потока.

 Последствия для сопутствующих отраслей, таких как разработка игр, могут быть потенциально огромными. Современные среды разработки игр полагаются на основные методы рендеринга, такие как затенение, наложение текстур, глубина резкости и трассировка лучей. Transframer может предложить разработчикам совершенно новый путь развития, используя искусственный интеллект и машинное обучение для создания сред, сокращая при этом время, ресурсы и усилия, необходимые для их создания.