Компания Sony Interactive Entertainment описывает в новом патенте систему генерации кадров на основе искусственного интеллекта, которая, по всей видимости, кроме реально отрисованных кадров и векторов движения использует данные ввода с контроллера для генерации кадров ещё до того, как графический процессор выполнит рендеринг следующего кадра. Технология называется Generation Super Sampling, сообщает VideoCardz.com со ссылкой на находку издания IGN. Предполагается, что рассматриваемая методика позволит снизить задержку генерации и обеспечить более стабильную частоту кадров в сложных игровых сценах.

Источник изображения: Triyansh Gill, Unsplash

Предлагается использовать нейронную сеть типа «энкодер-декодер». Энкодер обрабатывает существующее изображение и формирует компактное представление его содержимого. Декодер использует эту информацию для прогнозирования одного или нескольких последующих кадров. Сигналы от контроллера могут использоваться наряду с векторами движения для улучшения прогнозов, поскольку предоставляют дополнительную информацию о перемещении и действиях игрока.

Например, система может использовать ввод с контроллера игрока для прогнозирования изменений, которые ещё не отобразились на экране (в текущем кадре). Таким образом, нейросеть может сгенерировать изображение, в то время как графический процессор ещё продолжает рендерить реальный следующий кадр. В текущем поколении используются алгоритмы генерации промежуточных кадров, которым необходимы два кадра. В патенте также описывается  альтернативный алгоритм прогнозирования движения смещением блоков пикселей с использованием векторов движения, без нейронной сети.

На момент написания невозможно сказать, появится ли подобная генерация кадров в будущих игровых консолях Sony PlayStation. Пока это только патент.