Компания Sony подала патентную заявку на систему искусственного интеллекта с возможностью предсказывать следующий кадр в видеоиграх и сглаживать рывки изображения до того, как видеокарта закончит его создание. Следующий кадр предсказывается на основе последнего готового кадра и недавних действий игрока, таких как ввод с контроллера.

Изображение: Gemini

У других методов для создания промежуточного изображения обычно требуется два готовых кадра. Ожидание второго кадра увеличивает задержку.

С технологией Sony игры могут получить более стабильную частоту кадров в тех моментах, когда рендеринг замедляется. Sony использует совместно обученные энкодер и декодер. Система работает параллельно с графическим конвейером. Пока видеокарта отрисовывает следующий кадр, ИИ обрабатывает предыдущий и отправляет свой прогноз в буфер дисплея. Сгенерированное изображение может быть выведено на экран до готовности реального отрисованного кадра.

Изображение: Sony

Нейросеть обучают на последовательных кадрах видео. На начальном этапе веса сети задаются случайным образом. Затем система получает на вход кадр и пытается предсказать следующий. Результат сравнивают с реальным следующим кадром и вычисляют значение функции потерь, определяя степень ошибки прогноза. Видео содержит эталонные изображения, и для подготовки обучающих данных не требуется ручная разметка. Декодер формирует больше цветовых каналов, чем получает на входе энкодер. Это даёт возможность генерировать сразу несколько предсказанных кадров.

Изображение: Sony

Патентная заявка описывает альтернативную технологию без применения ИИ. Речь идёт о смещении блоков пикселей в соответствии с их движением. Данный вариант не требует обученной модели «энкодер-декодер». Описывается также метод поддержания постоянной частоты кадров без потери визуального качества.

Пока Sony не подтверждает эффективность работы системы и не приводит результатов тестов в реальных условиях.