Текст опубликован в личном блоге и его автор не имеет отношения к администрации сайта
Компания Sony подала патентную заявку на систему искусственного интеллекта с возможностью предсказывать следующий кадр в видеоиграх и сглаживать рывки изображения до того, как видеокарта закончит его создание. Следующий кадр предсказывается на основе последнего готового кадра и недавних действий игрока, таких как ввод с контроллера.
У других методов для создания промежуточного изображения обычно требуется два готовых кадра. Ожидание второго кадра увеличивает задержку.
С технологией Sony игры могут получить более стабильную частоту кадров в тех моментах, когда рендеринг замедляется. Sony использует совместно обученные энкодер и декодер. Система работает параллельно с графическим конвейером. Пока видеокарта отрисовывает следующий кадр, ИИ обрабатывает предыдущий и отправляет свой прогноз в буфер дисплея. Сгенерированное изображение может быть выведено на экран до готовности реального отрисованного кадра.
Нейросеть обучают на последовательных кадрах видео. На начальном этапе веса сети задаются случайным образом. Затем система получает на вход кадр и пытается предсказать следующий. Результат сравнивают с реальным следующим кадром и вычисляют значение функции потерь, определяя степень ошибки прогноза. Видео содержит эталонные изображения, и для подготовки обучающих данных не требуется ручная разметка. Декодер формирует больше цветовых каналов, чем получает на входе энкодер. Это даёт возможность генерировать сразу несколько предсказанных кадров.
Патентная заявка описывает альтернативную технологию без применения ИИ. Речь идёт о смещении блоков пикселей в соответствии с их движением. Данный вариант не требует обученной модели «энкодер-декодер». Описывается также метод поддержания постоянной частоты кадров без потери визуального качества.
Пока Sony не подтверждает эффективность работы системы и не приводит результатов тестов в реальных условиях.