На официальном сайте NVIDIA появилась новость, в которой Эндрю Эдельстен (Andrew Edelsten) — технический директор подразделения глубокого обучения компании ответил на ключевые вопросы касающиеся технологии DLSS. После добавления технологии в Battlefield V и выхода Metro Exodus — проекта, поддерживающего все новые технологии NVIDIA на релизе, игроки подвергли DLSS активному обсуждению и критике, также были обнаружены различные особенности работы технологии, о которых официально не сообщалось. Эндрю решил ответить на самые популярные вопросы о DLSS и раскрыть подробности её работы.

Что такое DLSS?

Deep Learning Super Sampling (DLSS) — это технология NVIDIA RTX, которая использует возможности искусственного интеллекта для увеличения частоты кадров в играх с высокими графическими нагрузками. С DLSS игроки могут использовать более высокие разрешения и настройки, сохраняя при этом стабильную частоту кадров.

Как работает DLSS?

Сначала из игры извлекается массив кадров без сглаживания, затем для каждого кадра генерируется так называемый «идеальный кадр», для этого используется супер-сэмплинг (super-sampling) или накопительный рендеринг (accumulation rendering). Пара исходный кадр и «идеальный кадр» отправляются на суперкомпьютер NVIDIA, который обучает модель DLSS распознавать несглаженные кадры и генерировать высококачественные сглаженные изображения, которые максимально точно соответствуют «идеальному кадру». Затем процесс повторяется, но на этот раз модель обучается генерировать дополнительные пиксели вместо применения сглаживания. Это похоже на эффект увеличения разрешения. Объединение обоих методов позволяет графическому процессору отображать полное разрешение экрана при более высокой частоте кадров.

Где DLSS обеспечивает наибольшую выгоду? И почему это не доступно для всех разрешений?

Результаты DLSS немного различаются потому что каждая игра имеет разные параметры в зависимости от игрового движка, разную сложность деталей и разное время, необходимое для обучения модели. Наш суперкомпьютер никогда не спит, и мы продолжаем обучать и совершенствовать нашу нейронную сеть даже после релиза игры. Когда мы улучшаем производительность или качество изображения, мы выпускаем обновления программного обеспечения NVIDIA.

DLSS предназначен для повышения частоты кадров при высоких нагрузках на графический процессор (когда частота кадров низкая, а графический процессор работает на полную мощность, производительность графического процессора не должна ограничиваться другими компонентами системы или какими-либо факторами). При высокой частоте кадров время их отрисовки может быть меньше времени применения DLSS. В этом случае DLSS недоступен, потому что это не повысит частоту кадров. Однако, если игра интенсивно использует графический процессор (при этом FPS, например, ниже некоторого значения), DLSS обеспечивает оптимальное повышение производительности. Вы можете повысить свои настройки графики, чтобы получить максимальную выгоду от DLSS. 

Если углубиться в технические особенности можно сказать, что DLSS нужно фиксированное время для запуска нейронной сети и обработки кадра. Таким образом при более низкой частоте кадров или более высоком разрешении, DLSS дает большее преимущество. При высокой частоте кадров или при низком разрешении, DLSS может не увеличить производительность. Если время отрисовки кадров графического процессора меньше чем время применения DLSS, то DLSS не включается. DLSS включается только в тех случаях, когда можно получить прирост производительности. Доступность DLSS зависит от игры, графического процессора и разрешения экрана.

Некоторые пользователи упоминали размытые кадры. Что вы можете сказать об этом?

DLSS — это новая технология, и мы прилагаем все усилия для ее совершенствования. Мы создали DLSS, чтобы использовать тензорные ядра архитектуры Turing и получить преимущество при высоких нагрузках на графический процессор. Во время разработки мы были сконцентрированы на высоких разрешениях (когда загрузка графического процессора самая высокая), разрешение 4K было приоритетной целью обучения. Обычно при 4K разрешении для DLSS доступно около 3,5-5,5 миллионов пикселей из которых можно сгенерировать окончательный кадр, в то время как для 1080p мы получаем только около 1,0-1,5 миллиона пикселей. Чем меньше исходных данных, тем сложнее для DLSS распознать особенности кадра и предсказать окончательный кадр. Мы видели скриншоты и читали отзывы сообщества о работе DLSS в более низких разрешениях, поэтому сейчас мы фокусируемся на оптимизации DLSS для меньших разрешений. Мы увеличиваем объем обучающих данных и внедряем новые методы для улучшения качества, и мы будем продолжать обучать нейронную сеть, чтобы со временем она стала еще лучше.

Почему бы мне просто не использовать вместо этого расширенный TAA?

В зависимости от разрешения, настроек качества и особенностей игры кто-то может предпочесть TAA в одной игре и DLSS в другой. Игровая индустрия использует TAA в течение уже многих лет и мы знаем, что использование TAA может сократиться из-за определенных особенностей. В основе TAA лежит принцип обработки нескольких заранее полученных кадров, это может приводить к появлению ореолов и мерцаний при высокой скорости движения объектов, DLSS в этой ситуации проявляет себя лучше.

Когда будет следующее обновление DLSS для Battlefield V и Metro Exodus?

Мы постоянно работаем над улучшением качества. Недавно мы обновили ядро DLSS, чтобы вы получили последнее обновление модели к моменту релиза игры. Убедитесь, что у вас установлен последний драйвер Game Ready (418.91 или выше). 

Мы считаем, что DLSS обеспечивает значительное улучшение производительности в Battlefield V, в 4K и 1440p разрешениях прирост производительности доходит до 40 % при соответствующем качестве, но мы обращаем внимание на все отзывы сообщества. На следующем этапе мы сосредоточим наше тестирование и обучение на улучшении качества изображения в разрешении 1080p, а также на сверхшироких мониторах (с разрешением, например, 3440x1440). Работа технологии в этих разрешениях находится не на том уровне, который бы нас удовлетворил. 

Для Metro Exodus уже подготовлено обновление, улучшающее четкость и общее качество изображения для всех разрешений, которые были недоступны в день запуска. Мы также проводим обучение DLSS в различных режимах, и как только новые обновления будут готовы, вы увидите изменения в лучшую сторону. Также, мы рассмотрим несколько других известных проблем, таких как HDR, и выпустим соответствующие обновления, как только внесем нужные исправления.

Источник: nvidia.com