Похоже, что 2023 год запомнится как год преждевременной кончины 8 ГБ версий видеокарт. Еще в прошлом году 8 ГБ было вполне достаточно для большинства игр. Но сейчас мы видим, что все больше игр ААА-класса требуют 12 ГБ и более видеопамяти. Nvidia все таки увидела свою ошибку и работает над ее решением — нет, не создавая видеокарты с большим объемом видеопамяти, а путем изучения того, как использовать сжатие для уменьшения использования памяти.

Эксперты уверены, что это область исследований, над которой Nvidia будет работать очень долго, поскольку она имеет решающее значение для производительности графического процессора. Эта работа уже дает свои плоды, потому что команда исследователей компании, по-видимому, открыла новую технологию и подробно описала ее в официальном документе. Она обещает невероятный прирост производительности сжатия без потери качества изображения. К сожалению, могут пройти годы, прежде чем она появится в графических процессорах, которые мы используем для видеоигр.

Исследовательская работа называется "Нейронное сжатие текстур материалов с произвольным доступом" и написана шестью авторами из Nvidia, проживающих в США и Швеции. Работа посвящена растущим требованиям к хранению данных и памяти, вызванным бесконечным стремлением к повышению фотореализма в 3D-рендеринге. В ней представлен новый метод сжатия текстур, который позволяет повысить уровень детализации до 2 раз и улучшить качество изображения по сравнению с существующими методами сжатия, включая AVIF и JPEG XL.

Здесь вы можете сравнить качество картинки размером 3,8 МБ с изображением размером 256 МБ при том же разрешении.

Авторы заявляют, что «ключевая идея, лежащая в основе нового метода, заключается в сжатии нескольких текстур материалов и их цепочек "mipmap" вместе, а также в использовании небольшой нейронной сети, оптимизированной для каждого материала, для их распаковки». В результате этого нового подхода нейронное сжатие текстур позволяет хранить в 16 раз больше текстур в том же объеме памяти, что и существующие технологии. Чтобы достичь этого, Nvidia пришлось создать новую архитектуру декодера вместе с оптимизированным GPU-компрессором.

Одним из ключевых достижений также является удаление элементов, которые просто не нужны, т. е. «излишков». Она делает это, беря четыре текстурные карты — карты диффузии, нормалей, шероховатости и смещения — и объединяя их в одну. Однако это сопряжено с определенными рисками, поскольку технология работает только с текстурами, которые полностью выровнены. Она напоминает трассировку лучей несколько лет назад, поскольку не выдает 60 кадров в секунду. В документе говорится, что в настоящее время технология может сжимать «9-канальный набор текстур материала в формате 4k за 1-15 минут на графическом процессоре NVIDIA RTX 4090, в зависимости от желаемого уровня качества».

Нейронное сжатие текстур

Авторы описывают типовые текстурные карты, которые объединяются в один файл.

Несмотря на свои ограничения, эта технология, безусловно, дает нам надежду на будущее, но неясно, будет ли она когда-либо использоваться в играх. Авторы не включили в статью полную 3D-сцену. Они пришли к выводу, что надеются, что эту технологию можно будет использовать для «создания сильно сжатых нейронных изображений для использования в других областях рендеринга в реальном времени в качестве средства достижения кинематографического качества». Они также написали, что она предусматривает «скромные временные нагрузки», что звучит так, как будто она не готова к игровому процессу с высокой частотой кадров на этой ранней стадии. Тем не менее, это звучит многообещающе, и кто знает, что может произойти через несколько лет.