Исследователям NVIDIA удалось на несколько порядков повысить скорость создания трёхмерных сцен из набора фотографий за счёт внедрения новых подходов в технологию Neural Radiance Fields (NeRF). Для работы нейросети NeRF требуется пара десятков фото и координаты положения камер. За несколько минут получаются достаточно качественные объёмные сцены, но обучается модель гораздо дольше — на это могут уйти часы. В NVIDIA смогли сократить время обучения до нескольких секунд, а на визуализацию теперь и вовсе требуются миллисекунды. Новая модель получила название Instant NeRF.
Изменения коснулись метода кодирования входных данных, исследователи называют новый подход «кодированием хэш-сетки с несколькими разрешениями» (англ. multi-resolution hash grid encoding), подробнее об этом можно узнать на странице метода в GitHub. Модель создавалась с применением библиотеки Tiny CUDA для создания лёгких и быстрых нейронных сетей, оптимизированных для работы с видеокартами NVIDIA и тензорными ядрами — нейросеть может работать на одном современном графическом процессоре NVIDIA.
Instant NeRF превращает набор статичных изображений в трёхмерную сцену так же быстро, как фотоаппараты компании Polaroid быстро создают фотографии, объясняет NVIDIA. Фотоаппарат Polaroid был одним из главных инструментов художника Энди Уорхола (англ. Andy Warhol) и команда NVIDIA Research в качестве демонстрации возможностей Instant NeRF решила воссоздать одну из его фотографий.