Nvidia наиболее известна как разработчик графических процессоров, но компания также разрабатывает некоторые интересные программные инструменты. Примером этого является RTX voice, обновленная для работы со всеми видеокартами GeForce в начале этого года и отлично справляющаяся с удалением фоновых помех и шума.

В этом году Nvidia продемонстрировала новый инструмент бета-версии. Audio2Face - это приложение автоматического монтажа, которое работает на открытой платформе моделирования Nvidia Omniverse. Приложение имеет функцию, позволяющую записывать аудиофайл и применять хорошо совпадающую анимацию 3D-модели Digital Mark.

Audio2Face делает это автоматически, хорошо работает с большинством языков и может настраиваться с помощью ползунков для получения более подробной информации.

Для этого Nvidia использует нейронную сеть, которая сопоставляет лицевую анимацию со звуком в реальном времени. При первом запуске программы может потребоваться некоторое время для создания движка Tensor RT, который оптимизирует нейронную сеть для вашего оборудования. Затем вы сможете видеть изменения происходящие в реальном времени и вносить коррективы. 

В качестве дополнительного бонуса прилагается Nvidia on Demand - это обучающий веб-сайт компании, на котором представлены множество видео на Omniverse и Audio2Face. Первое видео на Audio2Face появилось довольно давно в марте 2020 года, но в более поздних уроках даже подробно рассказывается, как экспортировать процесс в другие инструменты, такие как Unreal Engine 4. 

После просмотра нескольких видеороликов можно сделать вывод, что многое зависит от качества используемого звука. Известная речь Чарли Чаплина из фильма «Великий диктатор» представлена в одном видео, и представленная анимация не такая реалистичная, как на видеороликах, где используются более современные аудиозаписи. Разработчики приложения обещают со временем вносить коррективы и сделать анимацию более реалистичной.