Платим блогерам
Блоги
Anonymouss
Audio2Face - это приложение автоматического видеомонтажа.


Nvidia наиболее известна как разработчик графических процессоров, но компания также разрабатывает некоторые интересные программные инструменты. Примером этого является RTX voice, обновленная для работы со всеми видеокартами GeForce в начале этого года и отлично справляющаяся с удалением фоновых помех и шума.

реклама

В этом году Nvidia продемонстрировала новый инструмент бета-версии. Audio2Face - это приложение автоматического монтажа, которое работает на открытой платформе моделирования Nvidia Omniverse. Приложение имеет функцию, позволяющую записывать аудиофайл и применять хорошо совпадающую анимацию 3D-модели Digital Mark.

Audio2Face делает это автоматически, хорошо работает с большинством языков и может настраиваться с помощью ползунков для получения более подробной информации.

Для этого Nvidia использует нейронную сеть, которая сопоставляет лицевую анимацию со звуком в реальном времени. При первом запуске программы может потребоваться некоторое время для создания движка Tensor RT, который оптимизирует нейронную сеть для вашего оборудования. Затем вы сможете видеть изменения происходящие в реальном времени и вносить коррективы. 

В качестве дополнительного бонуса прилагается Nvidia on Demand - это обучающий веб-сайт компании, на котором представлены множество видео на Omniverse и Audio2Face. Первое видео на Audio2Face появилось довольно давно в марте 2020 года, но в более поздних уроках даже подробно рассказывается, как экспортировать процесс в другие инструменты, такие как Unreal Engine 4. 

После просмотра нескольких видеороликов можно сделать вывод, что многое зависит от качества используемого звука. Известная речь Чарли Чаплина из фильма «Великий диктатор» представлена в одном видео, и представленная анимация не такая реалистичная, как на видеороликах, где используются более современные аудиозаписи. Разработчики приложения обещают со временем вносить коррективы и сделать анимацию более реалистичной.

Источник: pcgamer.com
+
Написать комментарий (0)

Популярные новости

Сейчас обсуждают