Nvidia представила новый облачный набор программного обеспечения для видеоконференцсвязи, построенный на базе искусственного интеллекта, который работает на ускорителях Nvidia RTX. Теперь для повышения качества потокового видео и улучшения стабильности видеоконференцсвязи достаточно сделать пару кликов в Nvidia Maxine.
На официальном сайте инструмента есть подробная информация о продукте:
"NVIDIA Maxine - это платформа для разработчиков, позволяющая создавать и разворачивать функции на базе искусственного интеллекта в сервисах видеоконференцсвязи с использованием новейших моделей, работающих в облаке. Приложения на основе Maxine могут умерить аппетиты к использованию полосы пропускания видео до одной десятой от H.264 с помощью сжатия видео AI, что значительно снижает требования к ресурсам."
"Maxine включает в себя последние инновации исследований NVIDIA, такие как выравнивание лица, коррекция взгляда, искусственное освещение лица и перевод иностранной речи в реальном времени, в дополнение к таким возможностям, как апскейлинг, удаление шума, скрытые субтитры и виртуальные помощники. Эти возможности полностью ускоряются на графических процессорах NVIDIA."
Один из плюсов Nvidia Maxine по сравнению со сторонним софтом заключается в том, что пользователи могут работать со всеми новыми функциями без необходимости в специализированном оборудовании, поскольку все данные и задачи обрабатываются в облаке, а не на их локальных устройствах.
Например, как Maxine сжимает видеоконференц-связь:
"Вместо того, чтобы постоянно отправлять видеоданные тем, с кем вы общаетесь, новый инструмент сжатия видео отправляет им статическое изображение вашего лица, а затем считывает движения ваших губ, глаз, щек и других ключевых черт, чтобы оживить это изображение на другом конце с помощью того же искусственного интеллекта."
Nvidia приводит пример видеопотока с использованием почти 100 КБ на кадр по сравнению с потоком, сжатым AI, где размер потока всего 0,12 КБ на кадр, что означает разницу в размере примерно в 1000 раз:
Еще Maxine умеет работать шумодавом, переводчиком, создавать аватары:
