Платим блогерам
Редакция
Новости IT-рынка admin
Компилятор NVIDIA TensorRT 7 обеспечивает инференс в реальном времени, совершенствуя взаимодействие человека и ИИ

реклама


СУЧЖОУ, Китай—GTC China— 18 декабря 2019—NVIDIA представила программное обеспечение для инференса, с помощью которого разработчики могут создавать диалоговые приложения искусственного интеллекта, обеспечивающие полностью интерактивное взаимодействие.

NVIDIA TensorRT™ 7 — пакет разработки ПО для инференса седьмого поколения открывает дверь в мир более передовых взаимодействий человека и ИИ и позволяет в реальном времени работать с такими приложениями, как голосовые агенты, чатботы и рекомендательные сервисы.

Согласно исследованиям Juniper Research, в мире используется 3.25 млрд цифровых голосовых помощников. К 2023 году эта цифра вырастет до 8 млрд, что превысит всё население Земли.

TensorRT 7 включает новый компилятор глубокого обучения, который автоматически оптимизирует и ускоряет всё усложняющиеся рекурентные нейросети и сети с архитектурой типа трансформер, необходимые для диалоговых ИИ-приложений. Он ускоряет компоненты диалогового ИИ более чем в 10 раз по сравнению с CPU, снижая латентность до 300 мс. А это именно тот порог, который необходим для взаимодействий реального времени.

“Мы открыли новую главу в ИИ, где машины стали понимать язык человека в реальном времени, - говорит учредитель и генеральный директор NVIDIA Дженсен Хуанг (Jensen Huang) на конференции GTC China. - TensorRT 7 позволяет воплотить все это в жизнь, предоставляя разработчикам инструменты для создания быстрых и умных диалоговых ИИ-сервисов, обеспечивающих более естественное взаимодействие человека и ИИ”.

Крупнейшие инновационные компании мира уже берут на вооружение инструменты NVIDIA для ускорения диалогового ИИ, и среди них - Sogou, которая предоставляет поисковые сервисы для WeChat, самого популярного мобильного приложения.

“Sogou предоставляет качественные ИИ-сервисы, такие как голосовые возможности, изображения, перевод, диалог и вопросы и ответы миллионам пользователей каждый день”, - сказал Янг Хонгтао (Yang Hongtao), технический директор Sogou. “Платформа инференса NVIDIA TensorRT позволяет нам обеспечить работу онлайн-сервисов в реальном времени. Такие возможности ИИ значительно улучшили пользовательские возможности наших сервисов”.

Возрастающее значение рекурентных нейросетей

TensorRT 7 ускоряет рост числа ИИ-моделей, используемых для предсказаний в сценариях работы с временными, последовательными данными, где применяются рекурентные циклические структуры (RNN). Помимо использования в диалоговых ИИ-сетях RNN помогают в составлении расписаний прибытий для автомобилей и спутников, предсказания событий в электронных врачебных записях, прогнозирования финансовых активов и обнаружения мошенничества.

Взрывной рост комбинаций RNN-конфигураций и функций привел к необходимости в быстром развертывании коммерческого кода, отвечающего критериям работы в реальном времени. Создание кода вручную приводило к многомесячным задержкам, поэтому диалоговый ИИ получил развитие у немногих компаний, обладающих необходимыми компетенциями.

С новыми компилятором глубокого обучения TensorRT разработчики по всему миру получили возможность автоматически оптимизировать такие сети, как уникальные сети автоматического распознавания речи и WaveRNN и Tacotron 2 для перевода текста в речь, обеспечивая максимально высокую производительность при минимальной латентности.

Новый компилятор также оптимизирует сети типа трансформер, такие как BERT для обработки естественного языка.

Ускорение инференса с периферии в облако

TensorRT 7 может быстро оптимизировать, валидировать и разворачивать обученные нейросети для инференса в гипермасштабируемых датацентрах, встроенных или автомобильных платформах на базе GPU.

Платформа инференса от NVIDIA, включающая TensorRT, а также несколько библиотек NVIDIA CUDA-X AI™ и GPU NVIDIA, обеспечивает инференс высокой пропускной способности с низкими задержками не только для диалоговых приложений, но и для классификации изображений, обнаружения мошенничества, сегментации, распознавания объектов и рекомендательных систем. Ее возможности широко используются ведущими корпоративными и потребительскими компаниями, включая Alibaba, American Express, Baidu, PayPal, Pinterest, Snap, Tencent и Twitter.

Доступность

TensorRT 7 будет доступен в ближайшие дни, бесплатно для участников программы NVIDIA Developer, на странице TensorRT. Новейшие версии плагинов, анализаторов и семплов с открытым кодом также доступны в репозитарии TensorRT GitHub.
Показать комментарии (2)

Сейчас обсуждают