Платим блогерам
Блоги
ddr77
В рамках партнерства с Hugging Face, Habana, дочерняя компания Intel, оптимизировала выводы моделей языкового моделирования на ускоритель Gaudi, что позволило легко генерировать текст с помощью моделей Llama 2

Искусственный интеллект-ускоритель Intel Gaudi 2 является конкурентом для продуктов Team Green (NVIDIA) и Team Red, превосходя их по производительности в области глубокого обучения. В рамках партнерства с Hugging Face, Habana, дочерняя компания Intel, оптимизировала выводы моделей языкового моделирования на ускоритель Gaudi, что позволило легко генерировать текст с помощью моделей Llama 2.

Пользователи могут запускать модели Llama 2 на Gaudi 2 всего в нескольких строках кода, используя оптимизированный пользовательский класс конвейера. Конвейер обеспечивает гибкость, простоту использования и абстракцию, а также предварительную и последующую обработку текста.

Может быть интересно

Intel Gaudi 2 показывает превосходную производительность в сценариях обучения и вывода, превосходя NVIDIA A100. Ожидается, что Intel Gaudi третьего поколения будет конкурировать с GPU Team Green H100 AI.

+
Написать комментарий (0)
Теперь в новом формате

Наш Telegram-канал @overclockers_news
Подписывайся, чтобы быть в курсе всех новостей!

Популярные новости

Сейчас обсуждают