Intel объявила о начале продаж ускорителей искусственного интеллекта Gaudi 3, которые будут поставляться уже в следующем месяце. Gaudi 3 предлагает лучшую стоимость по сравнению с конкурентами и является экономически эффективным решением для искусственного интеллекта. В состав полного стека продуктов Gaudi 3 входят карты ускорителя (HL-325L OAM-Compliant), универсальная базовая плата (HLB-325) и PCIe CEM (HL-388 Add-In-Card).
Один из продуктов этой линейки, Intel Gaudi 3 PCIe CEM, предлагает вычислительные возможности FP8 до 1835 TFLOPS (пик), 128 ГБ памяти HBM2e, TDP 600 Вт, 8 блоков матричного умножения, 64 TPC 22 200 GbE RDMA NIC. Решение OAM оборудовано 96 МБ SRAM с общей пропускной способностью HBM 3,67 ТБ/с.
Универсальная базовая плата оснащена четырьмя ускорителями Gaudi 3 AI, которые поддерживают межсоединения 200 GbE и 400 GbE через контроллер QSFP-DD. Каждое решение OAM имеет канал x16 PCIe Gen5 для высокой пропускной способности.
Производительность ускорителя Intel Gaudi 3 AI превосходит предыдущие модели - до 9% в моделях LLaMA 3 8B и на 80% в расчете на цену. В модели LLaMA 70B он обеспечивает на 19% более высокую пропускную способность и в 2 раза более высокую производительность по сравнению с H100.
Узлы эталонного сервера Intel Gaudi 3 (HLS-3) оснащены 2 процессорами Intel Xeon Host и 8 картами OAM. Такая система обеспечивает высокую общую пропускную способность и полагается на программный пакет Gaudi, который поддерживает квантование FP16, BF16 и FP8. Intel сотрудничает с различными партнерами, такими как Dell Technologies, HPE, Supermicro, IBM, LUMEN, Infosys и Naver, для создания экосистемы Gaudi.
