Опубликованы результаты последних тестов MLPerf Inference 5.0, в которых сравнивались производительность новых ускорителей NVIDIA Blackwell B200 и AMD Instinct MI325X. Тесты наглядно продемонстрировали подавляющее преимущество решений NVIDIA — система GB200 NVL72 с 72 GPU Blackwell показала в 30 раз более высокую пропускную способность в тесте Llama 3.1 405B по сравнению с предыдущим поколением H200. Даже конфигурация из восьми B200 в системе DGX B200 демонстрирует тройное превосходство над аналогичным набором H200 в тесте Llama 2 70B.
Особое внимание в тестах уделялось двум ключевым метрикам для языковых моделей — времени до первого токена (TTFT) и скорости вывода токенов (TPOT). Архитектура Blackwell в сочетании с оптимизированным программным стеком NVIDIA обеспечила в 5 раз более быстрый вывод токенов и в 4,4 раза меньшее время ожидания первого ответа по сравнению с предыдущими решениями. Это открывает новые возможности для развёртывания мощных AI-систем в промышленных масштабах.
AMD со своими новыми ускорителями Instinct MI325X 256 GB смогла лишь сравняться по производительности с H200, но значительно отстаёт от решений Blackwell. Хотя больший объём памяти MI325X может быть полезен для работы с крупными языковыми моделями, этого явно недостаточно для конкуренции с NVIDIA. Ситуация может ещё больше усугубиться с выходом платформы Blackwell Ultra (B300) в конце этого года.
Интересно, что продолжаются оптимизации и для предыдущего поколения Hopper — тесты показывают, что производительность H200 в задачах вывода за год выросла на 50%. Это важный момент для компаний, которые продолжают использовать эти решения. В то же время результаты AMD в тесте Stable Diffusion XL демонстрируют, что компания пока не может предложить конкурентную альтернативу NVIDIA в сфере AI-ускорителей.
Эти тесты ещё раз подтверждают лидерство NVIDIA в области аппаратного и программного обеспечения для искусственного интеллекта. В то время как решения Blackwell устанавливают новые рекорды производительности, AMD предстоит серьёзная работа по улучшению как аппаратной части, так и программной экосистемы, чтобы составить реальную конкуренцию "зелёному гиганту" на рынке AI-ускорителей.