MLCommons, отраслевая группа, специализирующаяся на оценке производительности искусственного интеллекта и оборудовании для машинного обучения, добавила в свою базу данных результаты тестирования новейших ускорителей искусственного интеллекта и машинного обучения и опубликовала первые показатели производительности вычислительных графических процессоров Nvidia H100 и Biren BR104. Результаты сравнивались с процессорами Intel Sapphire Rapids, Qualcomm AI 100 и Sapeon X220.

 MLPerf от MLCommons является набором эталонных тестов для обучения и логических выводов, признанных десятками компаний. Набор эталонных тестов MLPerf Inference версии 2.1 включает сценарии использования в центрах обработки данных и периферийных устройств, а также такие рабочие нагрузки, как классификация изображений (ResNet 50 v1.5), распознавание речи (RNN-T), медицинская визуализация (3D U-Net), обнаружение объектов (RetinaNet) и другие.

 Системы, участвующие в этих тестах, оцениваются в двух режимах: в режиме сервера запросы поступают пакетами, тогда как в автономном режиме все данные передаются сразу, поэтому очевидно, что в автономном режиме они работают лучше.

 Результаты, полученные в MLPerf, описывают не только чистую производительность ускорителей, но также их масштабируемость и производительность на ватт, чтобы показать более подробную картину. Все результаты можно просмотреть в базе данных, но Nvidia собрала результаты производительности каждого ускорителя на основе материалов, предоставленных ею самой и третьими лицами.

 Конкуренты Nvidia еще не представили все свои результаты, поэтому на графике, опубликованном Nvidia, отсутствуют некоторые результаты. Тем не менее можно сделать некоторые довольно интересные выводы из таблицы, опубликованной Nvidia.

 Поскольку Nvidia H100 является самым сложным и наиболее продвинутым ускорителем AI/ML, поддерживаемым очень сложным программным обеспечением, оптимизированным для архитектуры Nvidia CUDA, неудивительно, что на сегодняшний день это самый быстрый вычислительный графический процессор, который до 4,5 раз быстрее, чем Nvidia A100.

 Тем не менее BR104 от Biren Technology, который предлагает примерно половину производительности, предлагаемой флагманским BR100, демонстрирует определенные перспективы в рабочих нагрузках по классификации изображений (ResNet-50) и обработке языка (BERT-Large). Если BR100 в два раза быстрее BR104, он будет предлагать более высокую производительность, чем Nvidia H100, в рабочих нагрузках классификации изображений.

 X220-Enterprise от Sapeon, а также Cloud AI 100 от Qualcomm не могут сравниться даже с ускорителем A100 от Nvidia, выпущенным около двух лет назад. Процессор Intel Xeon Sapphire Rapids может выполнять рабочие нагрузки AI / ML, хотя не похоже, что код был достаточно оптимизирован для этого процессора, поэтому его результаты довольно низкие.

 Nvidia ожидает, что H100 со временем будет предлагать еще более высокую производительность в рабочих нагрузках AI/ML. Реальным конкурентом для Nvidia H100 будет вычислительный графический процессор Intel под кодовым названием Ponte Vecchio, который предназначен как для супервычислений, так и для приложений AI/ML. Кроме того, будет интересно увидеть результаты AMD Instinct MI250 в MLPerf. Тем не менее на данный момент Nvidia удерживает корону производительности AI/ML.