Компания MangoBoost, специализирующаяся на решениях для ИИ-инфраструктуры, объявила о рекордных результатах своих систем в тестах MLPerf Inference v5.0. Их программное обеспечение Mango LLMBoost в сочетании с GPU AMD Instinct MI300X продемонстрировало наивысшую производительность в категории оффлайн-инференса для модели Llama2-70B.

Тесты проводились на кластере из 32 GPU MI300X, распределенных по четырем серверным узлам. Решение MangoBoost показало 103 182 токена в секунду в оффлайн-сценарии и 93 039 токенов в серверном сценарии, что на 24% превышает лучший результат систем на NVIDIA H100. При этом стоимость решения оказалась значительно ниже — GPU AMD стоят $15-17 тысяч против $32-40 тысяч за H100, что дает экономию до 62%.  

Mango LLMBoost представляет собой масштабируемое MLOps-решение для предприятий, поддерживающее более 50 открытых моделей, включая Llama, Qwen и DeepSeek. Оно предлагает автоматическую параллелизацию, настройку параметров и масштабирование контекста, что позволяет эффективно распределять нагрузку между GPU. ПО доступно как в облачных маркетплейсах (AWS, Azure, GCP), так и для локального развертывания.  

Достичь таких показателей удалось благодаря тесному сотрудничеству с AMD и использованию стека ROCm для максимального раскрытия потенциала MI300X. Помимо рекордов в MLPerf, Mango LLMBoost показал впечатляющие результаты в облачных тестах, демонстрируя до 138-кратное ускорение по сравнению с Ollama на конфигурации с 8 GPU NVIDIA A100.