Компания Nvidia в настоящее время является лидером в области аппаратного обеспечения для искусственного интеллекта, и в подтверждение этих слов она недавно установила множество рекордов в области обучения ИИ и высокопроизводительных вычислений. Тем самым Nvidia побила рекорды, установленные ею самой всего полгода назад. В последних отраслевых бенчмарках MLРеrf ее суперкомпьютер Eos выполнил задачу менее чем за четыре минуты, которая заключалась в имитации обучения ИИ-модели GPT-3. Шесть месяцев назад на то же самое тестирование ушло почти 11 минут, что говорит о том, что Nvidia не собирается останавливаться на достигнутом.
Nvidia подробно рассказала о возможностях своего нового суперкомпьютера Eos в своем блоге. Это первый подобный случай, когда технологическая компания сообщила показатели своего сверхмощного компьютера. По данным Forbes, представители технологической отрасли раз в полгода делятся информацией о том, как их системы выполняют стандартизированные тесты, известные как MLPerf, так что это обновленные данные компании Nvidia, полученные с помощью запущенного суперкомпьютера Eos. В нем используется 10752 графических процессора H100 Tensor, подключенных к сети InfiniBand Quantum-2. Суперкомпьютер смог пройти тест на основе GPT-3, используя 175 млрд параметров, обученных на 1 млрд токенов, всего за 3,9 минуты, что позволило компании повысить производительность в 3 раза всего за шесть месяцев.
Суперкомпьютер Eos компании Nvidia продемонстрировал поистине впечатляющую производительность
Nvidia утверждает, что в бенчмарке используется только часть полного набора данных GPT-3, применяемых в ChatGPT, поэтому здесь есть некоторая неточность в расчетах. Тем не менее, инженеры Nvidia утверждают, что, исходя из этих чисел, их суперкомпьютер Eos мог бы обработать весь набор данных всего за восемь дней, что в 73 раза быстрее по сравнению с передовыми технологиями на момент выхода GPT-3 в 2020 году. В то время пиком производительности были 512 графических процессоров A100 Ampere, так что с тех пор многое изменилось.
Компания заявила, что создала Eos, чтобы он служил образцом производительности суперкомпьютеров в области искусственного интеллекта не только для себя, но и для своих OEM-партнеров и облачных партнеров. На этот раз большой прирост производительности обусловлен тем, что это самое большое количество графических процессоров H100, которое когда-либо использовалось в бенчмарках. В июне компания использовала всего 3584 графических процессора Hopper против 10752 сегодня.
Важно отметить, что в облачной системе Azure компании Microsoft также используется 10752 графических процессора H100. Nvidia сообщила, что обе компании показали разницу в пределах 2% друг от друга, при этом Nvidia одержала небольшую победу, поскольку Azure потребовалось 4 минуты, чтобы пройти тест GPT-3. Дженсен Хуанг утверждает, что это показывает, насколько эффективен H100 как в центрах обработки данных, так и в облачных средах.
