Потребительские графические процессоры могут стать одним из оптимальных решений для локального запуска мощных моделей LLM, поскольку Nvidia и AMD активно развивают соответствующие платформы для этой цели. На днях AMD представила возможности своего флагманского решения RDNA 3, использованного для тестирования модели LLM DeepSeek R1, на что Зелёный гигант ответил демонстрацией выводов с использованием их последних RTX Blackwell. Результаты действительно показали, что GeForce RTX 5090 занимает лидирующие позиции.

Среди различных моделей DeepSeek R1, GeForce RTX 5090 явно превосходит Radeon RX 7900 XTX, а также своего предшественника. Этот графический процессор смог достичь производительности в 200 токенов в секунду при работе с Distill Qwen 7b и Distill Llama 8b, что почти в два раза превышает показатели AMD RX 7900 XTX.

Для тех, кто заинтересован в запуске DeepSeek R1 на графических картах Nvidia RTX, компания создала специальный блог, чтобы помочь пользователям. Интересно, что процесс так же прост, как использование любого чат-бота в интернете. С помощью NIM от Nvidia разработчики и энтузиасты могут протестировать модель искусственного интеллекта на своих локальных конфигурациях.