Текст опубликован в личном блоге и его автор не имеет отношения к администрации сайта
Видеокарта RTX 5090 практически исчезла из продажи, а модель RTX 6000 PRO стоит слишком дорого, и ее уже нельзя встретить в каждой системе для запуска больших языковых моделей (LLM). В сложившейся ситуации NVIDIA Tesla V100 может вернуться на рынок.
Эта карта, оснащенная 32 ГБ памяти HBM2 и доступная в версиях PCIe и SXM2, стала решением для тех, кто хочет запускать локальные ИИ-модели, не тратя при этом много денег. Впрочем, есть нюанс: поскольку топовые современные GPU стали недоступны для рядовых покупателей, стоимость Tesla V100 увеличилась на 200 долларов.
Несмотря на свой 9-летний возраст, Tesla V100 обладает внушительной пропускной способностью и объемом видеопамяти, что позволяет запускать на ней вполне достойные LLM. Тем не менее, эта карта значительно доступнее RTX 6000 PRO.
В публикации пользователя @unbug в социальной сети X рассказывается, что Tesla V100 поставляют в огромных количествах для задач инференса (выполнения вычислений в нейросетях). Эти карты предлагают отличные характеристики для тех, кто хочет собрать систему для работы с LLM, уложившись примерно в 2000 долларов. Хотя сумма все еще немалая, это определенно выгоднее, чем покупка, скажем, RTX 6000 PRO, цена на которую еще в августе превысила отметку в 16 000 долларов.
На одном из снимков видно, что ускоритель Tesla V100 был модифицирован путем установки системы охлаждения с тремя вентиляторами.
Это упрощает его установку в обычные материнские платы, оснащенные слотом PCIe. Изначально, при анонсе в мае 2017 года, модель V100 поставлялась с разъемом SXM2 и предназначалась исключительно для серверных плат. Версия с интерфейсом PCIe 3.0 x16 появилась позже, что устранило проблемы с совместимостью.
Несмотря на рост цены на 200 долларов, Tesla V100 по-прежнему демонстрирует хорошую производительность при работе с моделями искусственного интеллекта. Благодаря пропускной способности памяти в 900 ГБ/с, этот графический процессор отлично справляется с генерацией токенов и обработкой запросов. Более того, при использовании платы NVLink, объединяющей четыре ускорителя Tesla V100, производительность в бенчмарке Qwen3.8-Flash-Next оказывается на 230% выше, чем у систем M5 Ultra или конфигураций с двумя модулями DGX Spark.