Когда новые видеокарты для работы с нейросетями оказываются слишком дорогими или исчезают с полок, взгляды покупателей обращаются к проверенным временем решениям. Одно из них — серверная карта, которая начинала свой путь в дата-центрах и теперь находит применение в домашних сборках для искусственного интеллекта.
Изображение - ChatGPT
NVIDIA Tesla V100 — ускоритель, который представили в мае 2017 года. Сначала он выпускался с разъемом SXM2, предназначенным для серверных плат. Позже появилась версия с PCIe 3.0 x16, и она заметно упростила установку в обычные компьютеры. Сейчас доступны оба варианта, и у каждого есть свои покупатели.
Интерес к этой модели подогревает ситуация на рынке. Флагманская RTX 5090 практически пропала из продажи, а профессиональная RTX 6000 PRO стоит настолько дорого, что собирать на ней домашнюю станцию для нейросетей решаются немногие. На этом фоне V100 с 32 ГБ памяти типа HBM2 выглядит разумной альтернативой. Пропускная способность памяти у нее достигает 900 ГБ/с, чего достаточно для генерации текста и обработки запросов.
Популярность привела к подорожанию: по сравнению с недавним уровнем карта прибавила около $200. Для модели, которой скоро исполнится десять лет, это заметный рост. Продавцы предлагают разные варианты использования. Кто-то ставит на карту самодельное охлаждение с тремя вентиляторами, чтобы удобнее закрепить ее на обычной материнской плате. Другие покупают переходник с SXM2 на PCIe и подключают серверную версию к домашнему компьютеру.
Есть примеры, когда V100 работает вместе с потребительской видеокартой. Один энтузиаст объединил ее с RTX 4080, и такая связка позволила запускать модели с 27 миллиардами параметров. В другом случае сборка из четырех Tesla V100 через NVLink показала прирост производительности до 230% по сравнению с некоторыми современными системами при тестировании языковой модели. Иначе говоря, старый ускоритель все еще способен приносить пользу, если правильно подойти к сборке.
Для тех, кто хочет собрать недорогую станцию для работы с нейросетями, V100 остается одним из немногих доступных вариантов. Полноценная система на ее основе обходится примерно в $2000, что значительно меньше цены профессиональных карт. Стоит учитывать, что предложение ограничено, а цены могут продолжить рост.
