Большинству разработчиков, мечтающих дома запустить большие языковые модели с парой сотен миллиардов параметров, придётся выложить несколько десятков тысяч долларов США за систему, которая имеет достаточно вычислительной мощности, чтобы это сделать, но одному из счастливчиков удалось приобрести подобное оборудование за десятую часть его реальной стоимости, сообщает издание Tom's Hardware.

Система после доработки покупателем

Как пишет Дэвид Ноэль Нг (David Noel Ng), в поисках системы для ИИ-вычислений он наткнулся на сообщение на платформе Reddit, которое изначально он посчитал обманом, так как оборудование продавалось за значительно меньшую сумму, чем стоило на самом деле. Продавец утверждал, что низкая стоимость была обусловлена неудовлетворительным техническим состоянием системы, так как она не подходит для установки в стойку, имеет не слишком презентабельный вид, а её охлаждение было переделано с жидкостного на воздушное.

Пользователь проверил продавца и решил рискнуть, так как он находился всего лишь в паре часов езды от него, и в итоге убедился в правдивости его слов. Интересно, что покупателю удалось сбить цену до чуть более 8000 долларов США, хотя первоначально за оборудование просили на четверть больше. В итоге разработчик получил систему на базе двух суперчипов Nvidia GH200, включая следующие компоненты:

• два 72-ядерных CPU Nvidia Grace;
• два ИИ-ускорителя с тензорными ядрами Nvidia H100 Hopper;
• 960 ГБ оперативной памяти LPDDR5X с коррекцией ошибок;
• два блока памяти HBM3 по 96 ГБ каждый;
• матплату с двумя слотами PCIe Gen4 M.2 22110/2280;
• блок питания на 3000 Вт;
• четыре FHFL PCIe Gen5 x16.

Отмечается, что подобная система обойдётся как минимум в 80 000 долларов США. При этом покупателю пришлось существенно доработать оборудование, которое он приобрёл, в частности изготовить ряд деталей, перепаять некоторые контакты, очистить от пыли и грязи, а также добавить СЖО.

Процесс доработки и очистки системы. Источник фото: Tom's Hardware/David Noel Ng

Разработчик оказался очень доволен своим приобретением, так как теперь сможет запускать большие языковые модели с 235 млрд параметров у себя дома, потратив на систему гораздо меньше, чем она реально стоит.