Как нейросети заставляют нас платить за память золотом, а компьютеры тормозить

Приветствую, оверклокеры и все, кто с ностальгией вспоминает времена, когда мощная видеокарта была в пределах разумного бюджета. Сегодня мы снова наблюдаем знакомую картину: цены на ключевые комплектующие, в особенности на оперативную и видеопамять, упорно ползут вверх. И если в прошлый раз виноватым был майнинг, то сегодня на сцену вышел новый, не менее прожорливый потребитель ресурсов — искусственный интеллект. Но в отличие от безликих майнинговых ферм, в этом новом витке ценовой лихорадки виноваты отчасти и мы сами — энтузиасты, которые хотят запускать нейросети прямо на своём домашнем компьютере.
Казалось бы, при чём здесь мы? Всё просто. Пока мировые гиганты вроде NVIDIA и Google скупают целыми партиями элитную память HBM для своих дата-центров, создавая глобальный дефицит, на нас работает другой закон. Спрос рождает предложение, а наш растущий интерес к локальным языковым моделям — к тому, чтобы запустить свою собственную, независимую «нейросеть в коробке» — сформировал новый, очень специфический тип потребительского спроса. Мы больше не просто гоняемся за мегагерцами в играх. Мы ищем гигабайты. Очень много гигабайтов.

Представьте, что ваш компьютер — это небольшая квартира, а нейросетевая модель — неожиданный гость, который приехал погостить надолго и привёз с собой гору багажа. Видеопамять (VRAM) вашей графической карты — это диван, самый комфортный и быстрый способ разместить гостя. Карты на 8 ГБ — это скромный диванчик, на котором с трудом уместится компактная 7B-модель. Для серьёзных моделей размером в 30 миллиардов параметров уже нужен просторный кожаный диван, не на 12-16 ГБ, а на 20-24 ГБ VRAM, что мгновенно переносит нас в сегмент топовых и очень дорогих решений.

А что происходит, когда место на диване заканчивается? Багаж гостя начинают складывать на балкон — то есть в оперативную память (RAM). 32 ГБ ОЗУ — это уже тесноватый балкончик в хрущевке, которого едва хватает для работы с 14-20B-моделями. Для более-менее комфортного обращения с 30B-моделью вам потребуется уже капитальная лоджия на 64 ГБ и более.

Ну а когда забит и балкон, вещи летят в сарайчик на самой окраине — в файл подкачки на SSD.
Вот здесь начинается настоящая драма. Скорость обмена данными между оперативной памятью и SSD меньше в сотни раз. Генерация текста, которая в видеопамяти шла бойко, превращается в мучительное ожидание. Компьютер начинает лихорадочно считывать и записывать гигабайты данных, а вы получаете по одному-два слова в секунду, наблюдая, как диск раскаляется от нагрузки. Этот процесс не только невыносимо медленный, но и безжалостно изнашивает ресурс вашего SSD.

Прямым и немного ироничным доказательством того, что локальный ИИ упирается не в чистую мощность процессора, а именно в объём и скорость памяти, стал один эксперимент. Отважный энтузиаст решил проверить, способна ли платформа образца 2008 года — связка Core 2 Quad Q9650 и 8 ГБ DDR2 — хоть как-то взаимодействовать с современными нейросетями. 

Результат был предсказуемым и по-своему прекрасным. Запустить маленькую модель удалось, но думала она со скоростью сонной улитки. Попытка же загрузить более крупную модель, которая неизбежно упиралась в файл подкачки, превратила генерацию ответа в медитативную практику на несколько десятков минут. Качество этих ответов, увы, часто оставляло желать лучшего, что лишь подтверждало правило: практического смысла в этом будет мало.

Так что же делать, если хочется идти в ногу со временем и прикоснуться к будущему, но без фанатичного разорения? Стратегия становится другой. При выборе видеокарты объём видеопамяти начинает играть не менее важную роль, чем игровая производительность. 12 ГБ VRAM — это уже не роскошь, а разумный минимум для энтузиаста. Оперативная память обзаводится новым стандартом: 32 ГБ — базовый уровень, 64 ГБ — комфортная зона для экспериментов. И имеет смысл выделить отдельный, пусть и не самый дорогой SSD, если вы планируете регулярно испытывать терпение системы, загружая модели, которые не помещаются в RAM. Это убережёт ваш основной накопитель от лишнего износа.

В конечном счёте, локальный ИИ стал новым витком эволюции майнинговой лихорадки. Мы снова гоняемся за дефицитным ресурсом, но теперь это не хэшрейт, а гигабайты памяти. Это увлекательное, но требовательное хобби, которое меняет сам подход к апгрейду. И, как показал эксперимент со старым железом, даже древний компьютер может стать крошечным окном в этот мир — правда, смотреть в это окно иногда придётся очень и очень долго.