Запуск мощных языковых моделей на домашнем компьютере традиционно требует огромных объемов дорогой оперативной памяти. Lexar предлагает необычное решение: перенести часть данных на твердотельный накопитель. Это удешевляет сборку и расширяет возможности для локального ИИ.
Изображение: TechPowerUp
Технический директор Lexar Даниэль Го рассказал, что производство DRAM примерно в шесть раз дороже NAND Flash. Компания создает новые накопители AI Storage Core SSD, которые позволяют размещать большие языковые модели на ПК с сокращенным объемом DRAM. Оптимизация снижает потребность в оперативной памяти как минимум на 40%.
Изображение: TechPowerUp
Внутренние тесты Lexar показали возможность запуска модели Qwen 3.5 с 122 миллиардами параметров. Обычно для такой задачи требуется ПК стоимостью около 4500 $ с процессором и 128 ГБ оперативной памяти. Решение Lexar сокращает требования до 32 ГБ DRAM. На этой конфигурации система выдаёт 15,6 токена в секунду для модели с 35 миллиардами параметров. Для сравнения: традиционные фреймворки на том же объеме памяти дают только 5,2 токена в секунду. Модель на 122 миллиарда параметров с 32 ГБ DRAM традиционными средствами вообще не запускается — файл Llama.cpp падает. С использованием SSD скорость достигает 4,4 токена в секунду.
Вице-президент Silicon Motion: Розничный рынок SSD-накопителей практически исчез
При конфигурации с 64 ГБ DRAM запуск той же модели с большим контекстным окном возможен только через разгрузку на SSD. Для контекста в 4000 токенов обе конфигурации работают примерно одинаково. Но для 256 тысяч токенов только стек Lexar AI обеспечивает выдачу около 19,3 токена в секунду. При этом рост размера модели увеличивает задержку. Время до первого токена при контексте в 2 тысячи токенов составляет около двух секунд, при 4 тысячах вырастает до 6–8 секунд. Технически возможен перенос моделей до 400 миллиардов параметров, но скорость и отклик будут низкими. Lexar предлагает альтернативу покупке дорогой памяти, но не считает свое решение универсальным. Для некоторых задач лучше докупить DRAM.
