Запуск больших языковых моделей обычно требует дорогого оборудования. Модель на 120 миллиардов параметров не помещается в память обычного компьютера. Один энтузиаст - пользователь Reddit под ником Medicine_Blogscanner - решил обойти это ограничение.
Изображение: WCCFTech
Модель gpt-oss-120b от OpenAI вышла в августе 2025 года. Для работы в 4-битной версии ей нужно минимум 60 гигабайт памяти. Без сжатия требования вырастают до 240 гигабайт. Ни один компьютер пользователя не имел такого объема памяти. Тогда он собрал кластер из шести своих устройств, включая смартфон.
Этот кластер в итоге включал в себя смартфон Samsung Galaxy S24+, мини-ПК с видеокартой RTX 3060 на 12 гигабайт, ноутбук с Windows и 12 гигабайтами памяти, а также три компьютера Mac: MacBook Pro с процессором Intel, Mac mini и MacBook Pro на чипе M3. Все устройства были объединены в локальную сеть.
Чтобы модель поместилась, пользователь снизил общий объем памяти до 47 гигабайт. Для этого применили технику под названием pipeline parallelism. Модель разрезали на слои. Каждое устройство получило свою часть. Главный компьютер, который назвали Tiny, взял на себя большую часть работы. Он предоставил около 28,7 гигабайта системной памяти и видеокарту RTX 3060.
Выпущен ПК Cherry Bloom со скульптурой вишнёвого дерева, цветки которого раскрываются от нагрева
©u/Medicine_Blogscanner
Кластер работал со скоростью около 1,1 токена в секунду. Один хорошо оснащенный компьютер выдает почти в двадцать раз больше. Такой темп подходит только для очень долгого ожидания. Для продуктивной работы без интернета этот способ не годится. Эксперимент показал, что большие модели можно запускать на разном потребительском оборудовании. Обратная сторона такого подхода — потеря скорости.
