Независимый Open Source-разработчик Ferran Duarri объявил о начале работы над GreenBoost — модулем ядра Linux с открытым исходным кодом, предназначенным для расширения лимита VRAM в графических ускорителях NVIDIA GeForce.
Целью создания GreenBoost названо формирование уровня кэширования для стека CUDA, который даст возможность выйти за рамки набортной памяти GPU и позволит запускать большие ИИ-модели, задействуя оперативную память и твердотельные накопители NVMe.
GreenBoost поставляется под лицензией GPLv2 и, являясь модулем ядра, он не заменяет официальные драйверы NVIDIA, а дополняет их. Согласно концепции, для прозрачного использования расширенного доступа к памяти применяется библиотека-заглушка для пользовательского пространства CUDA.
Волшебство заключается в том, что CUDA-разработчикам не требуется модифицировать свое ПО для получения доступа к повышенному объему памяти. Программы могут прозрачно взаимодействовать с расширенным лимитом, набранным за счет RAM и NVMe SSD.
Для примера создатель GreenBoost запустил на GeForce RTX 5070 модель "glm-4.7-flash:q8_0", которая требует 31,8 ГБ. Ограничения интерфейса PCI-E 4.0 ожидаемо снизили производительность, но это все же лучше, чем полный отказ выполнения.