Компания Phison продемонстрировала на GTC 2024 рабочую станцию, использующую твердотельные накопители и оперативную память для расширения эффективного объёма памяти, необходимого для выполнения рабочих нагрузок, связанных с искусственным интеллектом (ИИ), сообщает Tom’s Hardware.
Технология, получившая название aiDaptiv+, призвана снизить порог входа в сферу ИИ для представителей малого и среднего бизнеса, а также энтузиастов.
Работа с большими моделями требует большого объёма видеопамяти, например, для тренировки языковой модели с 70 миллиардами параметров может потребоваться более 1,4 ТБ видеопамяти — нужно покупать или арендовать дорогостоящие вычислительные кластеры с большим количеством ускорителей. Увеличение объёма памяти за счёт оперативной памяти и твердотельных накопителей позволяет тренировать такие большие модели на нескольких ускорителях: демонстрация Phison проводилась на рабочей станции с четырьмя NVIDIA RTX 6000 Ada и парой специализированных накопителей по 2 ТБ.
Решение Phison aiDaptiv+ использует специальное программное обеспечение, которое перемещает неиспользуемые слои модели из видеопамяти в системную память и флэш-память твердотельных накопителей. По мере необходимости данные перемещаются обратно в видеопамять. Это позволяет обучать большие модели на сравнительно небольшом количестве ускорителей, снижая затраты, но нужно понимать, что и скорость обучения на меньшем количестве ускорителей будет ниже. Решение также будет полезно при использовании для тренировки моделей конфиденциальных данных, которые будут храниться локально.
Для кэширования подобных рабочих нагрузок Phison разработала специализированные накопители aiDaptiveCache ai100E, они имеют стандартный форм-фактор M.2 и обладают большим ресурсом. Сообщается, что системы с технологией aiDaptiv+ уже доступны клиентам Phison.