Компания Phison продемонстрировала на GTC 2024 рабочую станцию, использующую твердотельные накопители и оперативную память для расширения эффективного объёма памяти, необходимого для выполнения рабочих нагрузок, связанных с искусственным интеллектом (ИИ), сообщает Tom’s Hardware.
Источник изображения: Michael Dziedzic, Unsplash (отредактировано)
Технология, получившая название aiDaptiv+, призвана снизить порог входа в сферу ИИ для представителей малого и среднего бизнеса, а также энтузиастов.
Источник изображения: Phison, Tom's Hardware
Работа с большими моделями требует большого объёма видеопамяти, например, для тренировки языковой модели с 70 миллиардами параметров может потребоваться более 1,4 ТБ видеопамяти — нужно покупать или арендовать дорогостоящие вычислительные кластеры с большим количеством ускорителей. Увеличение объёма памяти за счёт оперативной памяти и твердотельных накопителей позволяет тренировать такие большие модели на нескольких ускорителях: демонстрация Phison проводилась на рабочей станции с четырьмя NVIDIA RTX 6000 Ada и парой специализированных накопителей по 2 ТБ.
Источник изображения: Phison, Tom's Hardware
Решение Phison aiDaptiv+ использует специальное программное обеспечение, которое перемещает неиспользуемые слои модели из видеопамяти в системную память и флэш-память твердотельных накопителей. По мере необходимости данные перемещаются обратно в видеопамять. Это позволяет обучать большие модели на сравнительно небольшом количестве ускорителей, снижая затраты, но нужно понимать, что и скорость обучения на меньшем количестве ускорителей будет ниже. Решение также будет полезно при использовании для тренировки моделей конфиденциальных данных, которые будут храниться локально.
Источник изображения: Phison, Tom's Hardware
Для кэширования подобных рабочих нагрузок Phison разработала специализированные накопители aiDaptiveCache ai100E, они имеют стандартный форм-фактор M.2 и обладают большим ресурсом. Сообщается, что системы с технологией aiDaptiv+ уже доступны клиентам Phison.
