Intel представила оптимизацию библиотеки машинного обучения PyTorch для использования на своих графических процессорах Arc "Alchemist". Новое расширение Intel Extension for PyTorch (IPEX) разработано специально для оборудования Intel и может значительно улучшить производительность.
В блоге Intel также описано, как запустить модель Llama 2 на видеокарте Arc "Alchemist" A770. Рекомендуется использовать 16-гигабайтную версию A770, поскольку модель требует 14 ГБ оперативной памяти GPU. Это является ответом на инструмент NVIDIA Chat with RTX, который позволяет пользователям GeForce с графическими процессорами RTX запускать модели PyTorch-LLM на своих видеокартах.
Отличие заключается в том, что NVIDIA использует INT4-квантованные версии моделей, чтобы сэкономить VRAM, в то время как Intel использует более точную FP16-версию. В блоге Intel представлены инструкции по настройке Llama 2 inference с PyTorch (IPEX) на A770.