Графический процессор NVIDIA GeForce RTX 4090 имеет более высокую производительность в области искусственного интеллекта (ИИ) по сравнению с процессорами для ноутбуков. Он обеспечивает до 15 раз большую производительность и до 70% ускорение с помощью TensorRT-LLM. 

Графические процессоры NVIDIA RTX AI представляют собой самые быстрые настольные решения для выполнения LLM (большие языковые модели) и других задач. Эти процессоры оснащены большим объемом видеопамяти, ядрами Tensor для ИИ и TensorRT-LLM для ускорения.

NVIDIA на платформе Jan.AI провела бенчмарки с использованием графических процессоров NVIDIA GeForce RTX 40 и процессорами ноутбуков с выделенными AI NPU. Графический процессор NVIDIA GeForce RTX 4090 показал 8,7-кратное улучшение по сравнению с процессором AMD Ryzen 9 8945HS, а при использовании ускорения TensorRT-LLM это увеличение достигает 15 раз. Процессоры NVIDIA также показали значительное превосходство в количестве обрабатываемых токенов в секунду.

Графический процессор NVIDIA GeForce RTX 4090 также продемонстрировал значительное ускорение производительности в конфигурации с внешним GPU для ноутбуков.

 В целом, графические процессоры NVIDIA RTX 40 Desktop CPU показали масштабирование от 242 TOPS на начальном уровне до 1321 TOPS на высоком уровне, что значительно превосходит AI NPU, доступные в 2024 году с 45-50 TOPS.