Tiny Corp заявляет, что Apple одобрила её драйвер TinyGPU, позволяющий внешним графическим ускорителям AMD и NVIDIA работать на macOS через порт USB4 или Thunderbolt. В документации TinyGPU указаны следующие требования: macOS 12.1 или более поздняя версия, подключение через USB4 или Thunderbolt, а также графические процессоры AMD RDNA3+ или NVIDIA Ampere+.

Источник: Tiny Corp

Алекс Зискинд продемонстрировал работу GeForce RTX 5090 на Mac mini M4 Pro. На оборудовании NVIDIA используется расширение драйвера TinyGPU вместе с компилятором на основе Docker. Это не нативная поддержка Metal и не возвращение официальных драйверов NVIDIA для macOS. На данном этапе драйвер предназначен для рабочих нагрузок tinygrad и ИИ-вывода, а не игр.

Демонстрация показывает, что оборудование Nvidia Blackwell теперь может запускать локальный вывод на macOS, но основным ограничением по-прежнему остается программное обеспечение. Судя по результатам бенчмарков, показанным в видео Зискинда, производительность GeForce RTX 5090 достигла примерно 7,48 токенов в секунду в одном из тестов Llama 3.1 8B. 

Источник: Alex Ziskind

TinyGPU уже обрабатывает аппаратную связь и установку драйверов, но сгенерированные ядра всё ещё нуждаются в доработке, прежде чем карты класса Blackwell смогут продемонстрировать тот уровень пропускной способности, который предполагают их характеристики.

Как отмечает Алекс, TinyGPU не предназначен для конкуренции с llama.cpp, по крайней мере, пока. llama.cpp всё ещё намного быстрее. TinyGPU использует новый драйвер, написанный с нуля, и он всё ещё нуждается в дальнейшей оптимизации. Возможно, это произойдёт позже, но сейчас это не является приоритетом. TinyGPU обеспечивает поддержку видеокарт GeForce RTX 50 и Radeon на macOS через сторонний драйвер.

Реклама. ООО «Яндекс Маркет», ИНН 9704254424