Писать эффективный код для вычислений на графических процессорах NVIDIA, особенно для задач искусственного интеллекта, требует глубокого понимания аппаратной архитектуры. Компания представила обновление, цель которого — изменить этот процесс.
Главная новинка в составе CUDA 13.1 — это модель программирования CUDA Tile. Ее принцип в абстракции от низкоуровневого управления потоками. Разработчик теперь оперирует не отдельными элементами данных и не прописывает логику для каждого параллельного потока вручную. Вместо этого он работает с тайлами — блоками данных, например, фрагментами многомерных тензоров. Программист определяет вычисления над целым тайлом, а компилятор и среда выполнения CUDA Tile сами, автоматически, находят оптимальный способ распараллелить эти операции. Они же решают, как задействовать специализированные аппаратные блоки, такие как тензорные ядра (Tensor Cores) и ускорители тензорной памяти (TMA).
В NVIDIA объясняют это растущей сложностью оборудования. Современные архитектуры GPU, начиная с Blackwell, насыщены узкоспециализированными блоками для работы с тензорами. Чтобы использовать их потенциал, нужен очень специфический, трудоемкий в написании код. CUDA Tile предлагает принципиально иной подход — программирование на основе тайлов. Эта модель абстрагирует операции тензорных ядер и автоматизирует распределение вычислений по потокам. Иначе говоря, код, написанный под CUDA Tile, не привязан к деталям конкретного аппаратного обеспечения (hardware). По заявлению компании, это обеспечит совместимость с текущими и будущими архитектурами NVIDIA без переписывания низкоуровневой логики.
Реализация основана на двух компонентах. Первый — CUDA Tile IR, виртуальный набор инструкций для операций с тайлами. Второй — cuTile Python, который позволяет использовать эту модель на популярном в ИИ языке программирования. NVIDIA подчеркивает, что CUDA Tile не заменяет традиционную модель SIMT, а будет существовать параллельно с ней, предлагая альтернативу для определенного класса задач.
Важное ограничение: первоначальная поддержка заявлена только для нового поколения GPU Blackwell. Это означает, что для массового применения разработчикам, ориентированным на более старый парк карт, новая модель пока недоступна. Однако для тех, кто начинает проекты под актуальное железо, она может сократить время разработки и упростить портирование алгоритмов между поколениями GPU.
