NVIDIA расширяет присутствие в сфере физического искусственного интеллекта, представив комплекс решений для человекоподобных роботов, беспилотных автомобилей, полупроводникового производства и промышленной автоматизации. Анонсы прозвучали на конференции GTC Taipei.
Изображение: interestingengineering.com
Ключевой элемент во всей этой презентации — Cosmos 3. Это первая открытая омнимодель, которая способна понимать и генерировать текст, изображения, видео, звуки окружающей среды и действия в рамках единой системы. Архитектура построена на смеси трансформеров, объединяющей рассуждение и генерацию контента. Cosmos 3 может работать как визуально-языковая модель, как модель мира для симуляции физических сред или как основа для моделей действий роботов.
Модель доступна в нескольких версиях: Cosmos 3 Super — для высокоточной робототехники и автопилотных автомобилей, Cosmos 3 Nano — для более быстрого вывода. По заявлению компании, модель превосходит другие открытые решения в ряде бенчмарков.
Дженсен Хуан, основатель и генеральный директор NVIDIA, отметил, что «большой взрыв физического ИИ не за горами» благодаря прорывам в области мультимодальных моделей рассуждения, языка и зрения.
Для робототехников компания выпустила эталонного человекоподобного робота Isaac GR00T Reference Humanoid Robot. Это открытая конструкция, объединяющая робота Unitree H2 Plus, ловкие руки Sharpa, бортовые вычисления Jetson Thor и программный стек Isaac GR00T. Платформа упрощает разработку, интегрируя железо, симуляцию, обучение и развёртывание. Её планируют использовать такие организации, как Ai2, ETH Zurich, Stanford Robotics Center и UC San Diego.
В сфере полупроводников NVIDIA углубляет сотрудничество с TSMC. Чипмейкер применяет библиотеки NVIDIA CUDA-X и ИИ-модели для вычислительной литографии, симуляции транзисторов, контроля процессов, проверки пластин и планирования работы фабрик. TSMC, по данным NVIDIA, улучшила эффективность вычислений и использует Metropolis и TAO Toolkit для обнаружения нанометровых дефектов.
Кроме того, для беспилотных автомобилей представлена модель Alpamayo 2 Super с 32 миллиардами параметров. Она предназначена для понимания сложных дорожных ситуаций, планирования и реагирования.
