Компания Google DeepMind представила Gemini Robotics On-Device — новую языковую модель, предназначенную для использования в робототехнике. Эта модель позволяет роботам выполнять различные задачи без необходимости подключения к интернету, что значительно расширяет их функциональные возможности. 

Gemini Robotics On-Device является продолжением предыдущей версии, выпущенной в марте. Она разработана для того, чтобы разработчики могли управлять роботами с помощью команд на естественном языке. По заявлению компании, новая модель демонстрирует эффективность, сопоставимую с облачными решениями, и превосходит аналогичные разработки конкурентов, хотя конкретные примеры не приводятся.

^{робот-манипулятор Franka FR3}

На презентации были показаны роботы, которые успешно справлялись с такими задачами, как расстегивание сумок и складывание одежды. Начальное обучение модели проходило на роботе ALOHA, после чего она была адаптирована для манипулятора Franka FR3 и гуманоидного робота Apollo от Apptronik. Franka FR3 показал отличные результаты, выполняя задачи сборки на производственной линии.

^{робот Apollo}

Кроме того, Google DeepMind представила SDK для Gemini Robotics, который позволяет разработчикам обучать роботов новым навыкам, используя от 50 до 100 примеров на симуляторе MuJoCo.