Google представила новую модель для управления роботами — Gemini Robotics 2. Она пришла на смену версии, выпущенной ранее в этом году. Если предыдущая модель работала только с манипуляциями на столе, то новая управляет всем телом человекоподобных роботов.
@googledeepmind
Модель позволяет роботам ходить по комнате, присаживаться на корточки, тянуться и взаимодействовать с объектами. В демонстрации робот Apollo 2 от компании Apptronik брал лейку, шел через комнату и ставил ее на нижнюю полку. Этот же набор настроек использовали на других роботах, включая Franka Duo, что показывает универсальность модели и возможность её работы на разных типах роботов.
Роботы научились выполнять точные движения: завязывать мусорные пакеты, пользоваться зип-пакетами, а также производить замену лампочек. На промышленных платформах с двухпальцевыми захватами модель справляется с корректной и правильной установкой деталей с минимальными допусками и работой с инструментами.
Попутно Google представила и две дополнительные модели. Gemini Robotics ER 2 отвечает за высокоуровневое планирование: она понимает голосовые команды, разбивает их на шаги и следит за выполнением. Такая модель может управлять процессами, которые длятся несколько минут и требуют сотен решений. Она также восстанавливается после неудачных действий и подстраивается под изменения.
Gemini Robotics On-Device 2 работает непосредственно на вычислительных модулях робота и не требует подключения к интернету. Дообучение модели к новым роботам занимает лишь несколько часов и требует достаточно небольшое количество примеров.
Модель поддерживает взаимодействие нескольких роботов одновременно. Роботы разных типов обмениваются данными, координируют действия и делят между собой этапы работы. Это позволяет выполнять задачи, которые одному аппарату были бы не под силу — например, перемещать крупногабаритные предметы или обслуживать разные участки производственной линии одновременно. При этом каждый робот действует в рамках своей специализации, но получает команды от общей системы управления.
