На промышленных предприятиях множество приборов требует постоянного мониторинга: манометры, счетчики, датчики. Google совместно с Boston Dynamics научила робота Spot выполнять эту задачу с помощью новой модели. 

Изображение: Google DeepMind

Gemini Robotics-ER 1.6 пришла на смену версии 1.5 и Gemini 3.0 Flash. Разработчики улучшили в ней пространственное и физическое мышление.

Новая возможность модели — считывание показаний приборов. Робот Spot обходит предприятие, фотографирует манометры и счетчики. Gemini Robotics-ER 1.6 анализирует изображение: определяет положение стрелки, распознает единицы измерения на циферблате. Если на приборе несколько стрелок, указывающих на разные десятичные знаки, модель суммирует их показания.

Это позволяет роботу самостоятельно проводить инспекции без участия человека.

Модель умеет обрабатывать данные с нескольких камер, например, с верхней камеры и камеры, закрепленной на манипуляторе робота. Gemini Robotics-ER 1.6 понимает, как эти ракурсы связаны между собой, что помогает в условиях плохого освещения или когда объекты частично перекрыты.

Разработчики могут получить доступ к Gemini Robotics-ER 1.6 через API Gemini и Google AI Studio начиная с сегодняшнего дня. Компания также выпустила Colab с примерами настройки модели и запуска задач.