Одна из главных проблем человекоподобных роботов — их движения часто выглядят механическими и не связанными с тем, что они говорят. Китайские специалисты из Galbot, Пекинского и Цинхуаского университетов предложили решение. Система RoboGesture анализирует речь и подбирает жесты в реальном времени.

Изображение: Interesting Engineering

Galbot разработала систему, которая обрабатывает не только смысл слов, но и интонацию, ритм и ударения. В основе лежит семантико-акустический процессор: он напрямую слушает речь, а не просто читает ее расшифровку. Это позволяет улавливать эмоциональные оттенки, которые текст не передает.

Система разбивает звук на аудио-токены с помощью кодека Mimi. Затем обрабатывает их на разных уровнях: одни отвечают за быстрые изменения в звуке, другие — за общий смысл. Такой подход помогает решить, когда начать жест и каким он должен быть. Модель обучена на 300 категориях жестов, что дает ей большой арсенал движений.

Движения генерируются через диффузионный трансформер — он работает не как набор заученных команд, а как непрерывный поток, где каждый жест вытекает из предыдущего. Это делает движения более плавными.

Орешкин оценил перспективы и сроки массового внедрения гуманоидных роботов

В Приморье за ₽3 млрд построят завод по производству человекоподобных роботов

Отдельная проблема — так называемое «модальное затмение», когда модель слишком сильно опирается на предыдущие движения и перестает реагировать на новую речь. Для этого разработчики применили метод Anti-Inertia, который заставляет систему больше внимания уделять текущему аудио.

Безопасность тоже учтена. Все движения проходят через фильтр модельного прогнозирующего управления, который проверяет, не столкнется ли робот сам с собой и не выйдет ли за пределы допустимых движений. В тестах это снизило риск самоколлизий с 4,16% до 0,13%. Систему уже испытали на роботе Unitree G1 с манипуляторами BrainCo. Он способен слушать собеседника, генерировать ответ, синхронизировать речь и жесты, а затем выполнять движения. Презентация проекта пройдет на конференции ECCV 2026. Разработчики надеются, что RoboGesture сделает роботов более выразительными и удобными для живого общения.