Китайская компания Galbot представила платформу для невербальной коммуникации человекоподобных роботов RoboGesture. Данная система в реальном времени генерирует жесты, которые соответствуют произносимым роботами словам.

Проект покажут на Европейской конференции по компьютерному зрению (ECCV) 2026. Исследователи этого направления ищут способы сделать роботов более естественными и эффективными при взаимодействии с людьми.

Изображение: Galbot / X

В состав системы RoboGesture входят обработка речи, искусственный интеллект, генерация движений и системы управления безопасностью. Её разработали специалисты из Galbot, Университета Цинхуа, Пекинского университета, Пекинского технологического института, Харбинского технологического института и Шанхайского института Ци Чжи. Технология должна решить вопрос с ограниченностью обучающих данных, сложностью сопоставления речи и движений и трудностями переноса сгенерированных ИИ движений на физических роботов.

Лежащая в основе платформы семантико-акустическая система обработки анализирует речь напрямую вместо того, чтобы полагаться на письменную транскрипцию. Это даёт дополнительные сведения, такие как изменения высоты тона, ударения, ритма и интонации, что учитывается при движении робота. Тестирование велось на гуманоидном роботе Unitree G1 с руками BrainCo.