Специалисты из Гонконгского университета (HKU) и Оксфордского института робототехники создали систему, которая позволяет роботам с четырьмя конечностями выполнять сложные и быстрые движения. Робот самостоятельно оценивает препятствия и выбирает подходящее движение для его преодоления без использования заранее запрограммированных последовательностей прыжков. Технологию показали на роботе Unitree Aliengo весом 22 кг, которому необходимо было прыгнуть сквозь прямоугольные ворота. В тестах робот разгонялся до скорости 2,5 м/с и резко замедлялся перед приземлением.
Изображение: Unitree Robotics / YouTube
В основе системы лежит иерархическая структура обучения с подкреплением под названием ConsJump. Вместо того чтобы обучать робота каждому движению с нуля, управление в ней разделено на два уровня. Низкоуровневый контроллер даёт роботу библиотеку манёвренных движений. Его готовили с применением имитационного обучения для воспроизведения движений. Движения адаптированы к физической структуре робота с применением обратной кинематики. Это позволяет системе координировать движение суставов и сохранять естественность движения. Большое внимание при обучении уделяли прыжкам для освоения более сложных манёвров.
Контроллер высокого уровня отвечает за принятие решений. На него поступает информация об окружающей среде, и здесь происходит выбор, какое движение и когда использовать. Вместо прямого управления разными суставами создаются команды на поступательные движения и поворот, которые передаются системе передвижения низкого уровня. В результате робот постоянно сочетает изученные движения вместо резкого переключения между фиксированными последовательностями движений.
Для восприятия окружающей среды применяется встроенная RGB-D-камера Intel D435i. Система восприятия занимается обработкой информации о цвете и глубине прямоугольного отверстия и оценкой его геометрии. Полученные данные отправляются в контроллер высокого уровня.
Изображение: Unitree Robotics / YouTube
Контроллер низкого уровня обучался в симуляции с применением 5480 параллельно работающих агентов. В результате робот способен адаптироваться к разным положениям ворот и неровной местности.
По мнению исследователей, подобная архитектура может использоваться с другими сложными роботизированными задачами без необходимости полностью переобучать систему передвижений.
