Робот Aibo, разработанный компанией Sony, изначально задумывался как очаровательный питомец-спутник для дома, способный подражать повадкам настоящих собак. В настоящее время этот милый робот умеет многое из того, что делают настоящие собаки: передвигается на четырех лапах, откликается на кличку, играет с игрушками, выполняет команды и радуется ласке. Однако японские инженеры не собираются останавливаться на достигнутом успехе и постоянно работают над совершенствованием его возможностей.
Недавно группа исследователей из Высшей технической школы Цюриха и корпорации Sony представила новые алгоритмы на основе так называемого обучения с подкреплением. Передовая технология, описанная в двух научных статьях, размещенных в открытом онлайн-архиве arXiv, призвана наделить Aibo способностью передвигаться практически бесшумно и исполнять впечатляющие танцевальные номера.
Рио Ватанабе, ведущий автор исследований, отметил в интервью изданию Tech Xplore, что владельцы роботов Aibo часто жаловались на шум, который создают шаги робота при перемещении по дому. Именно поэтому ученые разработали специальный метод обучения, имитирующий реальные физические процессы. Этот подход позволяет роботу минимизировать скорость контакта лап с поверхностью в виртуальной среде, что, как следствие, приводит к снижению уровня шума в реальном мире.
Суть нового метода заключается в обучении робота активно регулировать жесткость и демпфирование каждого сустава. Система анализирует данные с датчиков, расположенных на лапах Aibo, и постепенно "наказывает" резкие движения, приводящие к возникновению шума. В результате, робот учится двигаться более плавно и тихо.
Эффективность разработанного подхода была проверена на практике. Ученые провели серию экспериментов с роботом Aibo в реальных условиях, сравнив уровень шума при использовании их метода с показателями, достигаемыми при использовании стандартных алгоритмов управления Sony и других распространенных методов обучения с подкреплением. Результаты оказались впечатляющими: новый контроллер передвижения значительно снизил шум от шагов робота, сделав его заметно тише по сравнению с коммерческими решениями Sony и другими традиционными подходами.
Помимо задачи сделать Aibo более тихим, исследователи также стремились расширить его развлекательные функции. Специально для этого была разработана модель под названием Deep Fourier Mimic (DFM). Она сочетает в себе методы представления движений и обучения с подкреплением, что позволяет роботу создавать более выразительные и сложные танцевальные программы.
Ватанабе пояснил, что внедрение новых более интересных движений для развлекательных роботов – процесс трудоемкий и часто ограничивается простым воспроизведением заранее записанных движений. В отличие от этого, DFM дает возможность роботу не только имитировать художественные движения максимально точно, но и одновременно выполнять дополнительные задачи, например, перемещаться в пространстве во время танца.
Исследователи продемонстрировали, что разработанная ими "танцевальная политика" обеспечивает более плавные и естественные движения робота. Более того, Aibo получил возможность по-новому взаимодействовать с людьми, танцуя вместе с ними и повторяя их движения. Новая система позволяет роботу не только точно воспроизводить заданные танцевальные движения, но и естественно переключаться между различными режимами движения, создавая целостное и гармоничное представление.
Визуализация концепции обучения тихой ходьбе: минимизация скорости контакта лап робота с поверхностью в виртуальной среде для снижения уровня шума в реальности. Изображение предоставлено Watanabe et al.
Новые методы обучения с подкреплением открывают большие перспективы для робота Aibo. В ближайшем будущем он сможет не только стать тихим и незаметным компаньоном, но и превратиться в настоящего артиста, способного развлекать пользователей своими танцевальными талантами. Кроме того, эти разработки могут быть применены и к другим типам роботов, включая домашних помощников и развлекательных роботов для тематических парков.
В дальнейшем Ватанабе и его команда планируют решить некоторые проблемы, выявленные в ходе реальных испытаний. В частности, они обнаружили определенный компромисс между тишиной и устойчивостью робота при ходьбе. Сейчас ученые работают над внедрением нового метода обучения, который позволит роботу двигаться одновременно тихо и уверенно, используя данные с различных датчиков. Метод DFM, в свою очередь, отлично подходит для периодических движений, таких как танцы и ходьба, но требует доработки для непериодических действий, например, подъема предметов, ударов ногой или вставания, которые пока приходится программировать отдельно.
