Исследователи из Университета Дьюка в США создали систему WildFusion, которая даёт роботам способность ориентироваться в сложной местности, полагаясь не только на зрение, но и на подобие человеческого осязания и восприятия вибраций. Эта технология позволяет машинам увереннее передвигаться там, где традиционные методы навигации оказываются бессильны.
Обычно роботы сильно зависят от камер или лидаров, которые часто дают сбой на участках без чётких ориентиров или с непредсказуемым рельефом. Даже продвинутые системы 3D-картографирования испытывают трудности с построением маршрута, если данные от сенсоров поступают нерегулярно, содержат помехи или неполны, что часто случается на природе. Как пояснила Янабайхуэй Лю, ведущий автор исследования, WildFusion разработан именно для решения этих проблем.
Система WildFusion, установленная на четвероногого робота, объединяет данные с RGB-камеры, лидара, инерционных датчиков, а также с контактных микрофонов и тактильных сенсоров. Если камера и лидар собирают информацию о геометрии, расстоянии и цвете объектов, то микрофоны и тактильные датчики обеспечивают принципиально новый уровень восприятия. Контактные микрофоны регистрируют уникальные вибрации, возникающие при ходьбе робота по разным поверхностям, улавливая тончайшие различия в звуках. Тактильные сенсоры, в свою очередь, определяют необходимое усилие для каждого шага и оценивают степень раскачивания или крена машины на неровной поверхности.
Затем специализированные кодеры обрабатывают всю эту разнородную сенсорную информацию, формируя у робота единую картину окружающей обстановки. В основе WildFusion лежит модель глубокого обучения, использующая неявные нейронные представления. Такой подход позволяет системе воспринимать поверхности и объекты не как набор отдельных точек, а как непрерывные структуры. Благодаря этому робот может принимать более осмысленные, почти инстинктивные решения о направлении движения, даже если его «поле зрения» ограничено или заблокировано.
Эффективность WildFusion была подтверждена в ходе испытаний в парке Ино-Ривер в Северной Каролине. Робот успешно передвигался по густым лесам, лугам и гравийным тропам.
