Как новейшие чипы Loihi 2 от Intel помогают роботам воспринимать окружающий мир

Известно, что компьютеры научились побеждать людей в шахматы, но в мире нет ни одного робота, которого можно было бы послать в малознакомый дом и доверить ему покормить собаку; в настоящий момент человеческий интеллект и адаптивность человеческого мозга остаются непревзойденными инструментами природы. Компания Intel решила устранить этот пробел и разработала нейроморфные чипы Loihi 2 для научных исследований, черпая вдохновение в величайшем суперкомпьютере природы - нашем мозге.

Loihi 2 - это второе поколение нейроморфных исследовательских чипов Intel. Он поддерживает новые классы нейроинспирированных алгоритмов и приложений, обеспечивая при этом более быструю обработку, большую плотность ресурсов и повышенную энергоэффективность. Walden Kirsch/корпорация Intel

Тобиасом Фишером исследователь из Квинслендского технологического университета рассказал о своей работе по внедрению этих передовых технологий в автономные роботы, которые в некоторых задачах превосходят суперкомпьютеры, потребляющие огромные ресурсы. Команда Фишера занимается проблемами локализации и навигации - другими словами, помогает роботам ориентироваться в незнакомой обстановке.

"Центр робототехники — это огромная лаборатория", - говорит доктор Фишер. "Более 100 человек. Мы занимаемся всем: от манипуляций - захвата предметов и их перемещения - до космической робототехники, взаимодействием с человеком и социальными элементами, необходимыми при общении с людьми. Мы проводим много исследовательской работы в области техники зрения, используя камеры и датчики, чтобы помочь роботам воспринимать мир аналогично тому, как мы воспринимаем его своими собственными глазами. Возьмите последовательности пикселей и задайте им более высокий уровень значения, чтобы они могли определить, где машина, а где стул. Это очень просто даже для пятилетнего ребенка, но невероятно сложно для компьютера.

"Я занимаюсь вопросами локализации и навигации. Если вы скажете роботу открыть посудомоечную машину, он должен знать, как найти вашу кухню. Он должен различать объекты и решать, представляют ли они интерес или их следует игнорировать. Может ли он подойти к ним или нет".

Released in October 2021, Loihi 2 is a bleeding-edge, research-grade chip. Intel

Глубокие нейронные сети оказались полезными в этой области, продемонстрировав впечатляющую способность обучаться со временем и применять высокоуровневые метки к определенным объектам, основываясь исключительно на визуальной информации. Однако их обучение может потребовать невероятного количества энергии.

 "В большинстве университетов есть высокопроизводительные суперкомпьютеры с огромными кондиционируемыми складскими помещениями", - рассказывает доктор Фишер. "Эти суперкомпьютеры потребляют столько энергии, сколько средний город потребляет за год только для того, чтобы обучить некоторые из этих огромных сетей. Это безумие, это огромное расходование ресурсов". Чипы Loihi 2 от Intel используют другой подход. Он позволяет получить суперэнергоэффективный способ запуска определенного класса сетей. Вы можете запускать только некоторое подмножество сетей или алгоритмов оптимизации, но вы можете запускать их очень, очень эффективно".

Loihi 2 enables ultra-efficien spiking neural network to replace resource-hungry deep neural networks in certain applications. Intel

Разница в эффективности сводится к тому, как миллионы "нейронов" на чипах активируют глубокие нейронные сети, в отличие от импульсных нейронных сетей, таких как чип Loihi. "Вы вводите изображение и, допустим, хотите понять, что на нем изображено - стул или человек", - рассказывает д-р Фишер. "В глубокой нейронной сети все сотни миллионов нейронов активируются на каждом этапе обработки. На это тратится довольно много энергии. В импульсной нейронной сети одновременно активируется только очень небольшое количество нейронов. У них есть внутреннее состояние, которое накапливает некоторые доказательства того, что что-то может быть похоже на стул, но они не выдают "всплеск", пока эти доказательства не достигнут определенного порога".

Такие чипы достаточно компактны, и могут эффективно работать на небольших роботах и даже дронах. "По сути, мы вставляем маленький USB-накопитель в существующий компьютер, на базе которого работает робот", - рассказывает доктор Фишер. Это похоже на аппаратный ускоритель. Мы рассчитываем, что они помогут нам разработать адаптивные методы локализации, которые будут работать чрезвычайно эффективно и на быстро, с низкими задержками. Это крайне важно, когда вы пытаетесь различать и отслеживать объекты в видеопотоке. Кроме того, эффективность сама по себе очень полезна для роботов и беспилотников, которым приходится носить на себе собственный источник энергии".

Dr. Tobias Fischer, right, with Professor Michael Milford and PhD student Somayeh Hussaini in the robotics lab

"Когда мы говорим об адаптивной локализации, нам бы очень хотелось, чтобы эти устройства могли подстраиваться под изменяющиеся условия", - продолжает он. "Очевидно, что смена дня и ночи имеет огромное значение для того, как выглядит окружающая среда. Адаптироваться к изменениям в окружающей среде — значит улучшить методы позиционирования, локализации и точность технологии".

Вместе с тем, он признает, что у Loihi есть некоторые недостатки, которые могут помешать ей выйти из исследовательских лабораторий и стать коммерческим продуктом. "Проблема, с которой сталкиваются Intel и нейроморфные сообщества, заключается в том, что мы часто отстаем в надежности и точности по сравнению с обычными алгоритмами, которые работают больше на CPU или GPU", - объяснил он. " К тому же придумать такие алгоритмы гораздо сложнее, чем обычные глубокие нейронные сети, над которыми ежедневно работают бог знает сколько десятков тысяч исследователей. Мы еще не совершили прорыв, который сделает эту технологию общеприменимой в достаточно широком диапазоне сценариев. чтобы возник интерес к коммерциализации. Intel, безусловно, сотрудничает с рядом университетов, таких как наш, в попытках сделать все возможное для решения этой задачи, но нам пока не удалость довести концепцию до совершенства".  

Source: QUT, Intel, Journal Newatlas
1. (https://www.qut.edu.au/news?id=183429)
2. (https://newatlas.com/computers/loihi-2-intel/)
3. (https://www.intel.com/content/www/us/en/newsroom/news/intel-unveils-neuromorphic-loihi-2-lava-software.html)