Платим блогерам
Блоги
Nivan
Благодаря нейронной сети и Raspberry Pi носимый переводчик в виде очков теперь умеет распознавать жесты и мгновенно озвучивать их.

Инновационные очки на базе одноплатного компьютера Raspberry Pi представил разработчик по имени Nekhil. Ему удалось создать очки, которые в режиме реального времени распознают язык жестов и озвучивают его для окружающих.  

Принцип работы основан на применении технологий искусственного интеллекта для анализа видеопотока с камеры. Система обучена распознавать жесты руками и сопоставлять их с буквами алфавита. Как только буква определена, Raspberry Pi с помощью речевого преобразователя "Text-to-speech" озвучивает ее. Таким образом любой человек рядом может понять, что передается на языке жестов, даже если он им не владеет.

В основе проекта лежит ВИАМ - инструмент с открытым исходным кодом для создания интеллектуальных систем. Поскольку проект в значительной степени опирается на возможности искусственного интеллекта и компьютерного зрения, изначально рассматривался новейший Raspberry Pi 5. Однако вскоре стало ясно, что для этих целей подойдет и Raspberry Pi Zero 2 W, так как при меньших размерах он обладает достаточной производительностью.

реклама


Raspberry Pi Zero 2 W подключен к камерному модулю V3, расположенному во фронтальной части очков. Это позволяет получать изображение и видеопоток того, на что смотрит пользователь. Пока человек жестикулирует, Pi распознает жесты и озвучивает их. Интересно, что корпус очков был разработан в Fusion 360 и напечатан на 3D-принтере специально для этого проекта. 

Детально останавливаясь на реализации, разработчки отмечает, что ВИАМ поддерживает модели машинного обучения Tensor Flow Lite. Однако в данном проекте используется модель YOLOv8, обученная распознавать буквы английского языка жестов при их написании в воздухе. Хотя этот язык включает множество жестов для слов и фраз, текущая система ориентирована именно на буквенную составляющую.
1
Показать комментарии (1)

Популярные новости

Сейчас обсуждают