Для многих людей онлайн-звонки стали важной частью их повседневной рабочей рутины. Компании-разработчики программного обеспечения также не сбавляют темп, добавляя в эти платформы все больше полезных функций, таких как подсветка собеседника. Но когда человек использует язык жестов, программное обеспечение не выделяет его. Более того, эти платформы могут служить барьером для тех, кто использует язык жестов. Но один разработчик пытается это исправить.

Модель искусственного интеллекта Гупты может распознать шесть знаков ASL.Priyanjali Gupta/GitHub

 Чтобы устранить этот пробел, Приянджали Гупта, студентка инженерного факультета Веллорского технологического института (VIT) штата Тамилнад, создала модель искусственного интеллекта, которая переводит американский жестовый язык (ASL) на английский в режиме реального времени. Она поделилась своим изобретением на платформе LinkedIn, набрав более 60 000 "лайков".

Гупта сказала, что движущим фактором в создании программы была ее мама, которая посоветовала ей "заняться чем-то особенным именно сейчас, пока она изучает инженерное дело". "Это заставило меня задуматься о том, что я могу сделать со своими знаниями и навыками. Идея создания инклюзивной технологии поразила меня. Это послужило толчком к осуществлению ряда замыслов", - сказала Гупта в интервью журналу Interesting Engineering.

Большой скачок

Программное обеспечение ИИ предлагает динамичный способ общения с глухими или слабослышащими людьми, поскольку оно работает в режиме реального времени. Тем не менее пока программа находится на начальной стадии. В настоящее время она может распознать шесть знаков ASL - "Да", "Нет", "Пожалуйста", "Спасибо", "Я люблю тебя" и "Привет". Для создания более надежной модели потребуется большое количество данных о языке жестов, но в качестве доказательства концепции, судя по всему, технология действительно работает.

Гупта сказал, что набор данных был сделан вручную с помощью веб-камеры. Модель обучена только на отдельных кадрах, и поэтому пока не может распознавать видео. По словам студенти, в настоящее время она изучает возможность использования искусственных рекуррентных нейронных сетей Long-Short Term Memory (LSTM) для включения в программу большого количества кадров.

По словам Гупты, модель была создана с помощью Николаса Ренотта, эксперта по машинному обучению с популярного канала на YouTube. Признавая, что создание программного обеспечения для распознавания знаков является довольно сложной задачей, студентка выразила надежду, что сообщество разработчиков с открытым исходным кодом вскоре поможет ей найти решение, которое позволит оптимизировать ее работу.

Американский язык жестов считается третьим по распространенности языком в США после английского и испанского. Однако приложениям для перевода ASL на другие языки предстоит еще пройти долгий путь. Пандемия заставила обратить внимание на эту проблему, и работа, проделанная Гуптой, является очень важной отправной точкой.

В прошлом году исследователи Google представили модель распознавания языка, которая может идентифицировать жесты людей, в режиме реального времени, с точностью до 91%. Приветствуя эти разработки, Гупта сказала, что первым шагом должна стать нормализация языков жестов и устранение коммуникационного разрыва.
Источники:
https://github.com/priiyaanjaalii0611/ASL_to_English
https://www.linkedin.com/feed/update/urn:li:activity:6897566806341414912/