Свежая версия «Яндекс Браузера» может переводить видео с китайского языка. Нейросети могут переводить видео с китайского и автоматически накладывать на него русскую озвучку. Разработчики веб-обозревателя утверждают, что для правильной настройки новой функции им понадобилось учесть множество особенностей сложного восточного языка.

Перевод видеороликов на китайский язык уже работает на YouTube, а чуть позже появится поддержка популярной китайской видеоплатформы BiliBili. Для обучения нейросетей специалисты из «Яндекса» с нуля собрали собственный датасет. С помощью специального алгоритма они обработали 1,5 миллиона видео и выбрали 100 тысяч с качественными субтитрами на севернокитайском языке, которым владеет более 1 миллиарда человек. Разработчики подчеркнули, что соответствие аудио и субтитров так важно, потому что именно по ним нейросеть учится понимать речь.

Перевод осуществляется в несколько этапов. Нейросеть умеет принимать во внимание тон и контекст речи в видеоматериале. Один и тот же слог, произнесённый с повышением или понижением голоса, может означать совершенно разные вещи. Ещё в китайском языке очень много омофонов — слов, которые звучат одинаково, но пишутся по-разному и обладают разным значением. ИИ способен различать четыре тона, а система «Яндекса» распознаёт 6,5 тысяч иероглифов.

Илья Шибанов, руководитель проектного офиса разработки Яндекс Браузера:

«Автоматический голосовой перевод китайского — большой шаг вперёд на пути к полному преодолению языкового барьера в интернете. Яндекс Браузер открывает людям огромное количество уникального контента: от полезной информации о новых гаджетах и национальной кухне до персональных блогов, связанных с сотнями других тем. Кроме того, теперь у нас есть достаточная технологическая база для работы с другими сложными языками. Например, корейским и японским».

Перевод с китайского будет доступен в «Яндекс Браузере» сразу после того, как пользователь его откроет. Для этого необходимо нажать на кнопку «Перевести видео».