☰
︎

Microsoft запатентовала ИИ-технологию для улучшения видеозвонков на основе отслеживания взгляда

Microsoft постоянно работает над улучшением качества звонков в Teams. Теперь компания получила соответствующий патент - несмотря на намеренное ухудшение качества видео.
28 октября 2024, понедельник 08:55
kosmos_news для раздела Блоги

Текст опубликован в личном блоге и его автор не имеет отношения к администрации сайта

В 2023 году корпоративная платформа Microsoft Teams зарегистрировала более 320 миллионов ежедневных пользователей, что соответствует значительному росту по сравнению с предыдущим годом, когда их было 270 миллионов. Чтобы пользователи не переключались на другие программы, Microsoft продолжает и в 2024 году работать над улучшением качества звонков и видеозвонков. Специальный патент, полученный компанией, может помочь в этом, сообщает 27 октября портал T3n.

Отслеживание взгляда и настройка качества видеозвонков Teams
Патент называется «Gaze based video streaming», что переводится как «потоковое видео на основе взгляда». В патенте Microsoft поясняет, что движения глаз пользователей должны отслеживаться с помощью веб-камеры во время вызова Teams (решение для совместной работы и доступ к приложениям) и анализироваться с помощью искусственного интеллекта. 

Поскольку пользователь фокусируется только на одной точке, когда смотрит на других участников разговора, программное обеспечение должно динамически корректировать остальные видео.

Microsoft объясняет это на примере видеозвонка с тремя людьми на экране. Технологии вызывающих абонентов сильно различаются. Есть передача в формате Full HD с частотой 60 кадров в секунду, видео Full HD с частотой 30 кадров в секунду и с меньшим разрешением 720p и частотой кадров 30 кадров в секунду. Все они транслируются с максимально возможным разрешением и частотой кадров в текущей версии Microsoft Teams.

Благодаря отслеживанию глаз программное обеспечение определит, на какой передаче видео пользователь сейчас фокусируется, и снизит качество видео у других участников видеоконференции. Если смотреть видео в окне в формате Full HD с частотой 60 кадров в секунду, остальные передачи масштабируются до 360p с частотой 24 кадра в секунду. Если пользователь сосредоточится на точке между двумя видео, обе передачи сохранят свое качество и только третье видео будет снижено.

Преимущество в том, что Microsoft Teams больше не нужно передавать данные из всех потоков в высочайшем качестве. Вместо этого ПО как бы уменьшает качество контента, который в данный момент не интересен, и увеличивает пропускную способность видео, которые пользователь активно смотрит. В настоящее время неясно, когда и будет ли вообще Microsoft реализовывать запатентованную технологию.