ИИ-ассистент Gemini от Google получил возможность анализировать видео в реальном времени

Это позволит ему знать, что происходит на экране смартфона.
4 марта 2025, вторник 04:35
Drakostaarn_blog для раздела Блоги

Google представила новые функции искусственного интеллекта под названием Gemini Live для своего ассистента Gemini на выставке Mobile World Congress (MWC) в Барселоне. Речь идёт о функции анализа видео в реальном времени с помощью ИИ, а также о демонстрации экрана, которая позволит ИИ разобраться, что хочет пользователь.

Компания сообщила, что подписчики тарифа Google One AI Premium для Gemini Advanced получат доступ этим возможностям уже в марте.

Благодаря этим возможностям пользователи смогут делиться визуальным контентом с ИИ-ассистентом в режиме реального времени. Анализ видео позволит передавать изображения с камеры, а демонстрация экрана — делиться интерфейсом смартфона, чтобы получать комментарии по отображаемому контенту.

На первых порах новые функции будут доступны только на устройствах с Android и поддерживать несколько языков. На MWC Google продемонстрировала интеграцию этих возможностей на устройствах партнёров под управлением Android. О сроках появления этих возможностей на iOS пока что ничего не сообщается

При этом Google ставит перед собой цель в 2025 году реализовать Project Astra — универсальный мультимодальный ИИ-ассистент, способный в режиме реального времени обрабатывать текст, видео и аудиоданные, а также сохранять контекст беседы до десяти минут. Отмечается, что Astra также сможет использовать Google Search, Lens и Maps.

Пока неизвестно, планирует ли Google выпускать Astra как отдельный продукт или же его функции постепенно будут интегрированы в Gemini.

Отметим, что расширенный голосовой режим нейросети ChatGPT уже поддерживает анализ видео и демонстрацию экрана с декабря прошлого года.