Компания Microsoft добавила в своего ИИ-помощника Copilot новую функцию Vision, которая позволяет ему в режиме реального времени анализировать происходящее на экране пользователя и помогать в решении текущих задач.

По данным компании, Copilot Vision видит то же, что и пользователь, и может работать одновременно с несколькими окнами приложений. Ассистенту можно поручить конкретное действие или попросить совета. Новая возможность «Выделение» показывает пошаговые инструкции для выполнения конкретных задач. К примеру, функция помогает в играх, при просмотре фото или может корректировать параметры экрана для улучшения цветопередачи. Copilot также получил синтезированный голос для общения в реальном времени.

Нововведение уже доступно пользователям в США, а в дальнейшем его планируют запустить и в других странах за пределами Европы. Функция тестировалась с начала года и теперь работает на Windows 10 и 11 в рамках программы Copilot Labs. Для её использования подписка Copilot Pro не требуется, а само подключение Vision остаётся добровольным.

Разработчики утверждают, что Copilot не создаёт скриншоты рабочего стола каждые несколько секунд, как это делает функция Recall, но вопросы в плане безопасности и конфиденциальности данных остаются. Любой программный инструмент, который отслеживает экран и обрабатывает конфиденциальную информацию в реальном времени, представляет потенциальный риск утечки данных. В Microsoft утверждают, что пользователь полностью контролирует передачу данных и может в любой момент запретить ИИ доступ к ним. Однако недавние инциденты, связанные с безопасностью продуктов компании, заставляют относиться к таким заверениям с недоверием.