В лаборатории компании Microsoft ведут разработку технологий распознавания и анализа объектов на изображении. Также система должна не просто распознавать объекты и предметы, но и отвечать на вопросы о них. К примеру, ответ необходимо получить не только на вопрос «Что изображено на фотографии?», но также «Какого цвета здание?», «Что находится между двумя зданиями?», «Что изображено на фоне неба?», «Что лежит за компьютером?» и так далее.

С одной стороны, это требует системы обработки речевых команд, причём в формате естественного языка, а с другой – компьютерного зрения и обширной базы данных для сравнения и анализа. Кроме этого, ответы также должны формулироваться на естественном языке.

Пока что не сообщается, на каком уровне находится разработка, однако если вспомнить программу распознавания эмоций от редмондской компании, то можно предположить, что распознавание объектов не станет слишком сложной задачей.

Как отмечают разработчики, система будет работать по принципу человеческого глаза, что означает, по-видимому, «построчное» сканирование изображения.