Смартфоны, планшеты, а также игровые приставки получили зачатки интерфейса, управлять которым можно с помощью жестов. Более развитые интерфейсы, очевидно, у игровых консолей, но там надо размахивать специальными джойстиками или ограничиться несложными легкораспознаваемыми командами. Инженеры компании Fujitsu предложили несколько иной подход для организации пользовательского интерфейса, где объектами взаимодействия с пользователем могут стать любые физические объекты на обычном рабочем столе. При этом важно отметить, что для организации процесса подойдёт широкодоступное серийное оборудование, а для управления им не нужно будет никаких специальных сенсоров — только руки человека.

По словам разработчиков, успех новой технологии базируется на трёх важных шагах. Во-первых, физическому рабочему пространству придаётся своя цифровая система координат, что достигается за счёт взаимодействия проекционной системы и системы камер. Это даёт возможность оцифровать все объекты, находящиеся в рабочей зоне и простым образом повысить точность распознавания касаний. Проектор в данном случае служит обратной связью для пользователя, отображая на рабочем месте и на объектах элементы интерфейса и отметки о взаимодействии пальцев с объектами.

Для повышения точности распознавания рука пользователя вносится в систему в виде цифровой модели со своим уникальным профилем. Учитывается всё, даже влияние окружающего освещения на цвет кожи. В Fujitsu заявляют, что тем самым достигается невероятная точность отслеживания без применения каких-либо дорогостоящих датчиков.

Более того, система Fujitsu, несмотря на её кажущуюся простоту, умеет учитывать индивидуальную форму кончика пальца. Такую не проведёшь! Скорость считывания при этом успевает следить за перемещением руки на 30 см за секунду.

Оператор может перекладывать бумажки на столе в привычной для себя манере, выделять куски отпечатанного на бумаге или рукописного текста для мгновенной оцифровки с последующей проекцией на стол и дальнейшей коррекции, как и делать многое другое. Полевые испытания нового интерфейса компания обещает провести в течение нового финансового года. Увидеть, как всё это происходит на практике, можно в видеоролике на этой странице на сайте Fujitsu.