«Волшебный палец» сенсорных технологий

Устройства потребительской электроники постоянно совершенствуются — растет производительность, время автономной работы, уменьшаются габаритные размеры. Не менее важную роль играет и развитие технологий ввода информации. Чем удобнее пользоваться планшетом, смартфоном, телевизором или любым другим бытовым прибором, тем больше у производителя появляется шансов на то, что на его продукт обратят внимание…

С одной стороны, совершенствуются ставшие уже традиционными способы ввода информации, с другой — ведутся поиски технологий с принципиально новыми особенностями.

В этом направлении работают и канадские исследователи из Университета Альберты, Университета Торонто и компании Autodesk Research. На мероприятии ACM Symposium они показали свою разработку под названием Magic Finger («волшебный палец»). Устройство — как наперсток — надевается на кончик пальца пользователя.

В отличие от традиционных сенсорных технологий, которые предусматривают касание стилусом или пальцем специальной чувствительной поверхности, Magic Finger позволяет использовать в качестве сенсорной площадки любую поверхность — например стены, мебель, даже участки тела пользователя.

Как признаются сами исследователи, на создание Magic Finger их вдохновили проекты в области так называемого «всегда доступного ввода» (always-available input), в частности разработка мускульно-компьютерного интерфейса с участием Microsoft Research.

Как и в решениях некоторых других исследователей, «волшебный палец» умеет чувствовать момент касания и перемещение пальца относительно поверхности. Особенностью Magic Finger является способность определять текстуру объекта, к которому прикасается пользователь, и распознавать этот объект. Таким образом, в зависимости от поверхности можно реализовать запуск соответствующих действий, привязав это к контексту.

В своей публикации Magic Finger: Always-Available Input through Finger Instrumentation канадские ученые провели исследование возможных вариантов аппаратной и программной реализации своей технологии, оценку уровня чувствительности к текстурам, а также определили множество приложений и взаимодействий, которые позволяет реализовать их прибор.

Реализация

Magic Finger включает два оптических сенсора: один — с низким разрешением, он отслеживает движения пальца, а второй — с высоким разрешением, он способен распознавать детали поверхности. В качестве форм-фактора выбрана форма в виде надеваемого на кончик пальца напёрстка, но возможны также и другие варианты исполнения (рис 2.)

Возможные форм-факторы Magic Finger

Для эмуляции традиционного касания устройство должно уметь чувствовать передвижения в плоскости X-Y. В качестве аппаратной основы (рис. 3) для реализации этой возможности был выбран обычный оптический сенсор ADNS 2620, используемый в компьютерных мышках. Он компактный, к тому же может работать с высокой точностью на различных поверхностях.

Аппаратная реализация Magic Finger

Исследователи выделяют три области распознавания: none (никаких знаний об объекте), class (распознавание типа объекта, к которому прикасаются, например стол или смартфон) и instance (распознавание конкретного объекта, например твой стол или мой стол). Распознавание объекта в области class или instance реализовано с помощью камеры высокого разрешения (175x175 пикселей) AWAIBA NanEye micro RGB и алгоритмов распознавания текстур.

Чтобы камера и оптический сенсор функционировали правильно, им необходим внешний источник для освещения поверхности. С этой целью был выбран маленький светодиод, который освещает поверхность тем сильнее, чем ближе Magic Finger к ней находится. Устройство подключается к компьютеру HP TouchSmart Tm2 через специальную плату, которая облегчает коммуникацию с ПК.

Для определения материала поверхности использовалась техника Local Binary Patterns, которая выделяла из текстуры 10 микроструктур и строила на их основе гистограмму, уникально определяющую данную текстуру. При этом текстура может быть обычной (стол, одежда) или искусственной, которая специально создана для работы с Magic Finger и реализации специфических функций. В своём эксперименте ученые исследовали 22 обычные текстуры и некоторые искусственные текстуры (рис. 4).

Распознавание текстур «волшебным пальцем»

Приложения

Пора переходить к самому интересному — сценариям использования «волшебного пальца». Как отмечают разработчики, с помощью Magic Finger можно удалённо управлять мобильными устройствами. Например, если пользователь не хочет отвечать на звонок, когда смартфон находится в сумке, ему достаточно просто легонько ударить пальцем по этой сумке — тогда либо будет передан сигнал «занято», либо отключен звук телефона. Исследуемые в эксперименте взаимодействия изображены на рисунке 5.

Рис. 5. Примеры взаимодействий с Magic Finger

Так как Magic Finger распознаёт объекты, прикосновение к разным поверхностям может вызывать различные команды. Для примера ученые реализовали функцию отправки заранее записанного SMS-сообщения конкретному пользователю при касании смартфона. Кроме того, если прикоснуться к логотипу на рубашке, запускалось приложение Windows Voice. Кожа также распознаётся «волшебным пальцем». Это позволяет использовать её в качестве интерфейса ввода без необходимости установки дополнительных сенсоров.

Например, жест Am I late?, который является прикосновением к запястью, заставляет Magic Finger определить время ближайшей встречи и, если пользователь опаздывает, светодиод начинает мигать (в случае установки маленького ЖК-экранчика, информацию можно выводить на него). Касание большого пальца используется для прокрутки слайдов презентации, что позволяет обойтись без беспроводной указки.

Отдельно стоит отметить «матрицу клавиш», которая относится к искусственным текстурам и позволяет использовать распечатанный на принтере лист со специальным рисунком в качестве клавиатуры. Интересной особенностью Magic Finger является его способность запомнить пользователя и его предпочтения. При входе в комнату пользователь касается нарисованной на стенке «кнопки» и запускаются его любимые музыкальные композиции.

Забавной кажется функция «Перископ», которая уже не связана с управлением мобильными устройствами. Часто люди используют пальцы для поиска предметов, которые находятся вне зоны зрения. Например, карандаш упал в труднодоступное место, и пользователь пытается достать его рукой. Благодаря камере, встроенной в Magic Finger, можно организовать передачу видеопотока на экран смартфона или планшета, что позволяет облегчить поиск предмета. Эта функция может использоваться и в других, более полезных целях. Всё, что подскажет ваша фантазия!

В завершение этой заметки хочется сказать, что Magic Finger пока является всего лишь концептуальным устройством, и для реализации всех его потенциальных возможностей предстоит ещё немало поработать. В частности, одной из проблем разработчики называют необходимость организовать в миниатюрном форм-факторе беспроводное соединение, например, по Bluetooth, а также обеспечение устройства автономным питанием. Но самое главное будет зависеть от реализации программной части, точности работы и интуитивной понятности для пользователя.

 

 

 

 

 

 

 

 

---

Александр Будик