Ситуация может измениться с появлением новой технологии сонара, разработанной компьютерными учеными и инженерами-электриками Вашингтонского университета, которая позволяет вам взаимодействовать с мобильными устройствами путем письма или жестов на любой близлежащей поверхности – на столе, листе бумаги или даже в воздухе.
FingerIO отслеживает мельчайшие движения пальцев, превращая смартфон или умные часы в активную сонарную систему, используя собственные микрофоны и динамики устройства.
Поскольку звуковые волны проходят через ткань и не требуют прямой видимости, пользователи могут даже взаимодействовать с телефоном в переднем кармане или умными часами, спрятанными под рукавом свитера.
В документе, который будет представлен в мае на конференции CHI 2016 Association for Computing Machinery в Сан-Хосе, Калифорния, команда UW демонстрирует, что FingerIO может точно отслеживать двумерные движения пальцев с точностью до 8 мм, что достаточно точно для взаимодействия с современными мобильными устройствами. устройства. Работа отмечена почетной наградой конференции.
«Вы не можете легко печатать на дисплее умных часов, поэтому мы хотели превратить стол или любую область вокруг устройства в поверхность ввода», – сказал ведущий автор Раджалакшми Нандакумар, докторант UW в области компьютерных наук и инженерии. «Мне не нужно подключать пальцы к каким-либо другим датчикам – я просто использую свой палец, чтобы писать что-то на столе или любой другой поверхности, и устройство может отслеживать это с высоким разрешением."
Используя FingerIO, можно одним движением пальца увеличить громкость, нажать кнопку или прокрутить меню на смартфоне, не касаясь его, или даже написать команду поиска или текст в воздухе, а не печатать на крошечном экране.
FingerIO превращает умные часы или смартфон в сонарную систему, используя собственный динамик устройства, чтобы излучать неслышную звуковую волну.
Этот сигнал отражается от пальца, и это "эхо" записывается микрофонами устройства и используется для вычисления местоположения пальца в пространстве.
Использование звуковых волн для отслеживания движения пальцев дает несколько преимуществ по сравнению с камерами, которые не работают без прямой видимости, когда устройство скрыто тканью или другими препятствиями, и другими технологиями, такими как радар, которые требуют как специального оборудования датчика, так и большего. вычислительной мощности, сказал старший автор и доцент кафедры компьютерных наук и инженерии Шьям Голлакота.
«Акустические сигналы великолепны – поскольку звуковые волны распространяются намного медленнее, чем радиоволны, используемые в радаре, вам не нужна такая большая пропускная способность обработки, поэтому все проще», – сказал Голлакота, который руководит лабораторией сетей и мобильных систем UW. "А с точки зрения затрат почти каждое устройство имеет динамик и микрофоны, поэтому вы можете добиться этого без какого-либо специального оборудования."
Но эхосигналы сонара слабые и, как правило, недостаточно точны, чтобы отслеживать движение пальца с высоким разрешением. Ошибки в несколько сантиметров делают невозможным различение написания отдельных букв или тонких жестов рук.
Исследователи из UW использовали тип сигнала, который обычно используется в беспроводной связи – под названием мультиплексирование с ортогональным частотным разделением – и продемонстрировали, что его можно использовать для отслеживания пальца с высоким разрешением с помощью звука. Их алгоритмы используют свойства сигналов OFDM для отслеживания фазовых изменений в эхо-сигналах и исправления любых ошибок в расположении пальца для достижения субсантиметрового отслеживания пальца.
Чтобы проверить свой подход, исследователи создали прототип приложения FingerIO для устройств Android и загрузили его на стандартный смартфон Samsung Galaxy S4 и умные часы с двумя микрофонами, которые необходимы для отслеживания движения пальцев в двух измерениях. Сегодняшние умные часы обычно имеют только один, который можно использовать для отслеживания пальца в одном измерении.
Исследователи попросили тестировщиков нарисовать фигуры, такие как звезды, завитки или восьмерки, на сенсорной панели рядом со смартфоном или умными часами, работающими под управлением FingerIO. Затем они сравнили траектории тачпада с формами, созданными отслеживанием FingerIO.
Средняя разница между рисунками и трассировками FingerIO составила 0.8 сантиметров для смартфона и 1.2 сантиметра для умных часов.
«Учитывая, что ваш палец уже имеет толщину в сантиметр, этого достаточно для точного взаимодействия с устройствами», – сказал соавтор и аспирант по электротехнике Викрам Айер.
Следующие шаги исследовательской группы включают демонстрацию того, как FingerIO можно использовать для отслеживания движения нескольких пальцев одновременно, и расширение его возможностей отслеживания в трех измерениях путем добавления дополнительных микрофонов к устройствам.