Исследователи из Корнелльского Университета в США, считают, что браслеты, которые могут непрерывно отслеживать трехмерные движения рук, могут вывести отслеживание активности на совершенно новый уровень.
Браслет, который называется FingerTrak, включает в себя четыре миниатюрные тепловизионные камеры низкого разрешения для использования в различных целях, включая автоматический перевод на язык жестов.
Исследование все еще находится на ранней стадии, но исследователи считают, что устройство имеет большой потенциал. Например, при синхронизации со “умными часами” пользователь сможет отдавать команды голосовому помощнику при помощи жестов.
FingerTrak может помочь людям, которые пытаются контролировать привычки, такие как переедание, курение или употребление алкоголя. В итоге устройство сможет предупредить пользователя или подключиться к другому устройству для предупреждения. Плюс ко всему, так называемый браслет сможет предупредить пользователей о симптомах таких заболеваний, как болезнь Паркинсона или Альцгеймера, которые влияют на мелкую моторику рук.
Чэн Чжан является доцентом Корнелльского Университета и руководит лабораторией SciFi (Smart Computer Interfaces for Future Interactions). Именно он руководил исследованиями по разработке устройства FingerTrak. Чжан объяснил, что ранее уже были попытки разработать устройство для ручного слежения. Однако всегда было трудно сделать устройства портативными или достаточно удобными для легкого использования.
Чэн Чжан заявил:
“Большинство предыдущих технологий слежения движения рук использует камеру в окружающей среде или перчатку, которая может не работать в мобильных условиях. В итоге камера может быть не всегда доступна, а людям может не нравиться носить перчатки целый день”.
Устройство FingerTrak применяет тепловизоры, которые расположены с четырех разных сторон с машинным обучением. В итоге несколько неподвижных изображений с камер объединяются с использованием сети искусственного интеллекта для создания непрерывного трехмерного контура руки в режиме реального времени.
Несмотря на то, что сейчас на рынке есть много фитнес-трекеров, умных часов и браслетов, многие из них могут передавать не точные показатели.
Чэн Чжан объясняет:
“Сейчас существует множество технологических трекеров, которые могут считывать человеческую деятельность, но многие из них могут передавать не совсем точную информацию. Таким образом, вы можете узнать, сколько шагов делаете, но не более”.
Чжан считает, что одна из ключевых возможностей устройства FingerTrak заключается в том, чтобы помогать компьютеру узнавать информацию об активности человека, в частности о движении рук.
Однако устройства также может помочь людям, потерявшим руку или пальцы. Таким образом они смогут лучше контролировать протезы конечностей. Тем не менее, Чжан говорит, что в этой области еще есть некоторые ограничения, поскольку устройство должно иметь возможность визуализировать руку, чтобы дать эффективные показания.
Одно из применений, которое имеет реальный потенциал, — это устройство для глухих людей, которые используют язык жестов для общения.
Чжан заявил:
“Для распознавания языка жестов требуется информация не только о позе руки, но и о положении руки, а также выражении лица. FingerTrak станет весьма удобным носимым устройством, которое будет отслеживать движение рук. В сочетании с другими методами восприятия, устройство может создать минимально интрузивный носимый переводчик языка жестов”.
Чжан также говорит, что лаборатория работает над другими сенсорными устройствами, которые могут помочь сделать автоматический перевод на язык жестов реальностью в ближайшем будущем.
Помимо здоровья и общения, устройство отслеживание движения рук может улучшить восприятие пользователем виртуальной или дополненной реальности.
Чэн Чжан отмечает:
“Современные методы отслеживания движения рук в виртуальной реальности обычно требуют наличия камеры на гарнитуре или на груди, что ограничивает диапазон движения руки перед грудью. Поскольку новое устройство уже имеет встроенные камеры, это открывает гораздо более широкий диапазон возможных движений рук”.
Изучение или оценка ручных навыков, таких как хирургия, игра на музыкальном инструменте или изготовление украшений, также может быть улучшено с помощью такого устройства, как FingerTrak, если оно будет соединено с подходящим программным обеспечением и компьютерами.
Чжан и его коллеги считают, что их устройство может быть частью нового поколения технологий отслеживания и обнаружения. В настоящее время они ведут переговоры о коммерциализации устройства.
Чжан говорит:
“Одной из самых больших проблем для носимых устройств отслеживания состояния здоровья является получение точной и непрерывной информации о пользователе. Прямо сейчас большинство трекеров могут записывать только ваши шаги или частоту сердечных сокращений. Это конечно хорошие функции, но их недостаточно для детального распознавания активности в жизни”.
Он также предупреждает, что, поскольку такие устройства, как FingerTrak, становятся более точными и могут отслеживать больше операций, нам нужно быть более внимательными к тому, кто может получить доступ к нашим данным.
