Дополненная реальность на ощупь: ученые придумали, как превратить что угодно в клавиатуру
- Техасский университет разработал интерфейс PropType, превращающий физические объекты в виртуальные клавиатуры.
- Разработка получила международное признание, демонстрируя потенциал интеграции физических и виртуальных миров для удобства пользователей.
В мире виртуальных технологий существует давняя проблема, которая мешает пользователям комфортно взаимодействовать с цифровым пространством. Она касается неудобства ввода данных, когда отсутствие физического отклика приводит к ошибкам и быстрой усталости. Однако исследователи из Техасского университета нашли способ устранить проблему, интегрировав привычные бытовые вещи в дополненную реальность.
Как обычная бутылка или книга могут заменить клавиатуру?
Традиционные методы ввода текста в виртуальной среде часто становятся источником раздражения. Пользователи вынуждены взаимодействовать с виртуальными кнопками, "висящими" в воздухе. Это не только медленно и неточно, но и физически утомительно. Длительное удержание рук в поднятом состоянии вызывает специфическое мышечное перенапряжение, которое в индустрии получило название "эффект руки гориллы", сообщает 24 Канал со ссылкой на TechXplore.
Смотрите также Meta исследовала вред одного из своих продуктов для детей, а потом скрыла результаты
Чтобы преодолеть этот барьер, команда ученых из Техасского университета в Далласе (UT Dallas) разработала инновационный интерфейс под названием PropType. Эта технология, на которую уже подана заявка на патент, позволяет накладывать виртуальную клавиатуру на реальные физические объекты, которые человек держит в руках. Система способна адаптироваться даже к изогнутым поверхностям, превращая их в удобные инструменты для печати.
На видеодемонстрации, созданной студентами-исследователями, показано, как PropType функционирует на самых разнообразных предметах: бутылках с водой, кофейных чашках, книгах и даже банках с газированными напитками.
Демонстрация работы технологии: смотрите видео
Доктор Джин Рён Ким, доцент кафедры компьютерных наук, объясняет, что интеграция предметов из окружающей среды создает бесшовную связь между физическим и виртуальным мирами. Главное преимущество заключается в тактильном отклике: когда пальцы касаются реальной поверхности, мозг получает подтверждение нажатия, что значительно уменьшает потребность постоянно смотреть на клавиши.
Разработка PropType требовала решения сложных инженерных задач, в частности адаптации интерфейса к объектам различной формы и размера. В ходе исследования ученые проанализировали поведение 16 участников, изучая, как они держат предметы и какие жесты используют для печати.
На основе этих данных были созданы кастомные раскладки клавиш. Кроме того, разработчики добавили инструмент редактирования, который позволяет пользователям самостоятельно настраивать визуальные эффекты и расположение кнопок.
Демонстрация работы технологии: смотрите видео
Первые успехи
Эта работа уже получила признание на международном уровне. Команда Лаборатории мультимодального взаимодействия получила почетную награду за лучшую статью на конференции ACM CHI в Йокогаме (Япония), а затем представила проект на симпозиуме в Пусане (Южная Корея).
Стоит отметить, что это не единственный успех лаборатории в сфере тактильных технологий. Исследователи также работают над феноменом "термальной маскировки". Эта технология обманывает мозг, заставляя его чувствовать тепло или холод в определенной точке тела, даже если источник температуры находится в другом месте – на расстоянии нескольких сантиметров, указано в статье на Digital Library. Например, вибрационное устройство и нагревательный элемент, размещены отдельно на руке, при одновременной активации создают иллюзию тепла в обеих точках. Такие разработки обещают революцию в медицинских симуляторах и VR-играх, делая виртуальный опыт почти ощутимым на ощупь.