Система называется SonicASL. Она зарекомендовала себя как эффективное средство распознавания жестов, чтобы потом превратить их в звук. Таким образом люди смогут удобнее общаться со своими друзьями, которые имеют нарушения слуха. Пока технология тестируется, ей принадлежит расширить словарный запас, но уже очевидно, что перспектива таких наушников достаточно велика.
Интересно Искусственный интеллект научили переводить язык жестов в текст
Наушники работают в паре со смартфоном / Фото University at Buffalo
Подробнее о разработке
Система SonicASL показала эффективность 93,8% в тестированиях, проводимых в помещении и на открытом пространстве с использованием 42 слов. Использовались такие слова как "любовь", "пространство", "камера" и другие.
При идентичных условиях проводили тесты, которые были нацелены на распознавание системой предложений. Использовали 30 простых предложений. Например, "приятно познакомиться". В этих испытаниях SonicASL был эффективен на 90,6%.
Акустические звуковые волны, которые возникают во время разговора на языке жестов / Фото Tech Xplore
Как работают наушники SonicASL
В большинстве наушников с шумоподавлением используется микрофон, обращенный наружу, который улавливает окружающий шум. Затем наушники создают антизвук для подавления внешнего шума – звуковую волну с той же амплитудой, но с инвертированной фазой окружающего шума.
Ученые модифицировали такие наушники, добавив дополнительный динамик рядом с направленным наружу микрофоном. Таким образом динамик и микрофон улавливают движения рук. Информация передается через приложение для мобильного телефона SonicASL, который содержит алгоритм, созданный командой для идентификации слов и предложений. Приложение переводит жесты в звук.
Перспективная технология распознавания жестов и превращения их в звук может помочь около 72 миллионам людей с нарушениями слуха свободно общаться с людьми один на один.