SonicASL: наушники, которые переведут вам язык жестов

9 сентября 2021, 21:03

Источник:

ACM Digital Library

Люди с нарушениями слуха повсеместно пользуются языком жестов. Всего существует около 300 таких языков. Они помогают людям эффективно общаться с теми людьми, которые также их понимают. Но что делать тем, кто не знает языка жестов? Ученые из Университета в Баффало нашли выход из этой ситуации, разработав наушники, которые смогут различать язык жестов и "переводить" его в звук.

Система называется SonicASL. Она зарекомендовала себя как эффективное средство распознавания жестов, чтобы потом превратить их в звук. Таким образом люди смогут удобнее общаться со своими друзьями, которые имеют нарушения слуха. Пока технология тестируется, ей принадлежит расширить словарный запас, но уже очевидно, что перспектива таких наушников достаточно велика.

Интересно Искусственный интеллект научили переводить язык жестов в текст

Наушники работают в паре со смартфоном / Фото University at Buffalo

Подробнее о разработке

Система SonicASL показала эффективность 93,8% в тестированиях, проводимых в помещении и на открытом пространстве с использованием 42 слов. Использовались такие слова как "любовь", "пространство", "камера" и другие.

При идентичных условиях проводили тесты, которые были нацелены на распознавание системой предложений. Использовали 30 простых предложений. Например, "приятно познакомиться". В этих испытаниях SonicASL был эффективен на 90,6%.

Акустические звуковые волны, которые возникают во время разговора на языке жестов / Фото Tech Xplore

Как работают наушники SonicASL

В большинстве наушников с шумоподавлением используется микрофон, обращенный наружу, который улавливает окружающий шум. Затем наушники создают антизвук для подавления внешнего шума – звуковую волну с той же амплитудой, но с инвертированной фазой окружающего шума.

Ученые модифицировали такие наушники, добавив дополнительный динамик рядом с направленным наружу микрофоном. Таким образом динамик и микрофон улавливают движения рук. Информация передается через приложение для мобильного телефона SonicASL, который содержит алгоритм, созданный командой для идентификации слов и предложений. Приложение переводит жесты в звук.

Перспективная технология распознавания жестов и превращения их в звук может помочь около 72 миллионам людей с нарушениями слуха свободно общаться с людьми один на один.