Система автоматически отыскивает соответствия между последовательностями слов и жестами языка глухонемых. Жесты воспроизводит виртуальный персонаж. Точность перевода пока невысока, но если автоматический переводчик делает ошибку, человек может ее исправить, указав требуемое соответствие. Машина запомнит правильный вариант перевода.
Виртуальных сурдопереводчиков планируется применять на телевидении - в частности, для перевода срочных новостных сообщений, когда "живого" специалиста рядом может не оказаться. Большинство новостей построены по определенным шаблонам, потому системе будет проще справиться с переводом.
Разработчики из NHK рассказали, что сурдоперевод необходим прежде всего тем людям, которые лишены возможности слышать от рождения. Если же человек потерял слух из-за болезни или травмы, ему будет легче читать субтитры.