Система автоматично відшукує відповідності між послідовностями слів і жестами мови глухонімих. Жести відтворює віртуальний персонаж. Точність перекладу поки невисока, але якщо автоматичний перекладач робить помилку, людина може його виправити, вказавши потрібну відповідність. Машина запам’ятає правильний варіант перекладу.
Віртуальних сурдоперекладачів планується застосовувати на телебаченні — зокрема, для перекладу термінових новинних повідомлень, коли "живого" фахівця поруч може не виявитися. Більшість новин побудовані за певними шаблонами, тому системі буде простіше впоратися з перекладом.
Розробники з NHK розповіли, що сурдопереклад необхідний перш за все тим людям, які позбавлені можливості чути від народження. Якщо ж людина втратила слух через хворобу або травми, їй буде легше читати субтитри.