Штучний інтелект навчили перекладати мову жестів у текст

Алгоритм ще допрацьовують, але його альфаверсію уже тестує обмежене коло користувачів. Він обіцяє перетворення мови жестів у текст на екрані смартфона чи ноутбука. 

Цікаво У мережі з'явилося перше фото, зроблене, ймовірно, камерою Google Pixel 6 або 6 Pro

Що відомо

• Перші зрушення в роботі над алгоритмом відбулися у 2017 році. Тоді у співпраці з розробниками зі стартапу Abeja і Токійського університету компанія створила алгоритм, який вивчив понад 50 тисяч відео з рухами рук, характерними для спілкування мовою жестів.
• Відомо, що сьогодні програма розпізнає приблизно 5 тисяч слів, необхідних для повсякденної розмови.
• Час опрацювання, тобто від жесту до появи перекладу, становить всього секунду або менше. 
• Судячи з усього корпорація збирається з часом зробити свій продукт безплатним та доступним усім охочим. 

Наразі розробники працюють над підвищенням точності системи, адже, як і у випадку з мовою звуків, люди, які користуються жестами, говорять з різною швидкістю, а також по-різному тримають руки. Зараз точність оцінюється у 90 відсотків, проте у випадку незвичної жестикуляції може впасти до 50 відсотків. Для підвищення ефективності та швидкості розпізнавання, на думку авторів, алгоритм повинен навчитися зчитувати понад 100 варіацій одного жесту.

Як це працює

Систему ШІ інтегрували у деякі популярні відеомесенджери. Конкретні не уточнюються, але ймовірно, мова йде про Zoom чи Skype. Під час розмови алгоритм перетворює вимовлені за допомогою звуків слова одного мовця, перетворює їх на текст і передає співрозмовнику з порушеннями слуху. У відповідь він зчитує жести, також перетворює їх у слова і передає назад. 

У липні SoftBank залучив добровольців до тестування технології. Найближчим часом систему очікують передати в користування компаніям, які спеціалізуються на підтримці людей з порушеннями слуху.