Алгоритм еще дорабатывают, но его альфа-версию уже тестирует ограниченный круг пользователей. Он обещает преобразование языка жестов в текст на экране смартфона или ноутбука.

Интересно В сети появилось первое фото, сделанное, вероятно, камерой Google Pixel 6 или 6 Pro

Что известно

  • Первые сдвиги в работе над алгоритмом состоялись в 2017 году. Тогда в сотрудничестве с разработчиками из стартапа Abeja и Токийского университета компания создала алгоритм, который изучил более 50 тысяч видео с движениями рук, характерными для общения на языке жестов.
  • Известно, что сегодня программа распознает примерно 5000 слов, необходимых для повседневного разговора.
  • Время обработки, то есть от жеста до появления перевода, составляет всего секунду или меньше.
  • Судя по всему корпорация собирается со временем сделать свой продукт бесплатным и доступным всем желающим.

Сейчас разработчики работают над повышением точности системы, ведь, как и в случае с языком звуков, люди, которые пользуются жестами, говорят с разной скоростью, а также по-разному держат руки. Сейчас точность оценивается в 90 процентов, однако в случае необычной жестикуляции может упасть до 50 процентов. Для повышения эффективности и скорости распознавания, по мнению авторов, алгоритм должен научиться считывать более 100 вариаций одного жеста.

Как это работает

Систему ИИ интегрировали в некоторые популярные видеомесенджеры. Конкретные не уточняются, но вероятно, речь идет о Zoom или Skype. Во время разговора алгоритм преобразует произнесенные с помощью звуков слова одного говорящего, превращает их в текст и передает собеседнику с нарушениями слуха. В ответ он считывает жесты, также превращает их в слова и передает обратно.

В июле SoftBank привлек добровольцев к тестированию технологии. В ближайшее время систему ожидают передать в пользование компаниям, которые специализируются на поддержке людей с нарушениями слуха.