Магия искусственного интеллекта в действии
Исследователи Google DeepMind долгое время разрабатывали инструменты искусственного интеллекта для интерпретации языка жестов, и теперь эти наработки появились в последней бета-версии Gboard. Об этом пишет издание Android Authority.
Новая система основана на передовой модели SignGemma, которую специалисты анонсировали в прошлом году. Она сочетает возможности машинного зрения и мощь нейросетей для распознавания сложных жестов в реальном времени.
Конфиденциальность и технические нюансы
Google выбрала гибридную схему работы для обеспечения конфиденциальности пользователей:
- Смартфон обрабатывает видео непосредственно на устройстве, чтобы выделить только "сырые" данные о движениях и жестах.
- Затем эти координаты отправляются в облако Google для окончательного анализа и извлечения слов.
- Такой подход гарантирует, что реальное видео с лицом и окружением человека не остается в памяти телефона, что значительно усиливает защиту личных данных.
При анализе кода приложения были обнаружены служебные сообщения, которые помогут правильно настроить процесс: "отойдите чуть дальше", "переместитесь в более светлое место" или "держите руки в кадре для лучшей видимости".
Пока остается открытым вопрос поддержки различных региональных вариантов, ведь американский язык жестов (ASL) существенно отличается от украинского, британского или других версий, существующих в мире.
Несмотря на то, что функция еще находится на стадии разработки, она обещает стать важнейшим инструментом доступности в истории Gboard, открывая новые горизонты для свободного общения миллионов людей.