Магія штучного інтелекту в дії
Дослідники Google DeepMind тривалий час розробляли інструменти штучного інтелекту для інтерпретації мови жестів, і тепер ці напрацювання з'явилися в останній бета-версії Gboard. Про це пише видання Android Authority.
Нова система базується на просунутій моделі SignGemma, яку фахівці анонсували минулого року. Вона поєднує можливості машинного зору та потужність нейромереж для розпізнавання складних жестів у реальному часі.
Приватність і технічні нюанси
Google обрала гібридну схему роботи для забезпечення конфіденційності користувачів:
- Смартфон обробляє відео безпосередньо на пристрої, щоб виділити лише "сирі" дані про рухи та жести.
- Потім ці координати надсилаються в хмару Google для фінального аналізу та вилучення слів.
- Такий підхід гарантує, що реальне відео з обличчям та оточенням людини не залишається в пам'яті телефона, що значно посилює захист приватних даних.
Під час аналізу коду програми знайшли службові повідомлення, які допоможуть правильно налаштувати процес: "відійдіть трохи далі", "перемістіться у світліше місце" або "тримайте руки в кадрі для кращої видимості".
Поки залишається відкритим питання підтримки різних регіональних варіантів, адже американська мова жестів (ASL) суттєво відрізняється від української, британської чи інших версій, що існують у світі.
Попри те, що функція ще перебуває на стадії розробки, вона обіцяє стати найважливішим інструментом доступності в історії Gboard, відкриваючи нові горизонти для вільного спілкування мільйонів людей.