Як це буде
Перше, на що Google звертає нашу увагу, є той факт, що тепер Gemini набагато краще розуміє контекст, коли ви керуєте програмами на смартфоні. Що саме це означає? Після офіційного запуску інструменту в складі Android 15 ви зможете викликати спливаюче вікно Gemini (схоже на те, що з'являється зараз при взаємодії з Асистентом), який накладатиметься поверх програми, якою ви користуєтеся. Це дозволить виконувати контекстно-залежні дії та запити.
Дивіться також Великий день ШІ: що показала компанія Google на презентації I/O 2024
Google наводить приклад швидкого надсилання згенерованих зображень до Gmail та Google Messages.
Функція перетягування згенерованого фото / Фото Google
Компанія також продемонструвала функцію під назвою "Ask This Video", яка дозволяє користувачам ставити запитання про певне відео на YouTube, на які чат-бот зможе відповісти. Google каже, що це має працювати з "мільярдами" відео.
Функція Ask This Video / Фото Google
Аналогічний інструмент буде запущений і для PDF-файлів. Відкривайте документ і запитуйте ШІ про ті чи інші дані з нього, щоб не шукати самостійно у великих обсягах тексту.
Функція "Запитати цей PDF" / Фото Google
Функція Circle to Search також отримує поштовх завдяки вбудованому ШІ. Користувачі зможуть обвести практично будь-що на своєму телефоні та отримати відповідну інформацію про це. Google заявляє, що люди зможуть робити це без необхідності перемикати додатки. Це поширюється навіть на задачі з математики та фізики — просто обведіть, щоб отримати відповідь, що, ймовірно, порадує учнів і розчарує вчителів.
Неважко зрозуміти, куди рухається ця технологія. Як тільки Gemini отримає доступ до вашої бібліотеки додатків, він зможе виконати деякі з тих високих обіцянок, які дають конкуруючі компанії, що займаються розробкою ШІ, такі як Humane і Rabbit. Google заявляє, що "тільки починає працювати над тим, як ШІ на пристрої може змінити можливості вашого телефону", тому можна уявити взаємодію з такими програмами та сервісами, як таксі, доставка їжі, купівля квитків та інше.
Дивіться також Google об'єднала Пошук зі штучним інтелектом і оголосила про нові функції
У майбутньому, активувавши Gemini, ви побачите динамічні підказки. Це дозволить Gemini Nano зрозуміти, що відбувається на вашому екрані. Наприклад, якщо ви активуєте ШІ під час розмови про футбол, пропозиції можуть включати: "Знайдіть футбольні клуби поблизу мене" та "Правила футболу для початківців".
Окрім динамічних пропозицій Gemini, Gemini Nano буде використовуватися TalkBack для створення докладних описів для непідписаних зображень. Для цього не потрібне підключення до інтернету, оскільки це відбувається швидко на вашому пристрої.
Це оновлення допоможе заповнити пропущену інформацію — чи то більше деталей про те, що зображено на фотографії, яку надіслали родичі або друзі, чи то про стиль і крій одягу при покупці в інтернеті.
Приклад роботи Gemini Nano під час перегляду товарів в інтернеті / Фото Google
Також ми вже згадували в попередньому матеріалі, що Android збирається використовувати Gemini Nano, щоб доставляти "сповіщення в режимі реального часу під час дзвінка, якщо він виявить шаблони розмови, які зазвичай асоціюються з шахрайством". Google буде шукати ознаки шахрайства, наприклад, запити про особисту інформацію. Це відбувається повністю на пристрої і буде функцією за бажанням користувача. Google поділиться більш детальною інформацією про це пізніше цього року.