Google розсекретила дві революційні розробки у галузі ШІ: що готує компанія

Обидві розробки – це окремі набори функцій, які постачатимуться для різних програм і цілей. Astra працюватиме на смартфоні й вимагатиме увімкнення камери, тоді як Mariner призначається для десктопних браузерів, а конкретно для Chrome. Проєкти все ще перебувають на "ранніх стадіях розробки", але "довірені тестувальники" вже мають до них доступ і надають свої відгуки. 24 Канал ознайомився з презентацією і підсумовує головне.

Дивіться також Google представив Gemini 20 – ШІ помічник на кожен день, який змінить ваше життя

Project Astra

Project Astra – це спроба Google створити універсального ШІ-агента, корисного в повсякденному житті. Суть цього сервісу в тому, щоб надавати вам підказки про те, що бачить ваша камера. Наведіть її на предмет, документ, текст, архітектурну пам'ятку, товар чи будь-що інше, щоб отримати про це деталі, висновки, підсумки чи іншу інформацію. 

Уперше ми почули про Astra на I/O 2024 у травні, але з того часу жодних деталей не надходило. Тепер, коли компанія випустила Gemini 2.0, проєкт отримує низку оновлень.

• Покращений діалог: Astra тепер може розмовляти більшою кількістю мов, а також використовувати відразу кілька мов у одному діалозі. Програма тепер краще розуміє акценти та незвичні слова.
• Нове використання інструментів: Astra може використовувати Пошук Google, Об'єктив і Карти, щоб допомогти відповісти на ваші підказки.
• Краща пам'ять: Astra "тепер має до 10 хвилин пам'яті під час сеансу і може запам'ятовувати більше розмов, які ви вели з нею в минулому, тому вона краще підлаштовується під вас", враховуючи попередні контексти.
• Зменшена затримка: Astra тепер може "розуміти мову приблизно з такою ж затримкою, як і людська розмова" завдяки кращому розумінню мови й новим можливостям потокового мовлення.

Компанія показала кілька варіантів використання Project Astra / Колаж 24 Каналу

У демонстраційному відео, яким поділився Google, ми бачимо додаток Project Astra для Android з інтерфейсом видошукача і можливістю аналізувати те, що бачить камера. Зверху можна побачити прозоре вікно з чатом, де відображається текстове транскрибування розмови з ШІ. Ця програма призначена лише для тестування. Коли Project Astra буде запущений для споживачів, він постачатиметься не як окремий додаток, а в складі основного додатка Gemini. Google також тестує Astra на прототипі окулярів.

Project Mariner

Project Mariner – це агент, який може виконувати ваші прохання у браузері, фактично керуючи ним. Набирайте текст, прокручуйте, натискайте на посилання, шукайте, купуйте та інше. Зокрема, функція може розуміти й аналізувати інформацію на екрані вашого браузера, включаючи навіть окремі пікселі та вебелементи, такі як текст, код, зображення й форми.

Поки що він існує у вигляді розширення для Chrome, яке використовує існуючий інтерфейс бічної панелі. Як це все виглядатиме надалі, неясно. Можливо, компанія залишить усе як є.

Приклад використання Project Mariner: відео

Оцінка за допомогою бенчмарку WebVoyager, який тестує продуктивність агентів на прикладі реальних завдань, Mariner досяг результату в 83,5% точності. Але це, ймовірно, не межа, адже компанія поки що не збирається випускати функцію для всіх й надалі покращуватиме її здібності.

Задля безпеки Mariner може виконувати дії лише в активній вкладці браузера. Користувачі повинні будуть підтверджувати "певні конфіденційні дії, такі як купівля чогось". Він також розробляється з урахуванням ризику "потенційно шкідливих інструкцій із зовнішніх джерел" і зможе запобігати зловживанню з метою шахрайства та фішингу.

Він може вирішити проблему, розробити план і виконати його, і все це під керівництвом і наглядом користувача. Ці зусилля є частиною нашої довгострокової мети — створення ШІ-агентів, які будуть корисними в усіх сферах, включаючи кодування,
– кажуть у компанії.

В опублікованому ролику видно, як після запиту знайти контактну інформацію чотирьох компаній браузер починає сам вводити пошукові запити, оглядати сторінки, скролити, переходити за посиланнями, аналізувати інформацію і запам'ятовувати її. Він також детально описує в боковій панелі все, що робить. Врешті після огляду сайтів усіх компаній Mariner видає список із контактних даних компаній, які просила користувачка.

Як працює Mariner: відео

Так само ви, наприклад, зможете попросити Mariner знайти якісь товари зі списку. Він сам знайде магазини, огляне найкращі пропозиції, додасть все до кошика, а вам потрібно буде лише підтвердити замовлення.

Ця функція може зекономити вам багато часу, адже більше непотрібно самостійно перевіряти кожен сайт і шукати потрібну інформацію. ШІ зробить це за вас набагато швидше. Точніше в перспективі він робитиме це швидше. Бо в цьому випадку простий пошук списку електронних адрес зайняв аж 12 хвилин.

Якщо Project Mariner звучить знайомо, це тому, що раніше ми чули про цю функцію під іншою назвою – Jarvis. Яка зазначають джерела зараз, особа, знайома з цим питанням, підтвердила, що Jarvis і Mariner — це один проєкт.

Mariner зараз доступний лише для окремих тестових користувачів. Дата релізу невідома, але Google повинен поспішити, оскільки мінімум дві конкурентні компанії, зокрема Anthropic, також анонсували аналогічну функцію.