Обе разработки – это отдельные наборы функций, которые будут поставляться для различных приложений и целей. Astra будет работать на смартфоне и требовать включения камеры, тогда как Mariner предназначается для десктопных браузеров, а конкретно для Chrome. Проекты все еще находятся на "ранних стадиях разработки", но "доверенные тестировщики" уже имеют к ним доступ и предоставляют свои отзывы. 24 Канал ознакомился с презентацией и подытоживает главное.
Смотрите также Google представил Gemini 20 – ИИ помощник на каждый день, который изменит вашу жизнь
Project Astra
Project Astra – это попытка Google создать универсального ИИ-агента, полезного в повседневной жизни. Суть этого сервиса в том, чтобы предоставлять вам подсказки о том, что видит ваша камера. Наведите ее на предмет, документ, текст, архитектурную достопримечательность, товар или что-либо другое, чтобы получить об этом детали, выводы, итоги или другую информацию.
Впервые мы услышали об Astra на I/O 2024 в мае, но с тех пор никаких деталей не поступало. Теперь, когда компания выпустила Gemini 2.0, проект получает ряд обновлений.
- Улучшенный диалог: Astra теперь может разговаривать на большем количестве языков, а также использовать сразу несколько языков в одном диалоге. Программа теперь лучше понимает акценты и необычные слова.
- Новое использование инструментов: Astra может использовать Поиск Google, Объектив и Карты, чтобы помочь ответить на ваши подсказки.
- Лучшая память: Astra "теперь имеет до 10 минут памяти во время сеанса и может запоминать больше разговоров, которые вы вели с ней в прошлом, поэтому она лучше подстраивается под вас", учитывая предыдущие контексты.
- Уменьшенная задержка: Astra теперь может "понимать речь примерно с такой же задержкой, как и человеческий разговор" благодаря лучшему пониманию речи и новым возможностям потоковой речи.
Компания показала несколько вариантов использования Project Astra / Коллаж 24 Канала
В демонстрационном видео, которым поделился Google, мы видим приложение Project Astra для Android с интерфейсом видоискателя и возможностью анализировать то, что видит камера. Сверху можно увидеть прозрачное окно с чатом, где отображается текстовое транскрибирование разговора с ИИ. Это приложение предназначено только для тестирования. Когда Project Astra будет запущен для потребителей, он будет поставляться не как отдельное приложение, а в составе основного приложения Gemini. Google также тестирует Astra на прототипе очков.
Project Mariner
Project Mariner – это агент, который может выполнять ваши просьбы в браузере, фактически управляя им. Набирайте текст, прокручивайте, нажимайте на ссылки, ищите, покупайте и прочее. В частности, функция может понимать и анализировать информацию на экране вашего браузера, включая даже отдельные пиксели и веб-элементы, такие как текст, код, изображения и формы.
Пока что он существует в виде расширения для Chrome, которое использует существующий интерфейс боковой панели. Как это все будет выглядеть в дальнейшем, неясно. Возможно, компания оставит все как есть.
Пример использования Project Mariner: видео
Оценка с помощью бенчмарка WebVoyager, который тестирует производительность агентов на примере реальных задач, Mariner достиг результата в 83,5% точности. Но это, вероятно, не предел, ведь компания пока не собирается выпускать функцию для всех и в дальнейшем будет улучшать ее способности.
В целях безопасности Mariner может выполнять действия только в активной вкладке браузера. Пользователи должны будут подтверждать "определенные конфиденциальные действия, такие как покупка чего-то". Он также разрабатывается с учетом риска "потенциально вредных инструкций из внешних источников" и сможет предотвращать злоупотребление с целью мошенничества и фишинга.
Он может решить проблему, разработать план и выполнить его, и все это под руководством и наблюдением пользователя. Эти усилия являются частью нашей долгосрочной цели - создание ИИ-агентов, которые будут полезными во всех сферах, включая кодирование,
– говорят в компании.
В опубликованном ролике видно, как после запроса найти контактную информацию четырех компаний браузер начинает сам вводить поисковые запросы, осматривать страницы, скролить, переходить по ссылкам, анализировать информацию и запоминать ее. Он также подробно описывает в боковой панели все, что делает. Наконец после осмотра сайтов всех компаний Mariner выдает список из контактных данных компаний, которые просила пользовательница.
Как работает Mariner: видео
Так же вы, например, сможете попросить Mariner найти какие-то товары из списка. Он сам найдет магазины, осмотрит лучшие предложения, добавит все в корзину, а вам нужно будет только подтвердить заказ.
Эта функция может сэкономить вам много времени, ведь больше не нужно самостоятельно проверять каждый сайт и искать нужную информацию. ИИ сделает это за вас гораздо быстрее. Точнее в перспективе он будет делать это быстрее. Потому что в этом случае простой поиск списка электронных адресов занял аж 12 минут.
Если Project Mariner звучит знакомо, это потому, что раньше мы слышали об этой функции под другим названием – Jarvis. Как отмечают источники сейчас, лицо, знакомое с этим вопросом, подтвердило, что Jarvis и Mariner – это один проект.
Mariner сейчас доступен только для отдельных тестовых пользователей. Дата релиза неизвестна, но Google должен поспешить, поскольку минимум две конкурентные компании, в частности Anthropic, также анонсировали аналогичную функцию.