Новая модель искусственного интеллекта Gemini Robotics от Google работает локально на роботах

Что известно о новой модели

Над разработкой работала лаборатория DeepMind, которая входит в состав Google. Gemini Robotics On-Device может функционировать напрямую на роботах без необходимости в облачных вычислениях. Она основана на некоторых предыдущих разработках, выпущенных в марте, и предназначена для управления движениями роботов в реальном времени, сообщает 24 Канал со ссылкой на TechCrunch.

Смотрите также Все как у людей: Intempus подарит роботам "виртуальные эмоции" - с сердцебиением и потоотделением

Разработчики адаптировали модель к конкретным задачам, используя подсказки на естественном языке. По словам Google, в тестах на производительность новая модель почти не уступает облачному варианту. Кроме того, в бенчмарках она опередила другие модели, которые работают без подключения к интернету, хотя конкретные названия конкурентов компания не указала.

В серии демонстрационных видео Google показывает, как роботы выполняют повседневные действия – открытие напитка и наливание его в стакан, открытие упаковки соуса и молока, складывание предметов в корзину, работа со сковородой и лопаткой, работа с молотком, складывание посуды. Роботы также умеют расстегивать молнии на сумках и складывать одежду.

Изначально модель создавали для роботов серии ALOHA, но впоследствии адаптировали для двурукого Franka FR3 и гуманоида Apollo от Apptronik. По данным Google, Franka FR3 эффективно выполнял задачи даже в новых сценариях, с которыми не имел дела раньше и которым его не обучали – например, во время сборки компонентов на промышленной линии.

Ученые DeepMind также представили набор средств разработки, утилит и документации для Gemini Robotics, который позволяет сторонним разработчикам обучать своих роботов с помощью 50-100 демонстраций задач. Это обучение происходит в физическом симуляторе MuJoCo, что обеспечивает реалистичное моделирование поведения.