Microsoft позволила ChatGPT управлять реальными работами и дронами

В демо-ролике робот-манипулятор под управлением ChatGPT складывает кубики в логотип Microsoft, а также запускает дрон для инспекции побережья.

Интересно Скоро мир увидит первые действительно пугающие примеры искусственного интеллекта, уверен основатель OpenAI

Как это работает

Для того чтобы заставить ChatGPT взаимодействовать с робототехникой, исследователи научили его особому интерфейсу. Получая команды типа "подними мяч", ChatGPT самостоятельно генерирует программный код так же, как составляет поэмы или пишет эссе. Затем человек проверяет код на точность и безопасность, после чего отправляет его роботу и следит за выполнением задания.

Таким образом система ускоряет программирование робототехники, но не передает весь контроль в руки искусственного интеллекта.

Мы подчеркиваем, что использование ChatGPT для робототехники – не полностью автоматизированный процесс, а скорее служит инструментом для улучшения эффективности человека– говорят разработчики.

Хотя в основном обратную связь ChatGPT получает от человека, в некоторых случаях исследователи отмечают наличие непосредственного влияния визуальных данных на ИИ. В одном из примеров чат-бот отправил робота ловить мяч, руководствуясь только видеозаписью мяча и окружающей обстановки. Такое поведение показывает возможность формирования у ИИ имплицитной модели мира не только через языковой канал.

Пока результаты кажутся скромными, но это первые шаги к объединению генеративных моделей с физическими интерфейсами.

Наша цель в этом исследовании – понять, может ли ChatGPT думать вне текста и рассуждать о физическом мире, чтобы помогать роботам выполнять задачи. Мы хотим упростить людям взаимодействие с роботами без необходимости изучения сложных языков программирования или нюансов роботизированных систем– добавили авторы работы.

Разумеется, разработка находится на раннем этапе развития. Неясно, когда она сможет полноценно заработать для пользователей.