Microsoft дозволила ChatGPT керувати реальними роботами та дронами

У демо-ролику робот-маніпулятор під управлінням ChatGPT складає кубики в логотип Microsoft і запускає дрон для інспекції узбережжя.

Цікаво Скоро світ побачить перші дійсно лякаючі приклади штучного інтелекту, впевнений засновник OpenAI

Як це працює

Для того, щоб змусити ChatGPT взаємодіяти з робототехнікою, дослідники навчили його особливого інтерфейсу. Отримуючи команди на кшталт "підніми м'яч", ChatGPT самостійно генерує програмний код так само, як складає поеми або пише есе. Потім людина перевіряє код на точність і безпеку, після чого відправляє його роботу і стежить за виконанням завдання.

Таким чином, система прискорює програмування робототехніки, але не передає весь контроль у руки штучного інтелекту

Ми наголошуємо, що використання ChatGPT для робототехніки – не повністю автоматизований процес, а скоріше слугує інструментом для поліпшення ефективності людини– кажуть розробники.

Хоча здебільшого зворотний зв'язок ChatGPT отримує від людини, у деяких випадках дослідники відзначають наявність безпосереднього впливу візуальних даних на ШІ. В одному із прикладів чатбот відправив робота ловити м'яч, керуючись тільки відеозаписом м'яча і навколишнього оточення. Така поведінка вказує на можливість формування у ШІ імпліцитної моделі світу не тільки через мовний канал.

Поки що результати здаються скромними, але це перші кроки до об'єднання генеративних моделей із фізичними інтерфейсами.

Наша мета в цьому дослідженні – зрозуміти, чи може ChatGPT думати за межами тексту і міркувати про фізичний світ, щоб допомагати роботам виконувати завдання. Ми хочемо спростити людям взаємодію з роботами без необхідності вивчення складних мов програмування або нюансів роботизованих систем– додали автори роботи.

Очевидно, що технологія знаходиться на ранньому етапі розвитку. Неясно, коли вона зможе повноцінно запрацювати для користувачів.