У демо-ролику робот-маніпулятор під управлінням ChatGPT складає кубики в логотип Microsoft і запускає дрон для інспекції узбережжя.
Цікаво Скоро світ побачить перші дійсно лякаючі приклади штучного інтелекту, впевнений засновник OpenAI
Як це працює
Для того, щоб змусити ChatGPT взаємодіяти з робототехнікою, дослідники навчили його особливого інтерфейсу. Отримуючи команди на кшталт "підніми м'яч", ChatGPT самостійно генерує програмний код так само, як складає поеми або пише есе. Потім людина перевіряє код на точність і безпеку, після чого відправляє його роботу і стежить за виконанням завдання.
Таким чином, система прискорює програмування робототехніки, але не передає весь контроль у руки штучного інтелекту
Ми наголошуємо, що використання ChatGPT для робототехніки – не повністю автоматизований процес, а скоріше слугує інструментом для поліпшення ефективності людини,
– кажуть розробники.
Хоча здебільшого зворотний зв'язок ChatGPT отримує від людини, у деяких випадках дослідники відзначають наявність безпосереднього впливу візуальних даних на ШІ. В одному із прикладів чатбот відправив робота ловити м'яч, керуючись тільки відеозаписом м'яча і навколишнього оточення. Така поведінка вказує на можливість формування у ШІ імпліцитної моделі світу не тільки через мовний канал.
Поки що результати здаються скромними, але це перші кроки до об'єднання генеративних моделей із фізичними інтерфейсами.
Наша мета в цьому дослідженні – зрозуміти, чи може ChatGPT думати за межами тексту і міркувати про фізичний світ, щоб допомагати роботам виконувати завдання. Ми хочемо спростити людям взаємодію з роботами без необхідності вивчення складних мов програмування або нюансів роботизованих систем,
– додали автори роботи.
Очевидно, що технологія знаходиться на ранньому етапі розвитку. Неясно, коли вона зможе повноцінно запрацювати для користувачів.