Існуючі алгоритми навчання з підкріпленням, що дозволяють роботам набувати нових навичок шляхом проб і помилок, не можуть обійтися без втручання людини. Кожен раз, коли робот падає або виходить поза кордон тренувальної площадки, хтось повинен підняти його або повернути на місце. Однак Technology Review розповіла про унікальний випадок.

Цікаво: Роботизація в Україні: експерт пояснив, яким професіям загрожує зникнення

Розробка Google

Рік тому група розробників з команди Google Brain знайшла спосіб навчати роботів в реальному світі. Зазвичай навчання з підкріпленням ведеться в віртуальних умовах: цифровий двійник машини бродить цифровим простором, поки не почне впевнено ходити і орієнтуватися. Потім його імпортують в тіло машини.

Цей метод дозволяє уникнути пошкоджень дорогого устаткування, але вимагає відносного простого в моделюванні середовища – без випадкових елементів, як до прикладу каміння, яке може випадково потрапити під колесо , або ж інших незапланованих перепон.

Особливості роботи алгоритму

В даному випадку вчені вирішили вести тренування в реальних умовах. Вони створили більш ефективний алгоритм, який швидше вчиться. У підсумку весь процес зайняв дві години. Робот зміг швидко адаптуватися до однорідного середовища з перешкодами.

Але людині все ще доводилося "няньчитися" з роботом і втручатися в процес сотні разів. Тому наступним етапом стало рішення цієї проблеми. Для початку вчені обмежили тренувальний майданчик. Коли робот доходив до краю, він повинен був йти у зворотний бік і вчитися рухатися задом наперед.

Потім, вчені обмежили рух машини, зробивши його досить обережним, щоб мінімізувати збиток від падіння. А на випадок, якщо вона впаде, вони додали алгоритм, що допомагає їй встати.

Робот самостійно навчився ходити та підійматися:

За допомогою таких хитрощів робот автономно навчився ходити по рівній поверхні, матрацу з пам'яттю форми і доріжці з тріщинами. В майбутньому така система допоможе машинам переміщатися незнайомою місцевістю без втручання людини.

Більше новин, що стосуються подій зі світу технологій, ґаджетів, штучного інтелекту, а також космосу читайте у розділі Техно