Революційні біологічні камери виявляють пішоходів у 100 разів швидше, уникаючи аварій на дорогах

Пішохід, який виходить перед автомобілем, здавалося б, нізвідки, залишаючи лише частку секунди, щоб загальмувати або вивернути кермо й уникнути найгіршого – це кошмар кожного водія. Деякі автомобілі зараз мають системи камер, які можуть попередити водія або активувати екстрене гальмування. Але ці системи ще недостатньо швидкі та надійні. Їх потрібно вдосконалювати, якщо вони будуть використовуватися в автономних транспортних засобах, де за кермом не буде людини.

Дивіться також Дослідження виявило, що електромобілі частіше збивають пішоходів, ніж бензинові

Що пропонують у новому винаході

Даніель Геріг і Давіде Скарамуцца з факультету інформатики Цюріхського університету об'єднали нову камеру, натхненну біологічними процесами, зі штучним інтелектом, щоб розробити систему, яка може виявляти перешкоди навколо автомобіля набагато швидше, ніж сучасні системи, і з меншими обчислювальними потужностями.

Більшість сучасних камер є кадровими, тобто роблять знімки через певні проміжки часу. Камери, які зараз використовуються для допомоги водієві в автомобілях, зазвичай роблять від 30 до 50 кадрів на секунду, і штучна нейронна мережа може бути навчена розпізнавати об'єкти на їхніх зображеннях — пішоходів, велосипеди та інші автомобілі.

Але якщо щось відбувається протягом 20-30 мілісекунд між двома знімками, камера може побачити це занадто пізно. Рішенням могло б стати збільшення частоти кадрів, але це означає більше даних, які потрібно обробляти в режимі реального часу, і більше обчислювальних потужностей,
– говорить Геріг, перший автор статті.

Подієві камери — це нещодавня інновація, що базується на іншому принципі. Замість постійної частоти кадрів вони мають інтелектуальні пікселі, які записують інформацію щоразу, коли виявляють швидкі рухи.

"Таким чином, вони не мають сліпих зон між кадрами, що дозволяє їм швидше виявляти перешкоди. Їх також називають нейроморфними камерами, оскільки вони імітують те, як людські очі сприймають зображення", – розповідає Скарамуцца, керівник групи робототехніки та сприйняття.

Але вони мають свої недоліки, оскільки можуть пропустити те, що рухається повільно, і їхні зображення нелегко перетворити на дані, які використовуються для навчання алгоритму штучного інтелекту.

Геріг і Скарамуцца розробили гібридну систему, яка поєднує в собі найкраще з обох технологій:

• Перша включає стандартну камеру, яка збирає 20 зображень на секунду, що є відносно низькою частотою кадрів порівняно з тими, що зараз використовуються. Зображення обробляються системою штучного інтелекту, яка називається згортковою нейронною мережею, навченою розпізнавати автомобілі та пішоходів.
• Дані з камери подій об'єднуються з іншим типом системи штучного інтелекту — асинхронною графовою нейронною мережею, яка особливо добре підходить для аналізу 3D-даних, що змінюються в часі. Виявлення з камери подій використовуються для передбачення виявлень стандартної камери, а також для підвищення її продуктивності.

У результаті ми отримали візуальний детектор, який може виявляти об'єкти так само швидко, як і камера, що робить 5000 знімків на секунду, але вимагає такої ж пропускної здатності, як і стандартна камера зі швидкістю 50 кадрів на секунду,
– каже Геріг.

Перспективи величезні

Команда протестувала свою систему, порівнюючи її з найкращими камерами та візуальними алгоритмами, які зараз представлені на автомобільному ринку, і виявила, що вона дозволяє в сто разів швидше виявляти об'єкти, зменшуючи при цьому обсяг даних, які необхідно передавати між камерою та бортовим комп'ютером, а також обчислювальну потужність, необхідну для обробки зображень, без шкоди для точності.

Важливо, що система може ефективно виявляти автомобілі та пішоходів, які потрапляють у поле зору між двома наступними кадрами стандартної камери, забезпечуючи додаткову безпеку як для водія, так і для учасників дорожнього руху. Це може мати величезне значення, особливо на високих швидкостях.

За словами вчених, у майбутньому цей метод можна зробити ще потужнішим, інтегрувавши камери з LiDAR-датчиками, подібними до тих, що використовуються на безпілотних автомобілях.

Такі гібридні системи можуть мати вирішальне значення для безпеки автономного водіння.

Габаритна техніка потребує місця. Наприклад, великий кросовер потребує простір для паркування у місті. А от компактний SUZUKI S-CROSS 2024 року можна припаркувати будь-де – його довжина всього 4,3 метра. В маневруванні допоможуть датчики паркування спереду й позаду та відеокамери, що забезпечують огляд на 360 градусів навколо машини.