Революционные биокамеры обнаруживают пешеходов в 100 раз быстрее, избегая аварий на дорогах

Пешеход, который выходит перед автомобилем, казалось бы, ниоткуда, оставляя лишь долю секунды, чтобы затормозить или вывернуть руль и избежать худшего – это кошмар каждого водителя. Некоторые автомобили сейчас имеют системы камер, которые могут предупредить водителя или активировать экстренное торможение. Но эти системы еще недостаточно быстрые и надежные. Их нужно совершенствовать, если они будут использоваться в автономных транспортных средствах, где за рулем не будет человека.

Смотрите также Исследование показало, что электромобили чаще сбивают пешеходов, чем бензиновые

Что предлагают в новом изобретении

Даниэль Гериг и Давиде Скарамуцца с факультета информатики Цюрихского университета объединили новую камеру, вдохновленную биологическими процессами, с искусственным интеллектом, чтобы разработать систему, которая может обнаруживать препятствия вокруг автомобиля гораздо быстрее, чем современные системы, и с меньшими вычислительными мощностями.

Большинство современных камер являются кадровыми, то есть делают снимки через определенные промежутки времени. Камеры, которые сейчас используются для помощи водителю в автомобилях, обычно делают от 30 до 50 кадров в секунду, и искусственная нейронная сеть может быть обучена распознавать объекты на их изображениях — пешеходов, велосипеды и другие автомобили.

Но если что-то происходит в течение 20-30 миллисекунд между двумя снимками, камера может увидеть это слишком поздно. Решением могло бы стать увеличение частоты кадров, но это означает больше данных, которые нужно обрабатывать в режиме реального времени, и больше вычислительных мощностей,
– говорит Гериг, первый автор статьи.

Событийные камеры — это недавняя инновация, основанная на другом принципе. Вместо постоянной частоты кадров они имеют интеллектуальные пиксели, которые записывают информацию каждый раз, когда обнаруживают быстрые движения.

"Таким образом, они не имеют слепых зон между кадрами, что позволяет им быстрее обнаруживать препятствия. Их также называют нейроморфными камерами, поскольку они имитируют то, как человеческие глаза воспринимают изображение", – рассказывает Скарамуцца, руководитель группы робототехники и восприятия.

Но они имеют свои недостатки, поскольку могут пропустить то, что движется медленно, и их изображения нелегко превратить в данные, которые используются для обучения алгоритма искусственного интеллекта.

Гериг и Скарамуцца разработали гибридную систему, которая сочетает в себе лучшее из обеих технологий:

• Первая включает стандартную камеру, которая собирает 20 изображений в секунду, что является относительно низкой частотой кадров по сравнению с теми, что сейчас используются. Изображения обрабатываются системой искусственного интеллекта, которая называется сверточной нейронной сетью, обученной распознавать автомобили и пешеходов.
• Данные с камеры событий объединяются с другим типом системы искусственного интеллекта — асинхронной графовой нейронной сетью, которая особенно хорошо подходит для анализа 3D-данных, изменяющихся во времени. Обнаружения с камеры событий используются для предсказания обнаружений стандартной камеры, а также для повышения ее производительности.

В результате мы получили визуальный детектор, который может обнаруживать объекты так же быстро, как и камера, делающая 5000 снимков в секунду, но требующая такой же пропускной способности, как и стандартная камера со скоростью 50 кадров в секунду,
– говорит Гериг.

Перспективы огромные

Команда протестировала свою систему, сравнивая ее с лучшими камерами и визуальными алгоритмами, которые сейчас представлены на автомобильном рынке, и обнаружила, что она позволяет в сто раз быстрее обнаруживать объекты, уменьшая при этом объем данных, которые необходимо передавать между камерой и бортовым компьютером, а также вычислительную мощность, необходимую для обработки изображений, без ущерба для точности.

Важно, что система может эффективно выявлять автомобили и пешеходов, которые попадают в поле зрения между двумя следующими кадрами стандартной камеры, обеспечивая дополнительную безопасность как для водителя, так и для участников дорожного движения. Это может иметь огромное значение, особенно на высоких скоростях.

По словам ученых, в будущем этот метод можно сделать еще более мощным, интегрировав камеры с LiDAR-датчиками, подобными тем, что используются на беспилотных автомобилях.

Такие гибридные системы могут иметь решающее значение для безопасности автономного вождения.

Габаритна техніка потребує місця. Наприклад, великий кросовер потребує простір для паркування у місті. А от компактний SUZUKI S-CROSS 2024 року можна припаркувати будь-де – його довжина всього 4,3 метра. В маневруванні допоможуть датчики паркування спереду й позаду та відеокамери, що забезпечують огляд на 360 градусів навколо машини.