Kameras kombiniert mit KI erkennen Fußgänger und Hindernisse schneller
Wie könnten Autos Fußgänger im Straßenverkehr schneller erkennen als bisherige Systeme? Eine Lösung dafür präsentieren Schweizer Forscher.
Das Bild zeigt Farbinformationen von der Farbkamera und Detektionen (blaue und rote Punkte) von der Ereigniskamera, die von einer rennenden Fußgängerin erzeugt werden.
(Bild: Gruppe Robotik und Wahrnehmung, UZH)
Forscher des Instituts für Informatik der Universität Zürich (UZH) haben ein System entwickelt, das eine neuartige, biologisch inspirierte Kamera mit künstlicher Intelligenz kombiniert. Dieses soll Hindernisse in der Umgebung eines Autos oder plötzlich auftretende Fußgänger hundertmal schneller und mit weniger Rechenleistung erkennen als aktuelle Systeme. Ihre Forschungsergebnisse haben sie nun im Wissenschaftsjournal Nature veröffentlicht.
Das neue System könne die Sicherheit von Automobilsystemen und autonomen Fahrzeugen erheblich verbessern, sagen Daniel Gehrig und Davide Scaramuzza. Sie denken auch an bestehende Systeme in herkömmlichen Fahrzeugen, die Fahrer warnen oder eine Notbremsung einleiten können. Diese Fahrassistenzsysteme seien noch nicht ausreichend zuverlässig. Sie nähmen meist 30 bis 50 Bilder pro Sekunde auf. Ein künstliches neuronales Netz kann zwar darauf trainiert werden, Objekte auf diesen Bildern zu erkennen. Wenn aber in den Millisekunden zwischen zwei Schnappschüssen etwas passiert, sieht es die Kamera womöglich zu spät. Nun könnte die Bildrate erhöht werden, dadurch würden aber mehr Daten anfallen, die in Echtzeit verarbeitet werden müssten.
Ereigniskameras haben hingegen "intelligente Pixel". Diese zeichnen jedes Mal Informationen auf, wenn sie schnelle Bewegungen erkennen. So gebe es keinen blinden Fleck zwischen den einzelnen Bildern. Als "neuromorphe Kameras" ahmten sie die Wahrnehmung des menschlichen Auges nach, allerdings können sie Dinge übersehen, die sich langsam bewegen. Zudem lassen sich ihre Bilder nicht so leicht in die übliche Datenform umwandeln, um KI-Algorithmen zu trainieren.
Zwei Kameratypen plus KI
Gehrig und Scaramuzza nehmen jetzt beide Kameratypen und kombinieren sie mit KI. Eine Standardkamera nimmt 20 Bilder pro Sekunde auf; diese werden von einem KI-System verarbeitet, das darauf trainiert ist, Autos oder Fußgänger zu erkennen. Die Daten der Ereigniskamera sind mit einer anderen Art von KI-System gekoppelt, das sich besonders gut für die Analyse von 3D-Daten eigne, die sich im Laufe der Zeit verändern.
Was die Ereigniskamera sieht, wird verwendet, um zu antizipieren, was die Standardkamera erkennt, um deren Leistung zu steigern. "Das Ergebnis ist ein visueller Detektor, der Objekte genauso schnell erkennen kann wie eine Standardkamera, die 5000 Bilder pro Sekunde aufnimmt. Aber sie braucht nur dieselbe Bandbreite wie eine Standardkamera mit 50 Bildern pro Sekunde", erklärt Daniel Gehrig.
Die Methode könnte noch leistungsfähiger werden, wenn Kameras mit LiDAR-Sensoren wie in selbstfahrenden Autos integriert werden, meinen die Schweizer Forscher. Solche hybriden Systeme könnten entscheidend sein, die notwendige Sicherheit für autonomes Fahren zu ermöglichen ohne erheblichen Anstieg der Daten- und Rechenleistung.
(anw)
