HADAR macht autonome Autos und Roboter im Dunkeln sehend
Damit autonome Autos und Roboter im Dunkeln sehen können, kann ein Wärmebildverfahren genutzt werden, das zusätzliche Informationen aus den Bildern extrahiert.
HADAR nutzt die Wärmestrahlung von Objekten, um aus ihr weitere Informationen zu extrahieren.
(Bild: Purdue University)
Ein Forschungsteam der Purdue University hat mit HADAR (Heat assisted detection and ranging) eine Technik entwickelt, die das herkömmliche maschinelle Sehen und die Wahrnehmung von autonomen Fahrzeugen und Robotern bei Dunkelheit deutlich verbessert. Mit HADAR sind sie in der Lage, bei Nacht genauso gut sehen zu können wie bei Tageslicht.
HADAR kombiniert thermische Verfahren, Infrarot-Bildgebung sowie maschinelles Lernen zur bildhaften Wahrnehmung, wie aus der in Nature veröffentlichten Studie "Heat-assisted detection and ranging" hervorgeht. Die Technik stopft damit eine Lücke, die herkömmliche thermische Erfassungsmethoden hinterlassen. Sie nutzt unsichtbare Wärmestrahlung, die Objekte abstrahlen, macht sie sichtbar und ermittelt daraus weitere Informationen.
Lidar, Radar und Sonar sind gängige Verfahren, um autonome Autos und Roboter auch im Dunkeln sehend zu machen und 3D-Objekte erfassen zu lassen. Sie haben jedoch auch Nachteile, die bei größerem Abstand zu den erfassenden Objekten zunehmen, wie etwa Signalstörungen. Lasergestützte Verfahren können außerdem schädlich für das menschliche Auge sein. Kameras haben diese Nachteile nicht, allerdings zeigen sie Schwächen, wenn sie Objekte bei schlechten Lichtverhältnissen, bei Regen oder im Nebel erfassen sollen.
Wärmebildverfahren weisen all diese Nachteile nicht auf. Allerdings liefern sie in der Regel deutlich weniger Informationen über die erfassten Objekte als Lidar, Radar, Sonar und Kameras.
Aus Wärmebildern Informationen extrahieren
"Objekte und ihre Umgebung emittieren und streuen ständig Wärmestrahlung, was zu texturlosen Bildern führt, die als 'Geistereffekt' bekannt sind", sagt Fanglin Bao, einer der beteiligten Wissenschaftler an der Studie. "Wärmebilder des Gesichts einer Person zeigen nur Konturen und einen gewissen Temperaturkontrast. Es gibt keine Merkmale, sodass man den Eindruck hat, ein Gespenst gesehen zu haben. Dieser Verlust an Informationen, Textur und Merkmalen ist ein Hindernis für die maschinelle Wahrnehmung mithilfe von Wärmestrahlung."
Dem begegnen die Wissenschaftler, in dem HADAR die Textur aus dem unübersichtlichen Wärmesignal wiederherstellt. Temperatur, Emissionsgrad und Textur werden für jedes einzelne Objekt mittels Algorithmen extrahiert. Dadurch können Textur und Tiefe auch in der Dunkelheit wahrgenommen werden. Hinzu kommt, dass die Technik physikalische Attribute wahrnehmen kann, die über die RGB-Erfassung, die sichtbare Bildgebung und konventionelle Wärmeerfassung hinausgehen. "Es ist erstaunlich, dass es möglich ist, durch pechschwarze Dunkelheit zu sehen, als wäre es helllichter Tag", schwärmt Bao.
Feine Texturen erkennen
Die Forscher testeten das Verfahren anhand einer nächtlichen Geländeszene. HADAR konnte dabei Texturen erkennen, einschließlich feiner Strukturen wie Wasserlinien, Baumrindenstrukturen und kleine Durchlässe.
Die Forschenden sind zwar mit den Ergebnissen, die HADAR liefert, zufrieden, sehen aber dennoch Verbesserungsbedarf. Das größte Problem ist dabei die Größe des Sensors. Er ist noch zu mächtig. Um ihn etwa in selbstfahrenden Autos oder Robotern einsetzen zu können, müsste er deutlich kleiner werden. Auch sei die Verarbeitungsgeschwindigkeit noch zu gering. Derzeit dauere es rund eine Sekunde, um ein einzelnes Bild zu generieren. Um die Technik aber etwa in autonomen Autos verwenden zu können, werde eine Bildrate von 30 bis 60 Bilder pro Sekunde benötigt. Daran wollen die Wissenschaftler weiter arbeiten. HADAR haben sie bereits über das Purdue Innovates Office of Technology Commercialization zum Patent angemeldet.
(olb)