Seite 3: Optischer Fluss

Inhaltsverzeichnis

Erst im vergangenen Jahr hat ein Team am MPI-IS gezeigt, dass derartige Störmuster im Eingangsbild einer KI nicht nur die Bilderkennung, sondern auch die Bewegungsschätzung autonomer Autos irritieren irritieren. Dazu genügte den Forschern einfach ein ausgedruckter Aufkleber, der gerade einmal ein Prozent oder weniger der gesamten Fläche des Eingangsbildes ausmachte.

Für die Bewegungsschätzung berechnen KI-Klassifikatoren den optischen Fluss, indem sie die Änderungen zwischen zwei Eingangsbildern ermitteln. Auch bei diesen Klassifikatoren handelt es sich um neuronale Netze, die nach dem Training mit Millionen Bildpaaren gelernt haben, die Bewegung einzelner Bildobjekte einzuschätzen. Die Max-Planck-Forscher nahmen nun verschiedene derartige Optical-Flow-Algorithmen und prüften deren Ergebnisse mit Bildpaaren, in die sie zunächst digital mittig einen kleinen Aufkleber eingefügt hatten. Ihre Zielsetzung: Sie wollten die Pixel darauf derart modifizieren, dass er möglichst die erkannten Bewegungsvektoren in ihr Gegenteil umkehrt. Damit sollte der Algorithmus also eine Vorwärtsbewegung als ein Zurückweichen fehlinterpretieren, ein Fahrzeug auf Kollisionskurs als ein sich entfernendes abhaken. „Derart überraschende Effekte lassen sich möglicherweise finden, wenn man Muster einsetzt, die in der Realität niemals vorkommen und die daher sicher nie mit den Trainingsdaten der KI gelernt worden sind“, schildert Geiger.

Um die Pixelgestaltung des Aufklebers schrittweise zu optimieren, wendeten die Wissenschaftler mit Backpropagation ein automatisiertes Gradientenabstiegsverfahren ein, das üblicherweise zum Einsatz kommt, um neuronale Netze zu trainieren. Da der Aufkleber in den verschiedensten Verkehrssituationen funktionieren sollte, mussten für jede seiner Anpassungen die verschiedensten Verkehrsszenen durchexerziert werden. Dafür verwendeten die Tübinger den KITTI-Datensatz des Karlsruher Instituts für Technologie für das Training autonomer Fahrzeuge.

Der Ansatz funktionierte, es entstanden zunächst virtuelle Aufkleber (Patches), die die Berechnung des optischen Flusses in fünf verbreiteten neuronalen Netzen störten. Dabei waren die Fehler bei Netzen mit der älteren Encoder-Decoder-Architektur sehr ausgeprägt, während sich Algorithmen aus der jüngeren Klasse der Spatial-Pyramid-Architektur weniger stark beeinflussen ließen.

„Unser Verfahren war für Encoder-Decoder-Architekturen so erfolgreich, dass wir noch weiter gehen konnten. Wir platzierten unsere Patches an beliebiger Stelle im Bildausschnitt und sie funktionierten trotzdem“, berichtet Geiger. Es ließ sich sogar ein Patch generieren, der für alle Algorithmen aus dieser Klasse funktionierte. Am Ende stand ein Patch, der in allen denkbaren Verkehrssituationen die Flussvektoren der Bewegungsschätzung umkehrte. Und obwohl er maximal ein Prozent der Bildfläche ausfüllte, wirkte er sich auf mehr als 50 Prozent der Gesamtszene aus. Größere Patches richteten sogar ein noch größeres Chaos an.

Das Pixelmuster als Ausdruck

Schließlich druckten die Tübinger ihre Störmuster aus und platzierten sie in einer realen Verkehrsszene. Es zeigte sich, dass selbst Aufnahmen des ausgedruckten Aufklebers die Optical-Flow-Algorithmen irritierten. An einer Hauswand oder einem Straßenschild platziert, störte der Aufkleber, sobald er in das Sichtfeld geriet, die Bewegungsschätzung für den größten Teil des Bildausschnitts. Als Aufkleber auf der Heckscheibe eines vorausfahrenden Autos könnte das Pixelmuster die Berechnung von Bewegungsrichtungen anderer Verkehrsteilnehmer über einen längeren Zeitraum vollständig durcheinander bringen.

Letztlich hat der entwickelte Algorithmus zum Finden einer Attacke nur wenige Stunden gerechnet und dabei das Störmuster so optimiert, dass es die Berechnung des optischen Flusses massiv durcheinander brachte. Dass ein und derselbe Patch für verschiedene Klassifikatoren zugleich Störungen verursachte, wenn auch in unterschiedlicher Stärke, war für die Forscher eine Überraschung. Inzwischen haben sie die Automobilhersteller über ihre Ergebnisse informiert, um vor der Gefahr derartiger Angriffe zu warnen.

Ob diese Art von Angriffen für künftige autonome Fahrzeuge tatsächlich bedrohlich sind, ist für die Forscher schwer einzuschätzen. Die Forscher hatten den Vorteil, dass sie die Interna der untersuchten Optical-Flow-KIs genau kannten. Die Automobilindustrie lässt sich bezüglich ihrer Algorithmen nicht in die Karten schauen.