Seite 2: Stärken und Schwächen der neuronalen Netze

Inhaltsverzeichnis

Das Paper, das zunächst nur auf dem Online-Portal Arxiv.org und noch nicht in einer wissenschaftlichen Zeitschrift veröffentlicht wurde, sorgt für kontroverse Diskussionen – unter anderem verweisen Wissenschaftler darauf, dass die Fotos der Kriminellen aus einer anderen Quelle stammen als die übrigen Bilder. Das neuronale Netz könnte also schlicht die unterschiedliche Herkunft der Bilder erkannt haben.

Das Beispiel zeigt, welche Gefahr in einem allzu großen Vertrauen in selbst lernende Systeme steckt. Denn ihre Stärke – Unterscheidungskriterien eigenständig zu ermitteln – ist zugleich ihre große Schwäche. Sie könnte sich sogar als ihre Achillesferse erweisen. 2014 wies der Google-Forscher Christian Szegedy erstmals darauf hin, dass tiefe neuronale Netze leicht durcheinanderzubringen sind, wenn man in Bildern an der richtigen Stelle einige Pixel verändert. Forscher am Institut von David Cox von der Harvard University programmierten daraufhin ein Online-Werkzeug, das jedes hochgeladene Foto so manipuliert, dass ein neuronales Netz darauf einen Strauß erkennt.

Die wissenschaftliche Community hielt solche Attacken bislang für Spielerei. Niemand schiebe einer Gesichtserkennung ein gezielt manipuliertes Bild unter. Wer nicht erkannt werden will, mache sich einfach durch Verkleidung oder Vermummung unkenntlich. Im Oktober 2016 ließ Mahmood Sharif von der Carnegie Mellon University dieses Argument jedoch hart auf den Boden der Realität prallen. Er präsentierte auf der Conference on Computer and Communications Security in Wien ein Verfahren, um Gesichtserkennungssysteme gezielt in die Irre zu führen. Sharif und Kollegen haben eine Software entwickelt, die bunte Muster für Brillengestelle erzeugt.

Ausgedruckt und auf Standardrahmen geklebt, gaukeln diese Brillen der Gesichtserkennung eine völlig falsche Identität vor. Denn sie verändern genau die Bildpixel, die für die Software entscheidend sind, damit sie eine Aufnahme einer bestimmten Kategorie – etwa "Bild einer Frau" – zuordnet. Einer der Forscher, der solch eine Brille trug, wurde fälschlich als die Schauspielerin Milla Jovovich erkannt, eine Asiatin hielt die Software für einen Mann aus dem arabischen Raum.

Alexander Nouak hält die Arbeit für "zweifellos beeindruckend". Der Geschäftsführer des Fraunhofer-Verbunds IUK-Technologie und Biometrie-Experte des Fraunhofer-Instituts für Graphische Datenverarbeitung IGD gibt aber zu bedenken, dass gerade bei einem "Identifikationsszenario" das Ergebnis stark von der Größe der verwendeten Gesichtsbilddatenbank abhänge. Denn die Software liefere nicht ein Ergebnis, sondern "immer eine Liste, geordnet nach der Anzahl der übereinstimmenden Merkmale", so Nouak. Je kleiner also die Sammlung der Bilder, aus denen die Software bei der Erkennung auswählen kann, desto weniger treffend. Sharif und seine Kollegen wussten zudem, wie die Gesichtserkennung arbeitet, die sie austricksten. Solch eine "White Box"-Attacke ist sehr viel einfacher als ein Angriff auf eine unbekannte "Black Box".

Aber auch sie ist möglich, wie unter anderem Nicolas Papernot von der Pennsylvania State University und Ian Goodfellow von der Non-Profit-Organisation OpenAI demonstriert haben: Sie führten das Deep-Learning-Netzwerk der Firma MetaMind in die Irre. Es ist darauf getrimmt, in Daten von Geschäftskunden auffällige Muster zu erkennen. Die KI ist online zugänglich, aber kein Außenstehender weiß, mit welchen Algorithmen sie arbeitet. Den Forschern gelang es dennoch, eine Angriffssoftware zu programmieren, die ihr ein X für ein U vormachte. Bei der Erkennung von handschriftlichen Zahlen etwa las sie in einer "5" eine "6".

Goodfellow ist pessimistisch: "Alles Böse, was man mit maschinellem Lernen anstellen kann, kann heute schon gemacht werden", sagte er im Dezember auf der Konferenz NIPS 2016 in Barcelona. "Eine Verteidigung dagegen ist sehr, sehr schwer." (wst)