KI-Forscher: "Wir brauchen einen TÜV für KI-Systeme"

Vor dem Hintergrund in die Irre geführter KI-Systeme fordert ein KI-Experte nun Prüfsiegel für derartige Algorithmen. "Wir benötigen Regeln und Institutionen, welche ich am einfachsten als eine Art KI-TÜV beschreiben kann", sagt Damian Borth von der Hochschule St. Gallen. Der Experte für Maschinelles Lernen wird am 20. und 21. November auf dem Innovators Summit AI von Technology Review zum Thema "Sind KI-Systeme bereit für automatisierte Entscheidungen“ vortragen. "Wir müssen KI-Systeme genauso warten wie heute schon die Bremsen eines Autos“, fordert er vorab.

Diese Schildkröte ist eine Pistole

Als Grund führt er an, dass Maschinelles Lernen anfällig für so genannte Adversarial Effects ist. Bekannt wurden sie, als Google-Forscher vergangenen Herbst zeigten, wie leicht sich die automatische Bilderkennung in die Irre führen lässt. Sie stellten per 3D-Druck eine Schildkröte her, die auf den Rücken ein unauffälliges Muster trug. Prompt hielt die KI sie für eine Pistole. Wie zahlreiche Studien inzwischen zeigen, „lässt sich ein Netz auch täuschen, ohne dass Menschen den Unterschied sehen“, so Borth. Für das Auge unsichtbares Rauschen im Bild verleitet eine KI dazu, in einer Katze etwa einen Strauß zu erkennen.

Passiert dies beispielsweise bei autonomen Autos, können die Folgen verheerend sein. Einen Vorgeschmack darauf lieferte der tödliche Unfall eines selbstfahrenden Taxis des US-Unternehmens Uber im März. Das Fahrzeug hatte in Arizona ungebremst eine Fußgängerin überrollt, weil die Software das Hindernis nicht einordnen konnte.

Denn beim überwachten Lernen bringen Menschen den Computern zwar bei, welche Antwort richtig und welche falsch ist. Nach welchen Merkmalen dies jedoch geschieht, weiß nur die KI. Und meist sind es komplett andere als beim Menschen. Entsprechend unerwartet kann die KI reagieren, wenn sie auf die wirkliche Welt trifft. „Schnee, Regen oder schon ein Pixelfehler in der Kamera kann dieses Rauschen erzeugen“, sagt Borth. „Plötzlich kann das Netzwerk den Input nicht mehr zuordnen.“ Man könne nicht garantieren, dass ein System, das gestern noch funktioniert hat, es auch morgen bei allen Sonderfällen noch tut. "Ich war letztes Jahr auf einem Workshop zum Machine Learning bei einen führenden Technologiekonzern aus dem Silicon Valley“, erzählt Borth. "Dort hatten viele KI-Experten Bedenken, sich in die damals verfügbaren selbstfahrenden Fahrzeuge zu setzen.“

Gefahr für autonomes Fahren

Das Problem geht jedoch über das autonome Fahren hinaus. "Gerade Anwendungen des maschinellen Lernens, die Daten von außen konsumieren, können betroffen sein – sei es nun der Hochfrequenzhandel auf den Finanzmärkten oder automatische Informationsgewinnung auf Regierungsebene.“ Perfide daran ist, dass Angreifer die Systeme bewusst in die Irre führen können. Plötzlich erkennen sie Muster, wo keine sind. Im Labor ist dies Borth zufolge selbst dann geglückt, wenn die Angreifer nicht wussten, welche Daten das System auf welche Weise intern verarbeitet. Unklar sei allerdings, „ob dies auch außerhalb des Labors funktioniert“.

Borth hält das Problem dennoch für gefährlich genug, um Gegenmaßnahmen zu ergreifen. Zwingend nötig sind ihm zufolge sorgfältige Tests vor der Implementierung, die regelmäßige Prüfung während des Betriebs – und eine Art TÜV-Kennzeichnung. "Wir müssen wissen ob ein KI-System, das vorher schon Probleme gemacht hat, nicht nochmal irgendwo anders in ein Produkt eingebaut wurde.“

Wollen Sie mehr erfahren? Damian Borth hält auf dem Innovators Summit AI am 20. und 21.11. in München den Vortrag „Are AI systems ready for automated decisions?”

Programm des Innovators Summit AI (anwe)