Libelle als Kanaldeckel: Datenbank mit Bildern, die KI verwirren
Ist es ein Eichhörnchen oder doch ein Seelöwe? Forscher haben Bilder gesammelt, die ein Mensch problemlos erkennen würde, während neuronale Netze scheitern.
US-Forscher haben eine Datenbank mit 7500 Bildern veröffentlicht, an denen die Mustererkennung künstlicher Intelligenz gescheitert ist. Unter anderem finden sich darin das Bild einer Libelle, die als Kanaldeckel erkannt wurde, ebenso wie ein Eichhörnchen, das als Seelöwe gesehen wurde, oder ein gebogener Pilz als Brezel – so von neuronalen Netzwerken mit vermeintlich 99-prozentiger Wahrscheinlichkeit identifiziert.
Die Forscher von den Universitäten aus Berkeley, Chicago und Washington betonen, dass es sich nicht um nachbearbeitete Bilder handelt und sprechen von "Natural Adversarial Examples“. Solche "Adversarial Images“ bezeichnen in der KI-Forschung Bilder, die verlässlich von Maschinen fehlinterpretiert werden. Diskutiert werden dabei meist Formen gezielter Attacken wie die Hinzufügung von speziellem Bildrauschen, das ein menschliches Auge nicht stören würde – bei einem neuronalen Netzwerk aber zu krasser Falscherkennung führen kann. Diese 7500 Bilder sollen jedoch auch ohne absichtlich so gestaltete Elemente KI austricksen können: Ein neuronales Netzwerk wie DenseNet-121 habe bei Tests damit etwa eine Erkennungsgenauigkeit von gerade mal zwei Prozent geliefert.
Die Schwierigkeit der Bilder liege den Forschern nach nicht allein darin, dass sie die Tendenz neuronaler Netze ausnutzten, etwa Texturen oder Farben bei der Klassifizierung überzubewerten. Vielmehr seien auch geläufige Methoden zum Training der Netzwerke nicht geeignet, hier bessere Ergebnisse zu liefern. Für verlässlichere Erkennung der Beispiele sei noch weitere Forschung nötig. Die ImageNet-A genannte Bilddatenbank steht als ImageNet-Trainingsdatensatz frei zur Verfügung. Ein auf arxiv.org veröffentlichtes Paper erläutert weitere Details. (axk)
