Studie: 50 Prozent der Systeme für "Künstliche Intelligenz" schummeln

Inhaltsverzeichnis

Klaus-Robert Müller, Professor für Maschinelles Lernen an der TU Berlin, hat am Montag in der Enquete-Kommission Künstliche Intelligenz (KI) des Bundestags eine stärkere Analyse gängiger Systeme für sogenannte KI gefordert. "50 Prozent der Modelle sind von der 'Clever Hans'-Strategie betroffen", beklagte der Experte die Häufigkeit von Schummelalgorithmen. Das Feld der "erklärbaren Künstlichen Intelligenz" ("explainable AI") müsse daher ausgebaut und häufiger eingesetzt werden.

Müller hat zusammen mit Kollegen vom Heinrich-Hertz-Institut (HHI) und der Singapore University of Technology and Design nach eigenen Angaben das ganze "Intelligenz"-Spektrum bestehender KI-Systeme mit einem speziellen, automatisierten Verfahren analysiert und quantifiziert. Laut den gerade in "Nature Communications" veröffentlichten Ergebnissen haben selbst moderne KI-Modelle nicht immer einen aus menschlicher Perspektive sinnvollen Lösungsweg gefunden, sondern "schummelten" ähnlich wie der "Kluge Hans".

Dabei handelte es sich um ein Pferd, das angeblich rechnen und zählen konnte und um 1900 herum als wissenschaftliche Sensation galt. Wie sich später herausstellte, beherrschte Hans nicht die Mathematik, sondern konnte in etwa 90 Prozent der Fälle die richtige Antwort aus der Reaktion des Fragestellers beziehungsweise dem Gesichtsausdruck des Besitzers ableiten.

Schummelnde und gefährliche KI

Ein von den Wissenschaftlern untersuchtes System, das vor einigen Jahren mehrere internationale Wettbewerbe zur Klassifikation von Bildern gewonnen hat, "beurteilte" Fotos oder vergleichbare Darstellungen vorwiegend anhand des Kontextes. Es ordnete etwa Bilder der Kategorie "Schiff" zu, wenn viel Wasser zu sehen war. Auf einen "Zug" schloss es, wenn Schienen vorhanden waren. Andere Aufnahmen steckte es mithilfe von zusätzlichen Erklärungen innerhalb des Copyright-Schriftzuges in die richtige Kategorie. Die eigentliche Aufgabe, Gegenstände oder Tiere zu erkennen, hat dieser Algorithmus nach Ansicht der Forscher aber nicht gelöst.

"Ich möchte so nicht im Gebiet der medizinischen Diagnostik behandelt werden", betonte Müller. In sicherheitskritischen Bereichen bärgen solche Systeme enorme Gefahren. Selbst bei einigen der neuesten KI-Algorithmen in Form tiefer neuronaler Netzwerke fanden die Analysten fehlerhafte Lösungsstrategien: Diese stützten ihre Klassifikationsentscheidung teils auf Artefakte, die während der Präparation der Bilder entstanden und mit dem eigentlichen Inhalt gar nichts zu tun hatten.

Transparente KI

"Man hat Millionen Daten, aber kein Mensch guckt die mehr an", beklagte der Vertreter der Max-Planck-Gesellschaft aktuelle Auswüchse im KI-Hype. Dies sei unhaltbar: "Man muss wissen, was die Modelle machen." Dies sei kein Zauberwerk, da etwa die Computerbilderkennung gut transparent gemacht werden könne. In der Regel würden dafür "Heatmaps" gebastelt, die jedem Pixel eine Wahrscheinlichkeit geben. Generell sei die Darstellung von Algorithmen als Blackbox "Unfug". Um etwa bei der erklärbaren KI weiter zu kommen, "braucht es aber halt Geld".

Das ganze KI-Feld "bewegt sich sehr schnell, wir müssen einen Zacken zulegen", unterstrich der Big-Data-Forscher. "Wir brauchen mehr Professoren, die das wirklich machen und können." Sonst drohe Deutschland, den Anschluss an die internationale Entwicklung zu verpassen. Allein US-Konzerne investierten Milliarden in die Grundlagen der Technik, wobei der Weg von einer neuen Algorithmik in Produkte und Anwendungen hinein "enorm kurz" geworden sei und so schon eine kleine Idee eines Mitarbeiters Millionen zurück in die Kassen spülen könne.