Kluger-Hans-Effekt: Gefahr durch fehlerhaftes Lernen
Trotz des richtigen Ergebnisses kann KI auf fehlerhaftem Weg etwas gelernt haben – der Kluge-Hans-Effekt. Hans war ein Pferd.
Nicht der kluge Hans, aber ein Pferd.
(Bild: Daniel AJ Sokolov)
Der kluge Hans war ein Pferd, das angeblich rechnen konnte. Um eine Zahl anzuzeigen, scharrte er mit den Hufen. Tatsächlich waren die Ergebnisse richtig, allerdings fand das Pferd einen anderen Weg als zu rechnen, um auf das richtige Ergebnis zu kommen. Das Pferd konnte seinem Trainer ansehen, wann es aufhören sollte, mit den Hufen zu scharren. Man könnte also sagen, das Ergebnis ließ sich unter anderen Bedingungen – ohne den Trainer – nicht reproduzieren. Der Kluge-Hans-Effekt: Er lässt sich auf KI-Modelle übertragen.
Ein Forschungsteam unter der Führung der TU Berlin untersuchte den Effekt hinsichtlich des unsupervised Learnings von KI-Modellen, der Artikel dazu ist in Nature Machine Intelligence erschienen. Dieses unüberwachte Lernen meint eine Form des Machine Learnings, bei der die Modelle selbst Muster und Zusammenhänge erkennen sollen – ohne dass ihnen eine Richtung oder Fragestellung mitgegeben oder eine Belohnung in Aussicht gestellt wird. Man kann umgekehrt auch Anomalien feststellen, also Abweichungen in Daten. So lässt sich in der Medizin beispielsweise Krebs finden.
KI achtet auf Notizen statt Covid-Merkmale
Problematisch wird das, wenn ein Modell gar nicht das entscheidende Bild betrachtet, sondern ein eigentlich unwichtiges Detail – beispielsweise den Rahmen. In der Studie haben die Autoren Röntgenaufnahmen von Lungen mit und ohne Covid-19 genutzt. In einigen Fällen hatte die KI die Bilder nicht anhand der Covid-Merkmale zugeordnet, sondern aufgrund von anderen Eigenarten klassifiziert. Dazu gehörten die Notizen am Rand der Bilder. Es kam zu einer Reihe falscher Zuordnungen. Überwacht wurden die Zuordnungen mittels einer sogenannten erklärbaren KI, bei der man Einblick in die Entscheidung der KI erhält.
Videos by heise
Bei einem weiteren Test mit dem Bild eines Stücks Holz kamen die Forscher zu einem ähnlichen Ergebnis. Daraus schließen sie, dass unsupervised Learning besonders anfällig für den Kluger-Hans-Effekt ist. Sie sprechen auch von Scheinkorrelationen, also angenommenen Beziehungen, die es so gar nicht gibt. Neben falschen Diagnosen warnen sie auch vor potenziell falschen Rückrufen, weil in Produktionen oftmals die Überwachung mittels Anomalieerkennung stattfindet.
Die Autoren werfen die Frage auf, wann überprüft werden sollte, ob es einen Kluger-Hans-Effekt (in der Studie auch als Clever Hans 'CH'-Effect bezeichnet) gibt. Das könne bereits im unsupervised Learning kontrolliert werden, aber auch in nachgelagerten Modellen. Sie schlagen vor, bereits im unüberwachten Modell CH-Effekte zu berücksichtigen, damit alle nachgelagerten Modelle davon profitieren. Erklärbare KI und menschliche Überwachung scheinen demnach Möglichkeiten zu sein, die den Effekt zumindest minimieren können.
(emw)
