Maschinelles Lernen: Das Problem der Nachvollziehbarkeit
Immer mehr Studien setzen auf aktuelle KI-Verfahren, um große Datenmengen nach interessanten Erkenntnissen zu durchforsten. Dabei werden erstaunlich oft Muster gefunden, die eigentlich gar nicht real sind.
(Bild: Photo by Franki Chamaki on Unsplash)
Als Dr. Genevera Allen von der Rice University im texanischen Houston kürzlich beim Jahrestreffen der American Association for the Advancement of Science (AAAS) in Washington auftrat, dürfte die Statistikerin kaum realisiert haben, was sie mit ihren Aussagen lostreten würde. Die Juniorprofessorin und Gründungsdirektorin des Center for Transforming Data to Knowledge, kurz D2K Lab, berichteten vor ihren Kollegen von den Problemen, die das maschinelle Lernen (ML) in der Forschungsarbeit mit sich bringen kann und sorgte damit selbst bei der "BBC" für Schlagzeilen. Die Pressestelle ihrer eigenen Uni tat ihr übriges und stellte die Frage in den Raum, ob man wissenschaftlichen Entdeckungen mittels ML überhaupt trauen kann. Allen wurde mit Anfragen nur so überschüttet.
Mehr zum Thema Maschinelles Lernen und Künstliche Intelligenz:
An den Hochschulen herrscht aktuell ein ML-Hype, genauso wie in zahllosen Technikfirmen. Vom maschinellen Lernen erhofft man sich endlich den ganz großen Durchbruch bei der Künstliche Intelligenz, weil man nun schwerwiegende Probleme mit rauer Datenpower zu lösen können glaubt. Und in der Tat sorgt ML für erstaunliche Fortschritte. Bilderkennungsverfahren, die endlich ordentlich funktionieren, Autos, die sich autonom durch Städte fortbewegen, Assistenzsysteme, die unsere Sprache verstehen, auch wenn wir einen Dialekt sprechen – die Anwendungen, wie ML KI besser macht, scheinen endlos. Und in der Forschung freut man sich darüber, dass man mittels ML endlich für den Menschen (und normale Algorithmen) schlicht nicht auffindbare Muster erkennen lassen kann.
Warnende Worte und Unsicherheiten
Allen hatte hier allerdings vor der AAAS eine Warnung parat: Die Antworten, auf die maschinelles Lernen kommt, müssen nicht korrekt sein, weil besagte Muster auch dann erkannt werden, wenn sie nur in den Daten stecken und nicht in dem, was die Daten eigentlich repräsentieren. Das Problem der Nachvollziehbarkeit, also die berühmt berüchtigte "Reproducibility Crisis" von Forschungsergebnissen, die Überprüfungen durch unabhängige Wissenschaftler nicht standhalten, könnte wegen ML noch beschleunigt werden. Oft werden diese Fehler laut Allen erst dann entdeckt, wenn ein neuer großer Datensatz daherkommt und die ML-Verfahren auf diesen angewendet werden. Die Statistikerin sagte gar, ein "riesiger" Teil der problematischen Studien könnte aufgrund fehlerhafter ML-Techniken kommen.
Mittlerweile ruderten Allen und Rice allerdings wieder etwas zurück. In einem öffentlichen Frage-und-Antwort-Posting – eine Interviewanfrage durch TR wurde von der Uni zunächst abgelehnt – betont die Forscherin nun, sie sei von der Resonanz überrascht gewesen. Sie habe einfach ausführen wollen, dass es ein grundlegendes Problem von ML zur wissenschaftlichen Erkenntnisgewinnung gebe und neue Forschungsmethoden aufzeigen wollen, wie es zu lösen ist. Sie selbst sei keine Expertin für die Reproducibility Crisis, entwickele aber neue Werkzeuge, die Forschern helfen sollen, datengetriebene Erkenntnisse zu gewinnen, die reproduzierbar sind.
Wie groß das Problem ist, weiß noch niemand
Allen sagte auch, dass es derzeit noch an tatsächlichen Werten fehlt, wie sehr ML Forschung unreproduzierbar machen könnte. Sie kenne nur anekdotenhafte Berichte, dass es ein Problem gebe, doch dessen Umfang sei unbekannt.
Also viel Lärm um nichts? Das kann man auch nicht behaupten. Im Bereich des maschinellen Lernens gibt es trotz aller Erfolge noch zahlreiche Unbekannte – nicht zuletzt die, das die vom ML-System generierten Modelle vom Menschen schlicht nicht mehr zu durchdringen sind. Wir wissen, dass der Rechner zum Ziel kommt, wie und warum aber nicht. Das macht die von Allen angekündigten Werkzeuge zur Reproduzierbarkeit umso wichtiger – und die anderer Forscher auch.
(bsc)
