Kommentar zu KI-Regulierung: Geheime Agenten in der Blackbox
Profis müssen ihre Werkzeuge, auch KI-Modelle, genau kennen. Doch Tests für diese sind kaum möglich. Es braucht mehr Transparenz , meint Hartmut Gieselmann.
(Bild: Shutterstock/Alexander Supertramp, bearbeitet durch c't)
Kein Werkzeug ist perfekt. Deshalb müssen Profis die Stärken und Schwächen ihrer Werkzeuge genau kennen, um produktiv damit arbeiten zu können. Das gilt für Akkuschrauber genauso wie für KI-Modelle. Bevor ich ein solches bei der Arbeit einsetze, muss ich wissen, was es kann, wo es mir hilft und bei welchen Fragen es mir Quatsch erzählt. Man muss die KI evaluieren – und das kann, wie bei der Probezeit eines neuen Mitarbeiters, ein paar Wochen dauern.
Aber genau solche Tests sind bei KI-Modellen derzeit kaum möglich. Zwar gibt es Zehntausende von Benchmarks, diese testen aber nur einzelne Wissensfragen, meist aus dem angloamerikanischen Raum. Ihre Ergebnisse sind für die Praxis kaum relevant. Und die Hersteller verraten wenig darüber, wie und mit welchen Informationen sie ihr Modell trainiert haben. In Goldgräberzeiten behält halt jeder seine Goldader und die Modifikationen an seiner Spitzhacke lieber für sich. Sonst könnte schnell ein Konkurrent das Modell kopieren oder ein Urheber klagen, weil man illegal mit seinem Material trainiert hat.
Das Problem wird sich in den kommenden Monaten noch verschärfen, denn die Anbieter gehen inzwischen dazu über, ihre KI-Dienste mit verschiedenen Modellen, sogenannten Agenten, auszustatten. Diese werden dann munter ausgetauscht, ohne dass der Nutzer davon etwas mitbekommt, Versionsnummern zur Nachverfolgung gibt es nicht. Wenn aber eine KI die gleichen Fragen morgen anders beantwortet als heute, ist es unmöglich, sie zu bewerten, weil man ständig hinterherläuft.
Kommende EU-Regulierung
Die EU hat nun ihre Scheinwerfer in Stellung gebracht und will im nächsten Jahr die Hersteller zwingen, Einblick in ihre Blackboxes zu gewähren. Weil die KI-Anbieter das nicht wollen, machen sie und ihre Lobbyisten öffentlich Stimmung: Wer zu viel reguliere, verpasse die Zukunft, so der Tenor.
Doch wenn nicht nur eine Handvoll Investoren vom KI-Boom profitieren soll, brauchen wir mehr Transparenz. Man muss einschätzen können, was die teuren Maschinen wirklich können und was nicht. Im Interesse aller Endanwender, die tatsächlich mit KI arbeiten, sollten sich die EU-Regulatoren nicht weich klopfen lassen und auf belastbaren Informationen und Einblicken bestehen: Sonst sehe ich für die Zukunft schwarz.
Ihr könnt die c't auch bei WhatsApp abonnieren: Wir schicken werktäglich Einordnungen zu aktuellen Themen und Einblicke in den Redaktionsalltag.
(hag)
