Künstliche Intelligenz: Drei Beispiele für das Scheitern von Algorithmen

Inhaltsverzeichnis

Die EU-Verordnung zum Umgang mit Künstlicher Intelligenz steht kurz vor dem Abschluss. Die KI-Verordnung wurde am 14. Juni im Plenum des EU-Parlaments mit großer Mehrheit verabschiedet. Unter den akkordierten Änderungsanträgen findet sich auch ein weitgehendes Verbot von Gesichtserkennung auf öffentlichen Plätzen. Am 18. Juli beginnen die Trilogverhandlungen zwischen EU-Ministerrat, Parlament und Kommission. Hier scheinen alle Beteiligten an einer raschen Einigung interessiert zu sein. Schließlich werden Algorithmen nicht erst seit ChatGPT und "Big Data", sondern schon viel länger in allen möglichen Bereichen eingesetzt, etwa im Bankensektor, bei Bonitätsauskünften, aber auch in der öffentlichen Verwaltung.

"Im derzeitigen Entwurf der KI-Verordnung für eine Vorab-Verpflichtung sind für die Betreiber solcher Systeme eigene Überprüfungen der verwendeten Algorithmen vorgesehen. Das ist schon einmal ein positiver Aspekt des vorliegenden Entwurfs", sagt Dr. Mirko Schaefer, technisch-wissenschaftlicher Leiter der "Data School" an der Universität Utrecht. Am wichtigsten ist jedoch die rechtzeitige Kontrolle unerwünschter Folgewirkungen solcher Systeme durch eine unabhängige Instanz.

In den Niederlanden empfiehlt das Parlament allen öffentlichen Verwaltungen, solche externen Folgenabschätzungen für ihre automatisierten Statistiksysteme vorzunehmen. Vorausgegangen ist ein beispielloser Datenskandal, der 2021 zum Rücktritt der niederländischen Regierung führte. An der Utrecht Data-School wurde deshalb das Werkzeug "Der ethische Datenassistent" entwickelt, das in den Niederlanden seitdem vielfach eingesetzt wird. Und diese Einsätze brachten erstaunliche Erkenntnisse über Risiken, die auch in einfachen Algorithmen zur Armutsbekämpfung oder beispielsweise zur Verkehrskontrolle lauern können.

Kontext bestimmt die Gefährlichkeit

"Um den starken Durchgangsverkehr einzudämmen, wollte sich eine niederländische Gemeinde einen Überblick verschaffen, wie viele Autos von auswärts die Gemeinde täglich passieren. Über Geofencing und die MAC-Adressen sollte die Zahl jener Smartphones erhoben werden, die den Bezirk bloß durchquerten. Diese Datensätze waren als Basis für eine Kampagne zur Verkehrsberuhigung gedacht, die in sozialen Netzen geschaltet werden sollte", erzählt Schaefer über eines dieser Assessments. Den Namen der Gemeinde könne er leider nicht öffentlich nennen. Eine niederländische "gemeente" entspricht am ehesten einem Kreis bzw. Landkreis in Deutschland, muss aber nicht auf dem Lande sein. Rotterdam besteht zum Beispiel aus elf Teilgemeinden.

Bei der Auswertung dieser Geofencing-Pläne durch die Data School sei dann entdeckt worden, so Mirko Schaefer weiter, dass sich mitten in der Gemeinde ein Gotteshaus einer religiösen Minderheit befinde. Durch die geplanten Maßnahmen wären die Teilnehmer der religiösen Feiern vollständig identifizierbar gewesen. Nach dieser Prüfung wurden diese Pläne zurückgezogen. "Diese Assessments gehen über eine technische Überprüfung weit hinaus, denn erst der Kontext, in dem ein Algorithmus angewendet wird, ermöglicht eine Einschätzung, ob gefährliche Nebenwirkungen zu erwarten sind".

Was fehlerhafte Algorithmen anrichten

Um weitere Betrugsfälle aufzudecken, wurde in einem anderen Beispiel anhand dieser Fälle ein Algorithmus entwickelt, mit dem die Datensätze aller Bezieher dieser Zuschüsse systematisch überprüft wurden. In der Folge wurden mehr als 10.000 junge Elternpaare des Sozialbetrugs bezichtigt, die Zuschüsse gestrichen und Rückzahlungen gefordert. Trotz der sich häufenden finanziellen Probleme und Beschwerden der betroffenen jungen Familien wurde das Programm bis 2020 unverändert fortgeführt, bis sich herausstellte, dass alle betroffenen jungen Paare ein gemeinsames Merkmal aufwiesen, nämlich die doppelte Staatsbürgerschaft eines oder beider Partner.

"Die weitaus meisten Fälle stellten sich als falsche Treffer heraus", erklärt Mirko Schaefer, im Algorithmus sei der Faktor "Doppelstaatsbürgerschaft" nämlich viel zu hoch bewertet worden. Das habe zu den vielen False Positives geführt, die so viel Leid und Ärger verursacht hätten. "Die Folgewirkungen dieses Algorithmus auf die Betroffenen wurden in all den Jahren nicht ein einziges Mal erhoben", so Schaefer weiter. Bei einem solchen Impact Assessment wäre die Fehlfunktion des Algorithmus schon viel früher ans Licht gekommen.

Lehrermangel, verschärft durch Algorithmen

In Italien hat im gleichen Zeitraum ein ähnlicher Fall für Aufsehen gesorgt. Um dem notorischen Lehrermangel entgegenzuwirken, wurde versucht, die bisherigen Stellenbesetzungsverfahren zu beschleunigen. Bis dahin mussten sich alle Bewerber, etwa für Festanstellungen oder Direktorenposten, persönlich an den jeweiligen Schulen vorstellen.

Dieser analoge Prozess wurde 2020/21 durch eine algorithmusgestützte Auswahl ersetzt. Dafür mussten die Kandidaten ihre Qualifikationen und ihre Präferenzen für bestimmte Posten im Schulbereich eingeben. Die Nebenwirkungen waren verheerend. Vielen erfahrenen Pädagogen wurden nur Aushilfslehrerstellen angeboten, oder sie wurden plötzlich arbeitslos. Wer sich um eine Stelle beworben hatte, diese aber an einen besser qualifizierten Bewerber vergeben wurde, landete automatisch in der Gruppe der weniger Qualifizierten am Ende der Bewerberliste. Die Bewerberliste hätte nach jeder Stellenvergabe einfach zurückgesetzt werden müssen. Es lag also ein eklatanter Fehler in der Konzeption des Algorithmus vor.

Der menschliche Faktor

"Der Fall in Italien zeigt, dass ein Risk Assessment durch die Betreiber alleine unzureichend ist. Die Einbeziehung von Fach-Expertinnen, Gewerkschaften und Betroffenen ist essenziell, um Leid zu verhindern", sagt Schaefer. "Um fehlerhafte Algorithmen zu identifizieren, braucht es aber spezielle Skills und die sind zurzeit nicht einmal bei Datenschutzbehörden vorhanden".

Paradoxerweise gebe es allerdings auch Anwendungsfälle von Algorithmen, bei denen eine Kontrolle der sozialen Nebenwirkungen überflüssig sei. Die automatischen Hochwassersperren in den Niederlanden, die ebenfalls von einem Algorithmus gesteuert werden, müssten nur noch auf ihre mechanische Funktionsfähigkeit getestet werden, so Schaefer abschließend. Denn hinter dieser Vollautomatisierung stecke ein gesellschaftlicher Wert. Damit sei auch jede Einflussnahme zum Beispiel von großen Reedereien ausgeschlossen, eines ihrer Schiffe vor der Sturmflut noch schnell in den Hafen von Rotterdam in Sicherheit zu bringen: Jede Verzögerung würde die gesamte Region Rotterdam gefährden. Gut drei Stunden dauert es, bis das tonnenschwere Sperrwerk geschlossen ist.

Der weitere Fahrplan der KI-Verordnung

Nach den ersten Trilog-Verhandlungen zwischen Kommission, Rat und Parlament am 18. Juli sind zwei Treffen für Ende September angesetzt. Zwei weitere Trilog-Sitzungen sind noch für dieses Jahr geplant, falls diese zusätzlich benötigt werden. Die Verordnung könnte also noch in diesem Jahr beschlossen werden, wie üblich muss sie von den Mitgliedsstaaten dann binnen 18 Monaten in nationalen Gesetzen umgesetzt werden. Frankreich hat Ende Mai allerdings schon angekündigt, Systeme mit KI-gestützter Videoüberwachung bei den Olympischen Sommerspielen 2024 einzusetzen.

(mki)