EU-Grundrechteagentur: Automatisierte KI-Entscheidungen sollen anfechtbar sein

Angesichts des zunehmenden Einflusses von Algorithmen auf Wirtschaft, Gesellschaft und Politik hat sich die EU-Agentur für Grundrechte (European Union Agency for Fundamental Rights, FRA) für eine schärfere Regulierung von Systemen für Künstliche Intelligenz (KI) ausgesprochen. "KI ist nicht unfehlbar", betonte der Direktor der Behörde, Michael O’Flaherty. Sie werde von Menschen gemacht – und auch diesen passierten Fehler. Deshalb müssten die Bürger wissen, "wann KI eingesetzt wird, wie sie funktioniert und wie automatisierte Entscheidungen angefochten werden können".

Die FRA hat am Montag einen Bericht zu den Auswirkungen Künstlicher Intelligenz auf die Grundrechte veröffentlicht. Sie zeigt dabei umfangreiche Probleme beim Einsatz der Schlüsseltechnik auf, wobei sie vor allem sensible Bereiche Predictive Policing, biometrische Gesichtserkennung, medizinische Diagnosen, soziale Dienste und gezielte Werbung etwa per Microtargeting in den Blick genommen hat.

Schwierigkeiten mit KI-Systemen sind laut der Studie seit Längerem bekannt. So sei etwa bei einem Algorithmus zur Analyse von Bewerbern festgestellt worden, dass er generell Männer gegenüber Frauen bevorzuge. Ein Online-Chatbot von Microsoft habe sich innerhalb weniger Stunden "rassistisch" geäußert. Maschinelle Übersetzungen zeigten geschlechtsspezifische Verzerrungen, Gesichtserkennungssysteme funktionierten bei weißen Männern deutlich besser als bei schwarzen Frauen.

Eine Behörde habe Arbeitslose per Algorithmus gesetzeswidrig in verschiedene Gruppen eingestuft, setzt die FRA ihren Katalog fort. Ein Gericht habe wegen Verstoßes gegen Datenschutzbestimmungen ein einschlägiges Verfahren gestoppt, mit dem Entscheidungen über Sozialleistungen unterstützt worden seien. Die Forscher sehen damit die tiefgreifende Frage aufgeworfen, ob moderne KI-Systeme zweckmäßig sind und wie Grundrechtsstandards bei ihrer Anwendung gewahrt werden können.

KI und Grundrechte

Die Ergebnisse zeigen, dass KI-Systeme unabhängig vom Anwendungsbereich zahlreiche Grundrechte tangieren wie etwa auf den Schutz der Privatsphäre, Nicht-Diskriminierung und den Zugang zur Justiz. In Interviews mit 91 Verwaltungs- und Firmenmitarbeitern fanden die Wissenschaftler aber heraus, dass der Geltungsbereich oft auf bestimmte Rechte eingegrenzt werde. Dabei müssten beispielsweise auch die Menschenwürde, die Ansprüche auf soziale Sicherheit und gute Verwaltung und der Verbraucherschutz berücksichtigt werden.

Die FRA appelliert daher an die EU und die Mitgliedsstaaten sicherzustellen, dass KI alle Grundrechte respektiert. Die Bürger sollten alle durch die Technik getroffene Entscheidungen anfechten können. Dies setze die Transparenz von Algorithmen voraus: Organisationen müssten erklären können, wie ihre Systeme Entscheidungen treffen. Die Technik sollte daher schon vor ihrem Einsatz bewertet werden, um negative Auswirkungen zu verringern.

Als wichtig erachtet die Agentur auch klarere Leitlinien zu Datenschutzvorschriften für KI. Es müssen mehr Forschungsmittel verfügbar sein, um die potenziell diskriminierenden Auswirkungen der KI zu untersuchen. Nötig sei zudem ein wirksames Aufsichtssystem: Wirtschaft und Staat sollten bei der Nutzung von KI zur Rechenschaft gezogen werden können. Aufsichtsgremien müssten geschaffen und über angemessene Ressourcen und Kompetenzen verfügen, um diese Aufgabe zu erfüllen.

Kein Verbot

Ein Verbot besonders sensibler Techniken wie der automatisierten Gesichtserkennung verlangt die FRA nicht. Sie verweist aber etwa auf ein Gerichtsurteil, wonach eine britische Polizeibehörde mit solchen Verfahren gegen die Menschenrechte verstoßen habe. Insgesamt sieht die Agentur den Bericht als einen Beitrag zur Debatte über das KI-Weißbuch der EU-Kommission, die in gesetzgeberische Schritte münden soll.

Bei einer Online-Konferenz der deutschen EU-Ratspräsidentschaft, auf der O’Flaherty die Resultate vorstellte, warb auch Bundesjustizministerin Christine Lambrecht nachdrücklich für europäische Vorgaben für KI. Die Technik könne etwa helfen, Corona-Impfstoffe zu entwickeln. Sie berge aber "erhebliche Risiken". Hinter KI stünden "Entscheidungen von Unternehmen oder Behörden". Für diese Vorprozesse "müssen wir Verantwortlichkeiten und Haftung bestimmen". Anwendungsverbote für besonders grundrechtsgefährdende Techniken schloss die SPD-Politikerin nicht aus. EU-Justizkommissar Didier Reynders sprach sich für einen "menschenzentrierten Ansatz" bei KI aus.

Lambrechts Vorgänger Heiko Maas hatte schärfere Bestimmungen für Programmierer und Firmen sowie ein "digitales Antidiskriminierungsgesetz" ins Spiel gebracht. Die grüne Ex-Verbraucherministerin Renate Künast rief 2017 nach einer Enquete-Kommission zur Macht von Algorithmen. Auch ihr zufolge müssen automatisierte Entscheidungen anfechtbar und von Menschen überprüfbar sein.

Empfohlener redaktioneller Inhalt

Mit Ihrer Zustimmmung wird hier eine externe Umfrage (Opinary GmbH) geladen.

Umfragen immer laden Umfrage jetzt laden

Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit können personenbezogene Daten an Drittplattformen (Opinary GmbH) übermittelt werden. Mehr dazu in unserer Datenschutzerklärung.

Der EU-Ministerrat hat parallel eine Entschließung zur Polizeiarbeit angenommen. KI wird demnach "wahrscheinlich dazu beitragen, neue, bisher unbekannte Muster und Vorgehensweisen insbesondere in den Bereichen Terrorismus, Cyberkriminalität, sexueller Kindesmissbrauch, Menschenhandel, Drogen- und Wirtschaftskriminalität aufzudecken". Daher sollten Strafverfolger die Technik "zur Verbesserung der Prävention, zur Erleichterung der Ermittlungen und zum Schutz der Opfer" nutzen.

Die Mitgliedsstaaten bekräftigen, dass Konzepte, Programmierarbeiten und Folgenabschätzungen rund um KI für die innere Sicherheit "sich nach den Grundrechten und dem Datenschutz richten und mit ihnen im Einklang stehen" müssten. In diesem Bereich ergäben sich besondere Anforderungen, entsprechende Sicherheitsgarantien seien erforderlich.

(olb)