KI in der Polizeiarbeit: EU-Grundrechteagentur warnt vor verzerrten Algorithmen

Voreingenommenheit in Algorithmen kann im Laufe der Zeit durch Feedback-Schleifen verschlimmert werden. Das ist ein Problem etwa bei der Strafverfolgung.

In Pocket speichern vorlesen Druckansicht 7 Kommentare lesen

(Bild: Zapp2Photo / Shutterstock.com)

Lesezeit: 4 Min.

EU-Grundrechtsexperten warnen, dass sich einseitig programmierte Algorithmen beim Einsatz in der KI-gestützten Polizeiarbeit verstärken und zu Diskrimierung führen können. Das geht aus einem Bericht hervor, den die Agentur der Europäischen Union für Grundrechte (FRA) am Donnerstag vorgelegt hat. Der Bericht befasst sich mit dem Einsatz von Künstlicher Intelligenz (KI) bei der "vorausschauenden Polizeiarbeit" (Predictive Policing) und der Erkennung von beleidigender Sprache.

Es entstehe eine Rückkopplungsschleife, wenn die von einer KI getroffenen Vorhersagen die Daten beeinflussen, mit denen dann wieder die gleiche und andere KI gefüttert wird, heißt es in dem Bericht. Algorithmen wirkten so auf Algorithmen ein, "weil ihre Empfehlungen und Vorhersagen die Realität vor Ort beeinflussen".

Die FRA führt dazu ein Beispiel aus der KI-gestützten Polizeiarbeit an: Wenn eine mit Falldaten trainierter Algorithmus eine erhöhte Kriminalitätsrate in einem bestimmten Gebiet vorhersagt, führt das in der Regel zu mehr Polizeiarbeit und mehr Fällen, die dann wieder in den Algorithmus gefüttert werden. "Jede Verzerrung in Algorithmen kann daher im Laufe der Zeit verstärkt und verschlimmert werden", erklärt die Agentur.

Die Autoren des Berichts simulierten einen prädikativen Polizeialgorithmus und zeigen, dass mehrere Faktoren zur Bildung von Feedback-Schleifen beitragen können. Dazu zählen niedrige und schwankende Raten beim Anzeigen von Straftaten, unterschiedliche Delikterkennungsraten und unsachgemäßer Einsatz von maschinellem Lernen.

Wenn Vorhersagen von Kriminalitätsraten auf niedrigen Anzeigequoten beruhen, die nicht die Realität widerspiegeln, "kann dies zu falschen Vorhersagen und politischen Entscheidungen führen", heißt es weiter. Bestimmte Bevölkerungsgruppen würden potenziell häufiger mit leicht erkennbaren Straftaten in Verbindung gebracht, was im Laufe der Zeit "zu verzerrten Vorhersagen führen" könne.

Die Daten seien oft fehlerhaft, da das Anzeigeverhalten auf früheren Erfahrungen mit der Polizei und Faktoren wie Geschlecht, Ethnie, Alter und religiösem Hintergrund beruhe. Darüber hinaus neigten Algorithmen für maschinelles Lernen dazu, den Trainingsdaten zu viel Gewicht zu geben. Die Simulation habe ergeben, dass eine unkontrollierbare Rückkopplungsschleife bei solchen Modellen schneller auftritt, wenn nicht vorher geprüft wird, ob sie "auf kleine Signale und Unterschiede in den Daten überreagieren".

Bei Algorithmen zum Erkennen von Beleidigungen kamen die Autoren des Berichts zu dem Schluss, dass die gegen Hass und Hetze eingesetzten Instrumente leicht zu verzerrten Ergebnissen führen. Algorithmen hätten harmlose Formulierungen wie "Ich bin Muslim" oder "Ich bin jüdisch" als beleidigend eingestuft. Es gebe auch geschlechtsspezifische Verzerrungen in dafür sensiblen Sprachen wie Deutsch oder Italienisch.

Ohne angemessene Kontrollen liefen Entwickler von Algorithmen und Plattformbetreiber sowie Diensteanbieter "in hohem Maße Gefahr, das Leben von Menschen zu beeinträchtigen", warnt der Direktor der Behörde, Michael O’Flaherty. Die Agentur fordert die EU-Organe und die Mitgliedsstaaten daher auf, algorithmische Techniken vermehrt auf Voreingenommenheit zu prüfen. Dies sei vor allem bei Systemen zur automatisierten Entscheidungsfindung nötig.

Lobend hebt die Behörde hervor: Die vorgeschlagene KI-Verordnung "enthält auch eine Rechtsgrundlage für die Verarbeitung sensibler Daten zur Aufdeckung, Überwachung und Korrektur von Vorurteilen, die zu Diskriminierung führen könnten". Die EU-Staaten haben ihre Position dazu gerade festgelegt, das EU-Parlament feilt noch daran. Über 40 zivilgesellschaftliche Organisationen forderten in diesem Zusammenhang ein Verbot von Predictive Policing.

Die European Union Agency for Fundamental Rights (FRA) wurde 2007 mit Sitz in Wien gegründet. Sie soll Entscheidungsträger in der Union und den Mitgliedsstaaten in Grundrechtsfragen beraten.

(vbr)