Diskriminierung auf Verdacht: Französischer Sozialhilfe-Algorithmus ist im Netz​

Licht in die weitgehend automatisierten Entscheidungsroutinen, auf deren Basis in Frankreich Sozial- und Familienhilfe inklusive Wohngeld gezahlt oder verweigert werden, bringt die französische Bürgerrechtsorganisation La Quadrature du Net (LQDN). Sie hat dazu am Montag den Quellcode des zentralen Bewertungsalgorithmus der Caisse d'allocations familiales (CAF) veröffentlicht. Die Behörde ist dafür verantwortlich, finanzielle Leistungen familiärer oder sozialer Art zu zahlen. Dahinter steckt den Aktivisten zufolge ein "schädliches System der Massenüberwachung". Mit dem Algorithmus werde vor allem versucht, vorherzusagen, welche Hilfeempfänger nicht vertrauenswürdig seien und im Blick behalten werden müssten.

Die zusammen mit einer Liste von Variablen und deren Gewichtungen veröffentlichte Programmroutine beruht auf der Analyse Hunderter Datensätze. Der CAF-Algorithmus weist demnach jedem Empfänger einen "Verdachtswert" zu. Dieser wird jeweils zum Monatsanfang aktualisiert und liegt zwischen null und eins. Je größer er ist, desto eher stuft das System einen Empfänger als verdächtig ein: Bei Annäherung an den Maximalwert wird eine Prüfung ausgelöst. Die Kritik der Bürgerrechtler konzentriert sich dabei auf "die Natur dieser vorausschauenden Überwachung mit ihren dystopischen Untertönen". Zugleich sehen sie es nun als belegt an, "dass der Algorithmus bewusst auf die prekärsten Menschen abzielt".

Rund 40 Parameter

In der bisherigen Debatte über das System behauptete ein CAF-Direktor, die Programmroutine sei "neutral" und "das Gegenteil von Diskriminierung". Dies begründete er mit der Intransparenz der Technik: Niemand könne erklären, warum von ihr "eine Datei ins Visier genommen wird". Die Bürgerrechtler werten es daher als Erfolg, dass ihnen die Kasse nach einem längeren Prozess zumindest die beiden Modelle herausgab, die zwischen 2010 und 2018 im Einsatz waren. Die jetzt einsehbare "Formel" des Algorithmus zeige, dass dieser zur Berechnung des Score-Wertes rund 40 Parameter einbeziehe. Darunter seien Daten zur familiären, beruflichen und finanziellen Situation, Wohnort, Art und Höhe der bezogenen Leistungen, Häufigkeit der Zugriffe auf das Online-System und die Zahl der ausgetauschten E-Mails.

"Jeder Parameter wird anhand einer Historie mit variabler Dauer analysiert", erläutert LQDN. Abgedeckt würden Empfänger und ihre Angehörige – insgesamt 32 Millionen Menschen. Darunter seien 13 Millionen Kinder. Eine Diskriminierung gehe aus dem Source Code klar hervor: Zu den Variablen, die den "Verdachtswert" erhöhen, gehörten etwa niedriges Einkommen, Arbeitslosigkeit, der Bezug des Mindestlohns oder ein Wohnsitz in einem "benachteiligten" Viertel. Genauso markiert werde, wer einen erheblichen Teil seines Einkommens für Miete ausgebe. Der Gipfel des Zynismus sei, "dass der Algorithmus bewusst Menschen mit Behinderungen ins Visier nimmt". Alleinerziehende würden ebenfalls ins Visier genommen, von denen 80 Prozent Frauen seien. Auf Basis von Risikofaktoren wie Umzug, Trennung oder dem Tod von Angehörigen überprüft zu werden, sei für einen wohlhabenderen Empfänger dagegen minimal.

Kritik an Algorithmen

"Wir können in anderen Länder sehen, welche katastrophalen Folgen es haben kann, wenn die öffentliche Verwaltung ihre Verfahren automatisiert und dabei Fehler macht", mahnte Matthias Spielkamp, Mitgründer und Geschäftsführer von AlgorithmWatch, schon im März. Die zivilgesellschaftliche Organisation fordert daher ein Transparenzregister für KI im öffentliche Sektor. In der "Kindergeldaffäre" sind in den Niederlanden in zehntausenden Fällen vor allem Familien mit Migrationshintergrund fälschlich beschuldigt worden, das Sozialsystem zu betrügen. In Australien betraf ein ähnlicher Vorfall 400.000 Sozialhilfeempfänger. LQDN kündigt an, auch die Algorithmen für die Berechnung von Kranken- und Altersversicherung unter die Lupe zu nehmen und den Kampf gegen diskriminierende IT-Systeme auszuweiten.

(mki)