Ein Algorithmus, der Armut bekämpfen soll, disqualifiziert bedürftige Menschen
Human Rights Watch zufolge bestimmt das Weltbank-finanzierte System zur Verteilung von Sozialleistungen in Jordanien ungenau und ungerecht, wie arm man ist.
(Bild: dpa, Sebastian Gollnow/dpa)
- Tate Ryan-Mosley
Ein von der Weltbank finanzierter Algorithmus, der bestimmen soll, welche Familien in Jordanien finanzielle Unterstützung erhalten, schließt wahrscheinlich Menschen aus, die dafür eigentlich in Frage kämen. Das zeigt eine von Human Rights Watch veröffentlichte neue Untersuchung.
Das Softwaresystem namens Takaful erstellt eine Rangliste der Familien, die Hilfe beantragen – von den am wenigsten armen bis zu den ärmsten. Dafür gewichtet der Algorithmus 57 sozioökonomische Indikatoren nach einem geheimen System. Die Antragsteller sagen jedoch, dass die Berechnung nicht der Realität entspricht und die wirtschaftliche Situation der Menschen zu ungenau oder ungerecht vereinfacht. Takaful hat bislang über eine Milliarde US-Dollar gekostet, und die Weltbank finanziert ähnliche Projekte in acht weiteren Ländern des Nahen Ostens und Afrikas.
Human Rights Watch stellte mehrere grundlegende Probleme mit dem System fest, die zu Verzerrungen und Ungenauigkeiten führten. So werden die Antragsteller beispielsweise nach ihrem Wasser- und Stromverbrauch gefragt. Die Autoren des Berichts kommen zu dem Schluss, dass dies nicht unbedingt zuverlässige Indikatoren für Armut sind. Einige der befragten Familien glaubten, dass die Tatsache, dass sie ein Auto besaßen, sich auf ihre Einstufung auswirkte – selbst wenn das Auto alt und für den Transport zur Arbeit notwendig war.
Keine statistische Objektivität
In dem Bericht heißt es wörtlich: „Hinter dieser Fassade der statistischen Objektivität verbirgt sich eine kompliziertere Realität: Der wirtschaftliche Druck, dem die Menschen ausgesetzt sind, und die Art und Weise, wie sie zu kämpfen haben, um über die Runden zu kommen, sind für den Algorithmus häufig unsichtbar.“ Der Report zitiert auch den zweifachen Vater Abdelhamad, der 250 Dinar (353 Dollar) im Monat verdient und darum kämpft, es zu packen: „Die gestellten Fragen spiegeln nicht die Realität wider, in der wir leben.“
Takaful verstärkt wohl auch die bestehende geschlechtsspezifische Diskriminierung, indem es sich auf sexistische Rechtsnormen stützt, kritisieren die Aktivisten. Eine Bargeldunterstützung wird nur jordanischen Staatsbürgern gewährt – und ein Indikator, den der Algorithmus berücksichtigt, ist die Größe des Haushalts. Jordanische Männer, die eine Nicht-Staatsbürgerin heiraten, können zwar die Staatsbürgerschaft an ihre Ehefrau weitergeben, jordanische Frauen jedoch nicht. Für diese Frauen ergibt sich daraus eine geringere meldepflichtige Haushaltsgröße, so dass sie mit geringerer Wahrscheinlichkeit Unterstützung erhalten.
Der Bericht basiert auf 70 Interviews, die Human Rights Watch in den letzten zwei Jahren geführt hat. Er stellt keine quantitative Bewertung dar, da die Weltbank und die jordanische Regierung weder die Liste der 57 Indikatoren noch eine Aufschlüsselung der Gewichtung der Indikatoren oder umfassende Daten über die Entscheidungen des Algorithmus veröffentlicht haben. Die Weltbank hat auf eine Bitte um Stellungnahme nicht geantwortet.
Für Transparenz sorgen
Amos Toh zufolge, KI- und Menschenrechtsforscher bei Human Rights Watch und einer der Autoren des Berichts, weisen die Ergebnisse auf die Notwendigkeit größerer Transparenz bei Regierungsprogrammen hin, die algorithmische Entscheidungsfindung nutzen. Viele der befragten Familien äußerten Misstrauen und Verwirrung über die Ranking-Methodik. „Die jordanische Regierung ist in der Pflicht, für diese Transparenz zu sorgen”, sagt Toh.
Forscher auf dem Gebiet der KI-Ethik und -Fairness fordern, den zunehmenden Einsatzes von Software in Wohlfahrtssystemen genauer zu prüfen. „Wenn man anfängt, Algorithmen für diesen speziellen Zweck zu entwickeln, um den Zugang zu Leistungen zu kontrollieren, passiert es immer wieder, dass Menschen, die Hilfe brauchen, ausgeschlossen werden”, sagt Meredith Broussard von der New York University und Autorin des Buches „More Than a Glitch: Confronting Race, Gender, and Ability Bias in Tech” (auf Deutsch etwa: „Mehr als nur eine Panne: Konfrontation mit Rassen-, geschlechtsspezifischen und fähigkeitsbezogenen Vorurteilen in der Technologie“). „Es scheint, dass dies ein weiteres Beispiel für ein schlechtes Design ist, das den Zugang zu den Mitteln für jene Menschen einschränkt, die sie am meisten brauchen", sagt Broussard.
Die Weltbank finanzierte das Programm, das vom Nationalen Hilfsfonds Jordaniens, einer Sozialbehörde der Regierung, verwaltet wird. Als Reaktion auf den Bericht erklärte die Weltbank, sie plane, im Juli dieses Jahres zusätzliche Informationen über das Takaful-Programm zu veröffentlichen, und bekräftigte ihr “Engagement, die Umsetzung der universellen sozialen Unterstützung voranzutreiben [und] den Zugang für alle Menschen zu gewährleisten”. Die Organisation hat den Einsatz von Datentechnologie in Bargeldtransferprogrammen wie Takaful befürwortet, da dies die Kosteneffizienz und eine gerechtere Verteilung fördere.
Regierungen setzen KI-gestützte Systeme auch zum Schutz vor Sozialhilfebetrug ein. Eine kürzlich veröffentlichte Untersuchung über einen Algorithmus, mit dem die niederländische Regierung Anträge auf Sozialleistungen identifizieren will, die am wahrscheinlichsten betrügerisch sind, ergab eine systematische Diskriminierung auf der Grundlage von Rasse und Geschlecht.
(vsz)