Warnendes Beispiel
Kann Software rassistisch sein? Ja, sagt eine neue Untersuchung der Stiftung Pro Publica.
Der Verdacht lag schon lange in der Luft. Im Januar berichtete unsere Autorin Eva Wolfangel über die wachsenden Bedenken vieler Experten gegenüber Software, die – datengestützt – Entscheidungshilfen gibt, oder gar autonom Entscheidungen trifft. Über die Kreditwürdigkeit eines Kunden beispielsweise, die Eignung eines Stellenbewerbers – oder die Wahrscheinlichkeit, dass die eingereiste Person ein Terrorist sein könnte.
Vieles, vor dem die amerikanische Techniksoziologin Zeynep Tufekci und ihre Kollegen damals warnten, blieb allerdings noch ein bisschen vage. Der Informatiker Kavé Salamatian von der Université de Savoie in Annecy berichtete beispielsweise von einem Algorithmus, der Personalabteilungen hilft, Bewerbungen zu bewerten, und der auf Grund seiner Trainingsdaten feststellt, dass Bewerber mit langen Anfahrtswegen schneller wieder kündigen. Solch ein Algorithmus würde dazu tendieren, Schwarze zu benachteiligen, die häufig in Außenbezirken leben – eben weil sie lange Anfahrtswege haben. Viel Konjunktiv. Aber das Beispiel zeigt in die richtige Richtung.
Denn jetzt hat die US-Stiftung Pro Publica ein sehr handfestes Beispiel für "maschinellen Rassismus" gefunden, das die ganze Problematik der Materie wie in einem Brennglas bündelt: Software, die von US-Gerichten routinemäßig eingesetzt wird, um Sozialprognosen von Angeklagten und Häftlingen zu erstellen, benachteiligt eindeutig Schwarze.
Dass dem so ist, mussten die Kollegen von Pro Publica aus umfangreichen statistischen Analysen herausdestillieren. Denn die eigentliche Grundlage für diese Berechnungen – der Algorithmus, der die Ratings erstellt – wird vom Hersteller nicht veröffentlicht. Sorry, Geschäftsgeheimnis, Sie verstehen das doch...
Die Journalisten untersuchten daher sowohl die Ratings von Angeklagten in Florida, als auch spätere Verurteilungen. Ein Ergebnis: Bei schwarzen Angeklagten lag die Software doppelt so oft mit der Prognose zukünftiger Verbrechen daneben wie bei weißen Angeklagten. Umgekehrt lag die Zahl der – falschen – günstigen Prognosen für weiße Angeklagte sehr viel höher als bei schwarzen Angeklagten. Eine ungünstige Sozialprognose bedeutet in der Regel eine längere Haft.
Hersteller Northpointe wies den Vorwurf des Rassismus selbstredend zurück, und erklärte, die Software berechne ihre Sozialprognose auf der Basis eines Fragebogens mit 137 Fragen, bei denen die ethnische Zugehörigkeit keine Rolle spiele.
Und höchstwahrscheinlich stimmt das auch. Genau das macht die Geschichte ja so interessant. Ich vermute mal, hinter der Formel von Northpointe steckt kein kriminologisches, psychologisches oder soziologisches Wissen, sondern ein einfaches numerisches Modell, das mit Beispieldaten gefüttert wurde, und dessen Parameter so lange angepasst wurden, bis es aus einem Teil der Trainingsdaten korrekte Vorhersagen treffen konnte. Eine Black Box mit ganz vielen Knöpfen, an denen man so lange dreht, bis sie das richtige Ergebnis liefert.
Was "lernt" das System in solch einem Fall? Es reproduziert den sowieso schon vorhandenen Alltagsrassismus der US-Justiz und verwandelt ihn in eine scheinbar objektive, von keinerlei Vorurteilen getrübte, Entscheidung. Das Beispiel ist eine deutliche Warnung: Schlimm genug, welche wirtschaftlichen Auswirkungen intransparente Bonitätsrankings haben können. Aber von Ranking-Software in empfindlichen Bereichen wie der Justiz sollten wir einfach die Finger lassen. (wst)
