Algorithmen sollen erkennen, wer erneut straffällig wird

In den Vereinigten Staaten werden schon seit mehreren Jahren technische Methoden eingesetzt, um die Arbeit von Richtern und Staatsanwälten zu erleichtern. So gibt es etwa spezielle Risikoanalysealgorithmen, die die Wahrscheinlichkeit errechnen sollen, ob ein Verurteilter bis zu zwei Jahre nach seiner Entlassung aus dem Gefängnis erneut straffällig wird. Das wiederum soll den entsprechenden Ausschüssen der Justiz ermöglichen, bessere Entscheidungen über Entlassungsanträge zu treffen.

Eine neue Studie will nun überprüfen, wie genau die Technik arbeitet. Die ersten Ergebnisse sind interessant. So scheinen die Vorhersagefähigkeiten der Algorithmen manchmal besser zu sein als die von Menschen, die Fachleute auf dem Gebiet sind. Das Problem: Sowohl Kollege Computer als auch der Mensch machen bei der Risikobestimmung oft grobe Fehler.

Wissenschaftler an der Stanford University und der University of California in Berkeley versuchten eigentlich, ein im Jahr 2018 durchgeführtes Experiment zu wiederholen, bei dem herauskam, dass Menschen ohne Ausbildung mindestens genauso gut arbeiten wie ein damals weitläufig verwendetes Risikomanagementprogramm namens COMPAS. Die darin enthaltenen Algorithmen werden anhand historischer Straftäterangaben trainiert und sollen Richter dabei helfen, zu bestimmen, ob ein Verurteilter weiter im Gefängnis bleiben sollte oder zumindest während der Verfahrensvorbereitung auf freiem Fuß bleiben darf. COMPAS musste viel Kritik von Experten über sich ergehen lassen.

Großer Datensatz

Das Team aus Stanford und Berkeley nahm sich nun einen Datensatz vor, der 7000 COMPAS-Einschätzungen von echten Kriminellen enthielt. Daraus entstanden individuelle Profile. Diese wurden dann wiederum 400 Laien präsentiert, die über die Plattform Amazon Mechanical Turk rekrutiert wurden. Ihre Aufgabe: Sie sollten entscheiden, ob sie dachten, dass die betroffene Person wieder eine Straftat begehen wird. Die Studie von 2018 fand heraus, dass COMPAS in 65 Prozent der Fälle richtig lag, die untrainierten Menschen jedoch in 67 Prozent der Fälle.

Die neue Studie kam zu ähnlichen Ergebnissen, doch wurde das Originalexperiment verändert und erweitert. Beispielsweise testete das Forscherteam, ob es hilfreich ist, mehr Informationen über die Verurteilten weiterzugeben, Feedback zu erteilen, wie richtig ein Entscheider in jeder Runde lag und ob die Konzentration auf Gewaltverbrechen etwas an der Genauigkeit änderte.

Zur Überraschung der Forscher waren die Algorithmen, wenn man sie mit mehr Daten fütterte oder das Feedback bei den menschlichen Entscheidern weggelassen wurde, stets genauer. Den Wissenschaftlern zufolge bekommen Menschen im echten Leben selten Feedback über ihre Entscheideungen zu den Straftätern. Entsprechend war dies ein realistischer Vergleich.

Das Problem des Bias

Probleme gab es vor allem mit dem sogenannten Bias, also unter anderem Vorurteilen. Ungenauigkeiten und Bias flossen in die Vorhersage mit ein, egal ob sie von Mensch oder Computer kamen.

Der Unterschied war aber in den Verantwortlichkeiten zu finden. Während Menschen vergleichsweise gut begründet gegen Entscheidungen von Richtern vorgehen können, ist es viel schwieriger, sich gegen scheinbar objektive Algorithmen zu wenden. Diese werden nicht nur in der US-Justiz zunehmend eingesetzt, sondern auch in anderen Bereichen der Verwaltungsarbeit, etwa bei der Zuteilung von Wohnungen oder im Schulsystem.

Eine echte Lösung für das Problem gibt es noch nicht. Allerdings versuchen sich verschiedene Start-ups und Forschergruppen darin, Algorithmen selbsterklärend zu machen. Allerdings ist das nicht eine Ideallösung, die zudem dazu führten könnte, dass wir statischen Modellen ein Übervertrauen schenken. Datenschutzgesetze könnten dafür sorgen, dass die Regierung eine Art "Algorithmus-TÜV" vorschreibt. Erste entsprechende Ideen gibt es in Deutschland schon.

(bsc)