"Algorithmen wollen, dass Sie sich für sich schämen"

Als Cathy O'Neil zu Beginn der Finanzkrise 2008 noch im Finanzwesen arbeitete, bekam sie aus erster Hand mit, wie sehr Menschen schon damals Algorithmen vertrauten – und welche Zerstörung sie anrichten können. Schließlich wechselte sie entmutigt in die Tech-Branche, wo sie nur dasselbe blinde Vertrauen vorwand – von Targeting in der Online-Reklame bis hin zur Risikobewertung von Hypotheken-Wertpapieren. Also verließ sie das Segment ganz. "Ich hielt das, was wir taten, nicht für vertrauenswürdig", sagt sie.

Das Gefühl, "eine Mitverschwörerin, ein unabsichtliches Werkzeug" zu sein, brachte sie dann dazu, das Buch "Weapons of Math Destruction" zu schreiben – mit dem Untertitel "Wie Big Data die Ungleichheit vergrößert und die Demokratie bedroht". Das 2016 veröffentlichte Buch nahm die Vorstellung auseinander, dass Algorithmen objektiv sind – und zeigt stattdessen an einem Beispiel nach dem anderen, wie sie Ungleichheit weitertreiben. Bevor ihr Buch herauskam, so O'Neil, "haben die Menschen nicht wirklich verstanden, dass die Algorithmen nichts vorhersagen können, sondern nur klassifizieren ... und dass dies kein mathematisches Problem, sondern ein politisches Problem ist". Es sei ein Vertrauensproblem.

O'Neil zeigte, wie ein Algorithmus auf eine bestimmte Vorstellung von Erfolg optimiert und mit historischen Daten trainiert wird, um Muster zu erkennen: z. B. "Leute wie Sie waren in der Vergangenheit erfolgreich, also kann man davon ausgehen, dass Sie in der Zukunft erfolgreich sein werden". Oder: "Leute wie Sie waren in der Vergangenheit erfolglos, also kann man davon ausgehen, dass Sie in der Zukunft ein Versager bleiben werden."

Das mag manchem wie ein vernünftiger Ansatz erscheinen. Doch O'Neils Buch zeigt, wie er auf bemerkenswerte und schädliche Weise scheitert. Algorithmen, die die Wahrscheinlichkeit einer erneuten Verhaftung vorhersagen sollen, können zum Beispiel Menschen, in der Regel Minderheiten, die auch noch arm sind, in der falschen Gegend leben oder unbehandelte psychische Probleme oder Suchtkrankheiten haben, ungerechterweise noch mehr belasten. "Wir definieren den Erfolg unseres Betrafungssystems nicht wirklich", sagt O'Neil. "Wir sagen lediglich voraus, dass wir auch in Zukunft solche Menschen in ein Profil aufnehmen werden, weil wir das in der Vergangenheit so gemacht haben. Das ist sehr traurig." Altes wiederholt sich ständig.

Nach und nach erkannte O'Neil einen weiteren Faktor, der diese Ungerechtigkeiten verstärkt: Scham. "Man kann sich nicht aussuchen, nicht fett zu sein, auch wenn jede Diätfirma das Gegenteil behauptet. Kann man sich dafür entscheiden, nicht süchtig zu sein? Viel schwieriger, als Sie denken. Hat man Ihnen überhaupt die Möglichkeit gegeben, sich zu erklären? Wir sorgen dafür, dass sich die Menschen für Dinge schämen, für die sie keine Wahl oder kein Mitspracherecht haben."

MIT Technology Review sprach mit O'Neil über ihr neues Buch, "The Shame Machine: Who Profits in the New Age of Humiliation" ("Die Schammaschine: Wer profitiert im neuen Zeitalter der Demütigung"), in dem es um die vielen Möglichkeiten geht, wie Scham in unserer Kultur als Waffe eingesetzt wird – und wie wir uns dagegen wehren können.

Der Weg von Algorithmen zu Scham ist nicht sofort ersichtlich. Wie haben Sie diese beiden Stränge miteinander verwoben?

O'Neil: Ich habe die Macht untersucht, die hinter Algorithmen steckt, die wie Waffen sind. Oft basiert diese auf der Vorstellung, dass man nicht Experte genug ist, um eine wissenschaftlich-mathematische Formel in Frage zu stellen, was eine Form von Beschämung ist. Für mich war das sogar noch offensichtlicher, weil ich als promovierte Mathematikerin überhaupt nicht darauf hereinfiel, sondern es mich nur verwirrte.

Die Macht schlechter Algorithmen ist ein Vertrauensbruch, aber sie ist auch Scham. Man weiß nicht genug, um Fragen zu stellen. Als ich zum Beispiel eine befreundete Schulleiterin interviewte, deren Lehrer nach dem "Value Added Model for Teachers" in New York City bewertet wurden, bat ich sie, einmal die Formel, nach der ihre Lehrer beurteilt wurden, in die Finger zu bekommen. Sie musste viele Anfragen stellen, und jedes Mal, wenn sie fragte, wurde ihr gesagt: "Das ist Mathemathik – das werden Sie nicht verstehen."

In "The Shame Machine" argumentieren Sie, dass Scham ein massives strukturelles Problem in der Gesellschaft ist. Können Sie das näher erläutern?

Scham ist ein wirksames Mittel, um eine systemimmanente Ungerechtigkeit gegen Betroffene zu verwenden. Jemand könnte sagen: "Das ist deine Schuld" (bei armen oder suchtkranken Menschen) oder "Das kannst du nicht verstehen" (bei Algorithmen) – und dieses Etikett der "Unwürdigkeit" reicht oft aus, um die von dieser Scham betroffenen Menschen dazu zu bringen, keine Fragen mehr zu stellen. Ich habe zum Beispiel mit Duane Townes gesprochen, der nach dem Gefängnisaufenthalt in ein Wiedereingliederungsprogramm gesteckt wurde, bei dem es sich im Wesentlichen um eine unbezahlte, unter der Armutsgrenze liegende Arbeit mit den eigenen Händen unter den Augen bewaffneter Männer handelte, die seinen Bewährungshelfer anriefen, wenn er sich beschwerte oder länger als fünf Minuten auf der Toilette war. Es war demütigend – und er fühlte sich als weniger als ein Mensch. Dies war jedoch bewusst so geplant und sollte die Menschen zu "guten Arbeitern" erziehen.

Es kommt einem Elektroschocker für das Selbstbewusstsein gleich. Es verursacht eine momentane Hilflosigkeit und die Unfähigkeit, seine Rechte wahrzunehmen.

Hat COVID-19 die Probleme, die Sie in Ihrem neuen Buch ansprechen, verschärft?

Nun, die Pandemie führte sich schnell ändernde Regeln ein, die mit Masken, Social Distancing und Impfungen zu tun hatten, so dass das Erzeugen von Schamgefühl bei den Bürgern, die sich nicht daran hielten, in diesem Sinne allgegenwärtig wurde. Es war auch offensichtlich, dass unterschiedliche Gruppen von Leuten, die sich in den sozialen Medien und in der Politik zeigen, diese Normen sehr unterschiedlich aufnahmen, was zu regelrechten Kriegen der Beschämung online und offline führte. Scham führt dazu, dass sich Menschen, die sich nicht einig sind, weiter voneinander entfernen. Mit anderen Worten: Scham geht nach hinten los, wenn es kein Vertrauen in die Gemeinschaft gibt. Je mehr jede Seite die andere mit Empörung und Scham überschüttete, desto weiter entfernten sich die Menschen voneinander.

Im Jahr 2021 war Kalifornien der erste Staat, der ein kostenloses Mittagessen für alle Schüler anbot – nicht nur für die wirtschaftlich Benachteiligten, was dazu beigetragen hat, ein lange bestehendes Stigma zu beseitigen. Welche anderen Möglichkeiten gibt es, Systeme so zu gestalten, dass es weniger um Scham geht? Gibt es Wege, wie wir sie sogar für soziale Reformen nutzen können?

Das ist ein großartiges Beispiel! Ich schlage auch vor, die Voraussetzungen für die Gewährung von Sozialhilfe zu vereinfachen [oder] ein universelles Grundeinkommen einzuführen und die Schuldenlast von Studenten zu verringern. Die systematische Beschämung armer Menschen in diesem Land hat dazu geführt, dass es wenig Solidarität unter den Armen gibt. Das ist fast ausschließlich auf erfolgreiche Kampagnen dieser Art zurückzuführen. Arme Menschen würden sich selbst für Schuldenerlass und universelles Grundeinkommen einsetzen, wenn wir nicht eine so erfolgreiche Schamesmaschinerie am Werk hätten.

Im Kapitel über "vernetzte Scham" wird untersucht, wie die Algorithmen von Facebook, Google und anderen ständig optimiert werden, um Konflikte zwischen uns zu schüren. Wie profitieren die Konzerne davon? Was kann man tun, um dem entgegenzuwirken?

Das ist ihr Brot-und-Butter-Geschäft! Würden wir uns nicht empören und uns darauf versteifen, unser Selbstwertgefühl zu verteidigen und die Likes und Retweets zu bekommen, die auf performativem und oft destruktivem Shaming basieren, würden sie viel weniger Geld verdienen. Ich möchte, dass wir anfangen, die Manipulationen durch die großen Technologieunternehmen als einen Plan zu sehen, uns dazu zu bringen, kostenlos für sie zu arbeiten. Wir sollten das nicht tun. Wir sollten uns höhere Ziele setzen – und das heißt sogar, sie anzugreifen.

Auf individueller Ebene bedeutet das, dass wir uns weigern, in den sozialen Medien nach unten zu treten, wenn es möglich ist – oder sogar Plattformen boykottieren, die dies fördern. Auf systemischer Ebene sollten wir darauf bestehen, dass das Design der Plattformen – einschließlich der Algorithmen –, geprüft und auf seine Toxizität überwacht wird. Das ist kein einfacher Vorschlag, aber wir wissen, dass zum Beispiel Facebook dies [2018] versucht hat – und festgestellt hat, dass es möglich, aber weniger profitabel ist, und es deshalb abgelehnt hat.

Nach der Veröffentlichung von "Weapons of Math Destruction" haben Sie ORCA gegründet, ein Unternehmen, das Algorithmen prüft. Wie sieht die Arbeit des Unternehmens aus?

Bei der algorithmischen Prüfung, zumindest in meinem Unternehmen, stellen wir die Frage: "Bei wem versagt dieses algorithmische System?" Das können Gruppen wie ältere Bewerber im Zusammenhang mit einem Einstellungsalgorithmus sein – oder fettleibige Menschen, wenn es um Lebensversicherungspolicen geht. Oder aber schwarze Kreditnehmer im Zusammenhang mit Studienkrediten. Wir müssen die Bereiche definieren, um die wir uns Sorgen machen, die Interessengruppen, die geschädigt werden könnten – und eine Vorstellung davon etnwickelt, was es bedeutet, fair zu sein. Wir müssen auch die Schwellenwerte festlegen, die bestimmen, wann ein Algorithmus die Grenze überschritten hat.

Kann es also jemals einen "guten" Algorithmus geben?

Das kommt auf den jeweiligen Kontext an. Bei Einstellungsalgorithmen bin ich optimistisch, aber wenn wir die gewünschten Ergebnisse, die Interessengruppen, die geschädigt werden könnten, und – was am wichtigsten ist – den Begriff der Fairness sowie die Schwellenwerte nicht gut genug definieren, dann könnten wir am Ende wirklich bedeutungslose Regeln haben. Die führen dann zu problematischen Systemen. Im Zusammenhang mit der Justiz beispielsweise ist die Unordnung der Daten aus den Verurteilungssystemen einfach ein zu großes Problem, um es zu bewältigen - ganz zu schweigen davon, dass es keine Einigung darüber gibt, was einen "erfolgreichen" Gefängnisaufenthalt ausmacht.

(bsc)