Diese Microsoft-Forscherin will Diskriminierung und Hass im Netz bekämpfen

Jennifer Chayes kam 1987 als Professorin für Mathematik an die University of California, Berkeley. Zehn Jahre später warb Microsoft sie ab, um dort die interdisziplinäre Research Theory Group mitzugründen. Es war ihr Microsoft-Labor in New York City, das einen Bias in der hauseigenen Gesichtserkennungssoftware entdeckte. Ihr Team belegte, dass das System weiße Gesichter akkurater klassifizierte als schwarze. Diese Entdeckung veranlasste Microsoft, einen lukrativen Vertrag mit einer Polizeibehörde abzulehnen und sich daranzumachen, die Verzerrungen aus solchen Algorithmen zu entfernen. Daraus entstand in Chayes Labor die FATE-Arbeitsgruppe. FATE steht für "Fairness, Accountability, Transparency and Ethics in AI".

Inzwischen ist Chayes stellvertretende Leiterin der Division of Computing, Data Science and Society und Dekanin der School of Information in Berkeley. Sie hat im Lauf ihrer Karriere beobachtet, wie Data Science das Computing und andere Bereiche verändert.

Wie empfanden Sie den Übergang von der akademischen Welt in die Industrie?

Das war ein ziemlicher Schock. Der Vizepräsident für Forschung bei Microsoft, Dan Ling, rief mich damals an und versuchte, mich zu einem Vorstellungsgespräch zu überreden. Ich habe etwa 40 Minuten mit ihm gesprochen. Am Ende sagte ich: "Wollen Sie wissen, was mich stört? Microsoft ist ein Haufen pubertierender Jungs und ich möchte mein Leben nicht mit einem Haufen pubertierender Jungs verbringen."

Wie hat er darauf reagiert?

Er sagte: "Oh, nein, das sind wir nicht. Komm und lerne uns kennen." Als ich zu Besuch war, habe ich tolle Frauen kennengelernt und sehr aufgeschlossene Menschen getroffen, die die Welt verändern wollten.

Wie hat Data Science das Computing verändert?

Je mehr Daten wir bekommen haben, desto mehr hat die Computerwissenschaft über den Tellerrand geschaut. Datenwissenschaft ist für mich eine Ehe zwischen Computing, Statistik, Ethik und einem inhaltlichen Schwerpunktbereich, sei es Biomedizin und Gesundheit, Klima und Nachhaltigkeit oder menschliches Wohlergehen und soziale Gerechtigkeit. Sie transformiert das Computing.

Lesen Sie auch

EU-Justizminister: Hass und Hetze sollen EU-weit strafbar werden

Lösen Datenwissenschaftler Probleme anders?

Mit dem Aufkommen all dieser Daten haben wir die Möglichkeit, aus den Daten zu lernen, ohne zu wissen, warum etwas geschieht. Besonders in Zeiten maschinellen Lernens und des Deep Learning können wir ohne eine grundlegende Theorie Schlussfolgerungen ziehen und Vorhersagen treffen.

Kann das Probleme verursachen?

Manche halten es [zum Beispiel] bei biomedizinischen Daten für ein Problem. Die Daten sagen sehr genau voraus, was funktionieren wird und was nicht, ohne dass ein biologischer Mechanismus zugrunde liegt.

Gibt es Vorteile?

Die Daten ermöglichen es uns nun, eine kontrafaktische Analyse durchzuführen, wie sie ein Wirtschaftswissenschaftler nennen würde: Man kann aus zufälligen Schwankungen in den Daten Schlussfolgerungen ziehen, ohne Experimente durchzuführen. Das ist unglaublich nützlich.

Sehen Sie ein Problem darin, wie Daten genutzt werden, insbesondere von großen Unternehmen?

Es gibt Myriaden von Problemen. Sie werden nicht nur von Technologie-Unternehmen genutzt. Sie werden auch von Versicherungsunternehmen, Regierungsplattformen, Plattformen des öffentlichen Gesundheitswesens und Bildungsplattformen verwendet. Wenn man nicht explizit versteht, welche Bias-Arten sich einschleichen können, sowohl in den Datensätzen selbst als auch in den Algorithmen, wird man den Bias wahrscheinlich noch verschärfen.

Bias schleicht sich ein, wenn es nur wenige Daten gibt. Und sie können auch mit anderen Faktoren korreliert werden. Ich persönlich habe an der automatischen Auswertung von Biografien und Lebensläufen gearbeitet. Wir dürfen dabei weder das Geschlecht, noch die Herkunft berücksichtigen. Selbst wenn ich diese geschützten Merkmale nicht berücksichtige, gibt es viele Dinge, die stellvertretend für Geschlecht oder Herkunft stehen: Wenn Sie bestimmte Schulen besucht haben, wenn Sie in bestimmten Vierteln aufgewachsen sind, wenn Sie bestimmte Sportarten ausgeübt haben und bestimmten Aktivitäten nachgegangen sind – dann korreliert das.

Erkennen Algorithmen diese Stellvertreter-Hinweise?

Sie verschlimmern sie. Das muss man verstehen und beim Schreiben des Algorithmus explizit verhindern.

Wie kann man solche Probleme angehen?

Zum einen beschäftigen wir uns bei FATE mit dem Design dieser Algorithmen und ihrer Funktionsweise. Aber es gibt noch so viel mehr, was wir tun müssen.

Und dabei hilft Data Science?

Das ist Data Science. Es gibt einen Teil des Internets, der als "Manosphäre" bezeichnet wird und in dem viel Hass seinen Ursprung hat. Es ist ziemlich schwer, das nachzuvollziehen. Aber wenn man die maschinelle Verarbeitung natürlicher Sprache und andere Tools einsetzt, kann man den Ursprung des Hasses sehen. Man kann auch versuchen, Schnittstellen zu schaffen, die es Interessenverbänden ermöglichen, dies zu finden und zu beseitigen. Es geht darum, den Spieß umzudrehen, indem man die Art und Weise, wie diese Plattformen Bias und Hass verstärken, umkehrt und sagt: "Wir werden die Macht der Datenverarbeitung und der -wissenschaft nutzen, um Hass zu erkennen und einzudämmen."

Lesen Sie auch

Wie gut funktionieren automatische Hass-Detektoren?

(jle)