Forscher wollen Maßnahmen gegen diskriminierende Algorithmen

Forscher fordern mehr Regulierungen beim Einsatz von Algorithmen und präventive Maßnahmen, um Diskriminierung zu verhindern. Immer mehr Unternehmen und staatliche Institutionen setzen auf automatisierte Prozesse, da diese Effizienzvorteile versprechen. Menschen oder ganze Bevölkerungsgruppen können dadurch aber etwa bei der Kreditvergabe, Immobiliensuche und im Bewerbungsprozess benachteiligt werden.

Die Studie des Karlsruher Instituts für Technologie (KIT) hat die Antidiskriminierungsstelle des Bundes in Auftrag gegeben. Darin werden 47 Fälle behandelt, die zeigen, auf welche Weise Algorithmen diskriminieren können. So konnte etwa nachgewiesen werden, dass Google-Dienste Männern höherbezahlte Stellenangebote als Werbung zeigten als Frauen – obwohl in der Untersuchung das Nutzungsverhalten ansonsten gleich war. Amazon nutzte eine Personalsoftware, die Frauen per se herabstufte. Als Trainingsdaten waren Lebensläufe von fast ausschließlich Männern verwendet worden. Das Entwicklungsteam der KI zur Bewerbungsprüfung wurde 2017 aufgelöst.

Prüfung bereits in der Entwicklung

"Kritisch wird es insbesondere dann, wenn die Algorithmen mit tendenziösen Daten arbeiten und auf eigentlich geschützte Merkmale zurückgreifen", sagt der Autor, Carsten Orwat. In den USA gibt es Fälle von Wohndiskriminierung, in denen Artikel sozialer Medien nur manchen Personen angezeigt wurden. Migranten, Menschen mit behinderung und Nicht-Weißer-Hautfarbe seien ausgeschlossen gewesen. Der "Fair Housing Act" schützt diese explizit vor derartiger Diskriminierung. Orwat erklärt, dass, wenn die Systeme mit Daten trainiert werden, die Ungleichbehandlungen bereits abbilden, sie diese spiegeln oder sogar verstärken.

Um Diskriminierung zu verhindern, empfiehlt Orwat, Personal und IT-Mitarbeiter zu schulen. Das Ziel sei, Algorithmen in Zukunft 'diskriminierungsfrei by design' zu machen. "Dazu müssten Programme bereits während ihrer Entwicklung geprüft werden." Letztlich gehe es um den Schutz von gesellschaftlichen Werten.

Informierte Einwilligung gegen Diskriminierung

Beim Einsatz von Algorithmen sind auch Fehlinterpretationen möglich. Ein Gesundheitssystem, basierend auf maschinellem Lernen, sollte entscheiden, ob Patienten mit einer Lungenentzündung stationär oder ambulant behandelt werden. Gleichzeitig wurden aus den Daten weitere Ergebnisse herausgelesen – eines besagte, Menschen mit Asthma haben bei einer Lungenentzündung höhere Überlebenschancen. Die Verzerrung entstand dadurch, dass diese doppelt belasteten Patienten direkt auf Stationen der Intensivpflege gebracht wurden.

Orwat hält auch Änderungen im Datenschutzrecht für geeignet, um Diskriminierung und Fehlinterpretationen zu begegnen. Bei einer sogenannten Informierten Einwilligung müssen die Betroffenen bei der Zustimmung über mögliche Konsequenzen informiert werden. Die DSGVO sieht eine solche bereits bei der Datenverarbeitung vor, in der Umsetzung gibt es aber noch immer Mängel. Der Europäische Gerichtshof hat erst kürzlich eine Entscheidung getroffen, nach der es keine Cookies ohne Zustimmung geben darf. Bei einer Daten-Weitergabe an Dritte muss der Nutzer detailliert informiert werden.

(emw)