Bundestagsstudie: Intransparente Benachteiligung durch Künstliche Intelligenz
Das Büro für Technikfolgen-Abschätzung beim Bundestag hat Diskriminierung durch Algorithmen untersucht und empfiehlt Gegenmaßnahmen.
(Bild: metamorworks/Shutterstock.com)
Betroffene können "algorithmische Ungleichbehandlung" sowie ihr Zustandekommen häufig nicht oder nur schwer nachvollziehen. Zu diesem Schluss kommt das Büro für Technikfolgen-Abschätzung beim Bundestag (TAB) in einer Studie zu möglicher Diskriminierung durch algorithmische Entscheidungssysteme (AES), maschinelles Lernen und andere Formen von Künstlicher Intelligenz (KI).
Ursache der Ungleichbehandlung
Ein wesentliches Element digitaler Anwendungen stellen Algorithmen dar, konstatieren Alma Kolleck und Carsten Orwat in der am Dienstag veröffentlichten Untersuchung. Die Programmroutinen bestimmten die beste Strecke für eine geplante Fahrt, den hoffentlich passenden Partner in einer Singlebörse oder die eigene Kreditwürdigkeit. Zudem unterstützten sie etwa ärztliche Diagnosen. Ein großer Teil solcher Entscheidungs- und Scoringfunktionen bleibe für viele jedoch weitgehend unbemerkt.
Die Autoren illustrieren mit Beispielen die umfassenden Lebensbereiche, in denen AES schon ihren Dienst tun. Dabei arbeiten sie heraus, wie herausfordernd es teils sei, die Ursache für die jeweilige Ungleichbehandlung zu entdecken. Der erste Fall zur medizinischen Versorgung macht der Analyse zufolge deutlich, wie algorithmische Fehlschlüsse zustande kommen können, wenn wichtige Informationen nicht im System hinterlegt sind.
Eingebaute Diskriminierung
So habe ein AES in einer Klinik für Patienten mit Mehrfacherkrankungen und chronischen Krankheiten ein geringeres Sterberisiko berechnet als für solche, die ausschließlich an einer Lungenentzündung erkrankt waren. So sei hier weniger Bedarf für eine stationäre Behandlung gesehen worden. Der Fehlschluss erkläre sich damit, dass das AES "mit Daten trainiert worden war, in denen chronisch und mehrfach erkrankte Personen eine intensive medizinische Behandlung erhalten hatten und deshalb eine geringe Sterblichkeit aufwiesen".
Der österreichische Arbeitsmarktservice habe seit 2018 eine Software verwendet, die Arbeitssuchende anhand ihrer soziodemografischen Daten hinsichtlich ihrer Arbeitsmarktnähe bewerte und Gruppen zuordne, erläutern die Verfasser. In der veröffentlichten Berechnungsvorschrift "zeigt sich, dass das weibliche Geschlecht per se" zu einem Abzug führe. Betreuungspflichten, die nur bei Frauen angesetzt würden, verschlechterten das Ergebnis weiter.
Vordigital erhobene Daten
Auch mit dem Risikoabschätzungssystem Compas beschäftigen sich die Forscher. Es schätze die Rückfallwahrscheinlichkeit Verurteilter ein und komme in den USA etwa zum Tragen, wenn über die Aussetzung einer Bewährungsstrafe oder die Höhe einer Kaution entschieden werde. In der Hochrisikogruppe habe sich herausgestellt, dass die Vorhersage bei vielen afroamerikanischen Straftätern falsch gelegen habe. So blieben 45 Prozent von ihnen gesetzestreu, während diese Quote unter den Weißen lediglich 24 Prozent betragen habe.
Empfohlener redaktioneller Inhalt
Mit Ihrer Zustimmmung wird hier eine externe Umfrage (Opinary GmbH) geladen.
Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit können personenbezogene Daten an Drittplattformen (Opinary GmbH) übermittelt werden. Mehr dazu in unserer Datenschutzerklärung.
Auch im vierten Fall geht es um Ungleichbehandlungen anhand der Hautfarbe: Vergleichende Studien verschiedener Gesichtserkennungssysteme zeigten, dass in den USA gängige kommerzielle AES weibliche und dunkelhäutige Gesichter am häufigsten falsch erkannten. Gründe für verzerrte Resultate seien oft schon "vordigital" angelegt, zeichnen die Autoren nach.
Bewertung begründen
Die Frage, ob eine konkrete Ungleichbehandlung tatsächlich ungerechtfertigt und damit diskriminierend sei, werde innerhalb einer Gesellschaft und der Rechtsprechung sehr kontrovers diskutiert. Dies hänge etwa von den sozialen Rahmenbedingungen des Einsatzes sowie der Umsetzung der Ergebnisse ab. Wenn etwa Personen aufgrund ihrer Adresse keinen Kredit erhielten oder arbeitssuchende Frauen pauschal als Markthindernis gälten, "erscheinen die zugrundeliegenden statistischen Verallgemeinerungen zumindest rechtfertigungsbedürftig und können im Konflikt mit gesellschaftlichen Grundwerten oder Gesetzen stehen", heißt es.
Es existierten bereits technologieneutrale rechtliche Grundlagen gegen Diskriminierungen wie das Allgemeine Gleichbehandlungsgesetz, die Persönlichkeitsrechte im Grundgesetz und die Datenschutz-Grundverordnung (DSGVO). Letztere verbiete gänzlich automatisierte Entscheidungen mit rechtlicher Wirkung über Personen und lege Informationspflichten fest.
Kennzeichnungspflicht
Die Wissenschaftler verweisen auf Vorschläge, um die Diskriminierungsrisiken von AES zu minimieren. Dabei stünden mehr Transparenz und Kontrolle, eine Evaluierung der Technik sowie eine einheitliche Regulierung im Zentrum der Debatte. Eine Kennzeichnungspflicht könnte dazu beitragen, den AES-Einsatz für die Betroffenen deutlich zu machen. Eine "risikoadaptierte Bewertung" wäre imstande, gesellschaftliche Folgewirkungen ex ante abzuschätzen und je nach Kritikalität verschiedene Kontrollmaßnahmen zu etablieren. Denkbar sei auch, einen kollektiven Rechtsschutz über eine Verbandsklage zu gewährleisten.
Im Forschungsprojekt "KI Testing & Auditing" (ExamAI), das die Gesellschaft für Informatik leitet, gehen die Beteiligten bereits einer Reihe der aufgeworfenen Fragen nach. Sie sollen etwa ausloten, wie Verfahren aussehen können, die einen "beherrschbaren, nachvollziehbaren und fairen" KI-Einsatz ermöglichen.
(kbe)
