32C3: Wenn Algorithmen entscheiden und töten
Der maschinenlesbare Bürger ist im Zeitalter von Big Data der Normalfall. Kernfrage vieler Vorträge auf dem CCC-Kongress war: Wie verändern die Algorithmen die Gesellschaft?
![Der Denker, Rodin](https://heise.cloudimg.io/width/610/q85.png-lossy-85.webp-lossy-85.foil1/_www-heise-de_/imgs/18/1/7/2/0/1/6/1/DerDenker_Rodin-1b67930bd9debb76.jpeg)
"Wie wir alle wissen, werden durch die rapide sinkenden Preise bei Datenspeicherung und -verarbeitung und neue Sensortechnologien, nun fast alle Aspekte unseres Leben digital erfasst", erklärte Jennifer Helsby von der Universität Chicago auf dem 32. Chaos Communication Congress (32C3) in Hamburg. Viele der Daten werden in staatlichen oder privaten Datencentern aufbewahrt und mit Algorithmen ausgewertet – von Netflix-Empfehlungen bis hin zum "predictive policing", mit dem künftige Straftaten vorhergesagt und somit verhindert werden sollen.
Während dieser Ansatz nicht nur sehr preisgünstig, sondern in vielen Fällen auch effektiv ist, um bessere Entscheidungen zu treffen oder Menschen zu beeinflussen, sieht Helsby die Ausweitung der Methode in immer neue Bereiche kritisch. "Die Werte, die für uns wichtig sind, werden nicht automatisch in diese Systeme integriert." So verweist sie auf das Social Credit System hin, das die chinesische Regierung derzeit für ihre Bürger einrichtet. Hierbei werden aus Daten wie Einkäufen, Zahlungsmoral und dem Verhalten in sozialen Netzwerken einen Scoring-Wert für jeden Bürger errechnet. Viele Teilnehmer sähen das System bisher positiv, erklärte Helsby – so bekämen Menschen mit guten Score-Werten zum Beispiel besseren Service in Hotels geboten.
Kehrseite: Menschen mit niedrigen Werten auf der Staatsbürger-Skala haben Schwierigkeiten eine Arbeit oder eine Wohnung zu finden, Reisevisa können beschränkt werden. Helsby sieht in dem System ein "subtiles und hinterhältiges Mittel der sozialen Kontrolle". Sie sieht die Gefahr, dass die Menschen ihre politische Teilhabe gegen das Äquivalent eines Uber-Gutscheins eintauschen.
Von Netflix zum Regierungshandeln
Doch auch westliche Regierungen experimentieren bereits mit ähnlichen Systemen. So hat die britische Regierung das Behavioural Insights Team eingerichtet, die US-Regierung das Social and Behavioral Sciences Team, das Erkenntnisse aus Big-Data-Auswertungen ins Regierungshandeln bringen soll. Auf lokaler Ebene werden teilweise bereits seit Jahren ähnliche Datenauswertungen vorgenommen.
So unterhält die Polizeibehörde von Chicago eine "Heat list", in der festgehalten wird, welche Personen wahrscheinlich wieder in Verbrechen verwickelt werden. Die Polizei beschränkt sich aber nicht nur auf die eigenen Ermittlungsakten, sondern fügt der Datenbank auch eine Auswertung der sozialen Netzwerke der Personen zu. Mittlerweile existiert auch eine Zulieferindustrie, die zahlreiche US-Städte die Einrichtung solcher Systeme unterstützt – ein unabhängiger Nachweis, ob die Systeme zu weniger Kriminalität oder effektiverer Verfolgung führen, steht allerdings noch aus.
Für solche Systeme fordert Helsby Mindeststandards: So soll sichergestellt werden, dass die Entscheidungswege transparent und die Ergebnisse fair sind. Gerade im letzten Punkt hapert es oft, da die Betreiber oftmals nicht einmal in Betracht zögen, dass ihre Programme Fehler produzieren. So verwies Helsby auf den Fall von Zwillingsschwestern in Georgia, denen die Ausstellung eines Führerscheins verweigert wurde, da das Bilderkennungssystem der Behörde die Schwestern nur als eine Person registrieren wollte. Eine Möglichkeit diesen offensichtlichen Fehler zu korrigieren, war erst gar nicht vorgesehen.
Wenn Algorithmen töten
In anderen Ländern können diese Systeme heute schon tödliche Auswirkungen haben. So verwies der Medienwissenschaftler Christoph Engemann in Hamburg auf die militärische Anwendung der Graphentheorie, mit der auch soziale Netzwerke analysiert werden und die große Auswirkungen auf den "War on Terror" der USA habe. Gerade in Afghanistan und im Irak habe die US-Armee diese Analysemethoden genutzt, um Ziele zu identifizieren. Die notwendigen Daten hätten zum einen Drohnen geliefert, die Mobilfunkgespräche am Boden auffingen – zum anderen habe die USA auch Teams von Anthropologen losgeschickt, um wichtige Entscheidungsträger zu identifizieren. Auch die Strukturen der Lebensmittelverteilung flossen in die Modelle ein.
Besonders kritisch sieht Bengemann das "Shaping" – wenn die Modelle kein klares Bild ergaben, griffen die Militärs ein, indem sie beispielsweise einen Entscheidungsträger verhaften ließen – um dann zu analysieren, wie sich die Kommunikations- und Entscheidungsstrukturen neu formieren. Wer schließlich in den Modellen als zentraler Knoten identifiziert wurde, konnte auf einer Todesliste oder in Guantanamo landen. Engemann spricht hier von einem "akademisch-militärischen Komplex".
Sind Algorithmen unvoreingenommen?
Eine Hoffnung für maschinell gestützte Entscheidungsstrukturen ist die vermeintliche Vorurteilsfreiheit von Computern. So verwies der Physiker und Datenwissenschaftler Andreas Dewes in Hamburg darauf, dass die Big-Data-Analyse viel Potenzial für bessere Datenauswertungen und damit auch bessere Entscheidungen bieten. Gerade in der Wirtschaft werde das maschinelle Lernen schon breit eingesetzt, um beispielsweis geeignete Mitarbeiter zu finden. Dabei werden die Angaben aus der Bewerbung mit externen Daten verknüpft. "Wer sich in letzter Zeit irgendwo beworben hat, dessen Bewerbung ist wahrscheinlich durch einen solchen Prozess gegangen", sagt Dewes.
Das Problem dabei: Der Algorithmus muss von Menschen angelernt werden. Wurden bisher Bewerbungen bestimmter Gruppen ignoriert, wird auch der Computer diese Tendenz übernehmen – selbst wenn dem Algorithmus die entsprechende Information vorenthalten wird. So lassen sich Gruppenzugehörigkeiten auch aus anderen Faktoren ersehen. So gelang es Dewes aus den öffentlichen Github-Daten mit einer Wahrscheinlichkeit von 65 Prozent auf das Geschlecht der Entwickler schließen – insbesondere die Analyse der Upload-Zeiten verbesserte die Erkennungsrate enorm. Folge: Selbst wenn ein Merkmal wie Geschlechtszugehörigkeit oder Ethnie explizit aus dem Entscheidungs- Algorithmus ausgeschlossen wird, kann es durch die Hintertür doch wieder zum wichtigen Auswahlkriterium werden. Dewes rät daher zur Vorsicht, welche Daten man für bestimmte Entscheidungen heranzieht und rät zur Gegenkontrolle.
Pure Datensparsamkeit kann Diskriminierung aber auch fördern, wie der Politik- und Sozialwissenschaftler Jeff Deutch erläuterte. Als der Politik- und Sozialwissenschaftler das "racial profiling" – also das überbordende Kontrolle bestimmter Bevölkerungsgruppen durch die Polizei – untersuchen wollte, musste er feststellen, dass die deutschen Statistiken solche Auswertungen nicht zuließen, da dort Eigenschaften wie Ethnien erst gar nicht erfasst werden. "Solche Daten nicht zu erfassen bedeutet nicht, dass wir hier kein Problem haben", sagte Deutch. So habe die britische Polizei erst nach heftigen Protesten begonnen, solche Daten zu erheben – um dann festzustellen, dass bestimmte Menschen mit schwarzer Hautfarbe 26 Mal häufiger anlasslos kontrolliert wurden als Weiße. (jk)