Wirtschaft und Wissenschaft streiten über die Regulierung von Algorithmen

Es gehört zu den einstudierten Ritualen des Politikbetriebs, dass Wirtschaftsvertreter sich zu angedachten Gesetzen kritisch äußern. Ende Oktober ertönten allerdings besonders laute Proteste: Deutschland dürfe nicht durch Regulierungswut zu einem „analogen Inselstaat zurückgebaut“ werden, warnte der IT-Verband Bitkom in einer Pressemitteilung. „Regulierungsphantasien werden zur Digitalisierungs-Bremse“, sekundierte der Online-Verband eco.

Stein des Anstoßes war der kurz zuvor vorgestellte Abschlussbericht der Datenethikkommission der Bundesregierung. Die 16 Autoren – überwiegend Wissenschaftler – formulieren darin überraschend konkrete Handlungsempfehlungen für eine umfassende Regulierung von Daten und Algorithmen.

Aufgelistet werden nicht nur zahlreiche Vorschläge zur Verbesserung der Datenschutzgrundverordnung (DSGVO). Die Autoren fordern auch eine komplett neue „Europäische Verordnung für Algorithmische Systeme“, kurz EUVAS.

Diese Verordnung soll Algorithmen je nach „Schädigungspotenzial“ in fünf Stufen einteilen. Auf der ersten Stufe sollen Anwendungen stehen, für die keine besondere Regulierung nötig ist, weil sie wenig Schaden anrichten können – zum Beispiel die Software eines Getränkeautomaten.

Seitenhieb auf die Schufa

Für die Stufen zwei bis vier sieht die Kommission eine abgestufte Regulierung vor: Auf Stufe zwei sind etwa Transparenzpflichten und Risikofolgenabschätzungen vorgesehen, auf Stufe drei zusätzlich Zulassungsverfahren, auf Stufe vier auch „Live-Schnittstellen zur kontinuierlichen Kontrolle durch Aufsichtsinstitutionen“.

Als Beispiel für die vierte Stufe nennt die Kommission unter anderem Systeme von Akteuren mit massiver Marktmacht, die „der Ermittlung der Kreditwürdigkeit eines individuellen Verbrauchers oder Unternehmers dienen“, womit Anbieter wie die Schufa gemeint sein dürften.

Auf der dritten Stufe könnten etwa dynamische, personalisierte Preisfindungssysteme von Onlinehändlern landen, die die Zahlungsbereitschaft einzelner Nutzer ausreizen.

Anwendungen mit „unvertretbarem Schädigungspotenzial“ auf Stufe 5 sollen komplett oder teilweise verboten werden. Als Beispiele nennen die Autoren unter anderem Totalüberwachung und „dem Demokratieprinzip zuwiderlaufende“ Versuche, politische Wahlen zu beeinflussen.

Facebook-Verbot?

Für die Medizinethikerin Christiane Woopen fällt auch die Nutzeranalyse von Facebook in diesen verbotswürdigen Sektor. Der Nutzer gebe Informationen über sich preis, indem er etwa ein Bild schön finde, erläuterte die Co-Sprecherin der Kommission. Facebook errechne aus solchen Daten, welche Persönlichkeitsmerkmale und Neigungen ein Nutzer habe. Daran richte der Konzern aus, welche News oder Werbung ein Mitglied bevorzugt erhalten sollte, um möglichst viel zu kaufen. Dies greife in den Kern der intimen Lebensgestaltung ein.

Beim Thema Datenschutz fordert die Kommission eine bessere Abstimmung zwischen den 16 deutschen Landesdatenschutzbehörden, die aktuell für die Überwachung des Marktes zuständig sind. Sollte das nicht gelingen, sei zu erwägen, die Marktaufsicht auf die Bundesebene zu verlagern.

Hinzu kommen zahlreiche Vorschläge zur Erweiterung der DSGVO, etwa die Entwicklung von Standards für die Anonymisierung und Pseudonymisierung von Daten, Regeln für den postmortalen Datenschutz und eine Pflicht zur Interoperabilität für Messenger-Dienste und soziale Netzwerke.

Die Kommission fordert aber nicht nur strengere Regeln und eine schlagkräftigere Aufsicht, sie will auch „Potenziale der Datenwirtschaft heben“, wie die zweite Co-Sprecherin Christiane Wendehorst betont. So empfiehlt der Bericht unter anderem „einen raschen Ausbau digitaler Infrastrukturen innerhalb des Gesundheitssektors“ und neue Möglichkeiten für Unternehmen, bei der Datennutzung zu kooperieren.

Anders als die IT-Verbände Bitkom und eco lobten zahlreiche Experten den Bericht. Dieser sei „sehr gelungen“ und decke „das Spektrum nötiger regulatorischer Maßnahmen ab, um das Recht technologiesensibel weiterzuentwickeln“, konstatierte etwa Matthias Kettemann vom Leibniz-Institut für Medienforschung Hamburg. Lorenz Matzat von der Organisation AlgorithmWatch bezeichnete das Gutachten als „überfällige und substanzielle Diskussionsgrundlage“.

Grüne und linke Bundestagsabgeordnete forderten die Bundesregierung umgehend auf, Vorschläge der Kommission umzusetzen. Diese dürften keinesfalls in der Schublade verschwinden, „wie wir es schon viel zu oft erlebt haben“, mahnten die Grünen Konstantin von Notz und Tabea Rößner.

Mehr Infos

USA: Krankenkassen-Algorithmus benachteiligt Afroamerikaner

Nur zwei Tage nach Vorstellung des Berichts der Datenethik-Kommission lieferten Forscher aus Kalifornien und Massachusetts ein Beispiel für Risiken von Algorithmen: In einer in der Zeitschrift Science publizierten Studie zeigen sie, wie eine von Krankenkassen eingesetzte Anwendung afroamerikanische US-Bürger diskriminiert.

Die Software soll Patienten identifizieren, die aufgrund ihrer komplexen gesundheitlichen Probleme besonders stark von teuren Behandlungsprogrammen mit spezialisierten Pflegekräften und zusätzlichen Terminen profitieren würden. Berücksichtigt werden dabei in erster Linie die bisher angefallenen Behandlungskosten.

Diese Kosten sind allerdings kein zuverlässiger Indikator dafür, wie krank jemand ist. Bei identischem Gesundheitszustand verursachen schwarze Patienten nämlich geringere Kosten als weiße, schreiben die Forscher. Der Unterschied liege je nach Kriterien bei 1150 oder 1800 US-Dollar pro Jahr. Dafür gebe es viele Gründe, etwa die Entfernung zu Ärzten, Transport- und Zeitprobleme und geringeres Vertrauen in das Gesundheitssystem.

Die Folge: Schwarze Patienten haben eine geringere Chance, von den speziellen Behandlungsprogrammen zu profitieren, als ähnlich kranke weiße Patienten. Sie werden also systematisch benachteiligt. Der Effekt ist laut der Studie dramatisch: Beseitige man die Verzerrung, steige der Anteil schwarzer Patienten, die zusätzliche Hilfe erhalten, von 17,7 Prozent auf 46,5 Prozent.

Auch die Datenethikkommission geht auf die Gefahr „diskriminierender und ungerechter Entscheidungen“ von Algorithmen ein. Diese könnten eine Breitenwirkung entfalten, die einzelne menschliche Entscheider nie erreichen könnten. Die Kommission verlangt deshalb Gegenmaßnahmen wie Risikoabschätzungen.

Dieser Artikel stammt aus c't 24/2019. (cwo)