Biometrische Massenüberwachung: EU-Abgeordnete wollen KI demokratisieren

Inhaltsverzeichnis

Künstliche Intelligenz (KI) muss künftig demokratischen Spielregeln folgen, die Grundrechte der Bürger wahren und dem Allgemeinwohl dienen. Dieses hehre Ziel verfolgen die federführenden Ausschüsse des EU-Parlaments für bürgerliche Freiheiten, Inneres und Justiz sowie für den Binnenmarkt und Verbraucherschutz in ihrer Position zum Entwurf für eine KI-Verordnung, die sie am Donnerstag in einer gemeinsamen Sitzung mit großer Mehrheit von 84 zu 7 Stimmen bei 12 Enthaltungen beschlossen haben. Teil des 144-Seiten langen Kompromisses ist ein weitgehendes Verbot biometrischer Massenüberwachung im öffentlichen Raum, die die Abgeordneten als "inakzeptabel" werten.

Der Einsatz KI-gestützter Techniken wie automatisierter Gesichtserkennung soll demnach auch im Nachgang zur Fahndung nach Tätern nur bei schweren Straftaten mit gerichtlicher Anordnung zulässig sein. Maßnahmen wie die umstrittene nachträgliche biometrische Suche der Hamburger Polizei nach Randalierern beim G20-Gipfel dürften damit zumindest erschwert werden. Eine Echtzeit-Nutzung wird generell untersagt. Ein Bann soll zudem gelten für "das wahllose und ungezielte Sammeln biometrischer Daten aus sozialen Medien oder Überwachungsvideos, um Datenbanken zur Gesichtserkennung zu erstellen oder zu erweitern". Eine solche Praxis, wie sie etwa das US-Unternehmen Clearview AI an den Tag legt, trage zum Gefühl einer Massenüberwachung bei, heißt es zur Begründung.

Weitgehendes Verbot biometrischer Identifizierung

Auch voraussagende Polizeiarbeit ("Predictive Policing") sowie Emotions- und Verhaltenserkennung sollen laut dem Beschluss in Bereichen wie Strafverfolgung, Grenzkontrolle, Arbeit und Bildung verboten werden, Social Scoring komplett. Vorausschauende Algorithmen wollen die Abgeordneten auch in der öffentlichen Verwaltung verbannen. Hintergrund ist der niederländische Kindergeldskandal, bei dem tausende Familien aufgrund eines fehlerhaften IT-Systems fälschlicherweise des Betrugs beschuldigt wurden.

Das vorgesehene weitgehende Verbot biometrischer Identifizierung stieß der konservativen Europäischen Volkspartei (EVP), der CDU und CSU angehören, übel auf. Sie erreichte eine separate Abstimmung über die entsprechenden Klauseln, fand für ihr Nein dazu aber keine Mehrheit.

Besonders strenge Auflagen für generative KI

Neue Dienste wie ChatGPT sollen zwar nicht von vornherein als Hochrisiko-Technologie eingestuft, aber trotzdem besonders streng reguliert werden. Betreiber von KI-Basismodellen, die auf einer umfangreichen Menge nicht-kategorisierter Daten im großen Stil trainiert wurden, auf eine allgemeine Ausgabe ausgelegt sind und an ein breites Spektrum nachgelagerter, unterschiedlicher Aufgaben angepasst werden können, müssen dem Kompromiss nach vorhersehbare Risiken für Gesundheit, Sicherheit, Grundrechte, Umwelt, Demokratie und Rechtsstaatlichkeit unter Einbeziehung unabhängiger Experten prüfen und gegebenenfalls abmildern. Trainingsdaten sind weitgehend offenzulegen, damit Experten etwa die Genauigkeit der Quellen mögliche Verzerrungen und dagegen ergriffene Schritte begutachten können.

Basismodelle sollen auch während ihrer gesamten Laufzeit ein angemessenes Niveau an Leistung, Interpretierbarkeit, Korrigierbarkeit, Sicherheit und IT-Security aufweisen. Fallen sie in die Kategorie der generativen KI, müssten sie weitere Transparenzauflagen erfüllen und angemessene Sicherheitsvorkehrungen gegen die Erzeugung von Inhalten treffen, die gegen EU-Recht verstoßen beziehungsweise Desinformation und "Fake News" verbreiten. Dabei geht es um Systeme wie ChatGPT, DALL-E, Stable Diffusion und Midjourney, die neue Texte, Bilder, Musik oder Videos auf Basis vorhandener, oft urheberrechtlich geschützter Werke generieren. Sie müssten ihre Modelle gegebenenfalls auch bereinigen.

Geldbußen bis zu 10 Millionen Euro oder 2 Prozent des Jahresumsatzes

Hersteller generativer KI-Modelle wie OpenAI wollen die Volksvertreter zudem verpflichten, "eine hinreichend detaillierte Zusammenfassung der Verwendung von urheberrechtlich geschützten Trainingsdaten zu dokumentieren und öffentlich zugänglich zu machen". Sie müssten so etwa anführen, ob wissenschaftliche Aufsätze, Fotos im Web oder Songs spezieller Künstler eingeflossen sind. Urhebern und Verwertern soll diese Offenlegung ermöglichen, Lizenzgebühren, Tantiemen oder Schadenersatz zu verlangen. Ferner müssten Betreiber generativer Basismodelle transparent machen, dass deren Inhalte von KI und nicht von Menschen erstellt wurden. Die Geldbußen für einschlägige Anbieter, die gegen die KI-Vorschriften verstoßen, setzen die Abgeordneten auf bis zu 10 Millionen Euro oder 2 Prozent des Jahresumsatzes fest.

Auch für Hochrisikosysteme sollen schon nach dem ursprünglichen Entwurf der EU-Kommission strikte Auflagen gelten. Dazu gehören etwa Programme zur Auswahl von Bewerbern für Arbeits- und Hochschulplätze, bei kritischen Infrastrukturen etwa im Verkehr mit autonomen Fahrzeugen, Sicherheitskomponenten von Produkten wie die roboterassistierte Chirurgie sowie die Rechtspflege und demokratische Prozesse. Wichtige private und öffentliche Dienstleistungen wie das Scoring zur Bonitätsprüfung durch die Schufa fallen ebenfalls in diese Kategorie.

Energie- und Wasserwirtschaft – KI zur Verwaltung kritischer Infrastrukturen

Nach dem Willen der Parlamentarier soll KI, die zur Verwaltung kritischer Infrastrukturen wie Energienetzen oder Wasserwirtschaftssystemen verwendet wird, ebenfalls bei potenziellen massiven Umweltauswirkungen als hochriskant eingestuft werden. Dies müsse auch für Empfehlungssysteme sozialer Medien gelten. Generell berücksichtigt werden sollen etwa der Schweregrad, die Intensität, die Eintrittswahrscheinlichkeit und die Dauer einer Gefährdung. Eine automatische Klassifizierung anhand einer von der Kommission vorgeschlagenen Liste würde nicht erfolgen.

KI-Entwickler müssen ihre Systeme bei einer solchen Einstufung mit hochwertigen Daten füttern, damit die Ergebnisse nicht diskriminierend sind. Nötig sind angemessene Systeme zum Einschätzen und Mindern von Risiken, deren Konformität die Behörden und ein neuer europäischer KI-Ausschuss bewerten sollen. Eine angemessene menschliche Aufsicht und Kontrolle bei Entwicklung und Anwendung werden genauso vorgeschrieben wie ein hohes Maß an Cybersicherheit, Robustheit und Genauigkeit. Vorab müssen Anbieter eine Folgenabschätzung für die Grundrechte vornehmen. Kleine und mittlere Unternehmen sind davon ausgenommen.

Wird ein Überwachungsalbtraum verhindert?

Die Abgeordneten plädieren auch für die Einrichtung eines KI-Büros – einer EU-Institution zur Hilfe bei der harmonisierten Durchsetzung des Regelwerks und grenzüberschreitenden Untersuchungen. Das Amt soll zu einer größeren, übergreifenden Agentur ausgebaut werden können. Die Volksvertreter wollen kompetenten nationalen Behörden ferner die Option geben, Zugang zu den Trainingsmodellen von KI-Systeme zu verlangen.

Von einem ausgeglichenen Text mit einem klaren Fokus auf die Bürgerrechte sprach Brando Benifei, Berichterstatter für den Innenausschuss. Innovationen würden nicht eingeschränkt. Es sei vor allem wichtig, mit einem ethischen und nachhaltigen Ansatz Vertrauen in KI zu schaffen: "Wir leben in Demokratien, Technologien müssen entsprechend reguliert werden", betonte der Sozialdemokrat. Er weiß, dass die EU-Staaten mehr biometrische Überwachung wollen. Das Parlament werde aber einen Überwachungsalbtraum verhindern und es nicht akzeptieren, blind Grundrechte einzuschränken. Der Italiener hofft auch auf einen "Brüssel-Effekt" wie bei der Datenschutz-Grundverordnung (DSGVO) und eine globale Debatte über die Auswirkungen von KI.

"Wir müssen die zunehmenden Bedenken gegen diese Technologie ernst nehmen", unterstrich auch Dragoş Tudorache, Benifeis Kollege aus dem Binnenmarktausschuss. Der Liberale hob hervor, dass KI-Entwickler und Firmen vor allem Rechtssicherheit bräuchten, um innovativ sein zu können. Vorgesehen seien auch "regulatorische Sandkästen", in denen vor allem Start-ups Verfahren ausprobieren könnten. Nach der Weichenstellung im Ausschuss muss der Kompromiss noch durchs Plenum, damit die Verhandlungen mit dem EU-Ministerrat starten können. Beide Berichterstatter zeigten sich zuversichtlich, dass die Verordnung Ende des Jahres final beschlossen werden könne. Die grüne Ausschussvorsitzende Anna Cavazzini sprach von einer "historischen Abstimmung", für die rund 3000 Änderungsanträge eingereicht worden seien.

(bme)