EU-KI-Regeln: Standards für Gesichtserkennung, Verbot von Social Scoring
Die EU-Kommission schlägt eine abgestufte Regulierung von Künstlicher Intelligenz vor. Systeme zur privaten anlasslosen Massenüberwachung will sie untersagen.
(Bild: Shutterstock/metamorworks)
Verhaltensregeln, Mindeststandards – und als Ultima Ratio Verbote. Mit diesem Dreisatz an Auflagen will die EU-Kommission Künstliche Intelligenz (KI) strenger regulieren und vor allem "Hochrisiko-KI" vertrauenswürdiger machen. Dies ergibt sich aus einem Entwurf für eine Verordnung über ein "europäisches Konzept für Künstliche Intelligenz", der heise online vorliegt. Die Brüsseler Regierungseinrichtung will die Initiative kommenden Mittwoch offiziell auf den Weg bringen.
Erhebliches Potenzial für Manipulationen
Bestimmte durch KI unterstützte Praktiken "haben ein erhebliches Potenzial, natürliche Personen zu manipulieren", stellt die Kommission auf dem 81-seitigen Papier fest. Sie verweist dabei etwa auf "die automatische Anpassung irreführender Benutzeroberflächen", womit Designer und Programmierer "Schwachstellen und besonderen Umstände einer Person" etwa durch Tricks wie "Dark Patterns" ausnutzten. Sei dabei KI im Spiel, sollten solche Anwendungen verboten werden, "wenn sie eine Person dazu veranlassen, sich zu ihrem Nachteil zu verhalten, eine Meinung zu bilden oder eine Entscheidung zu treffen, die sie sonst nicht getroffen hätte".
Auch den Einsatz Künstlicher Intelligenz zum Zwecke der wahl- und anlasslosen Überwachung will die EU-Kommission untersagen. Sie zielt damit ab etwa auf das massenhafte automatisierte Sammeln und die Analyse personenbezogener Daten aus verschiedenen Quellen in digitalen oder physischen Umgebungen.
Durchgängig ist dieser Ansatz aber nicht. So sollen Formen der Massenüberwachung zulässig bleiben, "wenn sie von öffentlichen Behörden oder in deren Auftrag zum Zweck des Schutzes der öffentlichen Sicherheit und vorbehaltlich angemessener Garantien für die Rechte und Freiheiten von Dritten durchgeführt werden". Der Staat soll also prinzipiell weiter im großen Stil auch mithilfe von KI die Bürger durchleuchten dürfen.
Kein Verbot von Social Scoring vorgesehen
Social Scoring sollte nicht zulässig sein, "wenn es nicht für einen bestimmten rechtmäßigen Zweck der Bewertung und Klassifizierung durchgeführt wird, sondern in verallgemeinerter Form", heißt es weiter. Voraussetzung für ein Verbot ist hier, dass das Durchrastern und Bewerten von Personen mit Algorithmen auf deren Verhalten in verschiedenen Kontexten beziehungsweise Persönlichkeitsmerkmalen beruht. Zudem müssten für die Betroffenen Grundrechtseingriffe und Nachteile entstehen, die entweder nicht mit den Kontexten, in denen die Daten ursprünglich erzeugt oder erhoben wurden, in Zusammenhang oder in keinem Verhältnis zur Schwere des Verhaltens stehen.
Zuvor drängte das EU-Parlament auf einen ausdrücklichen Bann "von massenhaftem 'Social Scoring' durch öffentliche Stellen". Die Abgeordneten hegen "schwerwiegende Bedenken" gegenüber Anwendungen, mit denen das soziale Verhalten der Bürger automatisiert bewertet wird, was einem tiefen Eingriff in die Grundrechte gleichkomme.
Mit einem Konzept und regionalen Experimenten für ein Sozialkreditsystem inklusive einer Bürgerbewertung in Form eines "Citizen Score" sorgt vor allem China für Schlagzeilen. Die von der Regierung in Peking schon 2014 umrissene "Schufa auf Anabolika" ist zwar nicht mehr ganz im Zeitplan, soll aber auf Basis eines nationalen Gesetzes weiterverfolgt werden.
Keine "unannehmbaren Gefahren"
Jenseits solcher inakzeptabler Techniken sollen KI-Systeme mit hohem Risiko auf dem EU-Markt gebracht werden können, "sofern sie verbindliche Anforderungen erfüllen". Dadurch will die Kommission sicherstellen, dass davon keine unannehmbaren Gefahren "für den Schutz der Sicherheit, der Grundrechte oder allgemeiner Werte und öffentlicher Interessen" darstellen.
Bei eigenständigen KI-Systeme mit hohem Risiko sollen zwei Kategorien unterschieden werden. Die eine bezieht sich auf die als generell sehr bedenklich eingestufte biometrische Fernidentifizierung von Personen sowie auf Techniken, die sich in erster Linie nachteilig auf die persönliche Sicherheit auswirken und bei Fehlfunktionen auch Leben kosten könnten. Hier soll ein strenges "Konformitätsbewertungsverfahren" greifen.
In die zweite Gattung ordnet die Kommission etwa KI-Systeme ein, mit denen Erst- und Katastrophenhelfer mit unterschiedlichen Prioritäten disponiert und koordiniert werden. Dabei würden "in sehr kritischen Situationen Entscheidungen für das Leben und die Gesundheit von Personen und deren Eigentum" getroffen. In solchen Fällen sei eine Selbstbewertung der Angemessenheit des Nutzens der Technik durch den Anbieter möglich.
Ausschuss für Künstliche Intelligenz geplant
"Der Einsatz von Systemen zur biometrischen Fernidentifizierung in öffentlichen Räumen birgt besondere Herausforderungen für den Schutz der Grundrechte und -freiheiten, einschließlich der Menschenwürde, der Achtung des Privat- und Familienlebens, des Schutzes personenbezogener Daten und der Nichtdiskriminierung", bringen die Autoren ein Beispiel. Es handle sich so um eine Hochrisikotechnik.
Die Verarbeitung biometrischer Daten soll daher in diesen Fällen "grundsätzlich verboten" werden. Zugleich bringt die Kommission aber auch hier wieder diverse Bedingungen ins Spiel, die etwa eine automatisierte Gesichtserkennung erlauben würden. Erforderlich sei dafür etwa eine Datenschutz-Folgenabschätzung. Solche Techniken sollen zudem einem Genehmigungsverfahren unterliegen. Um dieses einheitlich zu gestalten, plant die Regierungsinstitution ein Zusammenspiel zwischen nationalen Kontrollgremien, dem Europäischen Datenschutzausschuss und einem zusätzlich neu geplanten Europäischen Ausschuss für Künstliche Intelligenz.
Empfohlener redaktioneller Inhalt
Mit Ihrer Zustimmmung wird hier eine externe Umfrage (Opinary GmbH) geladen.
Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit können personenbezogene Daten an Drittplattformen (Opinary GmbH) übermittelt werden. Mehr dazu in unserer Datenschutzerklärung.
In einem frühen Entwurf für das EU-Weißbuch für KI, das der Verordnung zugrunde liegt, hatte die für Digitales zuständige Kommissionsvizepräsidentin Margrethe Vestager einen generellen temporären Bann biometrischer Gesichtserkennung im öffentlichen Raum ins Spiel gebracht, Später erachtete sie einen solchen Schritt aber nicht mehr für nötig. Eine Mehrheit der Teilnehmer an einer Konsultation zu den geplanten KI-Regeln drängte aber auf ein solches Verbot. Zudem sprechen sich tausende Unterzeichner der Petition "Reclaim Your Face" dafür aus.
Hochrisiko-KI braucht Gebrauchsanweisung
Als hochriskant eingestuft und mit mehr Auflagen verknüpft sehen will die Kommission zudem etwa KI-Systeme zur Bewertung von Arbeitnehmern und Auszubildenden oder zum gängigen Scoring der Kreditwürdigkeit von Kunden. Einbezogen werden sollen zudem Verfahren im Bereich der Strafverfolgung, von Grenzkontrollen, der Justiz und Behörden, die Asyl- oder Visumsanträge bearbeiten. Als risikoreich fasst sie ferner KI-Systeme, die ein Sicherheitsbauteil von Maschinen, Funkanlagen und Spielzeugen darstellen.
Nutzer sollen in die Lage versetzt werden, entsprechende Techniken "zu verstehen und zu kontrollieren". KI-Systeme mit hohem Risiko müssten daher etwa mit einer entsprechenden Dokumentation ihrer "allgemeinen Logik" und einer Gebrauchsanweisung versehen sein. Zudem sei sicherzustellen, dass natürliche Personen ihren Betrieb beaufsichtigen und letztlich entscheiden können. Anbieter sollen verpflichtet werden, ihre KI-Hochrisikotechnik in einer EU-Datenbank zu registrieren, die von der Kommission eingerichtet und verwaltet werde. Vorgesehen sind auch Anforderungen an qualitativ hochwertige Datensätze fürs Trainieren von Algorithmen.
Maschinen müssen sich zu erkennen geben
Bei Anwendungen von KI mit weniger Schadenspotenzial wie Social Bots oder Telefon-Hotlines sollen Nutzer zumindest erkennen können, wenn sie es mit einer Maschine zu tun haben. Anbieter in diesem Bereich will die Kommission ermutigen, Verhaltenskodizes zu erstellen. "Killer-Roboter" und andere militärische KI-Applikationen sieht die Kommission außerhalb des Bereichs der Verordnung, die sich auf den Binnenmarkt beschränken soll. Eine hochrangige Expertengruppe auf EU-Ebene hatte auch hier Schranken verlangt.
"Der Gesetzentwurf der Kommission ist mutig, aber an entscheidenden Stellen nicht scharf genug", schätzt Alexandra Geese, Koordinatorin der Grünen-Fraktion im KI-Sonderausschuss des EU-Parlaments, das Vorhaben ein. Es sei "ein Schlag ins Gesicht der Zivilgesellschaft, dass automatische Gesichtserkennungssysteme im öffentlichen Raum nicht abgeschafft werden". Als positiv bewertet es die Abgeordnete, dass auch Risiken für die Gesellschaft als Ganzes – insbesondere die demokratischen Prozesse und die Umwelt – als Schaden eingestuft werden könnten.
(mho)
