Seite 2: Nachträgliche Erkennung bleibt erlaubt

Inhaltsverzeichnis

Das Verbot soll nicht greifen bei nachträglicher Fahndung mit Systemen zur Gesichts- oder Gangerkennung, wie sie die Hamburger Polizei etwa auf der Suche nach Randalierern nach dem G20-Gipfel in der Hansestadt durchgeführt hat. An alle Systeme zur Erkennung von Emotionen und zur biometrischen Kategorisierung werden mit dem Entwurf aber besondere Transparenzanforderungen gestellt. Sie werden als Anwendungen mit hohem Risiko eingestuft, wenn sie in Bereichen wie Beschäftigung, Bildung und Erziehung, Strafverfolgung, Migration sowie Grenzkontrolle verwendet werden.

Als Hochrisiko-Systeme schätzt die Kommission generell KI-Anwendungen in den genannten Sektoren ein, also etwa Programme zur Auswahl von Bewerbern für Arbeits- und Hochschulplätze. Dazu kommen Einsätze bei kritischen Infrastrukturen etwa im Verkehr mit autonomen Fahrzeugen, bei denen das Leben und die Gesundheit der Bürger gefährdet werden könnten, Sicherheitskomponenten von Produkten wie die roboterassistierte Chirurgie sowie die Rechtspflege und demokratische Prozesse. Auch wichtige private und öffentliche Dienstleistungen wie das Scoring zur Bonitätsprüfung durch die Schufa fallen in diese Kategorie.

Auflagen für Hochrisiko-Systeme

Für Anwendungen in dieser Stufe sollen strenge Auflagen kommen: KI-Entwickler müssen dem Vorhaben nach ihre Systeme mit hochwertigen Daten füttern, damit die Ergebnisse nicht diskriminierend sind. Nötig sind angemessene Systeme zur Einschätzung und Minderung von Risiken, deren Konformität die Behörden und ein neuer europäischer KI-Ausschuss bewerten sollen. Angemessene menschliche Aufsicht und Kontrolle bei Entwicklung und Anwendung werden genauso vorgeschrieben wie ein hohes Maß an IT-Sicherheit, Robustheit und Genauigkeit. Vorgänge müssten protokolliert werden, um Ergebnisse nachvollziehbar zu machen. Ausführliche Dokumentationen und klare Informationen für die Nutzer sollen KI transparent machen.

In die höchste Kategorie, die ein unannehmbares Risiko darstellt und wo Anwendungen untersagt werden, fallen neben Systemen zur Echtzeit-Fernidentifikation auch solche, "die menschliches Verhalten manipulieren, um den freien Willen der Nutzer zu umgehen". Umfasst sein soll etwa Spielzeug mit Sprachassistenten, das Minderjährige zu gefährlichem Verhalten ermuntert. Ein Verbot sieht die Kommission ferner vor für Social Scoring. Mit einem Konzept und regionalen Experimenten für ein Sozialkreditsystem inklusive einer Bürgerbewertung in Form eines "Citizen Score" sorgt vor allem China für meist negative Schlagzeilen, die sich Europa ersparen will.

Bots und Roboter

Für Systeme mit geringem Risiko wie Chatbots, die Kaufempfehlungen abgegeben, sollen Transparenzvorgaben gelten: Dem Nutzer muss klar sein, dass er mit einer Maschine kommuniziert. Die breite Masse von KI-Anwendungen wie KI-gestützte Videospiele oder Spamfilter stuft die Kommission in die Kategorie mit minimalem Risiko ein. Sie sollen frei und uneingeschränkt anwendbar sein. Die Exekutivinstanz empfiehlt hier aber freiwillige Verhaltenskodizes. Sie bringt zudem "regulatorische Sandkästen" ins Spiel, um "verantwortungsvolle Innovationen zu erleichtern".

Dazu kommt ein überarbeiteter Rahmenplan, der die Finanzierung von KI-Systemen in Europa etwa mit Fördermitteln für öffentlich-privaten Partnerschaften und Forschungs- und Innovationsnetzen voranbringen soll. Mit dem Programm Digitales Europa steht eine Milliarde Euro bereit, auch die Forschungsrahmenagenda Horizont Europa soll angezapft werden, erläuterte Binnenmarktkommissar Thierry Breton. Es sei wichtig, souveräne Infrastrukturen zur Verfügung zu stellen, "die von uns Europäern gemeistert werden". Nur so könnten Abhängigkeiten von einzelnen Anbietern oder Ländern vermieden werden.

Weitere Komponente des Pakets ist ein Entwurf für eine Maschinenverordnung, die die bestehende Richtlinie zur Produktsicherheit etwa von Robotern, Rasenmähern, 3D-Druckern, Baumaschinen und industriellen Produktionslinien erhöhen soll. Dabei geht es um die sichere Integration von KI-Systemen in den gesamten Maschinenpark. Insgesamt wolle die Kommission Europa "zur Weltklasse machen" im Bereich der Entwicklung vertrauenswürdiger Künstlicher Intelligenz. Die Technik müsse als "Triebkraft für den Fortschritt" dienen, da sie große Vorteile für die Gesellschaft entfalten könne.

(ds)