Experte warnt: Instagram könnte als Risiko-Anwendung eingestuft werden

Die vorgeschlagene KI-Regulierung der EU könnte weitreichende juristische Folgen haben.

In Pocket speichern vorlesen Druckansicht 23 Kommentare lesen

(Bild: Prateek Katyal / Unsplash)

Lesezeit: 8 Min.

Die EU Kommission hat Ende April einen weitreichenden, viel diskutierten Verordnungsentwurf zur Regulierung künstlicher Intelligenz veröffentlicht, mit dem Ziel, den EU-Binnenmarkt als Vorreiter für die Entwicklung sicherer, vertrauenswürdiger und innovativer KI zu positionieren. Aber wie soll das konkret funktionieren? Was ist eine KI im Sinne des Gesetzes? Und wie werden die Regulierungen durchgesetzt? Diese und weitere Fragen beantwortet der Rechtsanwalt Stephan Manuel Nagel im TR-Interview.

TR: Die EU will in bestimmten Bereichen den Einsatz von KI komplett verbieten. In anderen, so genannten Hoch-Risiko-Bereichen wird die Anwendung streng reguliert. Das sieht auf den ersten Blick zwar alles sehr plausibel aus. Ich kann mir aber vorstellen, dass es jede Menge juristische Feinheiten gibt, die in der Praxis zu beachten sind. Was, um mal mit den Grundlagen zu beginnen, ist denn eigentlich eine KI im Sinne dieser EU-Verordnung?

Stephan Manuel Nagel: Das ist natürlich noch kein geltendes Recht sondern juristisches Neuland. Aber die Kommission hat sich natürlich bemüht, eine Definition abzugeben.

KI ist demnach definiert, als eine Software, die auf Grundlage bestimmter Techniken entwickelt wurde, um - und hier wird es interessant - für bestimmte von Menschen definierte Zwecke bestimmte Outputs zu generieren, welche wiederum das Umfeld, mit dem die KI interagiert, beeinflussen. Das heißt, die KI macht etwas Vorhersagen, gibt Empfehlungen oder trifft Entscheidungen.

Das ist eine typisch juristische, schwierige Definition. Aber ich denke, wir können hier ein paar grundsätzliche Dinge sagen: Die Techniken, mit denen KI im Sinne dieses Gesetzes arbeitet, sind in einem Anhang definiert. Damit wollte die Kommission flexibel bleiben, und behält sich vor, je nach technischer Entwicklung diesen Anhang anzupassen.

Da steht nicht nur das drin, was wir uns normalerweise unter Künstlicher Intelligenz vorstellen, also Techniken des Machine Learning zum Beispiel, sondern es sind auch Technologien aufgeführt, die wir eher als Low Tech bezeichnen würden. Zum Beispiel Know-How-Datenbanken und generell wissensbasierte Systeme. Die Kommission hat hier also eine sehr breite Definition von KI angesetzt. Da fällt auch ein Spamfilter drunter, ein intelligenter Herzschrittmachen, Elektronik für Fluglotsen, soziale Netze, selbst Datenbanken.

Im Gespräch

Stephan Manuel Nagel ist Partner der Wirtschaftskanzlei Taylor Wessing, die sich nach eigenen Angaben besonders in Bereichen engagiert, "in denen die Meilensteine der Digitalisierung gesetzt werden: Technology, Life Sciences & Healthcare, Energy & Infrastructure und Private Wealth".

Die Einschränkung kommt meines Erachtens in der Einstufung der verschiedenen Risiko-Gruppen. Es gibt Anwendungen, mit denen nur ein minimales Risiko verbunden ist. Die werden überhaupt nicht reguliert. Darunter fallen zum Beispiel auch Spamfilter. Dann gibt es Anwendungen, die Transparenzanforderungen unterliegen, Hoch-Risiko-Anwendungen, die stark reguliert werden, bis hin zu Anwendungen, bei denen der Einsatz von KI völlig verboten ist.

TR: Das heißt, die Stärke der Regulierung macht sich nicht an der Technologie sondern nur an der Anwendung fest?

Stephan Manuel Nagel: Ein maßgeblicher Punkt ist, wozu die jeweilige Technologie verwendet werden soll. Der Anwendungszweck und die Eigenschaften einer KI, die fallen dann unter die jeweiligen Kategorien.

TR: Nun sind typische KI-Technologien in der Regel ja sehr generisch und lassen sich auf die eine oder andere Art verwenden. Ist also Gesichtserkennung nicht mehr problematisch, wenn sie in unkritischen Anwendungen eingesetzt wird? Umgekehrt: Sind die verbotenen Anwendungen hinreichend trennscharf definiert?

Stephan Manuel Nagel: Im Grunde genommen haben wir zwei Verbote für die Anwendung von KI, die sich primär an Staat und öffentliche Stellen richten: Da ist einmal das Social Scoring - das kennen wir aus China. Und dann geht es um die Echtzeit-Überwachung öffentlicher Plätze durch staatliche Stellen mit Hilfe biometrischer Identifikation. Das wesentliche ist der Echtzeit-Aspekt - dass also die KI Personen ohne zeitliche Verzögerung in öffentlichen Räumen jederzeit identifizieren kann. Da sieht die Kommission meines Erachtens zu Recht ein großes Risiko - lässt aber enge Spielräume für die Verfolgung bestimmter Straftaten oder zum Beispiel die Aufklärung von Kindesentführung zu.

Wo es schwieriger wird sind die Fallvarianten, die sich primär an private Anwender richten. Da geht es nämlich um Künstliche Intelligenz, die subtil - ohne dass es dem Menschen bewusst wird - sein Verhalten wesentlich beeinflusst und dadurch (wahrscheinlich) physische oder psychologische Schäden herbeiführt. Ebenfalls verboten ist, eine KI anzuwenden, die Schwächen von Menschen ausnutzt - auch wenn das den Betroffenen bewusst ist – um ihr Verhalten wesentlich zu beeinflussen und dadurch (wahrscheinlich) physische oder psychologische Schäden herbeiführt. Es handelt sich um Schwächen auf Grund des Alters, oder physischer oder geistiger Einschränkungen.

TR: Warum ist das problematisch?

Stephan Manuel Nagel: Hier stellt sich mir die Frage, inwieweit das nicht auch zu einer Form von staatlichem Paternalismus führt. Zum Beispiel könnte man theoretisch argumentieren, dass Instagram darunter fällt. Es kann Schwächen junger Menschen ausnutzen, dadurch ihr Verhalten wesentlich beeinflussen und kann durchaus psychische Schäden auslösen - bis hin zu Depressionen. Die EU Kommission will sicher nicht Instagram verbieten - aber die Regelung könnte gegebenenfalls so interpretiert werden.

TR: Muss ein Unternehmen, das eine KI-Anwendung nutzen will. dann künftig beweisen, dass ein Missbrauch der Technologie nicht möglich ist? Oder wo liegt die Beweislast?

Stephan Manuel Nagel: Grundsätzlich liegt die Beweislast beim Staat - bei Ordnungswidrigkeiten muss der Staat nachweisen, dass Sie gegen Gesetze verstoßen haben. Aber natürlich muss ein Unternehmen auf der anderen Seite vorher prüfen, ob alles in Ordnung ist. Denn falls sich herausstellt, dass dem Unternehmen bewusst war, dass bestimmte Tatbestände erfüllt waren, handelt es vorsätzlich und setzt sich dem Risiko eines Bußgeldes aus. Beispielsweise beim Gebrauch von verbotenen Technologien sind besonders hohe Bußgelder fällig - bis zu sechs Prozent des Jahres-Umsatzes.

Auch bei Verstößen gegen die Regelungen für Hochrisiko-Technologien können Bußgelder drohen. Hier muss das Unternehmen zudem eine Konformitätsprüfung durchführen beziehungsweise durchführen lassen. Bei biometrischen Hochrisiko-Technologien kann hierbei eine Zertifizierungs-Stelle ins Spiel kommen. So eine Art TÜV, der ein Zertifikat ausstellen muss. KI in Produkten, die bereits einer Genehmigungspflicht aus Produktsicherheitsaspekten unterliegen, wird von den bereits bestehenden Stellen mitgeprüft.

Alle übrigen Hochrisiko-Technologien unterliegen einer Selbstverpflichtung des Unternehmens. Da kommt ein erheblicher Verwaltungsaufwand auf die Unternehmen zu: Sie müssen zum Beispiel ein Risikomangement-System einführen, Risiken identifizieren und minimieren. Sie unterliegen bestimmten Anforderungen was das Trainieren von KI angeht- sowohl was die Qualität der Trainingsdaten angeht als auch die Validierung der Ergebnisse. Zudem gibt es Dokumentationspflichten. Außerdem muss man Aufnahmemechanismen während des Betriebs der KI laufen lassen. Und man muss gegenüber dem User unter anderem auf mögliche Risiken hinweisen. Man muss Marktüberwachung betreiben und Fehler und Probleme den Behörden melden. Hoch-Risiko-KI muss zudem akkurat, robust und sicher arbeiten. Und es bedarf ausreichender Überwachung diese Systeme durch Menschen. Die Systeme dürfen sich nicht selbst überlassen werden.

TR: Es gibt Stimmen, die betonen, eine zu enge Regulierung könne die Innovation in Sachen KI abwürgen. Was halten Sie davon?

Stephan Manuel Nagel: Ich bin der Auffassung, dass Regulierung erforderlich ist, um einen sicheren Rechtsrahmen zu setzen. Gleichzeitig muss man aufpassen, dass man die Unternehmen nicht überfordert. Ob das der Kommission gelungen ist, muss man sehen.

Vom Grundprinzip her ist der Entwurf aber gut. Wir sind in einer Situation in der einzelne wirtschaftliche Akteure über eine Macht verfügen, die der Macht von Staaten vergleichbar ist. Das bedeutet, es muss eine Grundrechtsbindung solcher mächtiger Unternehmen geben. Um kleine Startups nicht abzuwürgen, gibt es ja die Möglichkeit, so genannte regulatorische Sandkästen, eine Art Safe Space einzuführen, in denen Startups unter staatlicher Aufsicht neue technische Möglichkeiten erkunden.

Es ist ganz wichtig, dass wir als Europäer hier unsere Standards setzen, und der digitalen Welt einen Ordnungsrahmen geben. Die DSGVO ist ja bereits ein internationaler Exportschlager. Vielleicht wird das auch für eine Regulierung von KI gelten.

TR: Wann ist denn frühestens damit zu rechne, dass aus dem Entwurf ein Gesetz wird?

Stephan Manuel Nagel: Das kann dauern. Wir sind ja noch ganz am Anfang. Das ist der erste konkrete Entwurf. Es steht zu vermuten, dass es darüber viele Diskussionen geben wird. Nach allgemeinem Konsens von Experten ist es jedoch realistisch, dass wir bis 2024 ein Gesetz dazu haben könnten

(wst)