Interview zum AI Act: "Regulieren wir uns in der EU gerade tot?"

Die Debatte um den europäischen AI Act (AIA) ist emotional aufgeladen: Die für 2023 geplante Regulierung soll den Einsatz Künstlicher Intelligenz in Europa ordnen und für Sicherheit sorgen. Lag der Schwerpunkt zunächst auf Datenschutz und dem Schutz der Privatsphäre, so soll die Verordnung nun auch generative Künstliche Intelligenz (KI) umfassen – also Systeme wie ChatGPT oder DALL·E, die maschinelles Lernen nutzen und zu Vorgaben in natürlicher Sprache Text, Code, Bildwerke oder Audio rasch und massenhaft produzieren können. Im Entwurf ist diese moderne KI als Hochsicherheitsrisiko klassifiziert – insbesondere dann, wenn sie von menschlichen Äußerungen kaum unterscheidbaren Output herstellt und keine Aufsicht darüber besteht.

Im Interview: Christian Schwerdt

Christian Schwerdt ist als Senior Manager bei Protiviti Deutschland tätig. Dort ist er ein Experte für die Bereiche Data Science und IT-Security, Business Development sowie KI-Beratung.​ Vor seiner Zeit bei Protiviti Deutschland arbeitete Christian Schwerdt bei der BWI, dem IT-Dienstleistungszentrum Berlin und der Bundeswehr im Bereich Betriebszentrum IT-Systeme.​

• Protiviti Germany – Global Business Consulting

Seit April 2021 ist die KI-Verordnung in Vorbereitung und erreicht mittlerweile Dimensionen, die die Forschung blockieren und Fortschritt verhindern könnten. In Kommentaren ist die Rede von einem "aufgeblähten AI Act" und dem drohenden Aus für GPT sowie ähnliche Technologien in der EU. Für heise Developer hat Silke Hahn bei dem Wirtschaftsinformatiker und Senior Manager Christian Schwerdt nachgefragt, wie rechtskundige IT-Berater die bevorstehende Regulierung einordnen und was die Verordnung in der Praxis bedeutet.

Silke Hahn: Moderne KI ruft Ängste und Begeisterung hervor, und bei neuer Technik ist der Grat zwischen Regulierung und Überregulierung schmal. Wie steht ihr IT-Rechtsberater zum kommenden AI Act?

Christian Schwerdt: Wir sollten ein Gleichgewicht zwischen Regulierung und Innovationsfähigkeit anstreben. Innovationen erzeugen Angst und die Regulierung ist gewünscht, um der Angst zu begegnen. Die gesellschaftliche Akzeptanz für den Einsatz Künstlicher Intelligenz sollte weiter gestärkt werden, zum Beispiel durch mehr Aufklärung. Sonst haben wir einen Regulator – den Staat, und die Frage ist dann: Was ist mit der Wettbewerbsfähigkeit Europas und Deutschlands? Das müssen wir in Einklang bringen, weil wir beides brauchen. Das Regelwerk sollte so gut aufgebaut und gestärkt sein, dass es Grundlagen vorgibt, die einzuhalten sind. Aber es sollte nicht die Wettbewerbsfähigkeit und Innovationskraft Deutschlands und Europas stören.

Wen wird die bevorstehende KI-Regulierung konkret betreffen?

Das ist eine Regulierung, die aus Brüssel vorgegeben wird und die den risikobasierten Einsatz von KI-Systemen bestimmt. Zurzeit muss noch nachgeschärft werden, unter anderem hinsichtlich der KI-Definition – um die Frage zu beantworten, welche Systeme und Methoden darunterfallen. Die Nachschärfung ist notwendig, da statistische Methoden ausgeschlossen werden sollen. Denn sonst betrifft der EU AI Act alles und jeden. Der Europäische Rat hat die Definition beschränkt auf Systeme, die anhand von Konzepten des maschinellen Lernens sowie auf Grundlage von logik- und wissensgestützten Konzepten entwickelt wurden.

Im Entwurf stand, dass statistische Methoden bereits als KI zählen. Ist das noch aktuell?

Genau, statistische Ansätze, Bias-Ansätze und Optimierungsmethoden fielen laut dem AI Act zunächst unter KI.

Das klingt aber sehr pauschal und hätte weitreichende Folgen für Forschung und Unternehmen. Wurde das weiter differenziert?

In der Diskussion um die europäische Verordnung für Künstliche Intelligenz wurde eine fundamental neue Definition für KI-Systeme vorgeschlagen. Dies geschah, um den Bedenken einiger Mitgliedstaaten Rechnung zu tragen, die eine zu weit gefasste und mehrdeutige Definition des Begriffs bemängelt hatten. Die neue Definition beschränkt sich nun auf Systeme, die durch maschinelles Lernen und wissensbasierte Ansätze entwickelt wurden und nimmt das Konzept der Autonomie mit auf.

KI-Systeme, die ausschließlich für wissenschaftliche Forschung und Entwicklungszwecke genutzt werden, sollen nicht vom Anwendungsbereich des AI Act erfasst werden, um die Forschungs- und Entwicklungstätigkeit nicht zu beeinträchtigen. Diese Änderungen sollen dazu beitragen, den Einsatz von KI-Systemen auf eine sicherere und ethischere Art zu gestalten und gleichzeitig die Innovations- und Wettbewerbsfähigkeit der europäischen Wirtschaft zu fördern.

Auf dem Laufenden sein zum AI Act | Newsletter

Wer sich über die KI-Verordnung auf dem Laufenden halten möchte, kann auf Substack einen AI-Act-Newsletter abonnieren, der im Zweiwochenrhythmus über den Stand des gesetzgeberischen Verfahrens informiert.

Klingt plausibel. Mal angenommen, dieser Vorschlag würde nicht angenommen und die Regulierung müsste alle statistischen Ansätze umfassen, wie es offenbar geplant war. Was würde das für uns konkret heißen?

Das würde konkret bedeuten, dass Unternehmungen alles, was sie in Excel haben und mit Makros ausführen, registrieren beziehungsweise inventarisieren lassen müssten, um darüber den Adaptierungsprozess laufen zu lassen und konform mit den Vorgaben der europäischen KI-Verordnung zu sein. An dieser Stelle würde es zu einer Überregulierung kommen. Der AI Act ist branchenunabhängig und eine Verordnung von allgemeiner Gültigkeit. Als solche ist er in den Mitgliedsstaaten unmittelbar wirksam. Bei Verstößen drohen nach jetzigem Stand Bußgelder von bis zu 30 Millionen Euro oder 6 Prozent des weltweiten Gesamtjahresumsatzes – je nachdem, welcher Betrag höher ist. Für Start-ups und kleinere bis mittlere Unternehmen ist eine niedrigere Sanktionierung von bis zu 3 Prozent des weltweiten Gesamtjahresumsatzes vorgesehen.

Das muss ich erst sacken lassen – auch in der abgemilderten Form ist das doch eine Menge Holz und kann gerade kleinere Unternehmen in der Aufbauphase massiv beeinträchtigen. Worauf zielt das?

Diese Maßnahmen sollen dazu beitragen, die Einhaltung der Bestimmungen zu fördern und sicherzustellen, dass Unternehmen verantwortungsvoll mit KI-Systemen umgehen und die Sicherheit und Privatsphäre von Menschen schützen.

Lass uns das etwas genauer eingrenzen, zurück zur Definition von KI als "jeglicher statistische Ansatz": Heißt das, dass auch Unternehmen, die gar nicht explizit mit KI arbeiten, unter die KI-Regulierung fallen würden?

Genau. Falls das im Entwurf stehen bleibt, würde die Regulierung wirklich jeden betreffen. Von den unterschiedlichen Risikokriterien, die definiert sind, hängt ab, wie stark Unternehmen das berücksichtigen müssen und zu welcher Dokumentation sie verpflichtet sind. Der Aufwand wäre extrem hoch, da jede Excelliste aufgenommen und reguliert sowie bewertet werden müsste, um einen möglichen Schaden abzuschätzen für die Bürger und Bürgerinnen.

Sagen wir mal, du bist ein Krankenhaus und nutzt Excel für Bettenbelegung, dann gilt deine Anwendung als hochkritisch. Wieso?

Weil Patientendaten verarbeitet werden, gilt der Bereich als hochrisikokritisch. Da sind gewisse Vorschriften einzuhalten und der Regulator greift ein. Bei anderen Dingen mit minimalem Risiko wird das anders gehandhabt. Aus Beratungssicht lässt sich das nicht so allgemein sagen. Wir schauen immer, welche Wertschöpfung zugrunde liegt, welche Daten verarbeitet werden und wie die Prozesse aussehen. Erst dann erfolgt die Bewertung.

Was ist über den AI Act sonst bekannt, was sind die Ziele?

Die EU will sich zum einen als KI-Standort etablieren und Grundrechte schützen. Jetzt ist die Frage, welche Rechte schützenswert sind und wie wir sie schützen wollen. Wie schaffen wir eine praktikable Regulierung? Allerdings haben wir einen starken Mittelstand in Deutschland. Die mittelständischen Unternehmen haben eigene Bedürfnisse und Ansichten. Das unterscheidet uns auch von den anderen Märkten, gerade dem amerikanischen und chinesischen Markt, denn der Mittelstand ist ein großer Begünstigter von KI-Systemen. Wir haben keine Großkonzerne wie Google, Facebook, Microsoft und andere globale digitale Player. Diese Konzerne haben andere Bedingungen hinsichtlich des Datenschutzes und der Regulierung.

Zwischen Grundlagenforschung und Anwendung bestehen Unterschiede. Wo und wie könnte die Regulierung sinnvoll eingreifen, ohne selbst Schaden anzurichten?

Mit dem AI Act haben wir die Möglichkeit, ein Konstrukt zu schaffen, in dem wir die europäischen Werte wie Ehrlichkeit, Transparenz und Vertrauen vereinen. Wir haben dabei Probleme damit, dass die Modellregulierung der KI zu kompliziert oder technisch nicht umsetzbar ist. Stattdessen könnten wir die Trainingsdaten regulieren. Das bedeutet, dass Informationen oder das Wissen einem gewissen Qualitätsstandard unterliegt. Dies würde dazu beitragen, dass die Gesellschaft ein größeres Vertrauen in KI entwickeln könnte.

Menschen sind nicht nur nett zueinander. Zu einer realitätsnahen Abbildung menschlichen Verhaltens in einem KI-Modell bräuchte man schon ein Wissen darüber. Stichwort Alignment: Wie bringen wir der KI bei, was wir von ihr brauchen?

Du sprichst vom Lernen und Verhalten. KI wird oftmals so beschrieben, dass sie wie ein Kind lernt. Und wie lernen Kinder? Hier sehe ich zum einen den Lehrplan und die Rahmenqualifikation der Lehrkräfte, um – metaphorisch gesprochen – den Kindern die Trainingssätze inhaltlich und methodisch beizubringen. Dabei ist der übergeordnete Gedanke, dass Kinder einen wertvollen Beitrag zur Gesellschaft sicherstellen sollen.

So muss zum Beispiel verstanden werden, wie Kinder denken, handeln und wie sie in unsere Gesellschaft integriert werden. Ähnlich sehe ich es auch mit der KI. Sie benötigt Regulatorik, Gesetze und Vorschriften zu den Trainingsdaten, den Methoden und Algorithmen. Nehmen wir autonomes Fahren: Wer würde in ein Auto steigen, bei dem der Autopilot nicht überprüft und unklar ist, wie die autonomen Entscheidungen des Autos getroffen werden?

Wenn jeder Autobesitzer alle Details der TÜV-Norm erst neu überprüfen lassen müsste, bevor er losfährt, käme niemand vom Fleck. Was braucht es für die KI zurzeit eher, mehr Vertrauen oder mehr Kontrolle?

Ich finde, dass es eines komplexen Prozesses bedarf. Angenommen, wir nehmen die Summe aller Einzelheiten und bauen daraus das Gesamtkonstrukt, dann regulieren wir uns tot. Ähnlich verhält es sich im Bereich des Autobaus, wo wir alles abnehmen lassen müssen, um das Auto als Ingenieur auf die Straße zu bringen – jedes einzelne Stück bis zur Schraube.

Tritt AIA in Kraft, könnten Systeme abgeschaltet werden

Immerhin haben wir keinen Konformitätszwang in Europa. Kreativität ist möglich, auch wenn ihr offenbar enge Grenzen gesteckt werden. Regulieren wir uns also doch tot, wie du sagtest?

Wir haben ja auch eine Chance in Europa. Es gibt eine Studie aus Oxford, die aussagt, dass KI, wenn sie Belohnung kennt und erfahren möchte, anfängt, Menschen zu manipulieren. Wie gehen wir da vor, um so etwas durch Maschinen nicht zu erleben? Da ist es wichtig, über ein eingebettetes KI-Compliance-Managementsystem zu verfügen, um Zugriff auf KI-Leitlinien zu haben und diese umzusetzen. Wenn der AI Act in Kraft tritt, könnte das bedeuten, dass Systeme auch abgeschaltet werden müssen. Es könnte etwa KI-Systeme geben, die nicht mehr bestimmbar sind, weil sie Fähigkeiten besitzen, mit denen wir noch nicht umgehen können und auch nicht wissen, wie damit umzugehen ist.

Laut Fachleuten scheint ein grundsätzlicher Baufehler zu sein, dass man sich auf eine horizontale Definition festgelegt hat, die nicht die einzelnen Bereiche des KI-Einsatzes unterscheidet. Wie wart ihr beteiligt am gesetzgeberischen Verfahren, durch Verbände?

Der Branchenverband Bitkom nimmt die Gesetzgebung aktiv auseinander, um zu schauen, was das im Detail bedeutet, und entwickelt mit seinen Mitgliedern Verbesserungsvorschläge zum Nachjustieren der Definition und zum Bestimmen von Hochrisikosystemen. Andere Beratungshäuser und wir sind in verschiedenen Gremien vertreten, so etwa dem Bitkom oder der ISACA (Information Systems Audit and Control Association).

Die Branchenverbände nehmen die Punkte auf und geben sie an den Regulator weiter. Für Unternehmen ist der AI Act wie eine Besteigung des Mount Everest. Wir haben zunächst das Tal des Schweigens als erste Etappe. An dieser Stelle findet die Analyse der Wertschöpfung und der verbundenen KI-Systeme statt. Für Unternehmen bedeutet dies die Inventarisierung und technische Dokumentation. Die Frage ist, wie der weitere Aufstieg verläuft. Auf das Inkrafttreten der Verordnung sollten Unternehmen sich aktiv und aus eigenem Antrieb vorbereiten.

Die Heise-Konferenz zu Machine Learning

Am 10. und 11. Mai findet die Minds Mastering Machines in Karlsruhe statt. Die seit 2018 von iX, heise Developer und dpunkt.verlag ausgerichtete Fachkonferenz richtet sich in erster Linie an Data Scientists, Data Engineers und Developer, die Machine-Learning-Projekte in die Realität umsetzen.

Das Programm bietet an zwei Tagen gut 30 Vorträge unter anderem zu Sprachmodellen, Cybersecurity, Resilienz und Modelloptimierung. Ein Vortrag gibt einen Einblick in den AI Act und zieht einen Vergleich mit der Zulassung von Medizinprodukten.

Du hast jetzt eure Aufgabe als Beratungshaus umrissen. Worin bestand eure Mitwirkung? War von deinem Arbeitgeber Protiviti jemand direkt in Brüssel?

Wir nehmen Einfluss durch die verschiedenen Branchenverbände, um auf Missstände in der Gesetzgebung hinzuweisen. Es gibt enorme Herausforderungen bei der Definition: Was ist KI und wo findet der AI Act Anwendung? Zurzeit sind noch alle mathematischen und statistischen Verfahren eingeschlossen, also auch der Taschenrechner. Dies zeigt, dass die Definition uns bereits vor Herausforderungen stellt.

Wenn viele Unternehmen plötzlich Prüfer brauchen, stoßen Beratungshäuser an ihre Grenzen. Auf welche Weise wollt ihr die Situation stemmen, seid ihr vorbereitet?

Wir haben mittlerweile auch viele Mitarbeiter und Mitarbeiterinnen, die Informatik, Wirtschaftsinformatik oder Naturwissenschaften studiert haben, als IT-Auditoren und IT-Auditorinnen im Einsatz. Das ist auch der Grund, warum ich jetzt in der Beratung arbeite. Die Beratung bietet gerade jungen Menschen ein enormes fachliches und persönliches Wachstum, da wir oft ähnliche Probleme mit unterschiedlichen Kunden und Kundinnen haben. Unternehmen sind in der Regel mit ihren operativen Aufgaben beschäftigt. Sie wollen ihr Geschäft so effizient wie möglich realisieren und schaffen dafür die notwendigen Strukturen.

Beispiel: Der oder die Datenschutzverantwortliche, der bzw. die vor fünf Jahren eingestellt wurde, ist in der Regel kein Experte bzw. keine Expertin für Clouds, geschweige denn für KI-Themen. Und er oder sie hat auch nicht die Zeit, sich mit solch strategischen Fragestellungen zu beschäftigen. Seine oder ihre Entwicklung ist linear. Digitale (datenbasierte) Technologien entwickeln sich aber häufig exponentiell. Entsprechend ist es auch wichtig, dass Rahmenbedingungen geschaffen bzw. angeboten werden, unter denen sich Menschen sehr viel schneller entwickeln.

Beratungen bieten dieses Umfeld. Ich habe einen technischen Hintergrund, da ich zum einen Wirtschaftsinformatik sowie auch Management studiert habe und zudem langjährige Erfahrung im IT-Bereich mitbringe.Und dann ticken die Branchen unterschiedlich. Die FSI-Branche etwa ist bereits von Haus aus sehr reguliert.

FSI, die Financial Services Industry …

Banken und Versicherungen unterliegen einigen Standardregelwerken wie beispielsweise der DORA, der Verordnung über die digitale operationale Resilienz. Damit ist einerseits die Widerstandsfähigkeit von Unternehmungen des Finanzsektors gegenüber betrieblichen IT-Störungen gemeint, aber auch die BAIT, also die bankaufsichtlichen Anforderungen an die IT, die die Informationstechnik und Basisinfrastruktur für sämtliche fachlichen, aber auch alle nichtfachlichen Prozesse bei Banken beschreibt. Nicht regulierte Bereiche haben auch den Wunsch, sich für die bessere Kunden- und Investorenbindung auditieren zu lassen, um Vertrauen bei Nutzern und Nutzerinnen oder bei Investoren und Investorinnen zu schaffen.

Dies zeigt, wie vielseitig die Beratung im Technologie-Consulting ist. Es ist nicht immer ein ‚Entweder-oder‘, sondern eher ein ‚Sowohl-als-auch‘ im KI-Bereich. Dennoch ist zu beachten, dass der Einsatz von KI nicht nur ein optionaler Aspekt ist, sondern vor allem ein strategischer, da oftmals Wertschöpfungsketten neu gedacht oder geändert werden müssen. Um deine Frage zu beantworten: Auf der anderen Seite braucht es auch Berater und Beraterinnen mit einem stärkeren technischen Know-how, um das auch bis auf die Datenebene zu durchdringen und daraus die richtige Strategie zu entwickeln. Wir werden oftmals für Teilaspekte konsultiert: zum Beispiel, wenn die Dokumentation nicht gepflegt ist, die Prozesse Bruchstellen haben und zur Risikobewertung von IT-Systemen. Es ist auf jeden Fall ein riesiger Markt und er wird aufgrund der Gesetzgebung noch größer.

Das klingt zunächst gut. Aber sagtest du nicht, du sähest hier Gefahren?

Es ist die Frage, wie wir in der Waage bleiben zwischen Regulatorik und Innovationsfähigkeit. Die EU sollte mit dem AI Act nicht überregulieren. Das ist der Standpunkt aus Sicht der Beratenden, um einen praktikablen Marktansatz zu haben. Gesellschaftlich betrachtet müssen wir einen Mehrwert bieten. Beratung ist nötig, damit ein externer Blick gewährleistet ist. Die EU-Verordnungen müssen verstanden, interpretiert und angewandt werden, damit keine empfindlichen Strafen der EU und der ausführenden Organe zu erwarten sind. Zusätzlich benötigen manche Branchen eine externe Wirtschaftsprüfung, da sie sich nicht selbst überprüfen dürfen, um Betrugsfälle zu minimieren.

Ihr müsstet also EY oder jemand anderen mit dem Auditieren beauftragen?

In der Finanz- und Versicherungsbranche werden die Prüfungen von unterschiedlichen Firmen durchgeführt. Und wir unterstützen andere große Beratungsgesellschaften, die im technologischen Bereich tätig sind. Wenn sie etwa Software oder IT-Systeme entwickeln oder beraten, dann dürfen sie sich selbst nicht auditieren.

Vernünftig.

Wir prüfen, geben den Stempel und dann darf es abgenommen werden – und andersherum. Dabei gilt immer ein Vier-Augen-Prinzip. Wenn die Unternehmen groß genug sind, führen sie manchmal auch eigene Compliance-Abteilungen. Die lassen sich von außen bewerten, um eine gewisse Transparenz zu erzielen. Es geht um transparente Entscheidungen, gerade im Finanzbereich.Jahresabschlüsse sind ein Klassiker. Ein Jahresabschluss funktioniert im Groben auch so, dass erst einmal intern die IT kontrolliert und auditiert werden muss, um dann in Summe den Abschluss für die Bilanzierung zu machen. Das greift stark ineinander.

Aber kein Berater dieser Welt hätte doch Zeit und Lust, sich neben die Programmierer zu setzen, um ihnen auf die Finger zu schauen?

Es ist ein Paradigmenwechsel, dass es Berater gibt, die tiefer in technische Aspekte eintauchen können, um ein besseres Verständnis für die Implementierung von Technologien und deren Auswirkungen zu gewinnen. Es ist wichtig, dass Berater ein breites Verständnis für Technologie, Wirtschaft und Management haben, um Unternehmen dabei zu helfen, die richtigen Entscheidungen zu treffen. Als Wirtschaftsinformatiker mit langer IT-Karriere könntest du mich tatsächlich „neben die Programmierer setzen“. Allerdings bin ich jetzt im Management tätig.

Wenn du ein Projekt auf GitHub gehostet hast, bist du damit im europäischen Rechtsraum oder nicht?

Gehen wir davon aus, du hast verteilte Systeme, die georedundant ausgestaltet sind. Dann ist die Frage, wo der Sitz des Unternehmens ist und wo die Daten verarbeitet sowie gespeichert werden. Bei Großkonzernen verhält es sich unterschiedlich. Spannend wird es im Open-Source-Bereich, weil es eine wahnsinnig große Community gibt, die mitprogrammiert. Die Frage ist dann, wo der Quellcode liegt. Greifen die Landesgrenzen, das europäische Recht, der AI Act? Da gilt es noch so viele Aspekte zu berücksichtigen. Als Student war das eine spannende Sache, als wir programmierten und uns mit Künstlicher Intelligenz beschäftigten. Was macht man mit dem Quellcode, den man bereitstellt?

Am Ende geht es Unternehmen ausschließlich um Geschäftsprozesse und Wortschöpfung, die mithilfe von IT-Systemen wie SAP, Datenbanken usw. umgesetzt werden, oder um Digitale Wertschöpfungsmodelle wie beispielsweise Spotify, Netflix und andere Anbieter. Nun stellt sich die Frage: Wird die KI unterstützend eingesetzt oder ist es eine eigene Wertschöpfung wie beispielsweise ChatGPT von Microsoft-OpenAI, DeepL von DeepL SE und Luminous von Aleph Alpha. In diesen Fällen gilt es, die Gesetzmäßigkeit, die Risikoabschätzung, die Transparenz, die Dokumentation und Resilienzen zu beachten. Die NIS2-Richtlinie zur Netz- und Informationssicherheit, die von der EU beschlossen wurde, findet sowohl in vielen Unternehmen als auch im Mittelstand Anwendung. Wir sehen also, dass es eine Menge von EU-Verordnungen gibt, die die Regulierung zum Thema haben und miteinander zusammenhängen.

Guter Denkzettel, warum es wichtig ist, einen eigenen Rahmen festzulegen. Liegt dir noch etwas auf der Zunge zum Abschluss?

Ich nehme an, dass wir ein gutes Mittelmaß finden werden. Mit Blick auf den Wirtschaftsstandort, der für eine gewisse Qualität steht, müssen wir das auch. Schlussendlich ist „Made in Europe“ wichtig und wir sollten uns nicht gegenseitig kannibalisieren, sondern ergänzen.

Danke für die Einblicke.

Das Interview führte Silke Hahn (sih@ix.de), Redakteurin bei iX und heise Developer.

(sih)