FAQ: AI Act verlangt KI-Kompetenz – was auf Firmen und Behörden jetzt zukommt

Mit dem AI Act hat der EU-Gesetzgeber ein großes Regelwerk geschaffen, das zunehmend Bedeutung und Einfluss auf die Nutzung künstlicher Intelligenz hat – zumindest in Europa. Unternehmen und Behörden sind verpflichtet, hier den Überblick zu behalten, was für sie relevant ist. Eine nicht zu unterschätzende Pflicht ist die Vorgabe, beim eigenen Personal ausreichende KI-Kompetenz zu gewährleisten.

Die Pflicht zur KI-Kompetenz gilt ab dem 2. Februar 2025, als Teil der ersten Stufe des AI Acts, bei der die Abschnitte in Kapitel I und II wirksam werden. Das erste Kapitel enthält allgemeine Bestimmungen wie den Gegenstand der Regulierung, ihren Anwendungsbereich, Begriffsbestimmungen sowie in Artikel 4 Regelungen zur KI-Kompetenz. Kapitel II besteht nur aus Artikel 5, der "Verbotene Praktiken im KI-Bereich" benennt. Darin wird etwa die Anwendung von KI für zum Beispiel Social-Scoring-Systeme untersagt.

Wen betrifft die KI-Kompetenz-Pflicht?

In Artikel 4 der KI-Verordnung heißt es: "Die Anbieter und Betreiber von KI-Systemen ergreifen Maßnahmen, um nach besten Kräften sicherzustellen, dass ihr Personal und andere Personen, die in ihrem Auftrag mit dem Betrieb und der Nutzung von KI-Systemen befasst sind, über ein ausreichendes Maß an KI-Kompetenz verfügen, wobei ihre technischen Kenntnisse, ihre Erfahrung, ihre Ausbildung und Schulung und der Kontext, in dem die KI-Systeme eingesetzt werden sollen, sowie die Personen oder Personengruppen, bei denen die KI-Systeme eingesetzt werden sollen, zu berücksichtigen sind."

Adressaten der KI-Kompetenz-Pflicht sind also Anbieter und Betreiber von KI-Systemen. Anbieter ist eine natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System "entwickelt oder entwickeln lässt und es unter ihrem eigenen Namen oder ihrer Handelsmarke in Verkehr bringt oder das KI-System unter ihrem eigenen Namen oder ihrer Handelsmarke in Betrieb nimmt, sei es entgeltlich oder unentgeltlich" (Artikel 3 Nr. 3 AI Act). Wer in einem konkreten Fall der "KI-Entwickler" ist, lässt sich zwar meist gut feststellen, in Grenzfällen kann es aber auch knifflig werden.

Artikel 3 Nr. 4 AI Act definiert, wer "Betreiber" eines KI-Systems ist: "Eine natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System in eigener Verantwortung verwendet, es sei denn, das KI-System wird im Rahmen einer persönlichen und nicht beruflichen Tätigkeit verwendet". Wenn man sich den extrem weiten Anwendungsbereich des AI Act vor Augen hält, wird klar, dass damit früher oder später nahezu jedes Unternehmen und jede Behörde als Betreiber von KI-Systemen anzusehen ist. Damit unterliegen sie alle der Pflicht, ausreichende KI-Kompetenz bei ihrem Personal oder den Nutzern von KI-Systemen in ihrem Auftrag zu gewährleisten.

Was ist KI-Kompetenz?

Zu KI-Kompetenz zählt insbesondere, KI-Technologien kritisch zu hinterfragen und effektiv in unterschiedlichen Lebensbereichen nutzen zu können. Die Konzepte umfassen das Verstehen der technischen Anwendung, Maßnahmen und Auslegung der KI-Systeme sowie das Wissen, wie KI-Entscheidungen betroffene Personen beeinflussen. Es kommt dabei auf den konkreten Einsatzzweck an. Damit lässt sich kaum ein einheitliches Schema vorgeben, wie diese Pflicht im Unternehmen oder einer Behörde umzusetzen ist. Entsprechend sind die Vorgaben auch wenig konkret.

Dazu sind die KI-Kompetenz-Pflichten dynamisch ausgestaltet. Zum einen muss nur ein "ausreichendes Maß" der Kompetenz vorliegen, zum anderen muss der Anbieter oder Betreiber das nur "nach besten Kräften" sicherstellen.

Ein europäisches Gremium für künstliche Intelligenz soll die EU-Kommission bei der Förderung von KI-Kompetenzinstrumenten und der Sensibilisierung der Öffentlichkeit unterstützen. Die EU-Kommission und die Mitgliedsstaaten sollen dabei in Zusammenarbeit mit Interessenträgern freiwillige Verhaltenskodizes entwickeln, um die KI-Kompetenz zu fördern. Es ist allerdings noch nicht absehbar, wann mit welchen konkreten Ergebnissen wie Verhaltenskodizes gerechnet werden kann. Bis dahin sind betroffene Unternehmen und Behörden weitgehend auf anderweitige Unterstützung angewiesen, wenn sie die ausreichende KI-Kompetenz nicht selbst festlegen und vermitteln können.

Da genaue Vorgaben fehlen, was KI-Kompetenz im Detail umfassen soll, hat sich auch bereits die Beratungsindustrie auf das Thema gestürzt und bietet Kurse für die Ausbildung zum AI Officer oder KI-Verantwortlichen an. Rechtsanwaltskanzleien beschreiben die ihrer Meinung nach relevanten Aspekte. Wie immer gibt es nicht "die eine" Lösung für das Vermitteln ausreichender KI-Kompetenz. Letztlich müssen auf das konkrete Unternehmen oder die konkrete Behörde zugeschnittene Antworten und Konzepte her. In jedem Fall sollten die Bemühungen um KI-Kompetenz gut dokumentiert sein.

Welche Bedeutung haben die Risikoklassen in Hinsicht auf die KI-Kompetenz?

Der AI Act führt eine Klassifizierung in verbotene KI-Systeme, Hochrisiko-KI-Systeme, KI-Systeme mit begrenztem Risiko und solche mit minimalem oder ohne Risiko ein. Bei Hochrisiko-KI-Systemen handelt es sich um KI-Systeme, die nach der Einschätzung der EU hochriskant für die Gesundheit, Sicherheit oder Grundrechte der EU-Bürger sind, deren großer sozioökonomischer Nutzen diese Risiken aber überwiegt. Die Klassifizierung ist bewusst sehr umfassend gesetzt.

Von Betreibern – und folglich ihren Angestellten, Mitarbeitern oder Beamten – solcher Hochrisiko-KI-Systeme sind besondere KI-Kompetenzen gefordert. Sie müssen in der Lage sein, fundierte Entscheidungen zur KI zu treffen, und die Befugnis haben, ein System im Notfall abzuschalten.

Artikel 26 Absatz 2 AI Act beschreibt die Pflichten der Betreiber von Hochrisiko-KI-Systemen klar im Hinblick auf KI-Kompetenz: "Die Betreiber übertragen natürlichen Personen, die über die erforderliche Kompetenz, Ausbildung und Befugnis verfügen, die menschliche Aufsicht und lassen ihnen die erforderliche Unterstützung zukommen." Aus den Formulierungen wird im Umkehrschluss deutlich, dass Personen, die nicht über die konkret erforderliche KI-Kompetenz verfügen, nicht mit dem Betrieb von Hochrisiko-KI-Systemen betraut werden dürfen.

Hochrisiko-KI-Systeme sollten demzufolge so entwickelt werden, dass natürliche Personen ihre Funktionsweise überwachen und ihre bestimmungsgemäße Verwendung sicherstellen können. Anbieter müssen vor dem Inverkehrbringen Maßnahmen zur menschlichen Aufsicht festlegen, einschließlich Betriebseinschränkungen und der Fähigkeit, auf menschliche Bediener zu reagieren. Der Gesetzgeber sieht also ein Wechselspiel zwischen menschlicher KI-Kompetenz einerseits und dem Vorhandensein technischer Eingriffs-, Kontroll- und Stoppmechanismen andererseits vor, wenn es um den Einsatz von Hochrisiko-KI-Systemen geht.

Was droht bei einem Verstoß gegen die KI-Kompetenz-Pflicht?

Verletzungen der KI-Kompetenz-Pflicht können erhebliche Auswirkungen haben. Als Sorgfaltspflichtverletzung drohen Haftungsansprüche und Schadensersatzforderungen. Wie bei anderen Regulierungen kann auch für den AI Act eine persönliche Haftung des Geschäftsführers greifen, wenn er seinen Pflichten – den gesetzlichen Vorgaben zur KI-Kompetenz – nicht ordnungsgemäß nachgekommen ist oder diese Pflicht unzureichend in seine Organisation delegiert.

Hinzu dürften auch Bußgelder und sonstige Sanktionen nach den in Entstehung befindlichen nationalstaatlichen Sanktionskatalogen kommen. Es ist nur eine Frage der Zeit, bis auf nationalstaatlicher Ebene klar ist, mit welchen Bußgeldern oder sonstigen Sanktionen Unternehmen und Behörden rechnen müssen, wenn sie der Pflicht zur KI-Kompetenz nicht nachkommen.

(axk)