Seite 2: Ärzte müssen auch bei KI-Systemen laienverständlich über Risiken aufklären

Inhaltsverzeichnis

Welche Pflichten kommen denn dann auf den Arzt oder die Ärztin zu?

Ärztinnen und Ärzte müssen die wesentlichen Umstände der Behandlung erläutern. Er muss der Patientin und dem Patienten klarmachen, was passieren wird: Was sind die Risiken des Einsatzes? Wie wird die Behandlung im Großen und Ganzen ablaufen? Die Erläuterung muss auch ein medizinischer Laie verstehen können. Zu den allgemein anerkannten medizinischen Behandlungsstandards gehört die Zulassung der KI-Software als Medizinprodukt gemäß Artikel 2 Nr. 1 der MDR.

EU-Verordnung über Medizinprodukte (MDR)

Die europäische Medizinprodukte-Verordnung (Medical Device Regulation, MDR) gilt seit 2021 und hat das bis dahin geltende Medizinproduktegesetz (MPG) abgelöst. Die Verordnung betrifft vor allem Hersteller von Medizinprodukten, aber auch weitere, wie Medizinprodukte nutzende Krankenhäuser, Praxen, Händler und Importeure.

Die MDR ist eine europäische Verordnung. Das bedeutet, dass sie unmittelbar in allen europäischen Mitgliedstaaten gilt. Die MDR regelt – vereinfacht dargestellt – unter welchen Umständen derartige Produkte eingesetzt beziehungsweise auf den Markt gebracht werden können. In den USA ist für derartige Zulassungen die Food and Drug Administration (FDA) zuständig, in Deutschland maßgeblich das Bundesinstitut für Arzneimittel und Medizinprodukte (BfArM). Software fällt unter die Definition eines Medizinproduktes, wenn sie für einen medizinischen Zweck verwendet wird. Für KI-basierte Software gilt hierbei nichts anderes als für traditionell programmierte Software. Damit ist auch die „intelligente“ Software ein Medizinprodukt, wenn sie zu medizinischen Zwecken eingesetzt wird. Für die Qualifikation einer KI-Software als Medizinprodukt ist die subjektive Zweckbestimmung (Widmung) des Herstellers, also zum Beispiel die des Medical-App-Anbieters, maßgeblich.

Wie werden KI-Systeme im Gesundheitsbereich aktuell eingestuft?

Wir betrachten die meisten KI-Systeme im Gesundheitsbereich aktuell als Hochrisiko-Anwendungen. Anhang II Abschnitt A der KI-Verordnung enthält einen Katalog von einschlägigen EU-Rechtsakten. Dabei handelt es sich vorrangig um Richtlinien und Verordnungen, welche das Inverkehrbringen oder die Inbetriebnahme von besonderen Produkten regeln, bei denen es auf die Produktsicherheit in besonderem Maße ankommt (zum Beispiel Maschinen, Spielzeug oder medizinische Geräte). KI-Systeme, die als Produkt oder Produktbestandteil eines in diesen Rechtsakten geregelten Produktes einer Konformitätsbewertung durch Dritte unterliegen, gelten automatisch als Hochrisiko-KI-System. So verhält es sich auch bei Medizinprodukten:

Die MDR ist als Nr. 11 in Anhang II der KI-Verordnung (PDF) ausdrücklich genannt. Nach Art. 6 Absatz 1 in Verbindung mit Anhang II, Abschnitt A Nr. 11 und 12 KI-Verordnung ist die KI-basierte Medizinprodukte-Software im Sinne der MDR regelmäßig als Hochrisiko-KI-System eingestuft. Problematisch hieran ist, dass die Einstufung als Hochrisikosystem unabhängig vom tatsächlichen Risiko erfolgt, das bei der Verwendung besteht.

Gibt es Ausnahmen?

Produkte, die zwar KI-Komponenten enthalten, aber keine Medizinprodukte im Sinne der MDR sind, sind KI-basierte Produkte im Rahmen der Arzneimittelentwicklung und -herstellung. Diese unterfallen zurzeit keinem für KI eigenständigen expliziten Rechtsrahmen und sind folglich auch keine Hochrisiko-Anwendungen nach der KI-Verordnung. Sie müssen allerdings verschiedene ISO-Normen erfüllen. Der Gesetzgebungsprozess zur KI-Verordnung befindet sich derzeit auf der Zielgeraden. Die Verordnung wird umfangreiche Verpflichtungen für Hersteller und Nutzer mit sich bringen.

Viele Gesundheitsapps – in der Regel ab der mittleren Risikostufe IIa nach der MDR – werden als Hochrisikosysteme nach der KI-Verordnung eingestuft, da diese eine mittlere Gefahr für die Gesundheit der Anwender bergen können. Deshalb müssen Dritte in das Konformitätsbewertungsverfahren mit einbezogen werden. Das bringt für App-Entwickler einen enormen Compliance-Aufwand und Mehrbelastungen im Zulassungsprozess mit sich, da der umfangreiche Voraussetzungskatalog der Art. 8–15 KI-Verordnung für Hochrisiko-Systeme beachtet werden muss. Daher werden Hersteller von Medizinprodukte-Software strategisch versuchen, sich aus der Hochrisiko-Klassifikation herauszuwinden.