Künstliche Intelligenz in der Medizin: Was ist, wenn die KI irrt?

Inhaltsverzeichnis

Schon heute ist die digitale Unterstützung in der Medizin nicht mehr wegzudenken. Doch wohin soll die Reise insbesondere im Bereich der generativen künstlichen Intelligenz gehen und welche Fehlentwicklungen gilt es zu vermeiden? Mit diesen Fragen beschäftigten sich Ärzte und weitere Interessierte auf einer Veranstaltung der Ärztekammer Niedersachsen und der Medizinischen Hochschule Hannover (MHH) zu Zukunftsszenarien Künstlicher Intelligenz in der Arzt-Patient-Beziehung.

Überdies war Teil des vom Niedersächsischen Ministerium für Wissenschaft und Kultur unterstützten Zukunftsdiskurses "Mein Arzt, die KI und ich" die Frage nach der Verantwortung. Im Mittelpunkt stand insgesamt, wie Ärzte und Patienten mit KI umgehen. Eine wichtige Rolle spielten dabei auch die Selbstbestimmung und das Vertrauen der Patienten.

KI soll einer besseren Versorgung dienen

In den vergangenen Jahren hat sich die Ärztekammer Niedersachsen unter anderem mit Cyberchondrie, KI, dem Digitalisierungsboom während Corona oder auch mit Telemedizin beschäftigt. "Es muss immer die Patient-Arzt-Beziehung als Individuelles erhalten bleiben", erklärte die Präsidentin der Ärztekammer Niedersachsen, Dr. Martina Wenker. Gerade das Thema KI beschäftigt die Ärzte sehr. Besonders wichtig ist Wenker ein Aspekt, der aus der Stellungnahme der zentralen Ethikkommission der Bundesärztekammer zur Wahrung ethischer Grundsätze in der Medizin stammt. Darin heißt es:

Denn ärztliche Verantwortung ist immer der/m individuellen Patient:in verpflichtet, unterliegt strengen Sorgfaltsmaßstäben sowie dem Gebot, die Behandlung dem aktuellen Erkenntnisstand von medizinischer Wissenschaft und Praxis anzupassen.

Demnach ist der Arzt dafür verantwortlich, dass KI einer besseren Versorgung dient.

Was kann KI und was nicht?

"In der Ethik gibt es das sogenannte Kontrolldilemma. Wenn eine Technologie erst einmal im Feld verbreitet ist, sind die Möglichkeiten, sie zu regulieren, meist schwierig", erklärte Dr. phil. Frank Ursin vom Institut für Ethik, Geschichte und Philosophie der Medizin der Medizinischen Hochschule Hannover. Dennoch sei nicht alles vorhersehbar. Ziel der Veranstaltung ist es, Ergebnisse zu Fragen rund um künstliche Intelligenz in der Entscheidungsfindung zu liefern und welche Rolle KI spielen soll. "Ist sie ein echter Akteur oder nur ein passives Werkzeug?", fragte Ursin.

Außerdem müsse geklärt werden, für welche Probleme KI die Lösung sein könne und welche Probleme man sich einkaufe. Zu den Herausforderungen, bei denen KI helfen soll, gehöre "ganz zentral der Personalmangel", so Ursin. Befürchtungen seien unter anderem der Verlust der Individualität in der Pflege, aber auch das Potenzial für Diskriminierung. Auch müsse KI vertrauenswürdig und erklärbar sein. Doch generative KI sei eine Blackbox, bei der die sich ständig weiterentwickelnden Algorithmen teils nicht nachvollziehbar sind.

"Es gibt eigentlich keinen Bereich in der Medizin, in dem wir heute keine KI-Ansätze sehen", erklärte Martin Schultz, Professor für Technologiemanagement an der Christian-Albrechts-Universität zu Kiel. Als Anwendungsfelder für KI im Gesundheitswesen hat Schultz "Robotik, Therapieüberwachung und -unterstützung, Risikoeinschätzung, Selbstmanagement und Diagnosestellung" identifiziert. Für die personalisierte Medizin stünden Lebensstildaten, soziodemografische Daten, Bilddaten, Patientenakten zur Verfügung, die in einen großen Datenpool münden und mit maschinellem Lernen ausgewertet werden könnten. Die große Frage sei dann: Was mache ich eigentlich mit diesen Daten im Versorgungsprozess? Ebenso müsse herausgefunden werden, wie sich Kolleginnen und Kollegen aus den unterschiedlichsten Bereichen bei der Einführung von KI-gestützten Methoden fühlen.

Es sei auch wichtig zu wissen, welche Entscheidungsmöglichkeiten es gebe und welche Rolle die Erklärbarkeit von KI spiele. In einem Workshop, einem zentralen Teil der Veranstaltung, wurden die Teilnehmer, überwiegend Ärzte, mit verschiedenen ethischen Fragen konfrontiert und vor allem mit der Frage, welche Rolle sie beim Einsatz disruptiver Technologie, der generativen KI, spielen.

Wer trägt die Verantwortung?

Dazu gab es verschiedene fiktive, aber denkbare Zukunftsszenarien, die vor allem auch die Frage der Verantwortung betrafen – wann ist der Patient verantwortlich, wann der Arzt und wann der Hersteller. Darüber hinaus wurde die Frage aufgeworfen, ob der Arzt die KI als Instrument einsetzt oder ob sie in bestimmten Fällen gleichberechtigt neben den Arzt treten könnte.

In einem Fallbeispiel ging es um die Verantwortung des Arztes bei einem sogenannten "Closed-Loop-System" bei Diabetes, das eine Patientin auf eigene Initiative und selbstbestimmt nutzen möchte und bei dem eine Insulinpumpe automatisch Insulin spritzt, um den Blutzuckerspiegel konstant zu halten. Doch welche Rolle spielt der Arzt, wenn sich die Lebensgewohnheiten der Patientin radikal ändern und automatisch Daten an den Arzt übermittelt werden, die zeigen, dass die Patientin sich nicht mehr ausreichend um ihre Gesundheit kümmert? Der Arzt weist die Patientin darauf hin, dass das KI-System ihren Lebensstil nicht kompensieren kann. Aus Sicht der Workshop-Teilnehmer sollte die Patientin noch selbstbestimmt leben dürfen.

In einer Erweiterung des Szenarios beginnt die Patientin mit einem Chatbot zu interagieren und ihn zu befragen. Dies könnte zu einer Abhängigkeit vom Chatbot führen, aber auch zu anderen Konfliktsituationen, zum Beispiel mit dem Arzt. Es kann auch sein, dass die Patientin das Closed-Loop-System nicht mehr nutzen und überwacht werden möchte.

In diesen und ähnlichen Szenarien stellten sich auch verschiedene weitere Fragen –, etwa nach der Erreichbarkeit des Arztes außerhalb der regulären Sprechzeiten und ob der Hersteller eine Support-Hotline zur Verfügung stellen sollte, auf die auch medizinische Experten zurückgreifen können, etwa über ein angeschlossenes telemedizinisches Zentrum. Ebenso ist unklar, was bei Fehlern oder einer Manipulation des Systems passiert – etwa durch Angreifer.

App meldet Suizidgefahr, Patient unwissend

Besonders spannend war in einem weiteren fiktiven, aber nicht unrealistischen Szenario die Frage, was Ärzte von einer App halten würden, die den Patienten unbemerkt überwacht. Sobald eine Suizidgefahr erkannt wird, schlägt die App Alarm. Alle Teilnehmer antworteten intuitiv: "Das geht gar nicht" und verwiesen auf das Selbstbestimmungsrecht des Patienten. Zudem sind verschiedene Fragen ungeklärt, beispielsweise: Was ist, wenn die KI irrt? Muss der Arzt ständig erreichbar sein? Wie viel Zeit bleibt, bis Verantwortliche handeln müssen? Reicht es, bis zum nächsten Tag zu warten?

Ebenso wurde die Frage aufgeworfen, ob der Arzt dann immer erreichbar sein muss oder nicht. Schwierig sei es auch, wenn diese Warnung an andere Beteiligte im Gesundheitswesen weitergegeben werde, ebenso sei unklar, ob der Arzt dann die Polizei rufen müsse.

Was ist, wenn die KI irrt?

Wie würden Ärzte entscheiden, wenn die KI anderer Meinung wäre? In einem anderen Fall hatte ein KI-System bereits eine Fehldiagnose gestellt, die zur Erblindung der Patientin führte. Aufgrund solcher möglichen Fehler ist es aus Sicht der Workshop-Teilnehmer besonders wichtig, dass der Arzt die Plausibilität der Entscheidung überprüft und im Zweifelsfall bei der KI nachfragt und nicht einfach die Entscheidung der KI ohne Hinterfragen annimmt. Die meisten Ärzte würden einen erfahrenen Kollegen um Rat fragen. Ein weiterer Teil würde den Dissens zwischen KI und Arzt offen mit dem Patienten besprechen und gemeinsam nach einer Lösung suchen.

Diskutiert wurde auch die Frage, ob eine KI auf die Ebene eines Arztes gehoben und damit als Zweitmeinung angesehen werden könnte. Dies ist beispielsweise in der Radiologie möglich. Alle KI-Methoden sollten jedoch rechtlich stärker überwacht werden als bereits etablierte Methoden und es müsse klar sein, welche Aufgaben die KI übernehmen könne und welche nicht. Ebenso muss geklärt werden, wo Zertifizierungen und Kontrollen sowie Service und Beratung für KI-Systeme notwendig sind. Bei allem medizinischen Handeln müsse aber die Autonomie des Patienten im Vordergrund stehen.

Gesundheitssystem überlastet

Zwar werben gerade Big-Tech-Unternehmen wie Microsoft damit, dass Ärzte durch eine Entlastung bei der Bürokratie mehr Zeit für ihre Patienten haben und diesen mehr Empathie entgegenbringen können, doch stattdessen werden wahrscheinlich nur mehr Fälle abgearbeitet. In dem Punkt waren sich alle Ärzte sicher. Bei all den Szenarien betonten die Teilnehmer, dass Ärzte gerne mehr Zeit und damit auch mehr Empathie für ihre Patienten hätten, das völlig überlastete Gesundheitssystem dies aber nicht zulasse.

(mack)