GPT-4 soll mit Microsoft und Epic in den USA Trends in Patientenakten ermitteln

Inhaltsverzeichnis

Am Montag gaben Microsoft und Epic Systems bekannt, dass sie das KI-Sprachmodell GPT-4 von OpenAI im Gesundheitswesen einsetzen wollen. Damit sollen Mitarbeiter des Gesundheitswesens dabei unterstützt werden, Antworten für Patienten zu verfassen, Krankenakten analysieren und mögliche Entwicklungen erkennen.

Kritik an eingesetzten Algorithmen

Epic Systems ist eines der größten amerikanischen Unternehmen für Gesundheitssoftware. Die Software des Unternehmens für elektronische Patientenakten wie MyChart wird Berichten zufolge in über 29 Prozent der Akutkrankenhäuser in den Vereinigten Staaten eingesetzt. Weltweit haben über 305 Millionen Patienten eine elektronische Akte in Epic. In der Vergangenheit wurde das Unternehmen für seinen Einsatz von vorhersagenden Algorithmen im Gesundheitswesen kritisiert.

In der Ankündigung erwähnt Microsoft zwei spezifische Möglichkeiten, wie Epic seinen Azure OpenAI Service nutzen wird, der API-Zugang zu den großen Sprachmodellen (Large Language Model, LLMs) von OpenAI, wie GPT-3 und GPT-4, bietet. Für den Laien bedeutet dies, dass Unternehmen Microsoft beauftragen können, generative KI-Dienste für sie über die Azure-Cloud-Plattform von Microsoft bereitzustellen.

Die erste Anwendung von GPT-4 besteht darin, dass Ärzte und Mitarbeiter des Gesundheitswesens automatisch Antworten auf Nachrichten an Patienten verfassen können. In der Pressemitteilung wird Chero Goswami, Chief Information Officer bei UW Health in Wisconsin, mit den Worten zitiert: "Die Integration von generativer KI in einige unserer täglichen Arbeitsabläufe wird die Produktivität vieler unserer Anbieter erhöhen, sodass sie sich auf die klinischen Aufgaben konzentrieren können, die wirklich ihre Aufmerksamkeit erfordern."

Die zweite Anwendung wird Abfragen in natürlicher Sprache und "Datenanalyse" in SlicerDicer bringen, dem Datenexplorationstool von Epic. Das soll die Suche von Daten bei einer großen Anzahl von Patienten ermöglichen und Trends erkennen, die für die Forschung oder aus finanziellen Gründen nützlich sein könnten. Laut Microsoft wird dies "klinischen Führungskräften dabei helfen, Daten auf unterhaltsame und intuitive Weise zu erforschen". Damit könnte ein ChatGPT ähnelnder Chatbot Fragen zu möglichen Entwicklungen auf Basis der Patientenakten beantworten.

GPT-4 ist ein von OpenAI entwickeltes großes Sprachmodell (LLM), das auf Millionen von Büchern, Dokumenten und Websites trainiert wurde. Es kann Kompositions- und Übersetzungsaufgaben in Texten durchführen. Seine Veröffentlichung hat zusammen mit ChatGPT einen Ansturm auf die Integration von LLMs in jede Art von Unternehmen ausgelöst, ob dies nun angemessen ist oder nicht.

Partnerschaft Anlass zur Sorge

Die Partnerschaft zwischen Microsoft und Epic gibt jedoch Anlass zur Besorgnis unter den Forschern großer Sprachmodelle, unter anderem wegen der Fähigkeit von GPT-4, Informationen zu erfinden, die nicht in seinem Datensatz enthalten sind.

"Sprachmodelle sind nicht darauf trainiert, Fakten zu produzieren. Sie sind darauf trainiert, Dinge zu produzieren, die wie Fakten aussehen", sagt Dr. Margaret Mitchell, leitende Ethikwissenschaftlerin beim KI-Startup Hugging Face. "Wenn Sie LLMs einsetzen wollen, um kreative Geschichten zu schreiben oder beim Sprachenlernen zu helfen [...]. Diese Tatsachen beruhen nicht auf deklarativen Fakten. Es ist genau das Falsche, die Technologie aus dem Bereich der Fantasiesprache, wo sie brilliert, in den Bereich der faktenbasierten Konversation zu bringen."

Mitchell erklärt, dass die natürliche Spracherzeugung (Natural Language Generation, NLG) im Gesundheitswesen seit Jahren untersucht wird, und eines der wichtigsten Ergebnisse dieser Arbeit ist, dass es wichtig ist, Informationen bereitzustellen, die nicht irreführend sind. "Dies kann bis zu einem gewissen Grad durch die Verwendung von Vorlagen und Regeln erreicht werden", sagt sie. Dadurch "

Darüber hinaus fragen sich einige, ob LLMs das richtige Werkzeug für diese Aufgabe sind. "Die Arbeit an Dialogen und der Erzeugung natürlicher Sprache ist seit Jahren ein aktiver Bereich der Forschung und Entwicklung", sagt Mitchell. "Ich frage mich, was diese Systeme nicht leisten, sodass Epic und Microsoft der Meinung sind, dass es sich nicht lohnt, in sie zu investieren, und dass sie stattdessen in etwas investieren sollten, das für diesen Zweck nicht geeignet ist.

Ein weiteres Problem sind mögliche Verzerrungen in GPT-4, die bestimmte Patienten aufgrund von Geschlecht, Rasse, Alter oder anderen Faktoren diskriminieren könnten. In der Systemkarte von OpenAI für GPT-4 schrieben Forscher, die im Auftrag von OpenAI arbeiteten: "Wir haben festgestellt, dass GPT-4-early und GPT-4-launch viele der gleichen Einschränkungen aufweisen wie frühere Sprachmodelle, wie zum Beispiel die Produktion von voreingenommenen und unzuverlässigen Inhalten."

Selbst wenn Epic eine fein abgestimmte Version von GPT-4 verwendet, die speziell für den medizinischen Gebrauch trainiert wurde, könnten Verzerrungen in Form von subtilen Formulierungen in der automatisierten Arzt-Patienten-Kommunikation oder beim Versuch, Schlussfolgerungen über medizinische Daten zu vermitteln, auftreten. Sogar, wenn diese Schlussfolgerungen von einem bestehenden externen System wie SlicerDicer gezogen werden.

"Der Unterschied zwischen Leben und Tod"

Bezüglich dieser Einschränkungen besagen die Nutzungsrichtlinien von OpenAI verständlicherweise, dass ihre Modelle nicht dazu verwendet werden können, Anleitungen zur Heilung oder Behandlung eines Gesundheitszustands zu geben. Insbesondere "sind die Modelle von OpenAI nicht darauf abgestimmt, medizinische Informationen zu liefern. Sie sollten unsere Modelle niemals verwenden, um Diagnose- oder Behandlungsdienste für ernsthafte medizinische Erkrankungen anzubieten."

Epic und Microsofts Anwendung von GPT-4 scheint diese Regeln zu umgehen, indem sie nicht davon ausgeht, dass GPT-4 die Kommunikation autonom und ohne Mitwirkung des medizinischen Fachpersonals übernimmt. Oder dass GPT-4 im Falle von SclicerDicer die Diagnosen oder Datenanalysen für einzelne Patientendatensätze lediglich in aggregierter Form bereitstellt. Microsoft und OpenAI waren bei Redaktionsschluss für eine Stellungnahme nicht zu erreichen.

Insgesamt ist Mitchell frustriert über das allgemeine Missverständnis und die falsche Anwendung von generativer KI im heutigen Hype-Umfeld: "In Kombination mit dem bekannten Problem der Automatisierungsverzerrung, bei dem selbst Experten Dinge glauben, die falsch sind, wenn sie von einem System automatisch generiert werden, wird diese Arbeit vorhersehbar falsche Informationen erzeugen", sagt Mitchell. "Im klinischen Umfeld kann dies den Unterschied zwischen Leben und Tod bedeuten."

Dieser Artikel erschien ursprünglich auf Ars Technica.

(mack)