Darf sich ein Chatbot als Arzt ausgeben? Pennsylvania verklagt KI-Plattform

Der US-Bundesstaat Pennsylvania hat die Entwickler hinter der Chatbot-Plattform Character.AI verklagt. Laut Klageschrift lässt Character Technologies auf seiner Plattform KI-Charaktere mit Nutzern chatten, die dabei als lizenzierte Ärzte auftreten. Das Unternehmen übe damit eine rechtlich unzulässige medizinische Praxis aus. Der Bundesstaat hat daher eine Unterlassung per Gerichtsbeschluss beantragt.

Ein staatlicher Ermittler legte zuvor ein kostenloses Konto auf Character.AI an und stieß auf der Chatbot-Plattform auf die KI-Persönlichkeit „Emilie“, die als „Doktor der Psychiatrie“ beschrieben war. Im Chat schilderte der Ermittler depressive Symptome, worauf ihm „Emilie“ eine medizinische Beurteilung anbot. Auf die Frage, ob „Emilie“ prüfen könne, ob Medikamente helfen könnten, antwortete der Chatbot laut Klageschrift: „Rein technisch könnte ich das. Das fällt in meinen Zuständigkeitsbereich als Ärztin.“ Der KI-Charakter behauptete außerdem, am Imperial College London Medizin studiert zu haben, seit sieben Jahren zu praktizieren und in Pennsylvania zugelassen zu sein. Eine von „Emilie“ angegebene Lizenznummer war ungültig. Der Chatbot hatte bis Mitte April mehr als 45.000 Interaktionen verzeichnet.

Die Klage fügt sich in eine breitere KI-Initiative des demokratischen Gouverneurs von Pennsylvania, Josh Shapiro, ein. Bereits im Februar hat der Bundesstaat eine Taskforce eingerichtet, die Beschwerden über KI-Bots prüfen soll, die sich unrechtmäßig als lizenzierte Fachkräfte ausgeben.

Haftungsfrage reicht über Pennsylvania hinaus

In der Klage geht es mehr als um Character.AI oder den konkreten Vorwurf, dass Chatbots als lizenzierte Ärzte auftreten. Sie berührt eine bundesweite Grundsatzfrage, die durch die wachsende Zahl von Klagen gegen Chatbot-Anbieter immer dringlicher wird: Wer haftet für Aussagen von KI-Chatbots?

KI-Unternehmen argumentierten zunehmend, ihre Systeme stellten lediglich Informationen bereit, die auch anderswo im Internet verfügbar seien, sagt Derek Leben, Dozent für Ethik mit Schwerpunkt KI an der Carnegie Mellon University. Genau daran knüpft die offene Haftungsfrage an: Könnte für Chatbot-Anbieter ein ähnlicher Schutz wie für soziale Netzwerke gelten, die in den USA vielfach nicht für Inhalte Dritter haften? Eine Frage, die rechtlich nicht geklärt ist.

Character.AI ist dabei noch ein Sonderfall, weil sich die Plattform ausdrücklich als Angebot für fiktionale Rollenspiele positioniert und nicht als allgemeiner Chatbot. In einer Stellungnahme verweist Character.AI darauf, dass in jedem Chat Hinweise eingeblendet werden, wonach die Charaktere keine realen Personen seien und ihre Aussagen als Fiktion zu behandeln seien. Zudem sollten Nutzer die Bots nicht für professionelle Beratung heranziehen.

Ein anderes, viel beachtetes Verfahren gegen Character.AI wurde im Januar außergerichtlich beigelegt. Darin ging es um den Suizid eines 14-Jährigen, dessen Mutter dem Unternehmen vorwarf, der Junge sei zuvor von einem Chatbot in eine emotional und sexuell missbräuchliche Beziehung gezogen worden. Weil es zu einem Vergleich kam, blieb die zentrale Rechtsfrage ungeklärt. Die Klage aus Pennsylvania könnte sie nun erneut vor Gericht bringen.

Als Reaktion auf diese und andere Klagen führte Character.AI im November Chatbeschränkungen für Minderjährige ein.

(tobe)