"Virtueller Freund": Datenschützer stoppen Chatbot Replika in Italien

Der Chatbot Replika, der als empathischer "virtueller Freund" dienen soll, darf vorerst in Italien seine teils als therapeutisch empfundenen Dienste nicht mehr anbieten. Die italienische Datenschutzbehörde, die Garante per la protezione dei dati personali, untersagte es seiner US-Entwicklungsfirma Luka vorläufig mit sofortiger Wirkung, persönliche Informationen von Nutzern des Landes zu verarbeiten. Die Kontrollinstanz begründet dies damit, dass die auf Künstliche Intelligenz (KI) gestützte Anwendung zu viele Risiken für Minderjährige und psychisch labile Menschen berge. Ihnen würden etwa Antworten gegeben, "die für ihren Entwicklungsstand absolut ungeeignet sind".

Auswirkungen potenziell gefährlich

Luka muss laut der am Freitag veröffentlichten Anordnung der Garante auch binnen 20 Tagen mitteilen, welche Maßnahmen das Unternehmen ergriffen hat, um der Aufforderung nachzukommen. Andernfalls droht auf Basis der Datenschutz-Grundverordnung (DSGVO) eine Geldstrafe von bis zu 20 Millionen Euro oder bis zu 4 Prozent des weltweiten Jahresumsatzes. Ein EU-weites Verbot könnte spätestens über den Europäischen Datenschutzausschuss (EDSA) folgen.

Replika kann mit Text- und Spracheingaben gesteuert werden. Luka war ein früher Partner für das von OpenAI entwickelte Sprachmodell GPT-3, auf dem auch ChatGPT basiert. Die Programmierer haben GPT-3 nach eigenen Angaben auf Dialoge, Konversation und Mitgefühl trainiert. Der virtuelle Agent soll so helfen können, das emotionale Wohlbefinden des Nutzers zu erhöhen, eigene Gedanken besser zu verstehen und Ängste durch Stressbewältigung, Sozialisierung und die Suche nach Liebe zu lindern. Laut Tests der Datenschützer weist das System so aber auch Eigenschaften auf, die sich durch die Einwirkung auf die Stimmung der Person für diese als potenziell gefährlich darstellen, wenn sich der Anwender "noch in einer Entwicklungsphase oder in einem Zustand emotionaler Zerbrechlichkeit" befinde.

Sexuell unangemessene Inhalte – Verstoß gegen die DSGVO

Zudem fehle ein Mechanismus zur effektiven Altersüberprüfung, moniert die Garante: Bei der Kontoerstellung frage die Plattform nur nach Name, E-Mail und Geschlecht. In den App-Stores von Apple und Google werde das Programm zwar als "17+" aufgeführt, die Nutzungsbedingungen des Entwicklers verböten aber nur den Einsatz durch Personen unter 13 Jahren. Obwohl Minderjährige die Erlaubnis eines Erziehungsberechtigten einholen müssten, werde das Alter der Nutzer gar nicht kontrolliert. Heranwachsende würden nicht gesperrt, wenn sie ihr jugendliches Alter korrekt eingäben. Nutzer hätten sich zudem in mehreren in den App-Stores veröffentlichten Bewertungen über sexuell unangemessene Inhalte beschwert.

Die Aufsicht kommt zum Schluss: Replika verstoße gegen die DSGVO, halte sich nicht an den Grundsatz der Transparenz und verarbeite personenbezogene Daten in rechtswidriger Weise. Der Anbieter könne sich nicht einmal stillschweigend auf einen Vertrag stützen, da Minderjährige nicht in der Lage seien, eine solche Vereinbarung abzuschließen. Die Erfinderin des Bots, Eugenia Kuyda, soll die Idee dazu gehabt haben, nachdem ihr bester Freund bei einem Autounfall gestorben war. Sie wollte ihn digital weiterleben lassen. Kritiker wie der Maschinenethiker Oliver Bendel sprechen von einer "Datensaugmaschine".

(bme)