SB 243: Noch ein kalifornisches KI-Gesetz zum Schutz der Jugend

close notice

This article is also available in English. It was translated with technical assistance and editorially reviewed before publication.

Don’t show this again.

Es ist bereits das zweite kalifornische Gesetz, das KI-Modelle reguliert. Konkret geht es um KI-Chatbots und deren Kommunikation mit Nutzenden. SB 243 verlangt klare Auskunft, Sicherheitsmaßnahmen und verbietet bestimmte Verhaltensmuster.

KI-Chatbots dürfen sich beispielsweise nicht mehr als medizinisches Personal, Therapeuten oder ähnliche Fachkräfte ausgeben. Das soll in der Vergangenheit häufig passiert sein. Die Gefahren, die von potenziell falschen Aussagen und vermeintlicher Unterstützung in schwierigen Situationen ausgehen, liegen auf der Hand. Dabei hat das Gesetz besonders Jugendliche im Blick, die besonders anfällig für schlechten Rat sind, weil ihnen einfach Erfahrung fehlt. Aber auch vulnerable Personen im Erwachsenenalter sollen durch das Gesetz geschützt werden.

Der kalifornische Gouverneur Gavin Newsom hat das Gesetz unterzeichnet. Es wird im Januar 2026 wirksam. "Neue Technologien wie Chatbots und soziale Medien können inspirieren, bilden und verbinden – aber ohne echte Leitplanken kann Technologie unsere Kinder auch ausnutzen, irreführen und gefährden", schreibt Newsom. Schon der Titel der öffentlichen Stellungnahme nimmt Bezug auf den Schutz von Kindern online.

Verbote und Pflichten für KI-Anbieter

Zu dem Gesetz gehört auch, dass Anbieter Altersverifikationssysteme in ihre Dienste integrieren müssen. OpenAI hat beispielsweise bereits erklärt, ab Dezember dieses Jahres ein solches für ChatGPT einzuführen, damit einhergeht auch ein erweiterter Funktionsumfang für Erwachsene – erotische Gespräche sind dann erlaubt. Außerdem müssen Protokolle von Gesprächen erstellt werden, die in eine gefährliche Richtung gehen. Dazu gehört auch, in solchen Fällen Adressen anzubieten, an die sich Menschen mit Problemen wenden können. Chatbots müssen den Nutzer zu Pausen auffordern und dürfen Jugendlichen keine Inhalte anzeigen, die für diese nicht geeignet sind. Sie müssen sogar vor der Nutzung von Chatbots und Social Media warnen. KI-Chatbots müssen immer als solche erkennbar sein. Die Erstellung von Deepfake-Pornografie wird härter bestraft. Grundsätzlich werden nach dem Gesetz KI-Anbieter bei Schäden zur Verantwortung gezogen.

Adressiert ist es an die generellen Chatbots von unter anderem Meta, OpenAI, xAI und Google, vor allem richtet sich das Gesetz aber auch an die Anbieter von Freundschafts-Chatbots wie Character.ai und Replika. Letztgenannte lassen Menschen KI-Companions, also Freunde, nach eigenen Wünschen erstellen. Sie stehen besonders in der Kritik, für Kinder und Jugendliche schädlich zu sein.

Das Gesetzesvorhaben ist gestartet, nachdem ein 16-Jähriger Suizid begangen haben soll und dabei von ChatGPT unterstützt wurde. Ein ähnlicher Vorwurf richtet sich gegen Character.ai. – hier geht es um ein 13-jähriges Mädchen. Zudem wurden Dokumente geleaked, die zeigten, dass Metas Chatbots romantische Gespräche mit Jugendlichen führen.

In Kalifornien gibt es zudem bereits mit SB 53 ein KI-Gesetz, bei dem es unter anderem um Transparenz-Anforderungen geht. Während auch andere US-Bundesstaaten ähnliche KI-Gesetze auf den Weg bringen möchten, hatte eigentlich US-Präsident Donald Trump verboten, KI-Unternehmen zum Nachteil von KI-Entwicklung zu regulieren. Er sowie die großen KI-Unternehmen sehen vor allem den Wettbewerb mit China im Rennen um KI als Gefahr für die US-Wirtschaft.

(emw)