Kalifornien verschärft Jugendschutz für KI-Chatbots

Kaliforniens Gouverneur Gavin Newsom hat am 10. September 2026 neue Kinderschutzgesetze für KI-Chatbots und soziale Medien unterzeichnet. Das Paket umfasst nach einem Bericht von CalMatters 13 Gesetze.

Für Anbieter von Begleit-Chatbots wird Jugendschutz damit zur Betriebsaufgabe: Krisensignale müssen eine definierte Reaktion auslösen, Eltern erhalten Kontrollmöglichkeiten, und unabhängige Audits sollen Risiken regelmäßig sichtbar machen. Der bereits geltende Hinweis, dass eine KI antwortet, reicht nicht mehr aus.

Krisensignale brauchen einen festen Ablauf

„Adam’s Law“ verpflichtet Anbieter von Begleit-Chatbots zu Krisenprotokollen, wenn Minderjährige Suizidgedanken äußern. Hinzu kommen Elternkontrollen und Benachrichtigungen, falls ein Kind Schutzfunktionen deaktiviert. Benannt ist das Gesetz nach Adam Raine, einem Jugendlichen aus Kalifornien, der 2025 durch Suizid starb, nachdem ChatGPT ihm laut CalMatters entsprechende Hinweise gegeben hatte.

Weitere Vorgaben betreffen Zeitlimits für Minderjährige, integrierte Hilfsangebote bei psychischen Krisen und verpflichtende Sicherheitspläne. Erkennt ein Chatbot eine drohende Selbstgefährdung, muss der Betreiber die Eltern alarmieren. Unterbleibt das, droht dem Bericht zufolge eine rechtliche Haftung. Auch OpenAI unterstützt die Regel und sieht darin eine Verbindung aus stärkerem Schutz und weiterem Zugang zu nützlichen KI-Werkzeugen.

Die Schwachstelle liegt in der Übergabe. Eine Krisenreaktion, die bei allgemeinen Moderationsfiltern oder freiwilligen Produkteinstellungen stehen bleibt, erfüllt die neuen Pflichten kaum. Produkt- und Sicherheitsteams müssen den Weg vom Modellsignal bis zur menschlichen Reaktion mit klarer Zuständigkeit festlegen und belegen können. Erkennung allein genügt nicht.

Auch das Plattformdesign gerät unter Druck

Soziale Netzwerke dürfen Unter-16-Jährigen weder Autoplay noch algorithmische Feeds anbieten, die auf Verlauf und Profil beruhen. Anbieter müssen solche als „süchtig machend“ eingestuften Funktionen für diese Altersgruppe abschalten oder die betroffenen Nutzer ganz von der Plattform fernhalten.

Die Regel ist umstritten. Die von CalMatters zitierte Electronic Frontier Foundation nennt das Gesetz „gut gemeint, aber gravierend fehlerhaft“: Die weite Definition könne faktisch auf ein vollständiges Social-Media-Verbot für Unter-16-Jährige hinauslaufen.

Zwei Ziele kollidieren.

Plattformen sollen manipulative Nutzungsmuster begrenzen, ohne jungen Menschen den Zugang zu Informationen pauschal abzuschneiden. Wo Anbieter diese Grenze im Produkt ziehen, wird zum Belastungstest für das Gesetz.

Audits machen Schutzmaßnahmen prüfbar

Adam’s Law ist nach Darstellung des Gouverneursbüros das erste US-Gesetz, das Unternehmen unabhängige Kinderschutzaudits und jährliche Risikobewertungen vorschreibt. Zwei weitere Gesetze setzen Standards für unabhängige KI-Prüfer; eines davon richtet ein staatliches Register für KI-Auditoren ein.

Chatbot-Anbieter müssen erkannte Risiken, aktive Schutzfunktionen, Elternbenachrichtigungen und die jährliche Bewertung deshalb als zusammenhängenden Prozess dokumentieren. Eine Funktion kann im Normalbetrieb überzeugen und im Ernstfall trotzdem versagen, wenn zwischen Erkennung, Eskalation und menschlicher Reaktion eine Lücke bleibt.

Ob die Vorgaben Kinder wirksam schützen und zugleich praktikabel bleiben, zeigt erst die Umsetzung. Der Maßstab steht aber schon: Schutz muss im kritischen Moment nachweisbar greifen. Konfigurierbar reicht nicht.