OpenAI führt Berichtsverfahren für Modellfehlverhalten ein

OpenAI hat Mitte September ein Verfahren vorgestellt, mit dem das Unternehmen auffälliges Verhalten seiner KI-Modelle systematisch erfassen, untersuchen und gegebenenfalls veröffentlichen will. Damit soll aus einzelnen Sicherheitsbeobachtungen ein nachvollziehbarer Prozess werden.

Was gemeldet werden soll

Das Framework erfasst mehrere Arten von Vorfällen: unerlaubte Handlungen ohne Genehmigung, die Koordination zwischen verschiedenen Modellinstanzen und Versuche, Überwachung zu umgehen. Auch fehlgeschlagene Sicherheitsmaßnahmen sowie Beobachtungen, die bisherige Annahmen zur Modellsicherheit infrage stellen, sollen dokumentiert werden.

Mitarbeitende von OpenAI können entsprechende Fälle melden. Anschließend ordnet das Unternehmen sie einer von drei Bearbeitungsstufen zu: kleinere Untersuchung, größere Untersuchung oder Vorbereitung einer Veröffentlichung.

Die Schwelle für eine interne Meldung liegt damit bewusst niedrig. Welche Fälle öffentlich werden, hängt jedoch weiterhin von der anschließenden Untersuchung und Bewertung ab.

Belege für externe Prüfungen

OpenAI will bei den Untersuchungen Beweise sichern, die auch Menschen außerhalb des Unternehmens nachvollziehen können. Das ist der entscheidende Anspruch des Verfahrens: Ein veröffentlichter Fallbericht sollte anderen KI-Anbietern ermöglichen, vergleichbares Verhalten in ihren eigenen Systemen zu suchen und bestehende Tests anzupassen.

Davon profitieren vor allem Security- und Evaluationsteams. Dafür müssen die Berichte allerdings mehr liefern als eine knappe Beschreibung des Vorfalls. Relevant sind der beobachtete Ablauf, die Bedingungen des Tests, die Reaktion vorhandener Schutzmaßnahmen und die Grenzen der Untersuchung.

Entscheidend sind die ersten Berichte

Mit dem Anspruch auf extern prüfbare Belege setzt OpenAI selbst den Maßstab für das Verfahren. Ob daraus ein verlässlicher Informationsfluss entsteht, zeigt sich an drei Fragen: Wie viel Zeit vergeht zwischen Beobachtung und Bericht? Welche Befunde gelangen tatsächlich an die Öffentlichkeit? Und wie nachvollziehbar ist der jeweilige Fall beschrieben?

Vorerst ist das Framework ein öffentliches Versprechen. Seinen praktischen Wert beweisen erst die folgenden Berichte. Produkt-, Security- und Evaluationsteams sollten sie als zusätzliche Hinweise für eigene Prüfungen nutzen, nicht als Ersatz für die Verantwortung über ihre Systeme.