Google WikiSkill: Wissen behalten, Skills zurückrollen

Ein Agent soll aus einem Fehler lernen. Sobald diese Erfahrung direkt in seine ausführbaren Anweisungen wandert, entsteht jedoch ein neues Risiko: Eine schlechte Schlussfolgerung wird beim nächsten Lauf zur Arbeitsanweisung. WikiSkill, ein Framework von Google Research, trennt deshalb Erfahrung, Wissen und Ausführung.

Das ist mehr als saubere Ablage. Dauerhaftes Wissen darf wachsen, während daraus abgeleitete Agent Skills geprüft und verworfen werden können. Für Plattform- und Evaluationsteams ergibt sich daraus eine konkrete Entscheidung: Sie müssen nicht nur neue Skills testen, sondern auch kontrollieren, welches Wissen diese Skills überhaupt prägt.

Drei Schichten statt eines Erfahrungsspeichers

Laut der am 27. August veröffentlichten Studie besteht der Workspace von WikiSkill aus drei Ebenen. Der Raw Layer bewahrt unveränderte Ausführungsspuren auf. Im Wiki Layer sammelt und strukturiert das System daraus gewonnenes Wissen, während der Skill Layer dieses Wissen in ausführbare Prozeduren übersetzt.

Die Trennung macht Fehler besser lokalisierbar. Die rohe Spur bleibt als Ausgangsmaterial erhalten, das Wiki verdichtet wiederkehrende Muster, und ein Skill setzt sie in Verhalten um. Ein gemeinsamer Erfahrungsspeicher müsste alle drei Aufgaben zugleich erfüllen. Dann wäre schwerer zu erkennen, ob ein Fehler aus der Beobachtung, ihrer Interpretation oder der daraus gebauten Handlungsanweisung stammt.

Das Wiki überlebt einen schlechten Skill

Google Research beschreibt für Skill-Änderungen einen Validierungs- und Rollback-Pfad. Verschlechtert eine Änderung die gemessene Leistung, kann das System den Skill zurückrollen, ohne zugleich das Wiki zu verwerfen. Wissen und seine aktuelle ausführbare Fassung haben getrennte Lebenszyklen.

Das ist der stärkste Gedanke der Architektur. Beim Verwerfen einer fehlerhaften Prozedur geht nicht automatisch der gesamte Erfahrungsstand verloren.

Sicher ist das System damit noch nicht. Enthält bereits das Wiki eine falsche Schlussfolgerung, können mehrere daraus abgeleitete Skills denselben Fehler übernehmen. Der Prüfmaßstab muss deshalb an beiden Übergängen ansetzen: Welche Beobachtungen dürfen ins Wiki gelangen, und schneidet ein neuer Skill auf den eigenen Aufgaben tatsächlich besser ab? Eine plausible Formulierung genügt nicht.

Was die Benchmarkwerte zeigen

Die Studie prüft WikiSkill mit fünf Modellen auf fünf Benchmarks und berichtet bessere Ergebnisse als bei den untersuchten Verfahren zur Skill-Evolution. In der Größenreihe der Qwen-Modelle steigt die mittlere Leistung bei 4B um 12,3 Prozent, bei 9B um 17,5 Prozent und bei 27B um 23,9 Prozent.

Das widerspricht der naheliegenden Erwartung, externe Skills würden vor allem kleineren Modellen fehlende Fähigkeiten ersetzen. In diesen Versuchen konnten die größeren Modelle offenbar mehr Nutzen aus dem strukturierten Wissen und den weiterentwickelten Prozeduren ziehen.

Auch der auffälligste Einzelwert stammt aus der Ergebnistabelle der Studie: Für Gemini-3.5-Flash steigt der gemessene Benchmarkwert von 49,5 auf 68,1. Diese Zahl zeigt einen starken Effekt innerhalb des Versuchsaufbaus, aber noch keine entsprechende Verbesserung in beliebigen produktiven Aufgaben.

Was hier mit Lernen gemeint ist

Nach Angaben von Google Research verändert WikiSkill die trainierten Modellgewichte nicht fortlaufend. Das Framework verbessert den Kontext und die Anweisungen, die dem Modell bei späteren Aufgaben zur Verfügung stehen.

Für den Betrieb ist diese Begrenzung ein Vorteil. Wissen und Skills bleiben als prüfbare Artefakte außerhalb des Modells sichtbar und können getrennt untersucht werden. Der Begriff „Lernen“ klingt größer als der technische Eingriff; tatsächlich geht es um eine kontrollierte Weiterentwicklung von Wissensbasis und Arbeitsanweisungen.

Die Grenze

Die veröffentlichten Benchmarkwerte belegen noch keinen zuverlässigen Dauerbetrieb. Fünf Modelle und fünf Benchmarks ergeben eine breite Versuchsanordnung, ersetzen aber weder eine unabhängige Reproduktion noch Tests unter den eigenen Bedingungen. Offen bleibt insbesondere, wie das Wiki mit widersprüchlichen Erfahrungen umgeht und ob der Rollback-Pfad bei realen Aufgaben stabil bleibt.

Als Architekturvorschlag überzeugt WikiSkill trotzdem, weil es eine zentrale Fehlerquelle sichtbar macht: Gespeichertes Wissen und ausführbares Verhalten brauchen getrennte Kontrollen. Die Mindestregel für einen Einsatz ist klar: Kein neuer Skill ohne Vergleich auf den eigenen Aufgaben, kein Rollback des Skills auf Kosten des Wissensbestands und keine ungeprüfte Übernahme neuer Einträge ins Wiki. Sonst wird aus einer gespeicherten Erfahrung ein dauerhaft automatisierter Fehler.