Google WikiSkill: Wissen behalten, Skills zurückrollen

Ein Agent soll aus einem Fehler lernen. Doch sobald diese Erfahrung direkt in seine ausführbaren Anweisungen wandert, entsteht ein neues Risiko: Eine schlechte Schlussfolgerung wird beim nächsten Lauf zur Arbeitsanweisung. WikiSkill, ein Framework von Google Research, zieht deshalb eine Grenze zwischen Erfahrung, Wissen und Ausführung.

Darin steckt mehr als saubere Ablage. Dauerhaftes Wissen darf wachsen, während daraus abgeleitete Agent Skills weiterhin geprüft und verworfen werden können. Bemerkenswert ist auch, wer in den Versuchen stärker profitiert: Mit der Größe der getesteten Qwen-Modelle wachsen die gemeldeten Zugewinne.

Drei Schichten statt eines Erfahrungsspeichers

Laut der am 27. August veröffentlichten Studie besteht der Workspace von WikiSkill aus drei Ebenen. Der Raw Layer bewahrt unveränderliche Ausführungsspuren auf. Im Wiki Layer sammelt und strukturiert das System daraus gewonnenes Wissen, während der Skill Layer prozedurales Wissen als ausführbare Skills enthält.

Damit bekommen unterschiedliche Artefakte unterschiedliche Aufgaben. Die rohe Spur bleibt als Ausgangsmaterial erhalten, das Wiki verdichtet wiederkehrende Muster, und ein Skill übersetzt diese Muster in Verhalten. Ein gemeinsamer Erfahrungsspeicher müsste all das zugleich leisten. Dann ließe sich schwerer erkennen, ob ein Fehler aus der Beobachtung, ihrer Interpretation oder der daraus gebauten Handlungsanweisung stammt.

Das Wiki überlebt einen schlechten Skill

Google Research beschreibt für Skill-Änderungen einen Validierungs- und Rollback-Pfad: Verschlechtert eine Änderung die Leistung, kann das System den Skill zurückrollen. Das Wiki bleibt dabei bestehen. Wissen und seine aktuelle ausführbare Fassung haben getrennte Lebenszyklen.

Diese Trennung ist der entscheidende Architekturgewinn. Sie verhindert, dass beim Verwerfen einer fehlerhaften Prozedur zugleich der gesamte Erfahrungsstand verloren geht. Eine Sicherheitsgarantie ist das allerdings nicht: Enthält bereits das Wiki eine falsche Schlussfolgerung, können mehrere daraus abgeleitete Skills denselben Fehler übernehmen.

Der Prüfmaßstab muss deshalb an beiden Übergängen ansetzen. Ein Plattformteam sollte kontrollieren, welche Beobachtungen in das Wiki gelangen und ob ein neuer Skill auf den eigenen Aufgaben tatsächlich besser abschneidet. Eine plausible Formulierung genügt nicht.

Was die Benchmarkwerte zeigen

Google Research prüft WikiSkill laut Studie mit fünf Modellen auf fünf Benchmarks und berichtet durchgehend bessere Ergebnisse als bei bestehenden Verfahren zur Skill-Evolution. In der Größenreihe der Qwen-Modelle steigt die mittlere Leistung bei 4B um 12,3 Prozent, bei 9B um 17,5 Prozent und bei 27B um 23,9 Prozent.

Das widerspricht der naheliegenden Erwartung, dass externe Skills vor allem kleineren Modellen fehlende Fähigkeiten ersetzen: In diesen Versuchen konnten leistungsfähigere Modelle offenbar mehr Nutzen aus dem aufbereiteten Wissen und den weiterentwickelten Prozeduren ziehen.

The Decoder nennt am 29. August einen weiteren Wert aus der Arbeit: Bei Gemini-3.5-Flash steigt das gemessene Ergebnis von 49,5 auf 68,1 Prozent. Der Bericht beschreibt den Mechanismus als persistente, wikiartige Wissensbasis, die Erfahrungen aus Erfolgen und Fehlern sammelt und daraus wiederverwendbare Agent Skills ableitet, ohne die Modellgewichte zu verändern.

Was hier mit Lernen gemeint ist

Nach der Darstellung von Google Research verändert WikiSkill das trainierte Modell nicht kontinuierlich. Das Framework verbessert den Kontext und die Anweisungen, die dem Modell bei späteren Aufgaben zur Verfügung stehen.

Das ist für den Betrieb ein wichtiger Unterschied. Wissen und Skills liegen als prüfbare Artefakte außerhalb der Modellgewichte und können getrennt untersucht werden. Der Lernbegriff klingt größer als der tatsächliche Eingriff; architektonisch ist gerade diese Begrenzung nützlich.

Fazit

Die veröffentlichten Benchmarkwerte belegen noch keinen zuverlässigen Dauerbetrieb. Fünf Modelle und fünf Benchmarks ergeben eine breite Versuchsanordnung, ersetzen aber weder eine unabhängige Reproduktion noch Tests unter den eigenen Bedingungen. Offen bleibt insbesondere, wie das Wiki mit widersprüchlichen Erfahrungen umgeht und ob der Rollback-Pfad bei realen Aufgaben stabil bleibt.

Als Architekturvorschlag überzeugt WikiSkill dennoch. Ausführungsspuren bleiben nachvollziehbar, Wissen kann sich über mehrere Läufe ansammeln, und ausführbare Änderungen müssen ihre Wirkung erst beweisen. Die Mindestregel für einen Einsatz ist klar: Kein neuer Skill ohne Vergleich auf den eigenen Aufgaben, kein Rollback des Skills auf Kosten des Wissensbestands und keine ungeprüfte Übernahme neuer Einträge ins Wiki. Sonst wird aus einer gespeicherten Erfahrung ein dauerhaft automatisierter Fehler.