IBM meldet 67,5 Prozent Pass^4 mit gelernten Agentenleitlinien

IBM Research hat am 20. Oktober 2026 im Hugging-Face-Blog beschrieben, wie das Toolkit ALTK-Evolve einen Kundenservice-Agenten verbessert, ohne die Modellgewichte anzufassen. Mit dem älteren Sprachmodell GPT-4.1 erreicht der Agent laut IBM im Retail-Teil des Kundenservice-Benchmarks τ²-bench 67,5 Prozent Pass^4.

Pass^4 heißt: Eine Aufgabe zählt nur, wenn der Agent sie in allen vier unabhängigen Versuchen löst. Den Rangvergleich bezieht IBM auf einen Leaderboard-Schnappschuss vom 12. Oktober 2026, in dem der Wert über allen Retail-Einträgen liegt.

Die Zahlen sind Herstellerangaben.

Regeln aus den eigenen Trainingsverläufen

ALTK-Evolve wertet die Versuche des Agenten an Trainingsaufgaben aus und lässt das Modell Erfolge und Fehlschläge zu kurzen Verhaltensregeln verdichten, etwa zur Authentifizierung eines Kunden, zur Bestätigung einer Transaktion oder zur Abwicklung einer Rückgabe. Dasselbe Modell extrahiert die Leitlinien und steuert den Agenten. Gewichtsänderungen oder menschliche Annotation braucht das Verfahren nach IBMs Darstellung nicht.

Technisch ist der Eingriff schmal. Die gelernten Regeln hängen als einfache Markdown-Liste hinter der Domänen-Policy im Systemprompt; Policy, Tools und das Agentengerüst bleiben im Originalzustand von τ²-bench. Eine der im Beitrag abgedruckten Regeln lautet sinngemäß: Authentifiziere den Nutzer, bevor du irgendeine bestellbezogene Aktion ausführst.

Gelernt im Training, gemessen am zurückgehaltenen Testsatz

IBM extrahiert die Leitlinien aus den Verläufen der τ²-bench-Trainingsaufgaben mit GPT-4.1 und wendet sie anschließend unverändert auf den zurückgehaltenen Testsatz an. Testdaten fließen nach Angabe der Autoren nicht in die Leitlinien ein.

Der Benchmark selbst ist streng. Jede Aufgabe kombiniert den Agenten mit einem per LLM simulierten Kunden, einem Satz Domänenwerkzeuge und einem schriftlichen Regelwerk, an das sich der Agent halten muss. Als gelöst gilt eine Aufgabe nur, wenn der finale Datenbankzustand dem erwarteten Ergebnis entspricht. Im Versuch dient GPT-4.1 als Agentenmodell und gpt-5.5 als Kundensimulator, mit vier Durchläufen pro Aufgabe.

Im zurückgehaltenen Retail-Testsatz steigt Pass^4 nach IBMs Auswertung um zehn Punkte, von 57,5 auf 67,5 Prozent. Für den Leaderboard-Vergleich zählt dagegen der gesamte Basis-Split aus Trainings- und Testaufgaben, wie τ²-bench es verlangt; IBM weist selbst darauf hin, dass sich diese Werte von den Testzahlen unterscheiden. Auf dem Basis-Split kommt der Agent mit Leitlinien laut IBM ebenfalls auf 67,5 Prozent Pass^4, gemessen allerdings auf einer anderen Aufgabenmenge.

Der Basis-Split-Wert enthält damit auch die Trainingsaufgaben, aus denen die Regeln gelernt wurden.

Mehr Leitlinien, mehr Eingabetokens

Umsonst ist das nicht. Die Mehrkosten entstehen laut IBM bei den Eingabetokens, weil der größere Systemprompt bei jedem Modellaufruf mitläuft. Im Retail-Fall steigen die Kosten pro Gespräch mit dem vollen Satz aus 292 Leitlinien von rund 0,084 auf rund 0,139 Dollar. Diese Beträge umfassen Agent und Kundensimulator auf dem vollständigen Basis-Split und lassen sich nicht direkt als Agentenkosten im Produktivbetrieb lesen.

Länger werden die Gespräche nicht. IBM vergleicht dafür nur Testläufe, die sowohl ohne als auch mit Leitlinien gelöst wurden. In diesen Paaren sinkt die Zahl der Assistenten-Züge leicht, im Retail-Fall von 10,59 auf 10,16, und keine Variante verlängert sie.

Wie viel Anleitung sich lohnt, hängt laut den Autoren von der Domäne ab. Jede Leitlinie trägt einen Support-Wert, also die Zahl der verschiedenen Trainingsaufgaben, aus denen sie extrahiert wurde. Ein kompakter Kern behält nur Regeln mit einem Support von mindestens drei.

Laut IBM hebt dieser Kern aus 31 Leitlinien Pass^4 im Retail-Testsatz nur auf 60 Prozent; erst der volle Satz bringt den Sprung auf 67,5 Prozent. Im Airline-Teil ist es umgekehrt. Dort ist der Kern aus 14 Leitlinien mit 45 Prozent Pass^4 zuverlässiger als der volle Satz mit 101 Leitlinien, der auf 40 Prozent kommt. Die Autoren empfehlen deshalb, die Support-Schwelle pro Domäne abzustimmen, statt sie fest zu kodieren. Ergänzend dazu: Behavioral Evals: Google erklärt Tests für Coding-Agenten.

Evolve als Baustein für bestehende Assistenten

Das Repository AgentToolkit/altk-evolve auf GitHub beschreibt eine Lite-Version, die sich in bestehende Assistenten wie Claude Code und Codex einfügen soll. Evolve kombiniert dafür einen MCP-Server, über den sich Werkzeuge an Assistenten anbinden lassen, einen Vektorspeicher als Gedächtnis und eine LLM-basierte Auflösung widersprüchlicher Leitlinien. Der τ²-bench-Versuch lief allerdings auf dem mitgelieferten ReAct-Gerüst des Benchmarks, einer Schleife aus Nachdenken und Handeln, mit an den Systemprompt angehängten Leitlinien, und nicht in einem dieser Assistenten.

Für den lokalen Betrieb dokumentiert das Evolve-Projekt eine klare Grenze. Startet evolve-mcp über stdio, stellt es neben MCP auch eine Web-Oberfläche und eine REST-API auf 127.0.0.1:8000 bereit. Diese API hat keine Authentifizierung, sodass jeder lokale Prozess darüber Erinnerungen lesen und ändern kann. Mit --no-dashboard oder EVOLVE_DASHBOARD=false lässt sich der MCP-Teil allein starten. Weitere Lektüre zum Thema Agentenverläufe: OpenObserve 1.0 verbindet Agenten-Traces mit Qualitätsbewertungen.

Zuverlässigkeitsgewinn bleibt auf τ²-bench begrenzt

• Laut IBM verbessert ein gelernter Regelblock im Systemprompt die Zuverlässigkeit des GPT-4.1-Agenten, ohne Modellgewichte zu ändern. Der Leaderboard-Schnappschuss vom 12. Oktober 2026 datiert den Rangvergleich, nicht die Messung.
• Der Preis sind zusätzliche Eingabetokens, und die passende Leitlinienmenge unterscheidet sich nach IBMs Ergebnissen zwischen Retail und Airline.
• Gemessen wurde im Benchmark-Gerüst von τ²-bench, nicht in Assistenten wie Claude Code oder Codex.