Google ADK testet Sprachagenten mit simulierten Nutzern
ADK erweitert seine Evaluation auf Live-Dialoge. Simulierte Nutzer und zwei Testformen sollen Regressionen in Sprachagenten reproduzierbar machen.
Google hat am 24. August 2026 laut Google Developers Blog eine native Live-Evaluation für das Agent Development Kit (ADK) vorgestellt. Damit sollen sich Veränderungen an Sprachagenten in wiederholbaren Tests prüfen lassen – einschließlich gesprochener Ein- und Ausgaben.
Der Anlass ist praktisch: Eine überzeugende Sprachdemo kann nach der nächsten Prompt- oder Modelländerung kippen. Ein Werkzeug löst nicht mehr aus, Kontext geht zwischen Gesprächsrunden verloren oder der Agent reagiert falsch auf eine Unterbrechung. Ein Transkript allein bildet solche Fehler nur unvollständig ab.
Der Testnutzer spricht selbst
Bei einem Live-Agenten zählt nicht allein der Inhalt einer Antwort. Timing, aufeinanderfolgende Gesprächsrunden und der Umgang mit Störungen gehören ebenfalls zum Verhalten des Systems. Hier brechen Sprachagenten.
Der von Google beschriebene simulierte Nutzer spricht seine Beiträge deshalb als Audio ein; ADK bewertet anschließend die gesprochenen Antworten des Agenten. Die Simulation verschiebt den Prüfgegenstand vom geschriebenen Ergebnis zum tatsächlichen Gesprächsverlauf. Ein Evaluationsteam kann dieselbe Audio-Interaktion erneut anstoßen und die Ergebnisse zwischen zwei Versionen vergleichen, statt sich vor jedem Release auf eine handgeführte Demo zu verlassen.
Ein konkreter Regressionstest könnte eine Unterbrechung während einer Werkzeugaktion abbilden: Der Nutzer korrigiert seine Anfrage, bevor das Werkzeug antwortet. Entscheidend ist dann nicht nur, ob der Agent einen passenden Satz formuliert, sondern ob er die Korrektur übernimmt und mit dem richtigen Zustand weiterarbeitet.
Fester Ablauf trifft dynamisches Szenario
ADK unterstützt dem Google Developers Blog zufolge zwei Testformen: Gesprächsszenarien geben dem simulierten Nutzer ein Ziel und lassen den Dialog dynamisch entstehen, während fest vorgegebene Gespräche einen bestimmten Verlauf abspielen. Beide Formen können innerhalb der Live-Evaluation kombiniert werden.
Diese Trennung ist praktisch. Ein fester Ablauf eignet sich als Regressionstest für eine bekannte kritische Sequenz; ein dynamisches Szenario zeigt dagegen, ob der Agent sein Ziel auch bei variierenden Formulierungen und Gesprächswegen erreicht. Ausschließlich feste Dialoge würden relevante Abweichungen ausblenden, ausschließlich dynamische Tests den Vergleich zwischen Releases erschweren.
Ich halte die Kombination deshalb für den stärksten Teil des neuen Prüfwegs: Sie verbindet einen stabilen Vergleichsmaßstab mit kontrollierter Variation.
Übergaben müssen den Zustand behalten
Sprachdialoge enden nicht zwingend bei einem einzelnen Agenten. Sind mehrere Live-Agenten beteiligt, führt ADK nach Angaben von Google den angesammelten Sitzungszustand und die Gesprächshistorie weiter. Eine Übergabe soll also nicht bei null beginnen.
Die ADK-Dokumentation beschreibt dafür einen Live-Runner, der bidirektionale Sprach- und Videointeraktion verarbeitet, Werkzeuge automatisch ausführt und Multi-Agenten-Abläufe unterstützt. Für Evaluationsteams ist vor allem die Konsequenz wichtig: Ein Test kann sichtbar machen, ob bei einer Übergabe frühere Angaben verloren gehen, ein Werkzeug mit veraltetem Kontext startet oder der nächste Agent eine bereits beantwortete Frage erneut stellt.
Fazit
Native Live-Evaluation macht einen Sprachagenten noch nicht verlässlich. Sie schafft aber einen gemeinsamen Prüfpunkt, an dem sich das Verhalten vor und nach einer Änderung nach denselben Regeln vergleichen lässt.
Demos reichen dafür nicht.
Der Mindeststandard sollte aus festen Verläufen gegen bekannte Regressionen, dynamischen Szenarien für unerwartete Gesprächswege und ausdrücklich geprüften Übergaben bestehen. Erst wenn Audio, Zustand und Werkzeugaktionen gemeinsam bestehen, wird aus einer überzeugenden Demo ein belastbarer Kandidat für den produktiven Betrieb.
Transparenz
agentenlog.de nutzt KI-Assistenz für Recherche, Struktur und Entwurf. Inhaltliche Auswahl, Einordnung und Veröffentlichung liegen redaktionell bei agentenlog.de; Quellen und Fakten werden vor Veröffentlichung automatisiert geprüft.
Quellen
Das könnte dich auch interessieren
Agent Skills helfen als Ablaufplan – und scheitern am Abruf
Eine Studie zerlegt den Nutzen von Agent Skills: Prozedurale Führung schlägt Wissenszufuhr, doch große Bibliotheken verschärfen Abruf- und Anwendungsfehler.
Ora testet KI-Agenten auf Live-Websites – der Benchmark bleibt offen
Ora testet KI-Agenten auf echten Websites. Der Ansatz liefert nützliche Schritt-Traces, doch Herstellerangaben und fehlende Varianz begrenzen die Aussagekraft.
LangChain benchmarkt das Agenten-Harness statt nur das Modell
LangChain evaluiert Deep Agents mit Harbor und einer Lite-Suite. Warum Systemprompt, Werkzeuge und Testumgebung zum Benchmark gehören.