Jev in Agent-Evaluationen: Billige Urteile, enge Beweislage

Jev, ein Modell von TypeSafe AI, schreibt keine Texte. Es gibt typisierte Antworten mit Wahrscheinlichkeiten zurück. LangChain hat es als Prüfer für KI-Agenten getestet: 0,00035 US-Dollar pro Bewertung und eine deutlich geringere Streuung als GPT-5.6 und Claude Sonnet 4.6. Die Zahlen sind belastbar. Was sie abdecken, ist allerdings enger, als der Preis vermuten lässt.

Was Jev bei einer Agent-Evaluation übernimmt

Jev bekommt einen Zustand vorgelegt, etwa die Antwort eines Agenten, dazu eine Bewertungsfrage. Zurück kommt ein Ergebnis in festem Format. Das ist entweder eine Auswahl aus vorgegebenen Optionen, ein Punktwert auf einer Rubrik oder eine Wahrscheinlichkeit für ein Ja/Nein-Urteil, jeweils mit Wahrscheinlichkeiten und Konfidenz. Laut LangChain lassen sich mehrere solcher Fragen parallel gegen denselben Zustand stellen.

TypeSafe AI nennt diesen Modelltyp „System One“, wie LangChain in seiner Testbeschreibung wiedergibt. Beim klassischen LLM-as-a-Judge erzeugt ein Sprachmodell sein Urteil Token für Token als Text, der anschließend auf einen Score abgebildet wird. Jev liefert die typisierte Antwort direkt. Code-basierte Prüfungen sind günstig und deterministisch. LangChain zufolge stoßen sie aber an Grenzen, sobald eine offene Aufgabe mehrere gültige Lösungswege zulässt. Jev wurde als mögliche dritte Kategorie getestet.

Was die Zahlen aus dem LangChain-Test hergeben

Der Aufbau laut LangChain: Ein mit Deep Agents gebauter Wetter-Agent beantwortete fünf Anfragen. Die Antworten wurden als feste Beispiele in LangSmith gespeichert. Jeder Judge bewertete sie mit einem kontinuierlichen Quality-Score und einer binären does_pass-Entscheidung, jeweils über 100 Wiederholungen. Das Referenzurteil kam von einem menschlichen Prüfer.

Beim binären Score traf Jev nach Angaben von LangChain alle 500 wiederholten Entscheidungen. Terra kam auf 99,8 Prozent, Luna auf 96,4 Prozent, Claude Sonnet 4.6 auf 80,0 Prozent. Beim Quality-Score hatte Jev die niedrigste mittlere Varianz pro Fall. Luna lag 433-fach darüber, Terra 913-fach, Claude 92-fach. Mit durchschnittlich 0,44 Sekunden und 0,00035 US-Dollar pro Aufruf war Jev laut LangChain außerdem der schnellste und günstigste Judge im Vergleich. Der gesamte Lauf kostete 0,34 US-Dollar, bei Claude waren es 28,17 US-Dollar.

Zwei Details aus dem Reproduzierbarkeitsteil des LangChain-Berichts verdienen mehr Gewicht, als sie dort bekommen. Für die LLM-Judges wurden weder Temperature noch Top-p noch Seed gesetzt, es galten die Voreinstellungen der Anbieter. Und die Service-Version von Jev fehlt in den Metadaten. Der Faktor 913 beschreibt deshalb den Abstand zu LLM-Judges in Default-Konfiguration. Ob er mit fixierten Sampling-Parametern schrumpft, beantwortet der Test nicht. Warum Jev weniger streut, kann das Experiment nach eigener Aussage ebenfalls nicht erklären.

Wo die eigentliche Arbeit steckt

Der Test zeigt vor allem, wie stark ein günstiger Judge von der Vorarbeit abhängt. Jev bewertet fünf fixierte Läufe anhand einer vorgegebenen Rubrik und eines menschlichen Referenzurteils. Die beeindruckende Konstanz gilt damit für einen eng kontrollierten Ausschnitt, nicht automatisch für offene Agentenaufgaben.

Für die Kostenrechnung eines Evaluationsteams ist das die entscheidende Stelle. Die 0,00035 US-Dollar gelten pro Aufruf. Die teuren Posten liegen davor: Rubriken formulieren, Referenzurteile erheben und den Zustand so strukturieren, dass die Frage überhaupt beantwortbar wird. Diese Arbeit fällt beim LLM-Judge ebenfalls an, nur kann ein Sprachmodell unscharf formulierte Fragen eher interpretieren. Hinzu kommt ein Risiko, das LangChain selbst benennt: Ein konsistent falscher Evaluator erzeugt bei niedrigen Kosten schlechtes Feedback in großer Menge.

Die Grenze

Jev ist ein ernsthafter Kandidat für eng definierte, typisierbare Prüfungen. Dazu gehören Fragen wie „Hat der Agent gesucht, obwohl er es nicht musste?“ oder „Stützt sich die Antwort auf die abgerufenen Belege?“. Als Ersatz für einen offenen LLM-Judge taugt die aktuelle Beleglage nicht. Dafür sind fünf Wetteranfragen zu wenig. Die Übertragbarkeit auf andere Agenten und Produktionsworkflows steht laut LangChain noch aus.

Für einen Pilot reicht eine Mindestregel mit drei Teilen. Erstens eigene, schmale Testfälle mit menschlichem Referenzurteil. Zweitens die LLM-Vergleichsjudges mit fixierten Sampling-Parametern. Drittens eine dokumentierte Form, in der der Fall dem Modell vorgelegt wird. Fehlt der dritte Teil, misst der Pilot vor allem das eigene Eingabedesign.