ClawWork misst OpenClaw-Agenten an Kosten und Qualität

Ein Agent löst eine Aufgabe korrekt und verbraucht dabei mehr Geld, als sein Ergebnis im Benchmark einbringt. Im üblichen Leaderboard könnte er trotzdem gut aussehen. Bei ClawWork verliert er.

ClawWork verbindet die Qualität eines Agentenlaufs mit einem Budgetmodell. Jeder Lauf startet mit Kapital, verursacht Kosten und erzeugt einen simulierten Erlös. Dadurch wird eine Frage messbar, die in Agentendemos oft fehlt: Liefert das System ein verwertbares Ergebnis, bevor Modell- und Toolkosten den Nutzen auffressen?

Das ist die richtige Messrichtung. Das Leaderboard selbst ist der schwächere Teil.

ClawWork führt ein Agenten-Budget

Das Projekt bezeichnet den Ansatz als „OpenClaw as Your AI Coworker“ und prüft Aufgaben aus mehr als 44 Berufen. Als Datensatzanker dient GDPVal mit 220 Aufgaben. ClawWork erfasst dabei Startkapital, Laufkosten, simulierte Einnahmen und Ergebnisqualität.

Wichtig ist das Wort simuliert. Der ausgewiesene Endsaldo ist kein realer Umsatz – wer daraus eine reale Profitabilität ableitet, verwechselt eine Benchmark-Rechengröße mit einer Unternehmenszahl. Er ist eine Rechengröße innerhalb des Benchmarks.

Damit lässt sich trotzdem ein sinnvoller Zielkonflikt zeigen. Ein teures Modell kann eine Aufgabe besser lösen und wirtschaftlich schlechter abschneiden. Ein günstiger Lauf spart API-Kosten, ist aber ebenfalls wertlos, wenn das Ergebnis unbrauchbar ist oder ein Mensch es vollständig korrigieren muss.

Was die Rangliste im Juni zeigte

Laut der im ClawWork-Repository veröffentlichten Juni-2026-Rangliste lag „ATIC + Qwen3.5-Plus“ mit 10 Dollar Startkapital, 8,70 Dollar Kosten und 61,6 Prozent Qualität vorn. Der ausgewiesene Endsaldo betrug 19.915,68 Dollar. Für „Gemini 3.1 Pro Preview“ standen dort 105,76 Dollar Kosten und ein Endsaldo von 15.661,71 Dollar.

Diese Zahlen zeigen die Mechanik des Benchmarks, keine reale Rendite. Außerdem kann sich ein live gepflegtes Repository verändern; die Rangfolge ist deshalb als Momentaufnahme zu lesen.

Spannend ist die Differenz bei den Kosten. Sie zwingt dazu, über das vollständige Agentensystem zu sprechen: Welches Modell lief? Wie viele Versuche waren nötig? Welche Tools wurden aufgerufen? Wann brach der Agent ab? Ein einzelner Qualitätsscore beantwortet keine dieser Fragen.

Was dem Leaderboard noch fehlt

Die veröffentlichten Werte lassen offen, wie stark einzelne Aufgaben gewichtet wurden und wie stabil die Resultate über mehrere Läufe bleiben, und auch die Übersetzung einer gelösten Aufgabe in simulierte Einnahmen bräuchte mehr Transparenz, damit sich die Rangfolge nicht allein aus einer intransparenten Rechenregel ergibt. Sonst kann eine kleine Änderung am Bewertungsmodell die wirtschaftliche Rangfolge verschieben, ohne dass ein Agent technisch besser oder schlechter geworden ist.

Für belastbare Aussagen wären Wiederholungen nötig. Ein Lauf kann zufällig einen kurzen Pfad finden; der nächste gerät in eine Tool-Schleife und verbraucht ein Vielfaches. Median, Streuung und Abbruchquote wären deshalb mindestens so wichtig wie ein einzelner Endsaldo-Wert.

Menschliche Nacharbeit gehört ebenfalls in die Rechnung. Wenn ein Mitarbeiter zwanzig Minuten prüfen, korrigieren und neu anstoßen muss, sind die API-Kosten nur ein Teil des Aufwands. ClawWork weist in die richtige Richtung, bildet diese Produktionsrealität im hier sichtbaren Material aber noch nicht vollständig ab.

Ein brauchbarer Vergleich für den eigenen Betrieb

Plattform- oder Evaluationsteams können die Messidee übernehmen, ohne das öffentliche Ranking nachzubauen. Dafür braucht es zunächst eine wiederholbare Aufgabe mit einem eindeutigen Erfolgskriterium. Ein Beispiel wäre ein Agent, der zehn Supportfälle klassifiziert und für kritische Fälle einen Antwortentwurf erstellt.

Expected: Alle kritischen Fälle werden erkannt, kein Fall wird doppelt bearbeitet und jeder Entwurf enthält die erforderlichen Informationen. Actual: Fehlklassifikationen, leere Antworten, Wiederholungen oder ein überschrittenes Budget zählen als Fehler.

Führe denselben Test mehrfach mit identischem Toolzugang und demselben Kostenlimit aus. Erfasse pro Lauf die Modellkosten, bezahlte Toolaufrufe, Laufzeit, Wiederholungen und notwendige Korrekturzeit. Danach lässt sich eine brauchbare Frage beantworten: Welches Setup erreicht die geforderte Qualität am zuverlässigsten innerhalb des Budgets?

Der günstigste Lauf gewinnt nicht automatisch. Entscheidend ist die verlässlichste Kombination aus Qualität und Gesamtaufwand.

Warum OpenClaw mehr als das Modell beeinflusst

Bei OpenClaw entstehen Kosten im gesamten Ablauf. Planungsschritte, Browserzugriffe, Remote-Aufrufe und fehlgeschlagene Wiederholungen können den Verbrauch erhöhen, obwohl das zugrunde liegende Modell gleich bleibt. Abbruchregeln und Tool-Auswahl beeinflussen das Ergebnis deshalb direkt.

Ein Runtime-Test sollte diese Pfade sichtbar machen. Läuft der Agent in eine Schleife, braucht das Betriebsteam einen klaren Abbruchgrund im Log. Überschreitet er das Budget, muss der Lauf stoppen, bevor weitere kostenpflichtige Tools starten. Nach einem Abbruch sollte feststehen, ob ein verwertbarer Zwischenstand existiert oder die Aufgabe neu begonnen werden muss.

ClawWork macht diese Systemperspektive interessant. Es bewertet nicht allein eine Modellantwort, sondern einen Agentenlauf unter Budgetdruck. Für OpenClaw ist genau das der passende Maßstab.

Die klare Grenze

ClawWork zeigt nicht, dass ein KI-Coworker reale Wissensarbeit profitabel erledigt. Dafür fehlen Produktionsdaten, transparente Erlösannahmen und stabile Wiederholungen über mehrere Umgebungen. Als Kaufargument für einen bestimmten Modell-Stack taugt die Rangliste damit nicht; als Denkmodell für budgetgetriebene Agentenbewertung schon.

Die Messidee ist dennoch wertvoll: Qualität ohne Kosten ist für autonome Systeme eine halbe Kennzahl. Wer OpenClaw produktiv betreibt, sollte pro Aufgabe mindestens Ergebnisqualität, Gesamtkosten, Abbruchgrund und menschliche Nacharbeit erfassen. Erst diese vier Werte zeigen, ob aus einer gelungenen Demo ein tragfähiger Arbeitsablauf wird.