ARC-AGI-3: Warum der Harness über Agentenleistung mitentscheidet

OpenAI hat am 29. Juli 2026 nach eigenen Angaben den öffentlichen ARC-AGI-3-Wert von GPT-5.6 Sol durch Änderungen am Agenten-Harness von 13,3 auf 38,3 Prozent gesteigert. Zugleich seien sechsmal weniger Ausgabe-Tokens angefallen.

Das Modell blieb unverändert. Damit isoliert der Versuch zwei Funktionen der Laufzeitumgebung als maßgebliche Variablen: Reasoning zwischen den Zügen zu erhalten und einen wachsenden Kontext zu kompaktieren. Für Evaluationsteams folgt daraus eine konkrete Prüfregel: Bevor ein Modell als zu schwach gilt, muss klar sein, was sein Harness unterwegs vergisst.

Wenn der Harness die Erkundung vergisst

ARC Prize beschreibt ARC-AGI-3 als interaktiven Reasoning-Benchmark. Agenten müssen unbekannte 2D-Umgebungen erkunden, deren Ziele während des Spiels erschließen und über mehrere Aktionen hinweg planen. Einzelne Beobachtungen reichen selten aus; entscheidend ist, ob ein Agent spätere Entscheidungen mit früheren Versuchen verbinden kann.

Nach Angaben von OpenAI war der zunächst eingesetzte Standard-Harness dafür schlecht geeignet. Das Reasoning von GPT-5.6 Sol wurde nach jedem Zug verworfen. Sobald sich der Kontext füllte, gingen außerdem frühere Aktionen verloren. Der Agent musste Teile seiner Erkundung deshalb wiederholen, statt auf bereits gewonnenen Erkenntnissen aufzubauen.

Das Problem lässt sich auch außerhalb eines Benchmarks leicht übersehen: Ein Agent probiert ein Werkzeug aus, erhält ein unscheinbares Ergebnis und benötigt genau diese Information zwanzig Schritte später erneut. Fehlt dann die Verbindung, sieht das nach schwachem Reasoning aus. Tatsächlich kann die Laufzeitumgebung den entscheidenden Zustand verloren haben.

Zwei Änderungen, fast die dreifache Punktzahl

OpenAI setzte den Harness anschließend mit der Responses API um und aktivierte behaltenes Reasoning sowie Kontextkompaktierung. Auf dem öffentlichen Aufgabensatz stieg der gemeldete Wert von 13,3 auf 38,3 Prozent. Das entspricht laut Unternehmen einer Verbesserung um 188 Prozent.

Gleichzeitig benötigte der veränderte Lauf nach OpenAIs Angaben sechsmal weniger Ausgabe-Tokens. Die höhere Punktzahl entstand demnach nicht durch eine bloße Ausweitung der Ausgabe. Relevanter Zustand wurde kompakter über die Interaktion hinweg transportiert.

Die OpenAI-Dokumentation beschreibt Kompaktierung als Mechanismus für lange Interaktionen: Der Kontext wird verkleinert, während für spätere Schritte wichtiger Zustand erhalten bleiben soll. Behaltenes Reasoning verhindert zusätzlich, dass die interne Arbeit nach jedem Zug vollständig abreißt. Im Versuch griffen beide Funktionen ineinander: Der Agent konnte frühere Erkenntnisse weiterverwenden, ohne den gesamten Verlauf unverändert mitzuschleppen.

Was der Wert belegt – und was nicht

OpenAI argumentiert, dass ein Benchmarkwert immer auch Harness und Einstellungen misst. Das ist eine plausible Folgerung, aber zugleich eine günstige Lesart für den Anbieter: Eine schwache Ausgangsleistung erscheint dadurch als Konfigurationsproblem. Ich würde den Versuch deshalb als starken Hinweis auf einen Systemeffekt lesen, nicht als endgültigen Beweis für die optimale Harness-Architektur.

Die Einschränkungen sind wichtig. OpenAI berichtet über den öffentlichen Aufgabensatz und einen eigenen Versuchsaufbau; eine unabhängige Replikation ist daraus nicht abzuleiten. Auch 38,3 Prozent lassen einen großen Teil der Aufgaben ungelöst. Der Versuch zeigt eine erhebliche Abhängigkeit in diesem konkreten Aufbau, aber keine allgemeine Überlegenheit jeder Form von Kontextkompaktierung.

Für Benchmarkvergleiche wird damit die Versuchsbeschreibung wichtiger. Modellname und Punktzahl reichen nicht aus, wenn unklar bleibt, wie Reasoning, frühere Aktionen und ein voller Kontext behandelt wurden. Sonst kann eine Rangliste Eigenschaften des Harness als Modellfähigkeit ausgeben.

Vor dem Modellwechsel kommt der A/B-Test

Bei langlaufenden Agenten sollte ein kontrollierter Harness-Test vor dem nächsten Modellwechsel stehen: gleicher Aufgabensatz, gleiches Modell und gleiche Werkzeuge, aber klar getrennte Varianten für Zustandserhalt und Kontextbehandlung. Dabei zählen mindestens drei Größen: Erfolgsquote, Tokenverbrauch und die Zahl wiederholter oder widersprüchlicher Aktionen.

Mehr Kontext ist dabei kein Qualitätsmerkmal an sich. Für die Qualität zählt, ob die Informationen erhalten bleiben, auf denen eine spätere Entscheidung tatsächlich beruht. Ein kompakter Zustand kann nützlicher sein als ein vollständiges Protokoll, das relevante Beobachtungen zwischen nebensächlichen Details begräbt.

ARC-AGI-3 macht den Effekt sichtbar, weil Erkundung und Planung über längere Folgen zum Kern der Aufgaben gehören. Dieselbe Schwachstelle betrifft Rechercheagenten, Werkzeugketten und mehrstufige Arbeitsabläufe. Wer die Modellwahl belastbar begründen will, braucht deshalb den direkten Vergleich: identisches Modell, identische Aufgabe, aber einmal mit und einmal ohne verlässlichen Zustandserhalt. Erst dieses Ergebnis zeigt, ob das Modell an seine Grenze stößt oder sein Harness.