AWS-Benchmark: Frontier-Modelle verfehlen das Doppelziel der Schwachstellensuche

AWS Security Labs hat den Deception Benchmark mit Testergebnissen für zwölf allgemeine Frontier-Modelle vorgestellt. Keine der untersuchten Konfigurationen erreichte bei Falschpositiven und Falschnegativen zugleich eine Quote unter zehn Prozent.

Laut Help Net Security senkte ein vorgeschalteter Proof-of-Exploit die Falschpositivrate zwar um 17 bis 74 Prozentpunkte, ließ die Falschnegativrate jedoch auf sieben bis 44 Prozent steigen. Für den Betrieb zählt damit eine konkrete Frage: Kann ein Modell Sicherheitsbefunde vorsortieren, ohne das Security-Team mit Fehlalarmen zu überlasten oder echte Lücken zu übersehen?

Sichere Beispiele sollen verdächtig wirken

Der Deception Benchmark umfasst laut AWS Security Labs 14.822 Beispiele aus 16 Programmiersprachen und mehr als 70 Kategorien der Common Weakness Enumeration (CWE), einem Katalog verbreiteter Software-Schwächen. Davon fließen 9.695 Beispiele in die Wertung ein, während weitere 5.127 als unbewerteter Holdout im Datensatz verbleiben.

Die sicheren Fälle enthalten dieselben Muster, Frameworks und Programmieridiome wie tatsächlich verwundbarer Code. Subtile Gegenmaßnahmen unterbrechen jedoch die Angriffskette, sodass eine Einstufung allein anhand verdächtiger Oberflächenmerkmale nicht genügt.

Das ist Absicht.

Direkte Klassifikation produziert viele Fehlalarme

AWS Security Labs prüfte die zwölf Modelle von fünf Anbietern mit zwei Strategien: einer direkten Einstufung als „verwundbar“ oder „sicher“ sowie einem Proof-of-Exploit, bei dem das Modell vor einem positiven Befund einen konkreten Angriff konstruieren soll.

Bei der direkten Klassifikation fanden die Modelle laut Help Net Security nahezu alle echten Schwachstellen, markierten aber 41 bis 99 Prozent des sicheren Codes fälschlich als verwundbar. In einer realen Triage bedeutet eine solche Quote zusätzlichen Prüfaufwand, mehr Alarmmüdigkeit und weniger Vertrauen in berechtigte Warnungen.

Proof-of-Exploit verschiebt den Fehler

Der strengere Nachweis reduziert den Lärm. Er beseitigt das Grundproblem jedoch nicht.

Laut Help Net Security lösten mit dieser Strategie zwar weniger sichere Fälle einen Alarm aus, zugleich blieben aber mehr echte Schwachstellen unentdeckt. Keine der von AWS getesteten Kombinationen aus Modell und Strategie hielt beide Fehlerraten unter zehn Prozent.

Kein autonomes Urteil ohne Kontrollweg

Der Benchmark bildet ein bewusst schwieriges Testszenario ab und erlaubt kein pauschales Urteil über ein konkretes Sicherheitsprodukt im eigenen Codebestand. Er setzt dennoch eine nützliche Grenze: Eine hohe Trefferquote allein genügt nicht, wenn das System sichere Muster regelmäßig als Gefahr meldet oder verwundbaren Code durchwinkt.

Security- und Evaluationsteams sollten Falschpositive und Falschnegative deshalb getrennt bewerten, bevor KI-Befunde in Freigabeprozesse einfließen. Die veröffentlichten Ergebnisse tragen die getesteten allgemeinen Modelle nicht als alleinige Instanz für die Entscheidung „sicher oder verwundbar“. Menschliche Prüfung und ein nachvollziehbarer Eskalationsweg bleiben die Mindestregel.