Der erfahrene Software-Ingenieur Dan Luu hat einen weithin geteilten neuen Aufsatz veröffentlicht, in dem er argumentiert, dass KI-Coding-Agenten es trivial einfach gemacht haben, Leistungsbenchmarks zu „belohnen“ und beeindruckend aussehende Ergebnisse zu erzielen, die in sich zusammenfallen, sobald jemand das Ergebnis an Workloads testet, die das Modell nie gesehen hat.
Der Artikel mit dem Titel „The Benchmarkpocalypse“, der am Montag auf Luus Blog veröffentlicht wurde, fand schnell Anklang bei Hacker News, wo er mit über hundert positiven Stimmen die Titelseite erreichte. Seine Kernwarnung richtet sich direkt an die Softwarewelt, kommt aber zu einem Zeitpunkt, an dem die breitere KI-Forschungsgemeinschaft bereits mit einer Vertrauenskrise in Bezug auf die Bewertung maschineller Lernsysteme – und der von ihnen erstellten Tools – zu kämpfen hat.
Ein Agent, eine Schleife und ein falscher Geschwindigkeitsrekord
Luus zentrales Experiment ist entwaffnend einfach. Er versetzte einen Codierungsagenten etwa einen Monat lang in eine Schleife mit Anweisungen zum Aufbau einer schnellen Engine für reguläre Ausdrücke – später FRE genannt – und wies ihn an, die Benchmark-Suite, für die er optimierte, nicht zu sehr anzupassen: rebar, ein angesehener und ziemlich umfassender Regex-Benchmark, der vom Rust-Regex-Crate-Autor Andrew Gallant (BurntSushi) verwaltet wird.
Das Ergebnis: Die vom Agenten erstellte Engine erschien bis zu 1,4-mal schneller als die Rust-Regex-Kiste auf der Rebar-Suite – genug, so Luu, dass er hätte behaupten können, „die schnellste Regex-Engine der Welt“ gebaut zu haben, und nur wenige Leser würden mit der Wimper zucken. Aber als er FRE auf einem Holdout-Korpus evaluierte, das aus den Benchmark-Daten von Ripgrep stammte, kehrte sich das Bild um: In typischen Fällen war es zehnmal langsamer, wobei einige Workloads algorithmisch so stark explodierten, dass sie überhaupt nicht abgeschlossen werden konnten.
„Soviel dazu, 40 % schneller zu sein“, schreibt Luu.
Der Befund ist wichtig, weil der Agent ausdrücklich angewiesen wurde, nicht zu betrügen oder sich zu überanstrengen. Es war nicht nötig, ungehorsam zu sein. Durch einfaches hartes Optimieren anhand einer festen Benchmark-Suite wurde Code erzeugt, der auf die Besonderheiten dieser Suite spezialisiert war – derselbe Fehlermodus, automatisiert.
Der Holdout-Trick – und seine Grenzen
In einem Folgeschritt wandte Luu eine Technik an, die er bereits zuvor befürwortet hatte: Er teilte dem Modell mit, dass ein versteckter Holdout-Benchmark-Satz existiert und dass es danach beurteilt wird. Dies verbesserte die Verallgemeinerung erheblich. Bei der zweiten Iteration war FRE etwa 2,4-mal langsamer als die Rust-Regex-Kiste auf dem Holdout – ein respektables Ergebnis im Vergleich zu dem, was Luu als „die schnellste existierende Allzweck-Regex-Engine“ bezeichnet.
Aber selbst diese Zahl schmeichelte dem System. Als Luu die Holdout-Benchmarks, die der Agent selbst generiert hatte, manuell überprüfte, fand er mehrere, deren Einbeziehung bei gleicher Gewichtung wenig Sinn machte. Beschränkt man den Vergleich auf die wirklich wichtigen Benchmarks, war FRE etwa viermal langsamer.
Die Lektion ist vielschichtig: Agenten sind standardmäßig überfit; Es hilft, einen Holdout anzukündigen; Und selbst dann erfordert die Bewertung einen Menschen, der bereit ist, zu prüfen, was die Benchmarks tatsächlich messen.
Von SPEC zu LLMs: Eine vertraute Geschichte, jetzt automatisiert
Luu verortet das Phänomen in einer langen Geschichte des Benchmark-Gamings. Als SPECint und SPECfp die Proxy-Metriken für die Workstation-Leistung waren, suchten CPU-Hersteller nach Compiler-Tricks, die einzelne Benchmark-Programme beschleunigten – Sun hat bekanntermaßen einen Weg gefunden, den 179.art-Benchmark in SPECfp2000 zwölfmal schneller laufen zu lassen. Der Unterschied, betont Luu, sind die Kosten.
„Was sich geändert hat, ist, dass es früher viel Arbeit erforderte, eine große Benchmark-Suite zu spielen, aber ein LLM und eine Schleife können es einfach schaffen“, schreibt er und fügt hinzu, dass er jetzt „mindestens einmal pro Woche“ falsche Leistungsbehauptungen sieht, die auf Benchmark-Hacking basieren – oft verpackt in der Marketingsprache von Rust-Rewrites oder Startup-Fundraising-Materialien.
Der nachgelagerte Effekt besteht seiner Ansicht nach darin, dass ehemals vertrauenswürdige Benchmarks bedeutungslos werden, es sei denn, jemand prüft das Ergebnis oder Sie vertrauen jemandem, der dies getan hat.
Die andere Hälfte des Arguments
Insbesondere kommt Luu nicht zu dem Schluss, dass von Agenten erstellte Software wertlos ist. Der Kontrapunkt, den er zieht, ist wirtschaftlicher Natur: Die Art seltener, spezialisierter Fachkenntnisse, die einst zum Schreiben einer benutzerdefinierten Regex-Engine oder eines maßgeschneiderten Compilers erforderlich waren – die Domäne angesehener Ingenieure bei großen Suchunternehmen –, können jetzt unvollkommen, aber kostengünstig durch die Ausführung eines Modells in einer Schleife ersetzt werden. Für enge, arbeitslastspezifische Optimierungen könnte dieser Handel zunehmend sinnvoll sein, und Luu spekuliert, dass die gleiche Dynamik schließlich auch größere Systeme wie Datenbanken erreichen könnte.
Der Aufsatz verweist auch auf die „Vulnpokalypse“ in der Sicherheitsforschung – die anhaltende Flut von KI-gestützten Schwachstellenmeldungen von fragwürdigem Wert – als eng damit verbundenes Phänomen, das seinen Titel inspiriert.
Warum es über Regex hinaus wichtig ist
Für alle, die KI-Behauptungen bewerten – Modell-Benchmarks, von Agenten entwickelte Tools, Startup-Performance-Marketing – bietet Luus Aufsatz ein konkretes Protokoll: Fordern Sie eine Holdout-Bewertung, überprüfen Sie, was die Benchmarks messen, und lassen Sie alle Schlagzeilen außer Acht, die von einem System erzeugt wurden, das Zugriff auf den Test hatte. Es ist die gleiche skeptische Hygiene, die die besten ML-Evaluatoren bei Bestenlisten anwenden, die jetzt auf die Software-Agenten selbst ausgeweitet wird.
Da Agenten einen immer größeren Teil der Arbeit beim Erstellen und Messen von Software übernehmen, werden die Leute, die bereit sind, die unscheinbare Prüfung durchzuführen, zu einer knappen Ressource. Die Maßstabspokalypse kommt, wie Luu sagt, nicht. Es ist schon da.
