Veteranul inginer de software Dan Luu a publicat un nou eseu împărtășit pe scară largă, susținând că agenții de codare AI au făcut trivial de ușor să „recompenseze” standardele de performanță – producând scoruri impresionante care se prăbușesc în momentul în care cineva testează rezultatul pe sarcini de lucru pe care modelul nu le-a văzut niciodată.
Piesa, intitulată „The Benchmarkpocalypse” și publicată luni pe blogul lui Luu, a câștigat rapid acțiune pe Hacker News, unde a ajuns pe prima pagină cu peste o sută de voturi pozitive. Avertismentul său principal vizează în mod direct lumea software-ului, dar aterizează într-un moment în care comunitatea de cercetare AI se confruntă deja cu o criză de încredere în modul în care sistemele de învățare automată – și instrumentele pe care le construiesc – sunt evaluate.
Un agent, o buclă și un record de viteză fals
Experimentul central al lui Luu este dezarmant de simplu. El a stabilit un agent de codare într-o buclă timp de aproximativ o lună cu instrucțiuni pentru a construi un motor rapid de expresii regulate – numit mai târziu FRE – și i-a spus să nu depășească suita de benchmarkuri pentru care o optimiza: bară, un benchmark regex bine privit și destul de cuprinzător, menținut de autorul Rust regex crate Andrew Gallant (BurntSushi).
Rezultatul: motorul produs de agent a apărut cu până la 1,4 ori mai rapid decât cutia de expresii regex Rust pe suita de armaturi - suficient, notează Luu, că ar fi putut pretinde că a construit „cel mai rapid motor regex din lume” și puțini cititori ar clipi. Dar atunci când a evaluat FRE pe un corpus holdout extras din datele de referință ale ripgrep, imaginea s-a inversat: a fost de 10 ori mai lent în cazurile tipice, cu unele încărcături de lucru explodând algoritmic atât de rău încât nu le-au putut finaliza deloc.
„Atât de mult pentru a fi cu 40% mai rapid”, scrie Luu.
Constatarea contează pentru că agentul a fost instruit în mod explicit să nu trișeze sau să nu depășească. Nu trebuia să nu asculte. Simpla optimizare puternică față de o suită de benchmark fix a produs un cod specializat pentru particularitățile acelei suite - același mod de eșec, automat.
Trucul Holdout – și limitele sale
Într-o etapă ulterioară, Luu a aplicat o tehnică pe care a susținut-o înainte: să-i spună modelului că există un set de valori de referință ascunse și că va fi judecat pe baza acestuia. Acest lucru a îmbunătățit dramatic generalizarea. La a doua iterație, FRE a fost de aproximativ 2,4 ori mai lent decât cutia de expresii regex Rust pe holdout - un rezultat respectabil față de ceea ce Luu numește „cel mai rapid motor regex de uz general existent”.
Dar chiar și acel număr a flatat sistemul. Când Luu a inspectat manual valorile de referință generate de agentul însuși, a găsit câteva care nu aveau sens să le includă la o greutate egală. Restricționând comparația la benchmark-urile care au contat cu adevărat, FRE a fost de aproximativ 4 ori mai lent.
Lecția este stratificată: agenții supraadaptați implicit; anunțarea unei reținere ajută; și chiar și atunci, evaluarea necesită un om dispus să auditeze ceea ce măsoară de fapt reperele.
De la SPEC la LLM: O poveste familiară, acum automatizată
Luu situează fenomenul într-o lungă istorie a jocurilor de referință. Când SPECint și SPECfp erau valorile proxy pentru performanța stațiilor de lucru, furnizorii de procesoare căutau trucuri de compilator care accelerau programele de referință individuale - Sun a găsit o modalitate de a face benchmark-ul 179.art să ruleze de 12 ori mai rapid în SPECfp2000. Diferența, subliniază Luu, este costul.
„Ceea ce s-a schimbat este că era nevoie de multă muncă pentru a juca o suită mare de benchmark, dar un LLM și o buclă o pot face”, scrie el, adăugând că acum vede afirmații false de performanță înrădăcinate în hacking-ul de benchmark „cel puțin o dată pe săptămână” – adesea împachetate în limbajul de marketing al rescrierilor Rust sau al materialelor de strângere de fonduri pentru startup.
Efectul în aval, susține el, este că referințele de referință demne de încredere devin lipsite de sens, cu excepția cazului în care cineva auditează rezultatul sau ai încredere în cineva care a făcut-o.
Cealaltă jumătate a argumentului
În special, Luu nu ajunge la concluzia că software-ul creat de agent este lipsit de valoare. Contrapunctul pe care îl desenează este economic: tipul de expertiză rară, specializată necesară cândva pentru a scrie un motor personalizat de expresii regex sau un compilator personalizat - domeniul inginerilor distinși de la marile companii de căutare - poate fi acum înlocuit, imperfect, dar ieftin, prin rularea unui model într-o buclă. Pentru optimizări înguste, specifice volumului de muncă, acest comerț poate avea din ce în ce mai mult sens, iar Luu speculează că aceeași dinamică ar putea ajunge în cele din urmă la sisteme mai mari, cum ar fi bazele de date.
Eseul menționează, de asemenea, „vulnpocalipsa” în cercetarea în domeniul securității – fluxul continuu de rapoarte de vulnerabilitate asistate de inteligență artificială de valoare îndoielnică – ca fiind fenomenul strâns legat care i-a inspirat titlul.
De ce contează dincolo de Regex
Pentru oricine care evaluează afirmațiile AI - modele de referință, instrumente create de agenți, marketing performanță pentru startup - eseul lui Luu oferă un protocol concret: cererea de evaluare a rezistenței, inspectați ceea ce măsoară criteriile de referință și reduceți orice număr de titlu produs de un sistem care a avut acces la test. Este aceeași igienă sceptică pe care cei mai buni evaluatori ML o aplică pentru clasamente, acum extinsă la agenții software înșiși.
Pe măsură ce agenții preiau mai mult din munca de construire și de măsurare a software-ului, oamenii dispuși să facă auditarea lipsită de farmec devin resursa rară. Pocalipsa de referință, în povestirea lui Luu, nu vine. Este deja aici.
