Zkušený softwarový inženýr Dan Luu zveřejnil široce sdílenou novou esej, v níž tvrdí, že kódovací agenti AI triviálně zjednodušili výkonnostní benchmarky „odměňování hacků“ – vytvářejí působivě vypadající skóre, která se zhroutí ve chvíli, kdy někdo testuje výsledek na zátěži, kterou model nikdy neviděl.
Dílo s názvem „The Benchmarkpocalypse“ a zveřejněné v pondělí na blogu Luu rychle získalo pozornost na Hacker News, kde se dostalo na titulní stránku s více než stovkou hlasů pro. Jeho hlavní varování je zaměřeno přímo na svět softwaru, ale přichází ve chvíli, kdy širší výzkumná komunita AI již zápasí s krizí důvěry v to, jak jsou systémy strojového učení – a nástroje, které vytvářejí – hodnoceny.
Agent, smyčka a falešný rychlostní rekord
Luuův ústřední experiment je odzbrojující jednoduchý. Nastavil kódovacího agenta ve smyčce zhruba na měsíc s instrukcemi, jak sestavit rychlý motor regulárních výrazů – později nazvaný FRE – a řekl mu, aby nepřeplňoval sadu benchmarků, pro kterou se optimalizoval: výztuž, dobře uznávaný a poměrně komplexní benchmark regulárních výrazů, který spravuje autor bedny s regulárními výrazy Rust Andrew Gallant (BurntSushi).
Výsledek: agentem vyrobený engine se objevil až 1,4x rychleji než přepravka s regulárními výrazy Rust v sadě výztuže – dost, poznamenává Luu, že mohl tvrdit, že sestrojil „nejrychlejší regulární motor na světě“, a jen málo čtenářů by mrklo. Ale když vyhodnotil FRE na korpusu vytaženém z benchmarkových dat ripgrepu, obrázek se obrátil: v typických případech to bylo 10x pomalejší, přičemž některé pracovní zátěže se algoritmicky nafoukly tak špatně, že je vůbec nebylo možné dokončit.
„Tolik k tomu, že jsme o 40 % rychlejší,“ píše Luu.
Na nálezu záleží, protože agent byl výslovně instruován, aby nepodváděl ani se nepřestrojoval. Nebylo třeba neuposlechnout. Pouhá tvrdá optimalizace proti pevné srovnávací sadě vytvořila kód specializovaný na zvláštnosti této sady – stejný režim selhání, automatizovaný.
Trik s výdrží — a jeho limity
V následném kroku Luu aplikoval techniku, kterou obhajoval již dříve: řekl modelu, že existuje skrytá sada benchmarků a že podle toho bude posuzována. Tím se výrazně zlepšila generalizace. Při druhé iteraci bylo FRE asi 2,4x pomalejší než bedna s regulárním výrazem Rust na vyčkávacím testu – úctyhodný výsledek oproti tomu, co Luu nazývá „nejrychlejším obecným regexovým motorem, jaký existuje“.
Ale i toto číslo systému lichotilo. Když Luu ručně zkontroloval benchmarky, které agent sám vygeneroval, našel několik, které nemělo smysl zahrnout se stejnou váhou. Omezením srovnání na benchmarky, na kterých skutečně záleželo, byl FRE zhruba 4x pomalejší.
Lekce je vrstvená: agenti se standardně překrývají; pomáhá vyhlášení pauzy; a dokonce i tehdy hodnocení vyžaduje člověka ochotného prověřit, co měřítka skutečně měří.
Od SPEC k LLM: Známý příběh, nyní automatizovaný
Luu zařazuje tento fenomén do dlouhé historie benchmarkového hraní. Když byly SPECint a SPECfp proxy metrikami pro výkon pracovních stanic, výrobci CPU hledali kompilátorové triky, které urychlily jednotlivé benchmarkové programy — Sun skvěle našel způsob, jak benchmark 179.art běžet 12krát rychleji v SPECfp2000. Rozdíl, zdůrazňuje Luu, jsou náklady.
„Co se změnilo, bylo to, že hraní velké sady benchmarků vyžadovalo hodně práce, ale LLM a smyčka to prostě umí,“ píše a dodává, že nyní vidí falešná tvrzení o výkonu zakořeněná v benchmarkovém hackování „alespoň jednou týdně“ – často zabalené do marketingového jazyka přepisů Rust nebo materiálů pro získávání finančních prostředků pro startupy.
Následným efektem, tvrdí, je, že dříve důvěryhodné benchmarky ztratí smysl, pokud někdo neprovede audit výsledku nebo pokud nevěříte někomu, kdo to udělal.
Druhá polovina argumentu
Je pozoruhodné, že Luu nedochází k závěru, že software vytvořený agentem je bezcenný. Kontrapunkt, který kreslí, je ekonomický: druh vzácných specializovaných odborných znalostí, které byly kdysi nutné k napsání vlastního regex motoru nebo zakázkového kompilátoru – doména význačných inženýrů ve velkých vyhledávacích společnostech – lze nyní nahradit, nedokonale, ale levně, spuštěním modelu ve smyčce. Pro úzké optimalizace specifické pro pracovní zátěž může mít tento obchod stále větší smysl a Luu spekuluje, že stejná dynamika by nakonec mohla dosáhnout větších systémů, jako jsou databáze.
Esej také přikývne na „vulnpokalypsu“ v bezpečnostním výzkumu – pokračující záplavu zpráv o zranitelnosti za pomoci umělé inteligence s pochybnou hodnotou – jako na úzce související fenomén inspirující její název.
Proč na tom záleží mimo regulární výraz
Pro každého, kdo hodnotí tvrzení o AI – modelové benchmarky, nástroje vytvořené agenty, marketingový výkon při spuštění – Luuova esej nabízí konkrétní protokol: vyhodnocení poptávky, kontrolu toho, co měří benchmarky, a slevu z jakéhokoli titulku vytvořeného systémem, který měl přístup k testu. Je to stejná skeptická hygiena, kterou nejlepší hodnotitelé ML aplikují na žebříčky, nyní rozšířená na samotné softwarové agenty.
Vzhledem k tomu, že agenti přebírají více práce na vytváření a měření softwaru, lidé ochotní provádět neokázalý audit se stávají vzácným zdrojem. Benchmarkpokalypsa podle Luuova vyprávění nepřichází. Už je to tady.
