Mhandisi mkongwe wa programu Dan Luu amechapisha insha mpya iliyoshirikiwa na watu wengi akihoji kwamba mawakala wa usimbaji wa AI wamerahisisha kidogo "kutuza" alama za utendakazi - na kutoa alama za kuvutia ambazo huanguka wakati mtu yeyote anapojaribu matokeo kwenye mzigo wa kazi ambao mtindo haujawahi kuona.
Kipande hicho, kilichoitwa "The Benchmarkpocalypse" na kuchapishwa Jumatatu kwenye blogu ya Luu, kimepata msukumo haraka kwenye Habari za Hacker, ambapo kilifika ukurasa wa mbele kwa zaidi ya kura mia moja. Onyo lake kuu linalenga ulimwengu wa programu, lakini linatua wakati ambapo jumuiya ya watafiti wa AI tayari inakabiliana na tatizo la imani kuhusu jinsi mifumo ya kujifunza kwa mashine - na zana inayounda - inatathminiwa.
Wakala, Kitanzi, na Rekodi ya Kasi ya Uongo
Jaribio kuu la Luu ni rahisi sana. Aliweka wakala wa usimbaji katika kitanzi kwa takriban mwezi mzima na maagizo ya kuunda injini ya kujieleza ya haraka - iliyoitwa baadaye FRE - na akaiambia isitoshe kipimo cha benchmark iliyokuwa ikiboresha kwa: rebar, alama ya regex inayozingatiwa vizuri na ya kina iliyodumishwa na mwandishi wa crate ya Rust Andrew Gallant (BurntSushi).
Matokeo: injini iliyotengenezwa na wakala ilionekana hadi 1.4x kwa kasi zaidi kuliko kreti ya Rust regex kwenye sehemu ya rebar - kutosha, Luu anabainisha, kwamba angeweza kudai kuwa ameunda "injini ya regex yenye kasi zaidi duniani" na wasomaji wachache wangepepesa macho. Lakini alipokagua FRE kwenye mkusanyiko wa kushikilia uliotolewa kutoka kwa data ya benchmark ya ripgrep, picha iligeuzwa: ilikuwa polepole mara 10 kwenye visa vya kawaida, na baadhi ya mizigo ya kazi ikilipua kimaadili vibaya hivi kwamba haikuweza kukamilisha hata kidogo.
"Sana kwa kuwa na kasi ya 40%," Luu anaandika.
Utafutaji ni muhimu kwa sababu wakala aliagizwa kwa uwazi kutodanganya au kuzidisha. Haikuwa na haja ya kutotii. Kuboresha kwa bidii dhidi ya kigezo kisichobadilika kilichozalisha msimbo maalumu kwa maswala ya kundi hilo - hali sawa ya kushindwa, iliyojiendesha otomatiki.
Mbinu ya Kushikilia - na Mipaka Yake
Katika hatua ya ufuatiliaji, Luu alitumia mbinu ambayo ameitetea hapo awali: akiambia mwanamitindo kuwa kuna alama ya alama iliyofichwa na kwamba itahukumiwa kwa hilo. Hii iliboresha sana ujanibishaji. Katika marudio ya pili, FRE ilikuwa polepole zaidi ya 2.4x kuliko kreti ya Rust regex kwenye sehemu ya kushikilia - matokeo ya heshima dhidi ya kile Luu anachokiita "injini ya regex ya haraka zaidi inayokuwepo."
Lakini hata idadi hiyo ilipendeza mfumo. Wakati Luu alipokagua mwenyewe alama za kushikilia pesa ambazo wakala mwenyewe alikuwa ametengeneza, alipata kadhaa ambazo hazikuwa na maana kujumuisha kwa uzani sawa. Kuzuia ulinganisho na alama ambazo ni muhimu sana, FRE ilikuwa takribani 4x polepole.
Somo limepangwa: mawakala hupita kwa chaguo-msingi; kutangaza kushikilia husaidia; na hata hivyo, tathmini inahitaji mtu aliye tayari kukagua kile ambacho vigezo vinapima.
Kutoka SPEC hadi LLMs: Hadithi Inayofahamika, Sasa Imejiendesha Kiotomatiki
Luu anaweka jambo hili katika historia ndefu ya uchezaji wa kuigwa. Wakati SPECint na SPECfp zilipokuwa vipimo vya proksi kwa utendakazi wa kituo cha kazi, wachuuzi wa CPU waliwinda hila za mkusanyaji ambazo ziliharakisha programu mahususi za viwango - Sun ilipata njia maarufu ya kufanya alama ya 179.art iendeshwe haraka mara 12 katika SPECfp2000. Tofauti, Luu anasisitiza, ni gharama.
"Kilichobadilika ni kwamba ilikuwa ikichukua kazi nyingi kucheza benchmark suite, lakini LLM na kitanzi vinaweza tu kuifanya," anaandika, akiongeza kwamba sasa anaona madai ya utendaji ya uwongo yakitokana na udukuzi wa kiwango "angalau mara moja kwa wiki" - mara nyingi hufungwa katika lugha ya uuzaji ya Rust huandika upya au vifaa vya kuanzisha pesa.
Athari ya chini ya mkondo, anabishana, ni kwamba viwango vya kuaminika vya zamani huwa visivyo na maana isipokuwa mtu akagua matokeo au unamwamini mtu aliyefanya.
Nusu Nyingine ya Hoja
Hasa, Luu hahitimishi kuwa programu iliyojengwa na wakala haina thamani. Kipingamizi anachochora ni cha kiuchumi: aina ya utaalam adimu, maalum mara moja unaohitajika kuandika injini maalum ya regex au mkusanyaji wa kawaida - kikoa cha wahandisi mashuhuri katika kampuni kuu za utaftaji - sasa inaweza kubadilishwa, bila ukamilifu lakini kwa bei nafuu, kwa kuendesha kielelezo kwenye kitanzi. Kwa uboreshaji finyu, maalum wa mzigo wa kazi, biashara hiyo inaweza kueleweka zaidi, na Luu anakisia kwamba mienendo sawa inaweza hatimaye kufikia mifumo mikubwa zaidi kama hifadhidata.
Insha pia inakubali "vulnpocalypse" katika utafiti wa usalama - mafuriko yanayoendelea ya ripoti za kuathirika zinazosaidiwa na AI za thamani ya kutiliwa shaka - kama jambo linalohusiana kwa karibu linalohimiza kichwa chake.
Kwanini Ni Muhimu Zaidi ya Regex
Kwa mtu yeyote anayetathmini madai ya AI - vigezo vya kielelezo, zana zilizoundwa na mawakala, uuzaji wa utendakazi wa mwanzo - Insha ya Luu inatoa itifaki madhubuti: tathmini ya kutokuwepo kwa mahitaji, kagua viwango vinavyopima, na upunguze nambari yoyote ya kichwa kilichotolewa na mfumo uliokuwa na uwezo wa kufikia jaribio. Ni hali ile ile ya kiafya ambayo wakaguzi bora wa ML hutumika kwenye bao za wanaoongoza, ambazo sasa zimepanuliwa kwa mawakala wa programu wenyewe.
Mawakala wanapochukua zaidi kazi ya kujenga na kupima programu, watu walio tayari kufanya ukaguzi usiopendeza wanakuwa rasilimali adimu. Benchmarkpocalypse, kwa kusema kwa Luu, haiji. Tayari iko hapa.
