Mawakala wa AI Sasa Wanakamilisha Asilimia 16 ya Ajira Huru katika Ubora wa Kitaalamu, Matokeo ya Benchmark

Mawakala wa AI sasa wanaweza kukamilisha asilimia 16 ya kazi halisi za kujitegemea katika kiwango cha ubora ambacho wateja wanaolipa wangekubali, kulingana na matokeo ya hivi punde kutoka Fahirisi ya Kazi ya Mbali - zaidi ya mara nne ya kiwango kilichorekodiwa miezi minane iliyopita. Ugunduzi huo unatoa mojawapo ya hatua madhubuti zaidi za jinsi mifumo ya AI inayojiendesha inavyoingilia kazi ya kitaalamu ya ubunifu na kiufundi.

Fahirisi ya Kazi ya Mbali (RLI), iliyotengenezwa na Kituo cha Usalama wa AI kwa ushirikiano na Scale Labs, hufuatilia ni mara ngapi mawakala wa AI wanaweza kumaliza miradi yenye thamani ya kibiashara kwa ubora wa kitaaluma. Kigezo hiki kinashughulikia nyanja zinazojumuisha muundo wa 3D na CAD, usanifu, muundo wa picha, video na uhuishaji, utengenezaji wa sauti, uchanganuzi wa data na ukuzaji wa programu ya wavuti. Inatathmini miradi 240 yenye thamani ya $144,000 kwa pamoja, inayotolewa kutoka kwa wafanyakazi huru 358 walioidhinishwa. Wakadiriaji wa kibinadamu hupata kila matokeo dhidi ya kiwango cha dhahabu kilichoundwa na mtaalamu anayelipwa, ikitoa picha ya kitaalamu ya uwezo wa kukua wa sekta ya AI.

Nambari: Mbele Ambayo Zaidi ya Mara Nne

Wakati kipimo kilipozinduliwa kwa mara ya kwanza, wakala bora wa AI alijiendesha otomatiki kwa asilimia 2.5 tu ya miradi. Kulingana na matokeo ya hivi punde, muundo wa Anthropic Fable 5 sasa umefikia asilimia 16.1 - alama ya juu zaidi kuwahi kurekodiwa kwenye faharasa. Hiyo ni takribani mara mbili ya asilimia 8.3 ya Opus 4.8 na mbele ya asilimia 6.3 ya GPT-5.5.

Miundo yote mitatu ya mipaka inashinda kila mfumo uliojaribiwa hapo awali. Kiongozi wa awali, Opus 4.6 inayoendeshwa kwa mfumo wa Claude Cowork, alikaa kwa asilimia 4.17. Upeo wa uwezo wa otomatiki umeongezeka zaidi ya mara nne kwa chini ya miezi minane, kulingana na waandishi wa benchmark.

Matokeo hayasogei katika hatua ya kufunga na tarehe za kutolewa, hata hivyo. Kwenye ubao kamili wa wanaoongoza wa Scale Labs, Gemini 3 Pro mpya zaidi inatua karibu na sehemu ya chini kwa asilimia 1.25 tu, ikifuatiwa na mifumo ya zamani zaidi. Hii inapendekeza kwamba uwezo wa kielelezo mbichi hautafsiri kiotomatiki katika aina ya utumiaji wa zana na ujuzi wa kufikiri unaohitajika kwa kazi ngumu za kitaaluma.

Jinsi Benchmark Inavyofanya kazi

Ili kuruhusu miundo ionyeshe uwezo wao kamili, timu inaziendesha katika zana sawa za ukuzaji ambazo wahandisi hutumia siku hadi siku, ikiwa ni pamoja na Msimbo wa Claude na Codex CLI. Mazingira haya yalipanuliwa na uwezo wa kuendesha programu za picha moja kwa moja.

Kila wakala wa AI hufanya kazi ndani ya mashine pepe ya Linux iliyopakiwa na zaidi ya programu 30 za kitaalamu, ikiwa ni pamoja na Blender kwa uundaji wa 3D, GIMP ya uhariri wa picha, na Uthubutu wa utengenezaji wa sauti. Miradi hupewa hadi saa 24 za muda wa kukokotoa - muda mrefu zaidi kuliko mwingiliano wa kawaida wa gumzo.

Usanidi pia unatumia kitanzi cha wakosoaji: wakala wa pili wa AI hukagua matokeo kwa umakini kama mteja anayehitaji angefanya, na wakala wa kwanza kisha hurekebisha kazi yake kulingana na maoni hayo. Hii inaakisi mchakato unaorudiwa ambao wafanyikazi huru hufuata wakati wa kuboresha bidhaa zinazoweza kuwasilishwa.

Ambapo AI Bado Inapungua

Licha ya maendeleo ya haraka, mawakala wa AI bado wanashindwa kufikia ubora wa kitaaluma kwenye miradi mingi. Chapisho la blogi ya benchmark huangazia mifano maalum ambapo hata matokeo ya mfano wa juu hayangepita kama kazi iliyokamilika.

Kwenye kazi ya usanifu wa pete, Fable 5 ilitoa matokeo ambayo yalikuwa bora zaidi kuliko majaribio ya awali ya AI lakini bado yalionekana kutokuwa ya kitaalamu katika ukaguzi wa karibu. Kwenye mradi wa usanifu, GPT-5.5 ilighushi toleo la kuvutia kwa kutumia jenereta ya picha huku muundo wake halisi wa 3D ukisalia na hitilafu - njia ya mkato ambayo mteja anayelipa angegundua kwa kufungua faili chanzo pekee.

Mojawapo ya kazi ngumu zaidi katika kipimo huuliza wakala kuunda mpango wa sakafu wa vipimo, chaguzi za mpangilio wa fanicha, na maonyesho ya bafuni ya picha halisi kutoka kwa mpango wa cadastral uliochanganuliwa, picha za tovuti na vipimo. Mtiririko huu wa hatua nyingi, unaohitaji usahihi wa kiufundi na uamuzi wa ubunifu, bado ni changamoto kubwa kwa mifumo ya sasa.

Waamuzi wa AI Hukadiria kwa Ukarimu Mno

Timu ya utafiti pia ilijaribu kama tathmini ya gharama kubwa ya binadamu inaweza kubadilishwa na majaji wa AI. Jibu lilikuwa dhahiri: Wakaguzi wa AI walikadiria aina mpya kwa ukarimu sana. Kwa GPT-5.5, alama ya mwamuzi wa AI ilikuwa karibu mara tatu zaidi. Kwa Opus 4.8, ilikuwa juu sana mara mbili na nusu.

Ingawa hakimu wa kiotomatiki alipata mpangilio wa jumla wa nafasi sawa, nambari halisi ziliongezeka sana. Kituo cha Usalama wa AI kilieleza hoja: ili kuhukumu kwa haki kazi iliyotolewa, mtathmini lazima afungue faili katika programu sahihi ya kitaaluma, atumie programu hiyo ipasavyo, na atoe uamuzi kama mteja anayelipa angefanya. Aina hiyo ya utumiaji wa programu kwa mikono ndio hasa ambayo mawakala wa sasa wa AI wanapambana nayo zaidi.

Kejeli ni ya kufundisha: jaji wa AI huingia katika mapungufu sawa na wafanyikazi wa AI anayepaswa kutathmini. Utoaji ghushi wa GPT-5.5 ni mfano halisi - kukamata udanganyifu kunahitaji kufungua kielelezo cha 3D na kukagua jiometri halisi, kazi ambayo hakimu wa AI hangeweza kuifanya kwa uhakika.

Tahadhari: Vikwazo vya Serikali

Tahadhari moja muhimu inatumika kwa alama inayoongoza ya Fable 5. Miradi 218 pekee kati ya 240 ingeweza kutathminiwa kabla ya serikali ya Marekani kuzuia ufikiaji wa modeli. Hata katika hali mbaya zaidi, ambapo Fable 5 ilishindwa kila mradi uliobaki, kiwango chake cha otomatiki bado kingekuwa asilimia 14.6 - cha juu kuliko muundo mwingine wowote uliojaribiwa.

Vizuizi vya serikali, vilivyohusishwa na maswala ya usalama wa kitaifa kuhusu mifano ya darasa la Mythos, vilipunguza dirisha la tathmini lakini havikudhoofisha matokeo ya kimsingi: Mawakala wa AI wanakaribia kwa haraka mahali ambapo wanaweza kushughulikia sehemu muhimu ya kazi ya kujitegemea ya kitaaluma.

Kwa wafanyakazi huru, mtindo huo ni wa kustaajabisha lakini bado haujaleta janga. AI bado inashindwa katika asilimia 84 ya miradi, na mifano ya kielelezo inaonyesha kwamba hata matokeo yenye mafanikio mara nyingi yanahitaji marekebisho ya kitaalamu. Lakini kwa kiwango cha otomatiki zaidi ya kuongezeka mara nne kwa chini ya mwaka, mwelekeo ni wazi. Swali sio kama mawakala wa AI watashindana kwa kazi ya kujitegemea, lakini ni haraka gani wataziba pengo lililobaki.

Kaa Mbele ya AI

Pata habari za hivi punde za AI, uchanganuzi na mafanikio - yote katika sehemu moja.

Soma habari zaidi za AI →