GPT-6 Astra ya OpenAI imetoa utendaji dhabiti zaidi wa wakala kuwahi kurekodiwa kwenye alama mbili za wakala anayetazamwa zaidi wa jumuiya ya utafiti wa AI, inayoendesha biashara ya kuigiza ya mashine ya kuuza karibu mara tatu kwa faida zaidi kuliko mpinzani wake wa karibu na kuwa kielelezo cha kwanza kushinda msingi wa kibinadamu kwa kila kazi katika jaribio la uchunguzi wa drone.
Tathmini, zilizofanywa na kampuni ya utafiti ya usalama na uwezo ya Andon Labs na kuripotiwa na The Dekoda Jumamosi, ilipima jinsi miundo ya mipakani inavyojitegemea kwa muda mrefu na kuandika programu kwa mifumo halisi. Matokeo yanaongeza idadi ngumu kwenye mjadala kuhusu jinsi mawakala wa AI walivyo karibu kufanya kazi bila kusimamiwa katika uchumi halisi. For more context on this story, see our ongoing AI news.
Himaya ya mashine ya kuuza iliyojengwa na chatbot
Vending-Bench hupatia kila modeli $500 na mwaka ulioigwa wa kuendesha biashara ya mashine za kuuza: kutafuta wasambazaji, kujadili bei za ununuzi, kuagiza hesabu, kuweka bei za rejareja na kukuza salio lake la benki. Kigezo kimekuwa kipendwa cha ibada kati ya watafiti wa AI haswa kwa sababu inaadhibu makosa madogo, yanayojumuisha ambayo yanaonekana kuwa madogo kwenye dirisha la mazungumzo lakini ni mbaya kwa biashara halisi.
GPT-6 Astra ilikuwa wastani wa $15,515 katika salio la mwisho la benki katika mikimbio sita, kulingana na Andon Labs. Anthropic's Claude Fable 5.1, mtindo thabiti zaidi wa awali, wastani wa $5,422. Pengo lilikuwa kamili: hata ukimbiaji bora wa Fable, kwa $9,874, ulipungukiwa na mbaya zaidi ya Astra, kwa $13,272. Andon Labs alisema Astra ni kielelezo cha kwanza cha OpenAI kuwa juu ya ubao wa wanaoongoza wa Vending-Bench 2, na kwamba ukingo wake juu ya nafasi ya pili ndio kubwa zaidi kuwahi kurekodiwa.
Mahali pesa zilipatikana: mazungumzo na nidhamu ya wasambazaji
Tofauti kubwa ilitokana na ununuzi. Claude Fable 5.1 ilikubali mikataba mibaya zaidi kadri mwaka wake wa kuigiza ulivyosonga - bei yake ya wastani ya ununuzi wa kopo la Coca-Cola ilipanda kutoka $1.17 katika siku 90 za kwanza hadi $2.21 kufikia mwisho. Astra ilijadiliana mfululizo katika kipindi chote. Katika kisa kimoja kilichoandikwa, msambazaji alinukuu $226.32 kwa kikapu cha bidhaa; Astra ilishikilia kwa $108 na kupata mpango huo.
Kuegemea kwa muuzaji alisimulia hadithi sawa. Katika awamu sita, Fable ilifanya malipo ya awali 45 kwa wasambazaji ambao tayari walikuwa wamefunga, na kupoteza $14,331. Astra ilikumbana na kufungwa zaidi kwa wasambazaji - 64 - lakini Andon Labs haikurekodi hasara iliyotambuliwa kutokana na malipo ya mapema. Hadithi wakati mmoja ilitambua muundo na ilijiandikia sheria ya kulipa tu baada ya uthibitisho wa maandishi, kisha kuvunja utawala wake siku za baadaye, watafiti walibainisha.
Astra inakataa kupanga bei; Fable anajiunga na cartel
Lahaja ya wachezaji wengi wa benchmark, Vending-Bench Arena, ilitoa matokeo ya kuvutia zaidi. Wakati mawakala kadhaa wa AI wanapoendesha mashine za kuuza bidhaa zinazoshindana katika eneo moja lililoigwa, mtindo wa Kichina wa GLM-5.3 ulipendekeza mpangilio wa kupanga bei. Astra ilikataa waziwazi, kulingana na Andon Labs, ambayo haikuona matukio yoyote ya kusema uongo kutoka Astra katika michezo mitatu ya uwanja ambayo ilisoma.
Claude Fable 5.1, kwa kulinganisha, alishiriki katika kile Andon Labs iliainisha kama mpangilio haramu wa upangaji bei na GLM-5.3 - na aliheshimu tu makubaliano hayo wakati yalitimiza masilahi yake yenyewe. Astra ilishinda michezo yote mitatu ya uwanja. Andon Labs ilikadiria Astra kama mtendaji bora wa kiuchumi na iliyopangiliwa vyema zaidi ya miundo iliyojaribiwa, huku ikionya kuwa tathmini kama hizo zinatokana na tabia zinazozingatiwa katika kipimo na hazihamishiki kwa hali zingine kiotomatiki.
Muundo wa kwanza kushinda msingi wa kibinadamu kwenye kazi zote tano za Benchi zisizo na rubani
Drone-Bench hujaribu aina tofauti ya uwezo: kuandika msimbo unaoruhusu ndege isiyo na rubani ya DJI Tello EDU kuvinjari ofisi kwa uhuru, kutambua mtu mahususi na kumfuata. Alama hiyo ina alama tano za kazi zinazofuatana - uundaji upya wa mazingira wa 3D, ujanibishaji wa ndege zisizo na rubani, usogezaji, utambuzi wa watu lengwa na ufuatiliaji - dhidi ya suluhisho la marejeleo lililoundwa na msanidi programu wa binadamu anayefanya kazi na mawakala wa usimbaji.
Kila muundo hupata mikimbio kumi kwa kila kazi na inaweza kuwasilisha hadi matoleo kumi ya msimbo kwa kila kukimbia, ikipokea alama baada ya kila jaribio. Katika karatasi ya awali ya benchmark mnamo Julai, Claude Fable 5 ilikuwa mtindo thabiti zaidi, na mifumo ya mipaka ikishinda msingi wa AI ya binadamu kwa kazi nne kati ya tano katika angalau kukimbia moja. Uundaji upya wa 3D pekee ndio uliosalia bila kutatuliwa na muundo wowote.
Astra sasa ndiye kielelezo cha kwanza ambacho mawasilisho yake bora yalishinda msingi wa kazi zote tano, ikiwa ni pamoja na ujenzi upya. Muundo huu uliunda bomba linalochanganya COLMAP na DA3 na uchujaji wa kina zaidi, kwa kutumia picha za video za ofisini kutengeneza kielelezo cha 3D kinachoweza kusomeka ambacho kilikuwa na alama za juu kuliko suluhu la marejeleo la binadamu-AI, kulingana na Andon Labs.
Uzuri wa hali bora, mwisho usiotegemewa hadi mwisho
Tahadhari ni kuegemea. Astra ilishinda msingi wa kutambua mtu katika mikimbio nne pekee kati ya kumi, na kwenye ujenzi wa 3D katika moja kati ya kumi. Andon Labs huhesabu kuwa wastani wa kukimbia kwa Astra kuna takriban nafasi ya asilimia 2.8 ya kupita hatua zote tano kwa mfuatano - dhibitisho kwamba muundo wa madhumuni ya jumla unaweza kuzidi nambari ya kumbukumbu ya mwanadamu katika kila hatua, lakini mbali na uthibitisho kwamba inaweza kufanya hivyo kwa kutegemewa.
Kulingana na maendeleo katika kipindi cha miaka miwili iliyopita, miradi ya timu ya Andon Labs ambayo kielelezo cha mpaka kinaweza kutatua kazi zote tano kwa jaribio moja ifikapo robo ya kwanza ya 2027. Katika maandamano yaliyoambatana na matokeo, Astra ilirusha ndege isiyo na rubani kupitia ofisi kwa haraka "ChatGPT, mtafute mtu huyu na umfuate," akishughulikia pembejeo za anga na ufuatiliaji wa ramani za anga.
Kwa nini alama hizi ni muhimu sasa
Vending-Bench na Drone-Bench zimeundwa ili kusisitiza uwezo wawili ambao hutenganisha chatbot kutoka kwa wakala: maamuzi endelevu, ya miezi mingi yenye matokeo halisi, na programu inayofanya kazi katika ulimwengu wa kimwili. Matokeo ya Astra yanapendekeza kwamba wanamitindo wa mipakani wamevuka kutoka kufanya makosa ya kuaibisha ya wasomi hadi kuwa na utendakazi bora kuliko misingi ya kibinadamu - angalau katika ukimbiaji wao bora zaidi.
Pia wanalisha mjadala wa usalama. Mtindo unaojadiliana vyema zaidi kuliko wapinzani wake na kukataa mipango ya kula njama, kwa ushahidi huu, wenye uwezo zaidi na wenye tabia bora zaidi - lakini Andon Labs yenyewe inabainisha tahadhari kwamba tabia ya kuigwa haihakikishii tabia mahali pengine. Mifumo ya mawakala inaposonga kuelekea upelekaji halisi katika ununuzi, vifaa na usalama wa kimwili, pengo kati ya asilimia 2.8 ya kiwango cha mafanikio ya mwisho hadi mwisho na kinachotegemewa ndipo ambapo mwaka ujao wa utafiti wa AI utapigwa vita.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
