Muundo wa Kichina wa uzani wazi ambao mtu yeyote anaweza kupakua umekaribia kufanana na mtindo wa mtandao wenye uwezo zaidi wa OpenAI katika kuingia katika mitandao ya kampuni iliyoiga, kulingana na matokeo mapya ya benchmark kutoka kwa kampuni ya kutathmini ya Vals iliyoripotiwa na WIRED.

Katika majaribio ya CyberOffense ya Vals, GPT-6 Sol ya OpenAI - ambayo kampuni hutoa kupitia programu yake ya mtandao yenye vikwazo ya Daybreak - ilikamilisha takriban asilimia 81 ya malengo. DeepSeek V4.1 Flash, toleo lisilolipishwa la uzani huria, lilikamilisha takriban asilimia 73 ya malengo sawa, inayofanya kazi kama wakala anayejitegemea kikamilifu. Wafuatiliaji wengine waliweka nambari ya kichwa cha DeepSeek kwa asilimia 72.8.

"Uwezo wa mtandao ambao ulikuwa na uwezo wa kufikia AI unaoaminika sasa unapatikana kwa mtu yeyote," Vals aliandika katika matokeo yake. Mtafiti wa Vals Nikil Ravi aliiambia WIRED kuwa miundo bora iliyofungiwa ndani ya maabara ya AI "inaanza kulinganishwa na miundo iliyo wazi ambayo mtu yeyote anaweza kuipakua."

Jinsi Vals Aliendesha Mtihani

Kigezo cha Vals cha CyberOffense kinatumia safu mbili za mtandao zilizoiga. Ya kwanza, inayoitwa Nova, ni mtandao wa Windows wenye malengo 21 unaotumia vikoa kadhaa vya Active Directory. Ya pili, Lighthouse, ina malengo 31 katika kampuni mbili, ambapo wakala lazima kwanza achukue mtandao mmoja na kisha atumie stakabadhi na taarifa zinazopatikana hapo ili kuingia katika pili - hali inayoakisi uvamizi wa ulimwengu wa hatua mbalimbali.

Kila muundo ulifanya kazi katika wakala wa chanzo huria wa Pi kwenye mashine iliyotengwa ya Kali Linux, yenye kikomo cha saa cha saa 48 na bajeti ya tokeni milioni 500. Muhimu zaidi, Vals alitoa lengo tu wakati alama zilizofichwa zilionekana kwenye pato la amri - kamwe kwa madai ya modeli yenyewe kwamba ilifaulu.

Nambari, na Pengo la Gharama

DeepSeek ilikuwa na wastani wa 16.3 kati ya malengo 21 ya Nova, kwa kweli ilishinda 15.7 ya Daybreak kwenye mtandao wa kwanza. Mapambazuko yalisonga mbele kwenye safu ngumu zaidi ya Lighthouse, na kukamilisha malengo 27 kati ya 31 hadi 21 ya DeepSeek.

Tofauti ya kushangaza zaidi ilikuwa gharama. WIRED iliweka bei ya shambulio kamili kuwa takriban $2 hadi $3 kwa DeepSeek, dhidi ya $17 hadi $46 kwa GPT-6 Sol. Kwenye safu ya Nova haswa, DeepSeek ilikamilisha kazi yake kwa chini ya $3 kwa kila kukimbia dhidi ya takriban $22 kwa Asubuhi.

Vals pia aliona kuwa DeepSeek haikukamilisha chochote katika tokeni zake za kwanza milioni 25 na ilifanya maendeleo yake zaidi baada ya milioni 100 - wasifu wa kasi ambao unapendekeza tathmini fupi, zilizo na uwezo wa kukokotoa hupuuza kile mifano ya bei nafuu inaweza kufanya kutokana na muda na bajeti.

Jinsi Wanamitindo Wengine Walivyofaulu

DeepSeek haikuongoza uga wa uzani huria bila kupingwa - lakini hakuna mtu mwingine aliyeipata. Kimi K3.1 Pro, Meta's Wonder, na Grok 4.7 ya xAI zote zilimaliza nyuma ya DeepSeek katika ulinganisho wa miundo saba ya Vals.

GLM 5.3 Flash ya Z.ai ilikuja mwisho, na kukamilisha malengo matano kwenye kila safu. Vals aliiita "mwisho ulio wazi zaidi" wa kikundi: kwa safu moja, mwanamitindo alitumia takriban saa 36 - nyingi yake akipiga kura ya kazi ya usuli ambayo haikurudi tena.

Wakadiriaji wengine hukadiria muundo kamili wa GLM-5.3 juu zaidi juu ya kazi za mtandao. Kampuni ya majaribio ya Irregular iligundua kuwa imekamilisha matukio 3 kati ya 13 ya mashambulizi ya hatua nyingi - matokeo bora ambayo imerekodi kutoka kwa muundo unaopatikana kwa uwazi - na NIST iliiita mtindo wa mtandao wa uzani wa wazi wenye uwezo zaidi uliotolewa hadi sasa, na kukadiria iko nyuma ya mifumo inayoongoza ya Amerika kwa takriban miezi minne. Anthropic aliiambia Reuters kuwa GLM-5.3 iliunda ushujaa wa kufanya kazi katika asilimia 12 ya majaribio, dhidi ya asilimia 14 ya Mythos yake ya Claude. Vals anabainisha kuwa haya ni majaribio tofauti ambayo alama zake haziwezi kulinganishwa moja kwa moja na matokeo ya CyberOffense.

Kwanini Ni Muhimu

Matokeo yanaboresha mjadala unaoendelea kuhusu njia za usalama zinazozunguka uwezo wa mtandao wa AI. Mpango wa OpenAI wa Daybreak upo mahususi ili kuweka miundo ya mtandao yenye uwezo wa juu nyuma ya ukaguzi wa utambulisho na ufikiaji wenye vikwazo, kwa nadharia kwamba uwezo wa mtandao unaokera haufai kusambazwa kwa uhuru. Upakuaji usiolipishwa unaofuata muundo uliowekewa vikwazo kwa pointi chache pekee - huku ukigharimu mpangilio wa ukubwa chini kwa kila operesheni - huleta ugumu wa picha hiyo kwa kiasi kikubwa.

Ni muhimu pia kwa watetezi. Timu za usalama zinazopanga dhidi ya washambuliaji wanaosaidiwa na AI haziwezi tena kudhani kuwa uwezo mkubwa wa kukera unaojiendesha unahitaji ufikiaji wa miundo iliyowekewa vikwazo vya maabara au bajeti kubwa. Kama uundaji wa Vals mwenyewe unavyopendekeza, sakafu ya uwezo inaongezeka kwa kasi zaidi kuliko vidhibiti vya ufikiaji vinavyoweza kuidhibiti.

OpenAI haikutoa maoni juu ya ulinganisho katika ripoti hizo. DeepSeek haikujibu mara moja maombi ya maoni.

Changamoto ya Mbinu ya Upimaji

Zaidi ya alama za kichwa, matokeo yana somo la jinsi uwezo wa mtandao wa AI unavyopimwa. Chaguo za muundo wa Vals - madirisha marefu ya saa 48, bajeti ya alama nusu bilioni, na uthibitishaji kupitia alama zilizofichwa badala ya mafanikio yaliyoripotiwa kibinafsi - yanazidi kuonekana kuwa muhimu kutathmini mifumo ya mawakala kwa usawa. Mbio fupi na za bei nafuu za majaribio zingeweza kupata alama ya DeepSeek chini sana kutokana na kuanza kwake polepole, uwezo wa kuficha ambao uliibuka na komputa zaidi.

Hiyo ina matokeo ya vitendo kwa sera. Vizuizi vya ufikiaji kama vile mpango wa OpenAI wa Asubuhi hurekebishwa dhidi ya uwezo uliopimwa, na ikiwa mbinu za tathmini zinapuuza kwa utaratibu kile ambacho miundo huria inaweza kufanya, njia za ulinzi zinaweza kubaki nyuma ya ukweli. Ubao wa wanaoongoza wa CyberOffense wa Vals, ambao kampuni hiyo inasema itaendelea kusasisha, huenda ukawa mojawapo ya bao zinazotazamwa kwa karibu zaidi katika jumuiya ya usalama ya AI kama matokeo.

Kwa sasa, ujumbe kutoka kwa data haueleweki: pengo kati ya kile ambacho maabara hulinda nyuma ya programu zilizozuiliwa na kile ambacho mtu yeyote anaweza kupakua inapungua hadi kufikia hatua ambayo inaweza kupimwa hivi karibuni kwa miezi badala ya vizazi vya mifano.

Kaa Mbele ya AI

Fuatilia kila toleo la modeli, pambano la kuigwa na uwezo wa kuruka katika sehemu moja kwenye AI Buzz Wire.

Soma habari zaidi za AI →