Ett nytt riktmärke från applikationssäkerhetsföretaget Semgrep har levererat ett oväntat resultat: en öppen viktmodell från kinesiska Zhipu AI överträffade Anthropics Claude när det gällde att hitta verkliga säkerhetsbrister i programvara. Upptäckten lägger bränsle till en debatt om huruvida den mest kapabla AIn nödvändigtvis är den dyraste eller den mest begränsade.

Med Anthropics kraftfulla Mythos-modell låst bakom ett amerikanskt exportförbud, vänder sig säkerhetsteam som letar efter ett tillgängligt alternativ till alternativ med öppen vikt som GLM 5.2 för den senaste AI-branschen. Semgreps test, publicerat den 22 juni, tyder på att jakten kan ge resultat tidigare än väntat.

Vad Semgrep testade

Semgrep utvärderade en serie med öppen vikt och gränsmodeller på dess interna IDOR-detektionsbenchmark. IDORs — Insecure Direct Object References — är åtkomstkontrollbuggar som låter en användare nå en annan användares data. De är notoriskt svåra att fånga med traditionell statisk analys eftersom bristen är logisk snarare än syntaktisk: koden är tekniskt giltig, den saknar helt enkelt en auktoriseringskontroll.

Företaget har förfinat ett arbetsflöde för att upptäcka dessa sårbarheter genom att kombinera sin regelbaserade motor med AI-resonemang. För att isolera hur mycket prestanda som kommer från själva modellen kontra byggnadsställningarna runt den, körde forskare en uppsättning populära modeller med öppen vikt genom en minimal sele - en enkel Pydantic-inställning med samma IDOR-prompt som ges till varje modell, utan slutpunktsupptäckt och ingen guidad navigering. Uppmaningen erbjöd bara en grundläggande sökstrategi och några tips om hur en IDOR ser ut - lite mer än "här är koden, hitta buggarna", men mycket mindre än vad gränskodningsagenterna får när de körs i Semgreps hela pipeline.

IDOR:er är en ihållande huvudvärk för applikationssäkerhetsteam eftersom de faller genom stolarna hos konventionella skannrar. Ett regelbaserat verktyg kan flagga för en saknad inmatningskontroll, men att förstå om en specifik slutpunkt faktiskt exponerar en annan användares data kräver resonemang om applikationens affärslogik – precis den typ av kontextuell bedömning som stora språkmodeller blir allt bättre på.

GLM 5.2 tar ledningen

Utmärkt var GLM 5.2, Zhipu AI:s modell med öppen vikt. Körde inget annat än en ren prompt, den fick 39 % F1 på IDOR-detektering – slog Claude Codes 32 % med sju hela poäng. Enligt Semgrep överträffade modellen med öppen vikt också Claude Opus 4.8 i uppgiften, vilket gör den till det starkaste alternativet utan gränser som testats.

Ekonomin var lika slående. Till GLM 5.2:s prissättning kostade körningen ungefär 0,17 USD per hittad sårbarhet. För organisationer som kan skanna tusentals slutpunkter, noterade Semgrep att kostnaden per bugg ofta är den avgörande faktorn för huruvida en detektionsteknik är praktisk i skala.

Andra utmanare i öppen vikt släpade längre efter. MiniMax M3 fick 23 % F1 och Kimi K2.7 Code landade på 22 %, båda grupperade långt under Claude Code. Semgrep karakteriserade GLM 5.2 som det tydliga undantaget snarare än ett representativt resultat för kategorin öppen vikt.

Selen spelar fortfarande roll

Trots segern i öppen vikt i kategorin raw-prompt förblev Semgreps egen specialbyggda pipeline den övergripande ledaren. Företagets multimodala konfiguration – som kombinerar AI-resonemang med regelbaserad detektering och strukturerad slutpunktsuppräkning – uppnådde 53 % till 61 % F1, beroende på konfiguration. Det gapet understryker forskarnas ursprungliga fråga: hur mycket av sårbarhetsdetekteringsprestandan är modellen, och hur mycket är arkitekturen runt den?

Svaret verkar vara "båda, men mer än vad folk antar är selen." GLM 5.2 visade att en kapabel modell kan göra meningsfullt arbete med minimalt stöd, men den kunde fortfarande inte matcha ett system som konstruerats specifikt för problemet.

Semgrep-teamet – som inkluderade forskarna Paxton-Fear, Seth Jaksik, Brenden Noblitt och Erik Buchanan – sa att de var "verkligt chockade" över att en öppen viktmodell som körde en enkel prompt överträffade en gränskodningsagent på en resonemangstung säkerhetsuppgift.

Mythos hemma

Riktmärket har ökat tyngd mot den nuvarande geopolitiska bakgrunden. Blogginläggets titel – "We Have Mythos at Home" – är en spetsig referens till det faktum att Anthropics cybersäkerhetsfokuserade Mythos-modell i praktiken är otillgänglig för stora delar av världen. Efter att Trump-administrationen hindrade icke-amerikanska medborgare från att använda Mythos och dess begränsade syskon Fable 5, förlorade globala säkerhetsteam åtkomst till vad som allmänt ansågs vara den mest kapabla AI:n för offensivt och defensivt säkerhetsarbete.

I det vakuumet fyller tillgängliga modeller med öppen vikt luckan. Det faktum att GLM 5.2 – fritt nedladdningsbar och distribuerbar var som helst – redan kan matcha eller slå gränsöverskridande proprietära modeller för specifika säkerhetsuppgifter tyder på att exportförbudets kylande effekt kan bli mindre än avsett. Om den bästa "obegränsade" modellen fortsätter att förbättras, minskar det strategiska värdet av att hamstra gränskapaciteter.

För närvarande är resultatet smalt: ett enda riktmärke på en enda klass av sårbarhet. Men det är en signal om att den öppna gränsen stängs snabbare än många antog, och att tillgänglighet – inte rå kapacitet – kan bli den definierande variabeln i AI-säkerhetslandskapet.

Fyndet väcker också obekväma frågor för frontier labs. Om en fritt tillgänglig modell redan kan matcha proprietära system för säkerhetsresonemangsuppgifter, minskar den konkurrenskraftiga vallgraven kring slutna modeller - särskilt när exportkontroller gör dessa slutna modeller otillgängliga för delar av den globala marknaden. Utvecklare med öppen vikt, obehindrade av användningsbegränsningar, kan iterera och distribuera överallt samtidigt.

Ligg före AI

Klyftan mellan frontier och öppen AI minskar på breaking AI news och forskningen som omformar säkerhet, infrastruktur och policy.

Läs mer AI-nyheter →