Een nieuwe benchmark van applicatiebeveiligingsbedrijf Semgrep heeft een onverwacht resultaat opgeleverd: een open-weight model van het Chinese Zhipu AI presteerde beter dan Claude van Anthropic bij het vinden van echte beveiligingsfouten in software. De bevinding voegt brandstof toe aan een debat over de vraag of de meest capabele AI noodzakelijkerwijs de duurste of de meest beperkte is.

Nu het krachtige Mythos-model van Anthropic achter een Amerikaans exportverbod zit, wenden beveiligingsteams op zoek naar een toegankelijk alternatief zich tot open-weight opties zoals GLM 5.2 voor de nieuwste berichtgeving over de AI-industrie. De test van Semgrep, gepubliceerd op 22 juni, suggereert dat de jacht mogelijk eerder vruchten afwerpt dan verwacht.

Wat Semgrep heeft getest

Semgrep evalueerde een reeks open-weight- en frontier-modellen op basis van zijn interne IDOR-detectiebenchmark. IDOR's (Insecure Direct Object References) zijn bugs in de toegangscontrole waarmee de ene gebruiker de gegevens van een andere gebruiker kan bereiken. Ze zijn notoir moeilijk op te sporen met traditionele statische analyses, omdat de fout eerder logisch dan syntactisch is: de code is technisch geldig, er ontbreekt eenvoudigweg een autorisatiecontrole.

Het bedrijf heeft een workflow voor het opsporen van deze kwetsbaarheden verfijnd door de op regels gebaseerde engine te combineren met AI-redenering. Om te isoleren hoeveel prestaties uit het model zelf komen versus de steigers eromheen, hebben onderzoekers een reeks populaire modellen met open gewicht door een minimaal harnas gehaald - een eenvoudige Pydantic-opstelling met dezelfde IDOR-prompt die aan elk model wordt gegeven, zonder ontdekking van eindpunten en zonder begeleide navigatie. De prompt bood alleen een basiszoekstrategie en een paar aanwijzingen over hoe een IDOR eruit ziet - iets meer dan "hier is de code, zoek de bugs", maar veel minder dan wat de frontier-codeeragenten ontvangen als ze binnen de volledige pijplijn van Semgrep draaien.

IDOR's zijn een aanhoudende hoofdpijn voor applicatiebeveiligingsteams omdat ze door de kieren van conventionele scanners heen vallen. Een op regels gebaseerde tool kan een ontbrekende invoercontrole markeren, maar om te begrijpen of een specifiek eindpunt daadwerkelijk de gegevens van een andere gebruiker openbaar maakt, is redeneren over de bedrijfslogica van de applicatie nodig - precies het soort contextueel oordeel waar grote taalmodellen steeds beter in worden.

GLM 5.2 neemt de leiding

Het hoogtepunt was GLM 5.2, het open-weight-model van Zhipu AI. Met slechts een simpele prompt scoorde het een F1 van 39% op IDOR-detectie – waarmee het de 32% van Claude Code met zeven volle punten versloeg. Volgens Semgrep overtrof het open-weight-model ook Claude Opus 4.8 op deze taak, waardoor het de sterkste niet-grensoverschrijdende optie is die is getest.

De economie was even opvallend. Bij de prijs van GLM 5.2 kostte de run ongeveer $ 0,17 per gevonden kwetsbaarheid. Voor organisaties die duizenden eindpunten kunnen scannen, merkte Semgrep op dat de kosten per bug vaak de doorslaggevende factor zijn bij de vraag of een detectietechniek op grote schaal praktisch is.

Andere deelnemers met een open gewicht bleven verder achter. MiniMax M3 scoorde 23% F1 en Kimi K2.7 Code kwam uit op 22%, beide clusteren ruim onder Claude Code. Semgrep typeerde GLM 5.2 als een duidelijke uitzondering en niet als een representatief resultaat voor de categorie met open gewicht.

Het harnas doet er nog steeds toe

Ondanks de overwinning in de open-weight-categorie in de raw-prompt-categorie bleef Semgrep's eigen, speciaal gebouwde pijplijn de algemene leider. De multimodale opzet van het bedrijf – die AI-redenering combineert met op regels gebaseerde detectie en gestructureerde eindpuntopsomming – behaalde 53% tot 61% F1, afhankelijk van de configuratie. Die kloof onderstreept de oorspronkelijke vraag van de onderzoekers: hoeveel van de prestaties op het gebied van kwetsbaarheidsdetectie is het model, en hoeveel is de architectuur eromheen?

Het antwoord lijkt te zijn: "beide, maar meer dan mensen denken is het harnas." GLM 5.2 bewees dat een capabel model betekenisvol werk kan doen met minimale ondersteuning, maar toch niet kan tippen aan een systeem dat specifiek voor het probleem is ontworpen.

Het Semgrep-team – waartoe ook de onderzoekers Paxton-Fear, Seth Jaksik, Brenden Noblitt en Erik Buchanan behoorden – zei dat ze “oprecht geschokt” waren dat een open-weight-model met een kale prompt een frontier-codeeragent overtrof bij een redeneerzware beveiligingstaak.

Mythos thuis

De benchmark heeft extra gewicht tegen de huidige geopolitieke achtergrond. De titel van de blogpost – ‘We Have Mythos at Home’ – is een duidelijke verwijzing naar het feit dat het op cybersecurity gerichte Mythos-model van Anthropic feitelijk niet beschikbaar is voor een groot deel van de wereld. Nadat de regering-Trump niet-Amerikaanse onderdanen had uitgesloten van het gebruik van Mythos en zijn beperkte broer of zus Fable 5, verloren mondiale veiligheidsteams de toegang tot wat algemeen werd beschouwd als de meest capabele AI voor offensief en defensief veiligheidswerk.

In dat vacuüm vullen toegankelijke modellen met open gewicht de leemte op. Het feit dat GLM 5.2 – vrij te downloaden en overal inzetbaar – al de grens-eigen modellen op het gebied van specifieke beveiligingstaken kan evenaren of verslaan, suggereert dat het huiveringwekkende effect van het exportverbod wellicht kleiner is dan bedoeld. Als het beste ‘onbeperkte’ model steeds beter wordt, neemt de strategische waarde van het oppotten van grenscapaciteiten af.

Voorlopig is het resultaat beperkt: één enkele benchmark voor één enkele kwetsbaarheidsklasse. Maar het is een signaal dat de open-weight-grens sneller sluit dan velen dachten, en dat toegankelijkheid – en niet de ruwe capaciteit – de bepalende variabele in het AI-beveiligingslandschap zou kunnen worden.

De bevinding roept ook ongemakkelijke vragen op voor grenslaboratoria. Als een vrij beschikbaar model al propriëtaire systemen op het gebied van veiligheidsredeneringen kan evenaren, wordt de concurrentiestrijd rond gesloten modellen kleiner – vooral wanneer exportcontroles die gesloten modellen ontoegankelijk maken voor delen van de wereldmarkt. Ontwikkelaars met een open gewicht kunnen, niet gehinderd door gebruiksbeperkingen, overal tegelijkertijd itereren en implementeren.

Blijf AI een stap voor

De kloof tussen frontier- en open-weight AI wordt kleiner door breaking AI news en het onderzoek dat de veiligheid, infrastructuur en beleid hervormt.

Lees meer AI-nieuws →