Laut Semgrep übertrifft Open-Weight GLM 5.2 Claude im Cybersecurity Benchmark

Ein neuer Benchmark des Anwendungssicherheitsunternehmens Semgrep hat ein unerwartetes Ergebnis geliefert: Ein Open-Weight-Modell des chinesischen Unternehmens Zhipu AI übertraf Claude von Anthropic bei der Suche nach echten Sicherheitslücken in Software. Das Ergebnis heizt die Debatte darüber an, ob die leistungsfähigste KI notwendigerweise die teuerste oder die am stärksten eingeschränkte ist.

Da das leistungsstarke Mythos-Modell von Anthropic hinter einem US-Exportverbot steht, greifen Sicherheitsteams auf der Suche nach einer zugänglichen Alternative auf offene Optionen wie GLM 5.2 zurück, um die neueste Berichterstattung über die KI-Branche zu erhalten. Der am 22. Juni veröffentlichte Test von Semgrep deutet darauf hin, dass sich die Jagd möglicherweise früher als erwartet auszahlt.

Was Semgrep getestet hat

Semgrep bewertete eine Reihe von Open-Weight- und Frontier-Modellen anhand seines internen IDOR-Erkennungs-Benchmarks. IDORs – Unsichere direkte Objektreferenzen – sind Zugriffskontrollfehler, die es einem Benutzer ermöglichen, auf die Daten eines anderen Benutzers zuzugreifen. Sie sind mit der herkömmlichen statischen Analyse bekanntermaßen schwer zu erkennen, da der Fehler eher logischer als syntaktischer Natur ist: Der Code ist technisch gültig, ihm fehlt lediglich eine Autorisierungsprüfung.

Das Unternehmen hat einen Arbeitsablauf zum Erkennen dieser Schwachstellen verfeinert, indem es seine regelbasierte Engine mit KI-Begründung kombiniert. Um zu isolieren, wie viel Leistung vom Modell selbst im Vergleich zum umgebenden Gerüst kommt, ließen die Forscher eine Reihe beliebter Open-Weight-Modelle durch einen minimalen Kabelbaum laufen – ein einfaches Pydantic-Setup, bei dem die gleiche IDOR-Eingabeaufforderung für jedes Modell verwendet wurde, ohne Endpunkterkennung und ohne geführte Navigation. Die Eingabeaufforderung bot nur eine grundlegende Suchstrategie und ein paar Hinweise darauf, wie ein IDOR aussieht – etwas mehr als „Hier ist der Code, finden Sie die Fehler“, aber weit weniger als das, was die Frontier-Coding-Agenten erhalten, wenn sie in der vollständigen Pipeline von Semgrep ausgeführt werden.

IDORs bereiten Anwendungssicherheitsteams ständig Kopfzerbrechen, da sie durch die Ritzen herkömmlicher Scanner fallen. Ein regelbasiertes Tool kann eine fehlende Eingabeprüfung melden, aber um zu verstehen, ob ein bestimmter Endpunkt tatsächlich die Daten eines anderen Benutzers offenlegt, müssen Überlegungen zur Geschäftslogik der Anwendung angestellt werden – genau die Art von kontextbezogener Beurteilung, die große Sprachmodelle immer besser beherrschen.

GLM 5.2 übernimmt die Führung

Das Herausragende war GLM 5.2, das offene Modell von Zhipu AI. Bei der reinen Eingabeaufforderung erzielte es bei der IDOR-Erkennung eine F1-Wertung von 39 % und übertraf damit die 32 % von Claude Code um sieben volle Punkte. Laut Semgrep übertraf das Modell mit offenem Gewicht bei dieser Aufgabe auch Claude Opus 4.8 und war damit die stärkste getestete Nicht-Grenzoption.

Die wirtschaftlichen Aspekte waren ebenso beeindruckend. Beim Preis von GLM 5.2 kostete der Lauf etwa 0,17 US-Dollar pro gefundener Schwachstelle. Für Unternehmen, die möglicherweise Tausende von Endpunkten scannen, stellte Semgrep fest, dass die Kosten pro Fehler oft der entscheidende Faktor dafür sind, ob eine Erkennungstechnik in großem Maßstab praktikabel ist.

Andere Konkurrenten mit offenem Gewicht lagen weiter zurück. MiniMax M3 erreichte 23 % F1 und Kimi K2.7 Code landete bei 22 %, beide lagen deutlich unter Claude Code. Semgrep bezeichnete GLM 5.2 als klare Ausnahme und nicht als repräsentatives Ergebnis für die offene Gewichtsklasse.

Das Geschirr ist immer noch wichtig

Trotz des Open-Weight-Sieges in der Kategorie „Raw-Prompt“ blieb Semgreps eigene, speziell entwickelte Pipeline der Gesamtführer. Der multimodale Aufbau des Unternehmens – der KI-Schlussfolgerungen mit regelbasierter Erkennung und strukturierter Endpunktaufzählung kombiniert – erreichte je nach Konfiguration 53 % bis 61 % F1. Diese Lücke unterstreicht die ursprüngliche Frage der Forscher: Welchen Anteil an der Schwachstellenerkennungsleistung hat das Modell und wie viel leistet die Architektur um es herum?

Die Antwort scheint zu lauten: „Beides, aber mehr als die Leute annehmen, ist das Geschirr.“ GLM 5.2 hat bewiesen, dass ein leistungsfähiges Modell mit minimaler Unterstützung sinnvolle Arbeit leisten kann, aber dennoch nicht mit einem System mithalten kann, das speziell für das Problem entwickelt wurde.

Das Semgrep-Team – zu dem die Forscher Paxton-Fear, Seth Jaksik, Brenden Noblitt und Erik Buchanan gehörten – sagte, es sei „wirklich schockiert“, dass ein Open-Weight-Modell, das einen einfachen Prompt ausführte, einen Frontier-Coding-Agenten bei einer begründungsintensiven Sicherheitsaufgabe übertraf.

Mythos zu Hause

Vor dem aktuellen geopolitischen Hintergrund kommt der Benchmark zusätzliches Gewicht zu. Der Titel des Blogbeitrags – „Wir haben Mythos zu Hause“ – ist ein deutlicher Hinweis auf die Tatsache, dass das auf Cybersicherheit ausgerichtete Mythos-Modell von Anthropic für einen Großteil der Welt praktisch nicht verfügbar ist. Nachdem die Trump-Regierung Nicht-US-Bürgern die Nutzung von Mythos und seinem eingeschränkten Schwestermodell Fable 5 untersagte, verloren globale Sicherheitsteams den Zugang zu der KI, die allgemein als die leistungsfähigste für offensive und defensive Sicherheitsaufgaben galt.

In diesem Vakuum füllen zugängliche Modelle mit offenem Gewicht die Lücke. Die Tatsache, dass GLM 5.2 – kostenlos herunterladbar und überall einsetzbar – bei bestimmten Sicherheitsaufgaben bereits mit proprietären Grenzmodellen mithalten oder diese sogar übertreffen kann, deutet darauf hin, dass die abschreckende Wirkung des Exportverbots möglicherweise geringer ausfällt als beabsichtigt. Wenn sich das beste „uneingeschränkte“ Modell weiter verbessert, verringert sich der strategische Wert der Hortung von Grenzkapazitäten.

Im Moment ist das Ergebnis begrenzt: ein einziger Benchmark für eine einzelne Schwachstellenklasse. Aber es ist ein Signal dafür, dass sich die Grenze des offenen Gewichts schneller schließt, als viele annehmen, und dass die Zugänglichkeit – und nicht die reine Leistungsfähigkeit – zur bestimmenden Variable in der KI-Sicherheitslandschaft werden könnte.

Der Befund wirft auch für Grenzlabore unangenehme Fragen auf. Wenn ein frei verfügbares Modell bereits mit proprietären Systemen in Bezug auf Sicherheitsbeurteilungsaufgaben mithalten kann, verringert sich der Wettbewerbsvorteil um geschlossene Modelle – insbesondere, wenn Exportkontrollen diese geschlossenen Modelle für Teile des globalen Marktes unzugänglich machen. Open-Weight-Entwickler können, ohne durch Nutzungsbeschränkungen eingeschränkt zu sein, überall gleichzeitig iterieren und bereitstellen.

Bleiben Sie der KI immer einen Schritt voraus

Die Kluft zwischen Frontier- und Open-Weight-KI verringert sich aufgrund aktueller KI-Nachrichten und der Forschung, die Sicherheit, Infrastruktur und Politik neu gestaltet.

Weitere KI-Neuigkeiten lesen →