Open-Weight GLM 5.2 Mengungguli Claude dalam Tolok Ukur Keamanan Siber, Semgrep Menemukan

Sebuah tolok ukur baru dari perusahaan keamanan aplikasi Semgrep telah memberikan hasil yang tidak terduga: model open-weight dari Zhipu AI Tiongkok mengungguli Claude dari Anthropic dalam menemukan kelemahan keamanan nyata dalam perangkat lunak. Temuan ini menambah perdebatan mengenai apakah AI yang paling mampu adalah yang paling mahal atau paling terbatas.

Karena model Mythos Anthropic yang kuat terkunci di balik larangan ekspor AS, tim keamanan yang mencari alternatif yang dapat diakses beralih ke opsi terbuka seperti GLM 5.2 untuk cakupan industri AI terbaru. Tes Semgrep, yang diterbitkan pada 22 Juni, menunjukkan bahwa perburuan mungkin membuahkan hasil lebih cepat dari yang diperkirakan.

Apa yang Semgrep Diuji

Semgrep mengevaluasi jajaran model open-weight dan frontier pada tolok ukur deteksi IDOR internalnya. IDOR - Referensi Objek Langsung Tidak Aman - adalah bug kontrol akses yang memungkinkan satu pengguna mengakses data pengguna lain. Mereka terkenal sulit ditangkap dengan analisis statis tradisional karena kelemahannya lebih bersifat logis daripada sintaksis: kode tersebut secara teknis valid, hanya saja tidak memiliki pemeriksaan otorisasi.

Perusahaan telah menyempurnakan alur kerja untuk menemukan kerentanan ini dengan menggabungkan mesin berbasis aturan dengan pemikiran AI. Untuk mengisolasi seberapa besar performa yang berasal dari model itu sendiri versus scaffolding di sekitarnya, para peneliti menjalankan serangkaian model open-weight yang populer melalui harness minimal — pengaturan Pydantic sederhana menggunakan perintah IDOR yang sama yang diberikan kepada setiap model, tanpa penemuan titik akhir dan tanpa navigasi terpandu. Perintah tersebut hanya menawarkan strategi pencarian dasar dan beberapa petunjuk tentang seperti apa IDOR itu — sedikit lebih dari sekadar "ini kodenya, temukan bugnya", namun jauh lebih sedikit daripada apa yang diterima oleh agen pengkodean perbatasan ketika berjalan di dalam saluran penuh Semgrep.

IDOR selalu menyusahkan tim keamanan aplikasi karena mereka gagal menembus celah pemindai konvensional. Alat berbasis aturan dapat menandai pemeriksaan masukan yang hilang, namun memahami apakah titik akhir tertentu benar-benar mengekspos data pengguna lain memerlukan pemikiran tentang logika bisnis aplikasi — tepatnya jenis penilaian kontekstual yang semakin baik dilakukan oleh model bahasa besar.

GLM 5.2 Memimpin

Yang menonjol adalah GLM 5.2, model bobot terbuka Zhipu AI. Hanya menjalankan perintah sederhana, ia mencetak 39% F1 pada deteksi IDOR — mengalahkan 32% Claude Code dengan tujuh poin penuh. Menurut Semgrep, model berbobot terbuka juga melampaui tugas Claude Opus 4.8, menjadikannya opsi non-frontier terkuat yang diuji.

Bidang ekonomi juga sama mencoloknya. Dengan harga GLM 5.2, biaya pengoperasiannya sekitar $0,17 per kerentanan yang ditemukan. Untuk organisasi yang mungkin memindai ribuan titik akhir, Semgrep mencatat bahwa biaya per bug sering kali menjadi faktor penentu apakah suatu teknik deteksi dapat diterapkan dalam skala besar.

Para pesaing kelas terbuka lainnya tertinggal jauh di belakang. MiniMax M3 mencetak 23% F1 dan Kimi K2.7 Code mendapatkan skor 22%, keduanya berada jauh di bawah Claude Code. Semgrep mencirikan GLM 5.2 sebagai pengecualian yang jelas dan bukan hasil yang mewakili kategori bobot terbuka.

Harness Masih Penting

Meskipun memenangkan kelas terbuka dalam kategori raw-prompt, saluran pipa Semgrep yang dibuat khusus tetap menjadi pemimpin secara keseluruhan. Penyiapan multimodal perusahaan — yang menggabungkan penalaran AI dengan deteksi berbasis aturan dan enumerasi titik akhir terstruktur — mencapai F1 53% hingga 61%, bergantung pada konfigurasi. Kesenjangan tersebut menggarisbawahi pertanyaan awal para peneliti: seberapa besar kinerja deteksi kerentanan model tersebut, dan seberapa besar arsitektur yang mendukung model tersebut?

Jawabannya tampaknya adalah "keduanya, tetapi lebih dari yang diasumsikan orang-orang adalah tali pengamannya". GLM 5.2 membuktikan bahwa model yang mumpuni dapat melakukan pekerjaan yang berarti dengan dukungan minimal, namun model tersebut masih belum dapat menandingi sistem yang dirancang khusus untuk masalah tersebut.

Tim Semgrep – yang terdiri dari peneliti Paxton-Fear, Seth Jaksik, Brenden Noblitt, dan Erik Buchanan – mengatakan mereka “benar-benar terkejut” bahwa model open-weight yang menjalankan bare prompt melampaui agen pengkodean perbatasan dalam tugas keamanan yang sangat berat.

Mitos di Rumah

Tolok ukur ini memberikan bobot tambahan terhadap latar belakang geopolitik saat ini. Judul postingan blog tersebut – “Kami Punya Mitos di Rumah” – merujuk pada fakta bahwa model Mythos yang berfokus pada keamanan siber Anthropic tidak tersedia di sebagian besar dunia. Setelah pemerintahan Trump melarang warga negara non-AS menggunakan Mythos dan saudaranya yang terbatas, Fable 5, tim keamanan global kehilangan akses terhadap apa yang secara luas dianggap sebagai AI paling mampu untuk pekerjaan keamanan ofensif dan defensif.

Dalam kekosongan tersebut, model bobot terbuka yang dapat diakses mengisi kekosongan tersebut. Fakta bahwa GLM 5.2 – yang dapat diunduh dan diterapkan secara bebas di mana saja – sudah dapat menandingi atau mengalahkan model kepemilikan terdepan dalam tugas keamanan tertentu menunjukkan bahwa dampak buruk larangan ekspor mungkin lebih kecil dari yang diharapkan. Jika model terbaik yang “tidak dibatasi” terus ditingkatkan, nilai strategis dari penimbunan kemampuan terdepan akan berkurang.

Untuk saat ini, hasilnya masih terbatas: hanya ada satu tolak ukur pada satu kelas kerentanan. Namun hal ini merupakan sebuah sinyal bahwa batasan open-weight akan ditutup lebih cepat dari perkiraan banyak orang, dan bahwa aksesibilitas – bukan kemampuan mentah – dapat menjadi variabel penentu dalam lanskap keamanan AI.

Temuan ini juga menimbulkan pertanyaan tidak nyaman bagi laboratorium perbatasan. Jika model yang tersedia secara bebas sudah dapat menandingi sistem kepemilikan dalam hal pertimbangan keamanan, maka persaingan dalam model tertutup akan menyempit – terutama ketika kontrol ekspor membuat model tertutup tersebut tidak dapat diakses oleh sebagian besar pasar global. Pengembang open-weight, tidak terbebani oleh batasan penggunaan, dapat melakukan iterasi dan penerapan di mana pun secara bersamaan.

Tetap Terdepan dalam AI

Kesenjangan antara AI frontier dan open-weight semakin menyempit berkat berita AI terkini dan penelitian yang membentuk kembali keamanan, infrastruktur, dan kebijakan.

Baca berita AI selengkapnya →