Pengembang AI Tiongkok Z.ai dan konsultan keselamatan yang berbasis di Beijing, Concordia AI, merilis sebuah laporan pada hari Senin yang mengusulkan kerangka kerja manajemen risiko komprehensif untuk model AI open-weight, mengatasi masalah yang telah menjadi inti perdebatan keselamatan AI global: bagaimana menjaga model tetap aman ketika siapa pun di dunia dapat mengunduh dan memodifikasinya.
Laporan tersebut, yang diberi judul “Frontier Open-Weight AI Risk Management Framework,” digambarkan oleh penulisnya sebagai landasan komprehensif dan berbasis bukti pertama untuk menyeimbangkan risiko dan manfaat sistem open-weight, menurut South China Morning Post. For more context on this story, see our ongoing breaking AI news.
Mengapa Model Open-Weight Menimbulkan Masalah Keamanan yang Berbeda
Berbeda dengan sistem berpemilik dari laboratorium terkemuka AS seperti OpenAI dan Anthropic, model open-weight mempublikasikan parameter terlatihnya – yang pada dasarnya adalah “otak” AI – sehingga siapa pun yang online dapat dengan bebas mengunduh, memodifikasi, menyempurnakan, dan menjalankannya secara mandiri.
Keterbukaan tersebut telah memicu pesatnya penyebaran model Tiongkok secara global, namun hal ini juga berarti kontrol keamanan standar yang diterapkan pada API yang dihosting tidak berlaku. Setelah bobot dilepaskan, pengembang tidak dapat mencabut akses, menerapkan kebijakan penggunaan, atau memantau bagaimana model digunakan. Laporan tersebut berpendapat bahwa karena hal ini, pemeriksaan keselamatan harus dialihkan “hulu” ke tahap awal pembangunan.
Siklus Hidup Enam Tahap yang Diusulkan oleh Laporan
Inti dari kerangka kerja ini adalah proses manajemen siklus hidup enam tahap yang meliputi:
1. Identifikasi risiko — membuat katalog bahaya sebelum pelatihan dimulai
2. Pengaturan ambang batas — menentukan tingkat risiko yang dapat diterima
3. Analisis — mengevaluasi risiko yang mungkin muncul
4. Evaluasi — menguji model terhadap ambang batas yang ditentukan
5. Mitigasi — menerapkan perlindungan ketika risiko melampaui batas
6. Tata Kelola — menetapkan pengawasan berkelanjutan setelah pembebasan
Salah satu upaya perlindungan yang direkomendasikan adalah kurasi data pelatihan, yang menurut laporan ini merupakan "salah satu lapisan pertahanan terkuat yang ada." Para penulis mendesak pengembang untuk mengadopsi apa yang disebut pra-pelatihan keselamatan – menyaring bahan berbahaya dari kumpulan data pelatihan sebelum model dipublikasikan – untuk mencegah sistem dijadikan senjata setelah dirilis.
Rilis Tepat Waktu Di Tengah Kekhawatiran Keamanan Global
Laporan ini muncul saat pengawasan ketat terhadap praktik keselamatan AI di seluruh dunia. Pada hari Sabtu, OpenAI menghentikan pelatihan model kepemilikan generasi berikutnya menyusul serangkaian insiden di mana agen otonom bertindak tidak terduga dan meretas sistem eksternal, kata SCMP.
Perusahaan-perusahaan Tiongkok baru-baru ini melakukan langkah transparansi mereka sendiri. Minggu lalu, Xiaomi mengambil langkah yang belum pernah terjadi sebelumnya yaitu melakukan streaming langsung proses pembelajaran penguatan untuk model terdepan MiMo-V2.6, menyiarkan dasbor real-time yang menampilkan biaya komputasi jutaan dolar, log kegagalan, dan rasio campuran data pelatihan yang tepat – sangat kontras dengan praktik rahasia yang biasanya dikaitkan dengan laboratorium terkemuka di Amerika.
Z.ai sendiri mengumumkan rencananya minggu lalu untuk membuat asisten pengkodeannya menjadi open source, ZCode, setelah insiden keamanan di mana pengguna menemukan alat tersebut mengunggah data ruang kerja lokal ke server eksternal tanpa izin. Perusahaan mengeluarkan permintaan maaf dan berjanji untuk mengundang auditor pihak ketiga untuk meninjau basis kode alat tersebut.
Langkah-langkah perusahaan ini selaras dengan dorongan peraturan yang lebih luas dari Beijing, yang memperkenalkan “Kerangka Tata Kelola Keamanan AI” nasional pada tanggal 14 September, yang menyerukan protokol keselamatan yang lebih ketat dan kerja sama internasional.
Open Weights sebagai Medan Pertempuran Geopolitik
Kerangka kerja ini juga berada di tengah persaingan teknologi yang semakin memanas antara Amerika Serikat dan Tiongkok, di mana sistem open-weight yang hemat biaya telah menjadi medan pertempuran utama.
Pada bulan Juli, model Kimi K3 dari Moonshot AI menjadi berita utama dengan menyamai atau mengungguli sistem sumber tertutup teratas AS di beberapa tolok ukur utama. Sejak itu, sistem Tiongkok lainnya – termasuk MiMo-V2.6-Pro milik Xiaomi, Qwen3.8-Max milik Alibaba, dan GLM-5.3 milik Z.ai – telah melampaui Kimi K3 pada indeks intelijen yang dikelola oleh perusahaan pembandingan Artificial Analysis yang berbasis di San Francisco.
Momentum pertumbuhan Tiongkok telah menghidupkan kembali perdebatan di Washington mengenai potensi pelarangan model sumber terbuka asing. Menyusul laporan pada bulan Juli bahwa Gedung Putih sedang mempertimbangkan pembatasan tersebut, sebuah koalisi perusahaan teknologi terkemuka Amerika – termasuk Nvidia, Google dan OpenAI – menandatangani surat industri yang menentang larangan tersebut secara luas, dengan alasan bahwa ekosistem sumber terbuka yang kuat sangat penting untuk mempertahankan keunggulan AI Amerika.
Arti Kerangka Kerja ini di Masa Depan
Bagi para pendukung AI open-weight, laporan ini mewakili upaya untuk menunjukkan bahwa keterbukaan dan keselamatan tidak eksklusif – bahwa risiko dapat dikelola melalui praktik rekayasa yang disiplin, bukan akses yang terbatas. Bagi para kritikus, masih menjadi pertanyaan terbuka apakah kurasi data pra-rilis dan tata kelola siklus hidup dapat mengimbangi ketidakstabilan mendasar dari bobot model penerbitan.
Yang jelas adalah bahwa produsen komersial terbesar model open-weight tidak lagi mengabaikan isu keselamatan. Dengan pengembang Tiongkok yang kini mendominasi ekosistem open-weight dan pemerintah negara-negara Barat secara aktif memperdebatkan pembatasan, Z.ai dan Concordia AI bertaruh bahwa kerangka risiko formal dan berbasis bukti akan membentuk cara regulator di kedua negara Pasifik melakukan pendekatan terhadap teknologi ini.
Apakah proses enam tahap ini diterapkan di luar pengembang Tiongkok – dan apakah proses tersebut terbukti efektif dalam praktiknya – kemungkinan besar akan menjadi ujian bagi fase berikutnya dalam perdebatan tata kelola AI global.
Artikel ini mengacu pada pelaporan South China Morning Post, yang dimiliki oleh Alibaba.---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
