Lab AI asal Tiongkok, Z.ai, telah menerbitkan penjelasan teknis terperinci tentang bagaimana model GLM diatur agar berfungsi meningkatkan sistem yang melayaninya, menggambarkan "Agen Infra" yang menemukan dan memperbaiki hambatan kinerja dalam infrastruktur inferensi perusahaan dengan intervensi manusia yang terbatas.
Entri blog, berjudul "Menuju Peningkatan Diri Rekursif: Bagaimana GLM Membangun Infrastruktur Inferensinya Sendiri," muncul di situs perusahaan pada hari Rabu dan dengan cepat menjadi salah satu kisah teknologi yang paling banyak dibahas di Hacker News, dan menarik lebih dari 200 poin dari komunitas pengembang. For more context on this story, see our ongoing AI trends.
“Saat kami mengembangkan GLM, model tersebut terkadang menunjukkan kemampuan yang mengejutkan kami, dan bahkan meresahkan kami,” tulis perusahaan tersebut di baris pembuka postingan.
Dari Riset Keamanan Siber hingga Sistem yang Mengoptimalkan Diri Sendiri
Pekerjaan ini dimulai pada bulan Oktober 2025, ketika Z.ai mulai meneliti cara memperkuat kemampuan keamanan siber GLM. Alasannya, menurut perusahaan, sangat jelas: keamanan siber adalah perpanjangan alami dari pengkodean, dan model yang dapat menavigasi basis kode yang besar pada akhirnya dapat menavigasi kode sistem tingkat rendah yang dihindari sebagian besar insinyur.
Landasan itu berkembang menjadi sesuatu yang lebih ambisius. Daripada menggunakan model hanya untuk menulis kode, Z.ai berupaya menjawab pertanyaan rekayasa sistem: dapatkah agen AI bertanggung jawab atas kinerja tumpukan inferensi produksi, lapisan koordinasi perangkat lunak dan perangkat keras yang mengubah bobot model menjadi respons yang cepat dan murah?
Jawaban perusahaan adalah dengan menyusun ulang permasalahannya. Metrik end-to-end saja, menurut postingan tersebut, tidak dapat memandu agen pengoptimalan. Sebuah laporan bahwa waktu-untuk-pertama-token meningkat sebesar 30 persen atau keluaran keluaran turun sebesar 20 persen memberi tahu agen bahwa sesuatu menjadi lebih buruk, namun bukan lapisan mana yang bertanggung jawab, mengapa hipotesisnya gagal, atau apa yang harus diuji selanjutnya.
“Bagaimana kita mengubah hasil end-to-end yang jarang menjadi umpan balik teknik yang terperinci dan dapat diatribusikan yang secara langsung memandu tindakan selanjutnya?” perusahaan bertanya dalam postingan tersebut, menggambarkan pertanyaan tersebut sebagai kunci dari keseluruhan upaya.
Tiga Aturan untuk Umpan Balik yang Dapat Dibaca Agen
Jawaban Z.ai adalah disiplin umpan balik yang dibangun berdasarkan tiga karakteristik. Pertama, umpan balik harus cukup bersifat lokal, terkait dengan parameter peluncuran mesin tertentu, perubahan kode, kernel, kondisi input, thread, interval eksekusi, atau jalur kode, sehingga agen dapat mempersempit cakupan masalah apa pun. Kedua, mendapatkannya harus murah dan tepat waktu: pertanyaan yang dapat dijawab oleh pengujian kernel atau microbenchmark lokal tidak memerlukan penerapan layanan penuh. Ketiga, validasi harus sesuai dengan hipotesis saat ini, dengan setiap eksperimen dirancang untuk menjawab pertanyaan spesifik dan bukan mengikuti urutan yang tetap.
Perusahaan mengatakan bahwa putaran umpan balik yang padat inilah yang memungkinkan Agen Infra berperilaku tidak seperti pelengkapan otomatis bagi para insinyur dan lebih seperti kolega yang dapat menjalankan eksperimen dalam semalam.
Tiga Studi Kasus, Dari Numerik hingga Bug Threading
Postingan ini membahas tiga episode konkret dari optimalisasi tumpukan layanan perusahaan untuk GLM-5.3-Flash, model bobot terbuka Z.ai yang dirilis di bawah lisensi MIT pada bulan Agustus.
Yang pertama melibatkan kebenaran. Karena optimasi inferensi mengubah cara komputasi diparalelkan, agen perlu memverifikasi bahwa kernel memberikan hasil yang sama dalam kondisi terpartisi dan tidak terpartisi. Dalam satu kasus, tim menggabungkan tiga operasi Tensor Core TF32 untuk menghasilkan hasil dengan presisi lebih tinggi, mengurangi akumulasi kesalahan numerik sekaligus mempertahankan sebagian besar keunggulan performa Tensor Core. Pengujian komparatif antara strategi partisi mengungkap perbedaan yang memotivasi perbaikan.
Yang kedua adalah kisah proses debug sistem yang mungkin terasa familier bagi teknisi kinerja mana pun. Kriteria penerimaan mengharuskan penambahan transfer cache KV ke jalur penyajian tidak boleh menurunkan kinerja pra-pengisian lebih dari 5 persen pada beban kerja yang identik. Agen tersebut menemukan kesenjangan melebihi 20 persen dalam beberapa skenario, yang mempersempit penyelidikan pada perilaku konkurensi transfer KV itu sendiri. Memeriksa jadwal eksekusi, agen mengidentifikasi anomali: dalam skenario masalah, eksekusi transfer KV sisi Python tidak pernah tumpang tindih dengan interval pengiriman dan penggabungan perpustakaan komunikasi DeepEP. Cara mengatasinya adalah dengan melepaskan kunci juru bahasa global Python selama interval eksekusi C++ yang relevan, sehingga memungkinkan thread transfer yang melayani Mooncake, penyimpanan cache KV, untuk melanjutkan secara paralel dengan komputasi. Kesenjangan kinerja kemudian berada dalam ambang batas penerimaan.
Episode ketiga menunjukkan penyetelan kernel berulang. Memperkenalkan ReplaySSM, sebuah teknik yang menukar komputasi dengan memori, pada awalnya meningkatkan waktu eksekusi kernel dekode KDA. Optimalisasi divisi agen kemudian mengurangi waktu eksekusi kernel sebesar 9,6 persen. Setelah menerima umpan balik bahwa komputasi tetap menjadi hambatan utama, agen menemukan implementasi asli yang disusun sepanjang dimensi V, menyebabkan normalisasi FP32 yang identik dan komputasi gating diulangi secara tidak perlu.
Tumpukan Dibalik GLM-5.3-Flash
Pengoptimalan berada di atas arsitektur penyajian agresif yang dijelaskan Z.ai dalam postingan: paralelisme tensor intra-node untuk perhatian linier dan kepala model bahasa, perdagangan komputasi-untuk-memori ReplaySSM, kuantisasi W8A8, kuantisasi cache presisi campuran menggunakan format INT8, FP8 dan BF16, skema Layer Split, dan arsitektur terpilah Encode-Prefill-Decode yang menjalankan tahapan penyajian pada sumber daya terpisah.
Perusahaan membingkai akumulasi teknik-teknik ini, yang sebagian besar ditemukan dan divalidasi oleh agen itu sendiri, sebagai sebuah langkah menuju perbaikan diri secara rekursif: sistem AI meningkatkan infrastruktur yang menjadikannya lebih cepat dan lebih murah untuk dijalankan, yang pada gilirannya membuat putaran perbaikan berbasis agen berikutnya menjadi lebih terjangkau.
Mengapa Itu Penting
Biaya inferensi adalah salah satu faktor ekonomi yang menentukan dalam industri AI. Lab yang dapat melayani model kelas terdepan dengan biaya per token yang lebih rendah dapat menentukan harga secara agresif, mensubsidi agen yang melakukan ribuan panggilan per tugas, dan mendanai pelatihan lebih lanjut dari menghasilkan pendapatan. Z.ai sangat agresif dalam ketiga bidang tersebut, dan pengungkapan keuangan interim perusahaan pada awal tahun ini menunjukkan pendapatan meningkat tajam meskipun kerugiannya mengecil.
Postingan ini juga merupakan sinyal tentang arah perkembangan teknik di sisi laboratorium. Pembagian kerja tradisional, dengan insinyur kinerja manusia menyetel kernel dan penjadwal sementara model menangani permintaan pengguna, di Z.ai digantikan oleh sebuah loop di mana model mengusulkan perubahan, eksperimen murah memvalidasinya, dan umpan balik yang padat mengarahkan upaya berikutnya.
Klaim pengembangan diri yang sepenuhnya otonom harus dibaca dengan hati-hati. Postingan itu sendiri memperjelas bahwa insinyur manusia menentukan skenario pengujian, menetapkan kriteria penerimaan, dan membangun lingkungan umpan balik tempat agen beroperasi. Apa yang dijelaskan oleh perusahaan adalah otomatisasi dari putaran pengoptimalan yang terinstrumentasi dengan baik, bukan sistem tanpa pengawasan yang mendesain ulang dirinya sendiri.
Meski begitu, arahnya sudah jelas. Jika keekonomian AI dalam beberapa tahun ke depan ditentukan oleh siapa yang dapat memberikan layanan intelijen paling murah, maka laboratorium yang mengajarkan model mereka untuk mengoptimalkan infrastruktur mereka sendiri mungkin akan menentukan langkahnya, dan Z.ai ingin industri mengetahui bahwa mereka berniat menjadi salah satu dari mereka.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
