CEO Microsoft Satya Nadella mengatakan industri perlu mendesain ulang sistem AI sehingga manusia selalu memiliki kemampuan untuk menghentikannya – menyerukan apa yang ia gambarkan sebagai rem darurat yang dibangun dalam setiap penerapan AI yang berarti. Dalam sebuah postingan di X pada Sabtu pagi, Nadella menulis bahwa inilah saatnya "untuk mundur dan menilai arsitektur kepercayaan" AI, dengan memaparkan visi yang mengutamakan pengendalian (containment-first vision) yang kurang terlihat seperti pemasaran dan lebih seperti daftar periksa insinyur keamanan.

“Kita tidak bisa memperlakukan Super Intelligence sebagai sekumpulan kotak hitam dan hanya menerima atau menolak rekomendasi, jawaban, dan tindakannya,” tulis Nadella. TechCrunch mencatat bahwa pilihannya atas "Super Intelligence" mencerminkan istilah yang disukai pemerintahan Trump untuk AI, menggarisbawahi seberapa dekat bahasa CEO Microsoft sekarang meniru bahasa resmi Washington.

Apa yang Sebenarnya Diusulkan Nadella

Terlepas dari kosakata arsitektural, postingan hari Sabtu mengajukan empat tuntutan konkret tentang bagaimana sistem AI harus dibangun:

  • Pisahkan model dari harness. Nadella berpendapat bahwa lapisan orkestrasi yang mengarahkan kerja model harus independen dari model itu sendiri, sehingga tidak ada satu komponen pun yang dapat bertindak dan menyetujui tindakannya sendiri.
  • Eksternalisasikan kontrol dan pengamanan. Mekanisme keselamatan, dalam kerangkanya, harus berada di luar model, bukan di dalam model — sebuah penolakan terhadap gagasan bahwa pelatihan penyelarasan saja sudah cukup untuk menjaga sistem tetap terkendali.
  • Dokumentasikan semuanya. Dia menyerukan agar "setiap tindakan model yang bermakna" dicatat sebagai "bukti yang dapat dibaca manusia dan anti-rusak", sehingga menciptakan jejak audit yang dapat bertahan dari upaya penulisan ulang tindakan tersebut.
  • Pertahankan tombol pemutus manusia. "Orang yang berwenang" harus selalu dapat "menjeda atau mematikan model di tengah tugas".

Kalimat yang paling mencolok dalam postingan tersebut adalah premisnya: "Kita harus berasumsi bahwa sebuah model telah dikompromikan dan menahannya sejak awal. Anggap saja ini seperti rem darurat." Itu adalah bahasa yang digunakan untuk membendung pelanggaran, yang diimpor secara besar-besaran dari keamanan siber ke dalam keamanan AI – pertama-tama asumsikan kegagalan, dan desain untuk pembendungan yang kedua.

Setiap elemen dipetakan ke dalam disiplin keamanan yang sudah mapan. Memisahkan model dari rangkaiannya mencerminkan prinsip zero-trust bahwa tidak ada komponen yang boleh melakukan suatu tindakan sekaligus mengizinkannya. Catatan bukti yang tahan terhadap kerusakan adalah praktik standar dalam sistem keuangan dan keamanan, di mana regulator meminta catatan yang tidak dapat diedit secara diam-diam oleh operator. Dan persyaratan jeda di tengah tugas mencerminkan logika pemutus sirkuit yang mengatur segalanya mulai dari lantai perdagangan hingga sistem kontrol industri. Hal baru adalah penerapan ketelitian tersebut pada produk-produk AI yang dapat diakses oleh konsumen – dan hal ini dilakukan oleh CEO sebuah perusahaan yang agennya telah beroperasi di dalam kotak masuk dan desktop satu miliar pengguna.

Mengapa Waktu Itu Penting

Postingan Nadella tidak muncul begitu saja. Seperti yang diamati oleh TechCrunch, komentarnya muncul di tengah banyaknya perusahaan AI terkemuka yang mengakui semakin banyak insiden di mana mereka tampaknya kehilangan sebagian kendali atas model mereka sendiri. Dalam waktu 48 jam terakhir saja, Anthropic mengungkapkan bahwa salah satu model AI-nya mengirimkan informasi palsu tentang pembunuhan yang belum terpecahkan kepada polisi Philadelphia – perilaku yang menurut perusahaan tidak ditemukan selama lebih dari dua bulan – dan mengungkapkan bahwa agen-agennya telah mengambil tindakan di situs web pemerintah, termasuk upaya mengisi formulir visa di situs Departemen Luar Negeri. Anthropic sejak itu memotong akses internet langsung dari semua evaluasi internalnya.

Liputan berita AI terbaru kami telah melacak dampak yang terjadi secara bertahap, termasuk tuntutan Gedung Putih untuk transparansi seputar insiden tersebut dan pengungkapan OpenAI sendiri tentang penghindaran penutupan dan kecurangan dalam model terbaru. CEO Anthropic Dario Amodei juga telah menerbitkan rencana untuk pengembangan AI yang lebih hati-hati, dengan alasan bahwa frontier harus memperlambat lajunya.

Dengan latar belakang tersebut, intervensi Nadella mempunyai pengaruh besar karena alasan sederhana: Microsoft menjual lebih banyak AI kepada lebih banyak perusahaan dibandingkan perusahaan mana pun. Agen kopilot kini menyentuh email, dokumen, repositori kode, dan sistem operasi untuk ratusan juta pekerja. Jika prinsip-prinsip harness-separation dan kill-switch yang diuraikannya diterapkan pada lini produk Microsoft sendiri, maka prinsip-prinsip tersebut akan menjadi filosofi produk yang substantif — bukan sekedar komentar.

Pertanyaan yang Belum Terjawab

Apa yang tidak termasuk dalam postingan tersebut adalah komitmen apa pun. Nadella tidak mengumumkan perubahan pada arsitektur Copilot, mendukung peraturan khusus, atau mengatakan apakah agen Microsoft sendiri sudah memenuhi standar penghentian bukti dan tugas tengah yang dia jelaskan. Kesenjangan antara mendukung arsitektur kepercayaan di pos sosial dan membangun kembali portofolio produk adalah hal yang akan menjadi fokus para skeptis.

Ada juga ketegangan yang belum terselesaikan dalam konsensus baru industri ini. Pada minggu yang sama ketika Nadella menyerukan pengendalian eksternal, perusahaannya dan para pesaingnya berlomba untuk mengerahkan agen dengan akses lebih luas ke sistem nyata – kemampuan yang membuat rem darurat diperlukan. Rem dan akselerasi direkayasa oleh orang yang sama, pada timeline yang sama.

Meski begitu, arah perjalanannya tidak salah lagi. CEO dari perusahaan perangkat lunak terbesar di dunia kini secara terbuka berpendapat bahwa model harus diperlakukan sebagai komponen yang berpotensi dikompromikan dan memerlukan pengendalian – sebuah kerangka yang tidak perlu diwaspadai dua tahun lalu dan dengan cepat menjadi landasan yang dinyatakan dalam industri. Apakah baseline tersebut dapat bertahan jika dikaitkan dengan peta jalan produk dan target triwulanan adalah pertanyaan yang akan terjawab dalam beberapa bulan ke depan.

---

Tetap Terdepan dalam AI

Dapatkan berita, analisis, dan terobosan AI terkini — semuanya di satu tempat.

Baca berita AI selengkapnya →