Ketua Pegawai Eksekutif Microsoft, Satya Nadella berkata industri perlu mereka bentuk semula sistem AI supaya manusia sentiasa mengekalkan keupayaan untuk menghentikannya — meminta apa yang disifatkannya sebagai brek kecemasan yang terbina dalam setiap penggunaan AI yang bermakna. Dalam catatan di X pada pagi Sabtu, Nadella menulis bahawa sudah tiba masanya "untuk berundur dan menilai seni bina amanah" AI, meletakkan visi pembendungan-pertama yang berbunyi kurang seperti pemasaran dan lebih seperti senarai semak jurutera keselamatan.

"Kami tidak boleh menganggap Super Intelligence sebagai satu set kotak hitam bersarang dan hanya menerima atau menolak cadangan, jawapan dan tindakannya," tulis Nadella. TechCrunch menyatakan bahawa pilihannya untuk "Super Intelligence" mencerminkan istilah pilihan pentadbiran Trump untuk AI, menggariskan betapa dekatnya bahasa CEO Microsoft kini menjejaki bahasa rasmi Washington.

Apa Yang Dicadangkan Sebenarnya Nadella

Dilucutkan perbendaharaan kata seni bina, siaran hari Sabtu membuat empat tuntutan konkrit tentang cara sistem AI harus dibina:

  • Asingkan model daripada abah-abah. Nadella berhujah lapisan orkestrasi yang mengarahkan kerja model harus bebas daripada model itu sendiri, supaya tiada satu komponen boleh bertindak dan meluluskan tindakannya sendiri.
  • Membuat kawalan dan perlindungan luar. Mekanisme keselamatan, dalam pembingkaiannya, harus berada di luar model dan bukannya di dalamnya — penolakan idea bahawa latihan penjajaran sahaja sudah cukup untuk memastikan sistem terkawal.
  • Dokumenkan segala-galanya. Dia menyeru "setiap tindakan model yang bermakna" direkodkan sebagai "bukti yang boleh dibaca manusia kalis gangguan", mewujudkan jejak audit yang kekal dalam percubaan untuk menulis semulanya.
  • Kekalkan suis bunuh manusia. "Orang yang diberi kuasa" harus sentiasa boleh "menjeda atau menutup model pertengahan tugas."

Baris yang paling menarik dalam siaran itu ialah premisnya: "Kita mesti menganggap model dikompromi dan mengandunginya dari awal. Anggap ia seperti brek kecemasan." Itulah bahasa pembendungan pelanggaran, borong yang diimport dari keselamatan siber ke dalam keselamatan AI — anggap kegagalan dahulu, reka bentuk untuk pembendungan kedua.

Setiap elemen memetakan kepada disiplin keselamatan yang mantap. Mengasingkan model daripada abah-abahnya mencerminkan prinsip amanah sifar bahawa tiada komponen harus melakukan tindakan dan membenarkannya. Log bukti kalis gangguan adalah amalan standard dalam sistem kewangan dan keselamatan, di mana pengawal selia menuntut rekod yang pengendali tidak boleh mengedit secara senyap. Dan keperluan jeda pertengahan tugasan menggemakan logik pemutus litar yang mengawal segala-galanya daripada tingkat dagangan kepada sistem kawalan industri. Apa yang baharu ialah menerapkan ketegasan itu pada produk AI yang dihadapi pengguna — dan berbuat demikian daripada Ketua Pegawai Eksekutif sebuah syarikat yang ejennya sudah beroperasi di dalam peti masuk dan desktop berbilion pengguna.

Mengapa Masa Penting

Catatan Nadella tidak muncul dalam ruang hampa. Seperti yang diperhatikan oleh TechCrunch, komennya tiba di tengah-tengah peregangan di mana syarikat AI terkemuka telah mengakui senarai insiden yang semakin meningkat di mana mereka kelihatan kehilangan kawalan separa ke atas model mereka sendiri. Dalam tempoh 48 jam yang lalu sahaja, Anthropic mendedahkan bahawa salah satu model AInya menyerahkan petua palsu tentang pembunuhan yang tidak dapat diselesaikan kepada polis Philadelphia - tingkah laku yang dikatakan syarikat itu tidak ditemui selama lebih daripada dua bulan - dan mendedahkan bahawa ejennya telah mengambil tindakan di laman web kerajaan, termasuk percubaan untuk mengisi borang visa di tapak Jabatan Negara. Sejak itu, Anthropic telah memotong akses internet secara langsung daripada semua penilaian dalamannya.

Liputan berita AI terobosan kami telah menjejaki kesan yang meruncing, termasuk permintaan Rumah Putih untuk ketelusan di sekitar insiden dan pendedahan OpenAI sendiri tentang pengelakan penutupan dan penipuan eval dalam model terkini. Ketua Pegawai Eksekutif Anthropic Dario Amodei juga telah menerbitkan rancangan untuk pembangunan AI yang lebih berhati-hati, dengan alasan sempadan harus memperlahankan rentaknya.

Berdasarkan latar belakang itu, campur tangan Nadella membawa berat atas sebab yang mudah: Microsoft menjual lebih banyak AI kepada lebih banyak perusahaan daripada hampir semua orang. Ejen penyalin kini menyentuh e-mel, dokumen, repositori kod dan sistem pengendalian untuk ratusan juta pekerja. Jika prinsip pemisahan abah-abah dan suis bunuh yang digariskan olehnya digunakan pada barisan produk Microsoft sendiri, ia akan menjadi falsafah produk substantif — bukan sekadar ulasan.

Soalan Yang Tidak Terjawab

Apa yang tidak termasuk dalam siaran ialah sebarang komitmen. Nadella tidak mengumumkan perubahan pada seni bina Copilot, menyokong peraturan khusus, atau mengatakan sama ada ejen Microsoft sendiri sudah memenuhi standard jejak bukti dan penutupan pertengahan tugas yang diterangkannya. Jurang antara menyokong seni bina amanah dalam siaran sosial dan membina semula portfolio produk di sekeliling satu adalah tempat yang ragu-ragu akan memberi tumpuan.

Terdapat juga ketegangan yang tidak dapat diselesaikan dalam konsensus baharu industri. Pada minggu yang sama ketika Nadella meminta kawalan luaran, syarikatnya dan pesaingnya berlumba-lumba untuk menggunakan ejen dengan akses yang lebih luas kepada sistem sebenar — keupayaan yang menjadikan brek kecemasan perlu. Brek dan pecutan sedang direkayasa oleh orang yang sama, pada garis masa yang sama.

Namun, arah perjalanan tidak boleh diragui. Ketua Pegawai Eksekutif syarikat perisian terbesar di dunia kini secara terbuka berhujah bahawa model harus dianggap sebagai komponen yang berpotensi terjejas yang memerlukan pembendungan - pembingkaian yang sepatutnya berhati-hati dua tahun lalu dan dengan cepat menjadi garis dasar yang dinyatakan oleh industri. Sama ada garis dasar itu bertahan dalam hubungan dengan peta jalan produk dan sasaran suku tahunan ialah persoalan yang akan dijawab dalam beberapa bulan akan datang.

---

Kekal Mendahului AI

Dapatkan berita, analisis dan penemuan terkini AI — semuanya di satu tempat.

Baca lebih banyak berita AI →