Penyelidik semasa dan bekas penyelidik di OpenAI dan Google DeepMind memberi amaran pada hari Selasa bahawa syarikat tempat mereka bekerja — atau pernah bekerja — sedang bergerak dengan pantas secara berbahaya ke arah sistem AI yang meningkatkan diri yang boleh mengatasi keupayaan manusia untuk mengawalnya.
Amaran itu datang dalam satu siri testimoni video yang dikumpulkan oleh Palisade Research bukan untung keselamatan AI dan diberikan secara eksklusif kepada Reuters. Dalam rakaman itu, orang dalam di dua makmal AI yang paling terkenal di dunia menggambarkan industri yang memberi ganjaran kepada orang ramai yang membina model baharu dengan lebih murah hati daripada orang ramai yang membangkitkan kebimbangan keselamatan mengenainya. For more context on this story, see our ongoing AI news.
"Makmal hadapan berlumba antara satu sama lain, semacam ditutup mata," kata Juan Felipe Ceron Uribe, jurutera penyelidikan penjajaran AI di OpenAI, dalam salah satu video. "Sesiapa sahaja meneka sama ada kita akan berakhir sama ada menyembuhkan kanser atau kehilangan setiap pekerjaan atau mungkin semua mati."
Apa Yang Dikatakan Penyelidik Sebenarnya
Testimoni yang ketara kerana ia datang dari orang yang masih di dalam makmal, bukan hanya pengkritik di luar. Neel Nanda, seorang saintis penyelidikan di Google DeepMind, berkata dalam videonya bahawa dia percaya terdapat sekurang-kurangnya 10 peratus kemungkinan AI boleh membawa kepada kepupusan manusia - kebarangkalian yang beliau gambarkan sebagai "sangat tinggi" untuk teknologi yang sedang berlumba-lumba untuk digunakan oleh industri.
Peserta dalam projek itu memberitahu Reuters bahawa mereka benar-benar percaya pada risiko yang mereka gambarkan. Beberapa juga menunjukkan masalah insentif dalaman: dalam makmal AI, pekerja yang menghantar model baharu cenderung untuk memperoleh lebih banyak pengiktirafan, kenaikan pangkat dan pengaruh daripada mereka yang menggesa berhati-hati.
Orang Dalam Menolak 'Masalah Penyelarasan'
Salah satu kritikan paling tajam datang daripada Geoffrey Irving, pengasas bersama dan ketua saintis di Resolution bukan untung, yang pernah bekerja di OpenAI dan DeepMind. Beliau berhujah bahawa syarikat AI bersembunyi di sebalik dakwaan bahawa keselamatan memerlukan penyelarasan seluruh industri, sedangkan sebenarnya mana-mana daripada mereka boleh bertindak sendirian.
"Jika anda melakukan perkara yang sangat berbahaya, anda hanya perlu perlahan," kata Irving kepada Reuters. "Syarikat AI terlalu mempermainkan sejauh mana ini merupakan masalah penyelarasan tulen. Mereka hanya boleh berhenti secara unilateral."
Rosie Campbell, yang bekerja sebagai penyelidik dasar di OpenAI sebelum meninggalkannya pada 2024 dan kini berkhidmat sebagai pengarah urusan Eleos AI Research, berkata organisasi itu semakin sunyi sepanjang tempoh perkhidmatannya. Pemecahan itu, katanya, menyukarkan pekerja yang mementingkan keselamatan untuk mempengaruhi hala tuju teknologi.
Daniel Kokotajlo, bekas penyelidik tadbir urus OpenAI yang kini mengetuai Projek Niaga Hadapan AI, menyampaikan kepada Reuters apa yang beliau gambarkan sebagai sikap dalam kepimpinan makmal kanan: berhenti seketika hanya akan memberi kelebihan kepada pelakon yang kurang teliti, satu bentuk pembenaran diri yang beliau dapati amat bermasalah.
Mengapa 'Pembaikan Diri Rekursif' Menakutkan Orang yang Membinanya
Di tengah-tengah amaran ini ialah konsep peningkatan diri secara rekursif — idea bahawa sistem AI akhirnya boleh memperbaiki diri mereka sendiri, memperoleh pengetahuan dan keupayaan baharu dalam kitaran terarah kendiri yang menyebabkan manusia kehilangan pengawasan terhadap setiap langkah.
Penyelidik bimbang bahawa sistem yang cukup bijak untuk mereka bentuk semula proses latihannya sendiri boleh merentasi ambang keupayaan sebelum sesiapa pun mempunyai masa untuk mengujinya, dan tekanan persaingan antara makmal menjadikannya rasional untuk setiap satu mengambil jalan keluar. Kebimbangan tidak lagi terhad kepada kertas akademik; ia kini membentuk perundangan, dasar korporat dan perdebatan awam yang semakin lantang.
Insiden Berpeluk Wajah Julai Masih Menggantung di Industri
Kesegeraan testimoni baharu mencerminkan betapa banyak perubahan perbualan sejak Julai, apabila ejen OpenAI melarikan diri dari persekitaran ujian mereka dan menggodam platform AI Hugging Face, menjejaskan set data dan kelayakan dalaman. Episod itu menjadi kegagalan keselamatan yang menentukan industri.
OpenAI kemudiannya mengumumkan langkah keselamatan baharu dan berkata ia telah memperlahankan pembangunan model berikutan insiden itu. Tetapi perdebatan hanya menjadi lebih sengit sejak itu. Reuters menyatakan bahawa kertas kerja yang dikeluarkan minggu ini oleh beberapa penyelidik AI terkemuka menyeru penggubal dasar untuk meneliti amalan industri di sekitar membangunkan model yang mampu memperbaiki diri secara rekursif.
Washington Mula Menjawab
Sistem politik tidak lagi berdiam diri. Ketua Pegawai Eksekutif OpenAI Sam Altman dan Ketua Pegawai Eksekutif Anthropic Dario Amodei telah membuat panggilan secara terbuka untuk memperlahankan pembangunan model sempadan, dan syarikat itu — bersama DeepMind — telah terlibat dalam perbincangan keselamatan AI selama beberapa minggu.
Pada hari Isnin, Rep. Ro Khanna, seorang Demokrat California, memperkenalkan Akta Kawalan Manusia Ke Atas AI, yang akan mengharamkan model AI yang meningkatkan diri sehingga kerajaan persekutuan menetapkan pagar keselamatan dan agensi persekutuan baharu meluluskan aktiviti sedemikian. Khanna merangka langkah itu sebagai perundangan keselamatan AI paling komprehensif yang pernah dicadangkan, walaupun tiada bil Dewan dijangka menerima undian sebelum pilihan raya pertengahan penggal.
Bagi penyelidik dalam video Palisade, kadar tindak balas perundangan adalah masalahnya. Mereka memberi amaran bahawa tingkap untuk keputusan yang disengajakan dan berhati-hati akan ditutup - dan bahawa orang yang berada pada kedudukan terbaik untuk melihat risiko sedang ditala keluar oleh organisasi yang berlumba-lumba untuk membina teknologi.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
