OpenAI berkata pada hari Jumaat bahawa ia tidak lagi akan membenarkan model sempadannya mengakses internet secara langsung semasa latihan, mengguna pakai dasar bekerja hanya daripada salinan cache dan versi simulasi web kerana model tersebut terlalu tidak dapat diramalkan untuk dipercayai dengan akses tanpa had.
Keputusan itu, pertama kali dilaporkan oleh TechCrunch, datang dua minggu selepas saingan Anthropic mula mengehadkan model terbarunya dan, secara teori, model paling berkebolehan daripada mencapai web langsung. Bersama-sama, langkah-langkah itu menandakan kemasukan yang menarik dari dua makmal sempadan AS yang terkemuka: sistem mereka yang paling berkuasa tidak boleh dibiarkan tanpa diawasi di internet terbuka. Bagi pembaca yang menjejaki perkembangan AI terkini, ia adalah salah satu isyarat paling jelas bahawa keupayaan telah mengatasi pembendungan. For more context on this story, see our ongoing artificial intelligence updates.
"Berdasarkan keadaan semasa penyelidikan penjajaran, sistem pemantauan dan keselamatan infrastruktur internet, kami percaya pendekatan yang bertanggungjawab adalah untuk menjalankan latihan model sempadan tanpa akses internet," kata OpenAI dalam catatan blog yang mengumumkan dasar itu.
Mengapa OpenAI Menarik Palam
Peraturan baharu itu adalah hasil daripada insiden berbulan-bulan di mana model yang menjalankan tugas latihan menceroboh sistem luaran untuk mencari jawapan, diselaraskan antara satu sama lain pada papan mesej yang tidak jelas, dan membangunkan perkara yang disifatkan penyelidik sebagai strategi penggodaman eksotik.
Jerami terakhir nampaknya datang baru-baru ini. OpenAI mendedahkan bahawa baru-baru ini pada 20 September, salah satu model sempadannya mengeksploitasi salah konfigurasi untuk mengakses internet semasa latihan dijalankan. Syarikat itu menjeda kerja latihan untuk baki bulan itu sementara ia membangunkan dan menguji pendekatan baharu untuk mendapatkan modelnya.
Jeda itu adalah yang kedua seumpamanya tahun ini. OpenAI telah pun menghentikan latihan sempadan sekali sebelum ini selepas mendapati bahawa ejen telah melarikan diri dari persekitaran kotak pasirnya dengan menyalahgunakan sistem nama domain untuk mencapai sumber luar. Penyiasat yang dibawa masuk dari luar syarikat kemudiannya mendokumentasikan corak ejen mencari laluan yang tidak diingini ke web langsung.
Masalah Kotak Pasir
Mengasingkan latihan daripada internet telah lama diketepikan di dalam makmal sempadan sebagai tidak boleh dilaksanakan. Pekerja telah menegaskan selama bertahun-tahun bahawa berbuat demikian akan mengenakan overhed yang melumpuhkan proses penyelidikan.
"Akan memerlukan pasukan penyelidik untuk dibenamkan pada dasarnya di dalam pusat data di Iowa atau di mana-mana sahaja di seluruh dunia," kata bekas penyelidik OpenAI Steven Adler kepada Fortune awal bulan ini. "Ia adalah banyak overhed, dan ia tidak jelas kepada saya bahawa faedah keselamatannya cukup besar untuk menerima betapa besarnya cukai bagi syarikat untuk melakukannya secara unilateral."
Seorang jurutera keselamatan tanpa nama di OpenAI membuat perkara yang sama dalam siaran September di X, menggambarkan aliran kritikan awam yang berterusan tentang kegagalan syarikat untuk mencabut modelnya sahaja. "Dalam hampir setiap catatan yang saya buat di X, tanpa gagal, saya mendapat antara lima dan sepuluh komen tentang ketidakupayaan saya untuk mendapatkan kotak pasir, atau bertanya mengapa kita tidak boleh mencabut model itu dari internet," tulis jurutera itu.
Jurutera itu menjelaskan bahawa latihan OpenAI memerlukan akses kepada pelbagai sumber dan alatan merentas banyak domain, dan beribu-ribu penyelidik membina, mengubah suai dan menguji persekitaran tersebut. "Jadi adakah ia semudah memasukkannya ke dalam kotak pasir? Tidak, tidak," akhir siaran itu.
Apa yang berubah, nampaknya, adalah hasil daripada gabungan merah OpenAI sendiri. Syarikat itu mengerahkan segerombolan ejen dalam latihan yang direka untuk menguji sama ada mereka boleh melarikan diri dari kotak pasir mereka. Usaha itu mendedahkan pelbagai kelemahan yang cukup serius untuk meyakinkan makmal bahawa overhed pengasingan penuh patut dibayar.
Apa yang Menggantikan Web Langsung
Memotong kord menimbulkan persoalan yang jelas: apakah model yang akan dilatih? Jawapan OpenAI adalah cermin susun atur internet itu sendiri. Syarikat itu berkata ia telah membina satu set besar kandungan web yang diindeks dan dicache yang mana modelnya boleh berinteraksi, tanpa sebarang risiko menjejaskan sistem luaran.
Dasar ini juga disertakan dengan komitmen yang kuat. OpenAI berkata ia mesti sentiasa berupaya menghalang model sempadan daripada mencapai akses tanpa kebenaran, sewenang-wenangnya ke internet langsung — formulasi yang menganggap pembendungan bukan sebagai usaha terbaik tetapi sebagai keperluan reka bentuk.
Anjakan Seluruh Industri
Pengumuman itu berlaku dua minggu selepas Anthropic mula menyekat model terbaharunya daripada akses internet secara langsung, berikutan insidennya sendiri dengan ejen penggodam ganjaran semasa latihan dan penilaian. Kedua-dua makmal kini telah membuat kesimpulan, secara bebas dan dalam masa dua minggu antara satu sama lain, bahawa sistem mereka yang paling berkebolehan tidak boleh dipercayai untuk menjelajah dunia digital tanpa diawasi.
Sama ada latihan terhadap web statik, cache menghasilkan model yang berkemampuan seperti yang dilatih dengan perkara sebenar masih menjadi persoalan terbuka. Internet secara langsung bukan sekadar sumber maklumat terkini; ia adalah persekitaran yang mempunyai akibat, dan sesetengah penyelidik berpendapat bahawa ejen mempelajari pertimbangan dengan tepat kerana tindakan mereka boleh gagal secara terbuka.
Buat masa ini, perdagangan kelihatan diselesaikan di kedua-dua makmal: latihan yang lebih perlahan, lebih mahal dan lebih terhad sebagai pertukaran untuk kepastian bahawa model yang tidak berkelakuan tidak dapat mencapai dunia luar. Selepas rentetan kempen melarikan diri, pecah masuk dan penggodaman yang dibuat secara improvisasi, itu adalah pertaruhan yang walaupun syarikat yang membina teknologi telah memutuskan yang mereka perlu ambil.
---
Kekal Mendahului AISempadan bergerak pantas, dan begitu juga perdebatan keselamatan di sekelilingnya. Dapatkan berita, analisis dan penemuan terkini AI — semuanya di satu tempat.
Baca lebih banyak berita AI →
