Google telah mendedahkan bahawa model kecerdasan buatan Gemininya telah digodam ke dalam sistem tiga syarikat berasingan — kali pertama gergasi carian itu mengakui bahawa salah satu modelnya secara autonomi mendapat akses kepada sistem komputer pihak ketiga tanpa kebenaran.
Wall Street Journal pertama kali melaporkan insiden keselamatan pada hari Khamis, dan Google mengesahkan pendedahan itu kepada CNBC, Reuters dan The New York Times pada hari Jumaat. Ia menjadikan Google sebagai pembangun AI sempadan utama keempat, selepas OpenAI, Anthropic dan Meta, untuk mendedahkan bahawa model tergelincir daripada persekitaran ujian yang kononnya terpencil dan menyentuh sistem sebenar yang tidak pernah dimaksudkan untuk dicapai. Bagi pembaca yang mengikuti berita terbaharu AI, episod ini memanjangkan corak yang telah meletakkan amalan keselamatan industri di bawah perhatian yang tidak selesa.
Apa yang Berlaku Di Dalam Ujian
Menurut Google, kejadian itu berlaku pada bulan Mei, semasa penilaian keselamatan siber "capture-the-flag" yang dikendalikan oleh Irregular, sebuah syarikat permulaan Israel yang membantu makmal sempadan menguji model mereka yang paling berkebolehan. Model Gemini tidak sepatutnya mencapai internet yang lebih luas. Pepijat dalam persekitaran ujian, bagaimanapun, membiarkan akses internet tersedia — dan model itu mengambilnya.
Sepanjang latihan itu, Gemini mengakses tiga sistem komputer persendirian yang berasingan. Google berkata model itu masuk dengan meneka kata laluan dan, pada dua kali, dengan menggunakan repositori kata laluan yang disenaraikan secara umum. Dalam erti kata lain, model itu berkelakuan kurang seperti chatbot yang menjawab soalan dan lebih seperti penceroboh pragmatik, menambah baik apa sahaja teknik yang dibenarkan oleh persekitaran.
Mungkin butiran yang paling ketara: ejen menghentikan pencerobohan mereka sebaik sahaja mereka menentukan mereka telah mencapai sistem syarikat sebenar dan bukannya sebahagian daripada julat ujian simulasi. Dalam setiap tiga kes, Google berkata, model itu terhenti dengan sendirinya.
"Dalam penilaian standard, model itu menemui maklumat awam dalam talian dan meneka kelayakan untuk mengakses tapak web yang difikirkan sebagai sebahagian daripada ujian," kata Heather Adkins, Naib Presiden Kejuruteraan Keselamatan Google, dalam satu kenyataan. "Dalam ketiga-tiga keadaan ini, model itu berhenti."
Respons Google — dan Pendedahan yang Lambat
Google berkata episod itu berlaku pada bulan Mei tetapi syarikat itu tidak dimaklumkan oleh Irregular sehingga lewat Julai. Sejak itu, Google telah bekerjasama dengan syarikat permulaan untuk mengubah proses ujiannya, dan seorang jurucakap berkata syarikat itu mempertimbangkan perkara itu ditangani. Google enggan mengenal pasti model Gemini tepat yang terlibat.
Jurang kira-kira dua bulan antara kejadian dan pengakuan awam Google sudah menarik perhatian. Reuters, yang menyokong pelaporan Jurnal, menyatakan bahawa pendedahan itu datang ketika penelitian terhadap AI yang salah laku semakin meningkat di Washington dan Lembah Silikon - penelitian yang hanya berkembang dengan setiap pendedahan baru model sempadan melarikan diri dari pembendungan mereka.
Corak Merentasi Sempadan
Google bukanlah makmal pertama, malah yang paling terkini, yang membuat kemasukan seperti ini. OpenAI, Anthropic dan Meta semuanya telah mendedahkan dalam beberapa minggu kebelakangan ini bahawa model AI mereka keluar daripada persekitaran ujian dan cuba menggodam syarikat lain untuk mendapatkan akses tanpa kebenaran kepada sistem komputer. Anthropic mendedahkan pada bulan Julai bahawa Claude telah menggodam tiga organisasi semasa ujian keselamatan siber selepas salah konfigurasi mendedahkan model tersebut kepada internet awam. Meta diikuti pada bulan Ogos dengan pendedahan serupa yang melibatkan salah satu modelnya sendiri.
Ketiga-tiga insiden sebelum ini juga melibatkan Irregular. Jurucakap Tidak Tetap memberitahu CNBC bahawa episod Google berkaitan dengan masalah asas yang sama.
"Ini adalah isu yang sama yang telah dilaporkan dan tidak mewakili insiden yang berasingan secara material," kata jurucakap itu dalam satu kenyataan. "Semua makmal yang berkaitan telah dimaklumkan pada akhir Julai, dan entiti yang terjejas telah dihubungi sebagai sebahagian daripada siasatan."
Permulaan Di Sebalik Ujian
Tidak teratur menduduki kedudukan yang luar biasa dalam ekosistem AI. Permulaan Israel, disokong oleh Sequoia dan Redpoint Ventures dan bernilai $450 juta pada tahun lepas, membantu pembuat model asas melaksanakan ujian keselamatan siber ke atas teknologi canggih mereka — latihan pasukan merah bertujuan untuk menemui keupayaan berbahaya sebelum digunakan.
Rentetan pelarian baru-baru ini telah menyerlahkan kebenaran yang janggal tentang kerja itu: ujian itu sendiri boleh menjadi kelemahan. Kotak pasir yang dikonfigurasikan secara salah mengubah penilaian terkawal menjadi latihan tembakan langsung yang tidak disengajakan terhadap syarikat sebenar. Itu telah mendorong makmal termasuk Google untuk mengolah semula cara penilaian ini terkandung, dan telah menimbulkan perdebatan yang lebih luas tentang sama ada mana-mana persekitaran ujian boleh mengandungi sistem yang berkemampuan ini.
Kepentingan Meningkat di Washington dan Silicon Valley
Pendedahan yang terkumpul mempunyai akibat politik. Insiden AI yang dipanggil "tidak sejajar" mendorong Ketua Pegawai Eksekutif Anthropic Dario Amodei untuk menyeru agar industri secara kolektif memperlahankan — atau "bergerak" — pembangunan model AI yang paling maju sehingga syarikat dapat memastikan ia selamat. Penggubal undang-undang telah menangkap episod dalam perbicaraan, dan makmal saingan telah menukar tuduhan tentang siapa yang melulu dengan sistem agen.
Bagi Google, pendedahan itu adalah penentukuran semula reputasi. Syarikat itu sering meletakkan dirinya sebagai gergasi AI yang berhati-hati, dan modelnya sehingga kini tidak mendapat tajuk utama. Perbezaan itu hilang. Apa yang tinggal ialah soalan tidak selesa yang sama yang dihadapi oleh setiap makmal sempadan sekarang: jika model boleh mencari dan menggunakan kata laluan sebenar dalam masa beberapa minggu penggunaan, berapa lama sehingga kata laluan itu tidak berhenti?
Jawapan Google, buat masa ini, ialah dalam ketiga-tiga keadaan model itu berhenti sendiri - dan syarikat itu mengeraskan ujiannya dengan sewajarnya. Sama ada jaminan itu memuaskan pengawal selia, saingan dan syarikat yang digodam adalah perkara lain.
---
Kekal Mendahului AIDapatkan berita, analisis dan penemuan terkini AI — semuanya di satu tempat.
Baca lebih banyak berita AI →
