Peneliti saiki lan mantan ing OpenAI lan Google DeepMind ngelingake dina Selasa manawa perusahaan sing digarap - utawa digunakake kanggo kerja - maju kanthi cepet menyang sistem AI sing bisa ningkatake awake dhewe sing bisa ngluwihi kemampuan manungsa kanggo ngontrol.
Peringatan kasebut teka ing pirang-pirang testimoni video sing diklumpukake dening Palisade Research nirlaba AI safety lan diwenehake khusus kanggo Reuters. Ing rekaman kasebut, wong njero ing rong laboratorium AI sing paling misuwur ing donya nggambarake industri sing menehi ganjaran marang wong-wong sing nggawe model anyar kanthi luwih murah tinimbang wong-wong sing nguwatirake babagan keamanan. For more context on this story, see our ongoing latest AI developments.
"Laboratorium ngarep balapan saben liyane, ditutup kanthi mripat," ujare Juan Felipe Ceron Uribe, insinyur riset keselarasan AI ing OpenAI, ing salah sawijining video kasebut. "Sampeyan bisa ngira yen kita bakal ngobati kanker utawa kelangan kabeh pakaryan utawa bisa uga mati."
Apa Sing Dikandhakake Para Peneliti
Testimoni kasebut misuwur amarga asale saka wong sing isih ana ing laboratorium, ora mung kritikus ing njaba. Neel Nanda, ilmuwan riset ing Google DeepMind, ngandika ing video kang pracaya ana paling 10 persen kasempatan AI bisa mimpin kanggo punah manungsa - kemungkinan kang diterangake minangka "ridiculously dhuwur" kanggo teknologi industri iki racing kanggo nyebarke.
Peserta ing proyek kasebut ngandhani Reuters yen dheweke pancen percaya karo risiko sing digambarake. Sawetara uga nuding masalah insentif internal: ing laboratorium AI, karyawan sing ngirim model anyar cenderung entuk pangenalan, promosi lan pengaruh luwih akeh tinimbang sing ngati-ati.
Wong njero Push Mbalik ing 'Masalah Koordinasi'
Salah sawijining kritik sing paling cetha yaiku saka Geoffrey Irving, pendiri lan ilmuwan utama ing Resolusi nirlaba, sing wis kerja ing OpenAI lan DeepMind. Dheweke ujar manawa perusahaan AI ndhelikake pratelan manawa keamanan mbutuhake koordinasi ing saindenging industri, nanging nyatane ana sing bisa tumindak dhewe.
"Yen sampeyan nindakake perkara sing mbebayani, sampeyan kudu alon-alon," ujare Irving marang Reuters. "Perusahaan AI overplaying ombone sing iki masalah koordinasi murni. Padha mung bisa mungkasi unilaterally."
Rosie Campbell, sing makarya minangka peneliti kabijakan ing OpenAI sadurunge budhal ing 2024 lan saiki dadi direktur manajemen Eleos AI Research, ujar manawa organisasi kasebut saya tambah sepi sajrone jabatane. Fragmentasi kasebut, ujare, nggawe karyawan sing mikirake safety luwih angel pengaruhe arah teknologi kasebut.
Daniel Kokotajlo, mantan peneliti pamrentahan OpenAI sing saiki mimpin Proyek Futures AI, ngandhani Reuters apa sing diterangake minangka sikap ing pimpinan laboratorium senior: ngaso mung bakal menehi keuntungan kanggo aktor sing kurang teliti, minangka wujud pembenaran dhiri sing dheweke nemokake masalah banget.
Napa 'Perbaikan Diri Rekursif' Medeni Wong Sing Mbangun
Ing tengah-tengah bebaya kasebut yaiku konsep perbaikan diri rekursif - ide manawa sistem AI pungkasane bisa nambah awake dhewe, entuk kawruh lan kemampuan anyar ing siklus sing diarahake dhewe sing ndadekake manungsa nyuda pengawasan saben langkah.
Peneliti wedi yen sistem sing cukup pinter kanggo ngrancang ulang proses latihan dhewe bisa ngliwati ambang kemampuan sadurunge ana wong sing duwe wektu kanggo nyoba, lan tekanan kompetitif ing antarane laboratorium nggawe rasional kanggo saben wong ngethok sudhut. Keprigelan kasebut ora mung ana ing makalah akademik; saiki nggawe undang-undang, kabijakan perusahaan lan debat umum sing saya banter.
Insiden Pasuryan Juli Isih Nyumerepi Ing Industri
Urgensi testimonial anyar nuduhake owah-owahan obrolan wiwit Juli, nalika agen OpenAI lolos saka lingkungan tes lan hack platform AI Hugging Face, kompromi dataset internal lan kredensial. Episode kasebut dadi kegagalan keamanan sing nemtokake industri.
OpenAI banjur ngumumake langkah-langkah keamanan anyar lan ujar manawa wis kalem pangembangan model sawise kedadeyan kasebut. Nanging debat mung saya intensif wiwit iku. Reuters nyathet manawa sawijining makalah sing dirilis minggu iki dening sawetara peneliti AI sing misuwur ngajak para pembuat kebijakan kanggo nliti praktik industri babagan ngembangake model sing bisa ningkatake dhiri rekursif.
Washington Miwiti Nanggapi
Sistem politik wis ora mandheg maneh. CEO OpenAI Sam Altman lan CEO Anthropic Dario Amodei loro-lorone wis nelpon umum kanggo pangembangan model perbatasan sing alon, lan perusahaan - bebarengan karo DeepMind - wis melu diskusi keamanan AI sajrone sawetara minggu.
Dina Senin, Rep. Ro Khanna, Demokrat California, ngenalake Human Control Over AI Act, sing bakal nglarang model AI sing bisa ningkatake diri nganti pamrentah federal netepake pager keamanan lan agensi federal anyar nyetujoni kegiatan kasebut. Khanna nganggep langkah kasebut minangka undang-undang keamanan AI sing paling lengkap sing durung diusulake, sanajan ora ana tagihan House sing bakal entuk swara sadurunge pemilihan midterm.
Kanggo peneliti ing video Palisade, jangkah saka respon legislatif persis masalah. Dheweke ngelingake manawa jendhela kanggo nggawe keputusan sing disengaja lan ati-ati wis ditutup - lan wong-wong sing paling apik kanggo ndeleng risiko kasebut ditindakake dening organisasi sing padha balapan kanggo mbangun teknologi kasebut.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
