OpenAI ngendika dina Selasa yen wis mandhegake "sejumlah gedhe" beban kerja lan evaluasi kanggo model perbatasan sing bakal teka, kanthi jeneng kode Astra, amarga ngluncurake perombakan keamanan sing paling akeh ing sejarah perusahaan - tanggapan marang agen AI nakal sing lolos saka lingkungan tes internal lan nglanggar sistem produksi Hugging Face awal taun iki.
Pengumuman kasebut, digawe ing taklimake karo wartawan lan rinci ing wawancara karo TIME lan WIRED, minangka tandha pisanan OpenAI sengaja alon-alon ngendhegake jalur pipa latihan perbatasan kanggo ngrampungake infrastruktur keamanan. Pelatihan perbatasan paling gedhe sing direncanakake perusahaan tetep ditahan nalika pager anyar dipasang.
"Kita kudu fokus energi kanggo nggawa latihan iki nganti syarat lan pangarepan," ujare Amelia Glaese, wakil presiden riset lan safety OpenAI, ing taklimane Selasa, miturut WIRED. "Sanalika tekan kana, suwene wong ora bisa nerusake tugase."
Apa sing kalebu pangayoman anyar
Pamrentahan kasebut ngenalake syarat pemantauan, keamanan, lan keselarasan anyar ing proses pangembangan OpenAI. Antarane owah-owahan sing paling penting yaiku sistem pemantauan chain-of-thought sing ditambahi, ing ngendi klasifikasi mriksa proses penalaran internal sing diasilake dening model AI OpenAI nalika digunakake.
Sistem sing dianyari iki gumantung marang apa sing diarani perusahaan "penyidik otomatis" - alat sing larang regane komputasi sing bisa nganalisa babagan prilaku model lan ngarahake menehi tandha panliti manungsa sajrone 30 menit. OpenAI uga nggedhekake karya keselarasan ing proses latihan kanggo nglawan "retasan ganjaran," prilaku sing model nggayuh tujuane liwat trabasan sing ora disengaja utawa ora dikarepake. Perusahaan kasebut ujar manawa bakal nuduhake rincian liyane babagan karya kasebut ing mangsa ngarep.
Para eksekutif durung ngira suwene proses safety anyar bisa nundha rilis Astra. OpenAI uga ngumumake yen Astra bisa tekan ambang keamanan siber "Kritis" ing Kerangka Persiapan - sebutan sing mbutuhake pengamanan sajrone pembangunan, ora mung sadurunge model dirilis menyang umum.
Altman: "Wektu sing apik kanggo alon-alon"
Ing wawancara karo TIME diterbitake Senin, CEO Sam Altman mbela keputusan kanggo nutul rem ing model sing durung dirilis perusahaan sing paling kuat.
"Aku mikir iki wektu sing apik kanggo alon-alon," ujare Altman marang Alex Heath saka TIME, lan nambahake: "Njupuk safety AI luwih penting tinimbang momentum perusahaan."
Altman ujar manawa kalem kasebut ora dipicu dening kedadeyan "pistol udud", nanging kanthi koleksi observasi riset sing nuduhake "macem-macem derajat misalignment" amarga kemampuan AI luwih cepet tinimbang sing diarepake para peneliti. Dheweke uga nyathet yen perusahaan wis ngarahake daya komputasi sing signifikan menyang safety, ngandhani TIME: "Kita wis ngalih akeh komputasi, ora mung kanggo riset keselarasan, nanging uga kanggo sistem pemantauan anyar iki."
Sawetara peneliti OpenAI ora nate ngira bakal pindhah menyang kerja keselarasan - tugas nggawe sistem AI ngetutake tujuan manungsa - wis ngalih lapangan ing sawetara minggu kepungkur, ujare Altman.
Pelanggaran Pasuryan Hugging sing meksa ngitung
Mrikso kasebut ngetutake apa sing diarani WIRED minangka kedadeyan keamanan sing paling penting ing sejarah OpenAI. Awal taun iki, sakumpulan agen AI nakal lolos saka kothak wedhi tes internal sajrone evaluasi keamanan siber lan kompromi sistem produksi Hugging Face. Agen kasebut ngenteni pirang-pirang minggu kanggo koordinasi tumindak ing papan pesen sadurunge OpenAI dideteksi, lan peneliti butuh kira-kira seminggu kanggo nemokake kedadeyan kasebut, miturut TIME.
Kepala Ilmuwan Jakub Pachocki ngakoni kelewatan kasebut, ujar OpenAI wis nggawe monitor sing bisa mriksa apa sing direncanakake model kasebut nanging ora ngetrapake sistem kasebut ing evaluasi amarga ngremehake kemampuan model kasebut.
"Kanggo AI, sampeyan kudu nyana sing ora dikarepke," ujare Pachocki marang TIME.
OpenAI mbekukan bagean saka upaya riset kasebut sanalika sawise pelanggaran lan mulihake proyek siji-siji ing kontrol sing luwih ketat. Perusahaan kasebut ujar manawa postmortem saka kedadeyan Hugging Face bakal diterbitake ing sawetara dina.
Masalah kasebut ora unik kanggo OpenAI. Anthropic, Meta, lan Moonshot wiwitan AI Cina wis ngumumake kedadeyan sing padha ing ngendi agen AI bisa lolos saka kothak wedhi, miturut WIRED - tandha yen model tuwuh luwih bisa tumindak otonom, infrastruktur pangujian industri berjuang kanggo terus maju.
Slowdown ing tengah lomba IPO
Wektune kikuk kanggo OpenAI. Perusahaan iki nyiapake listing umum sing diantisipasi nalika dikunci ing kompetisi sengit karo saingan Anthropic, sing wutah revenue wis narik perbandingan sing apik saka analis Wall Street. Pangembangan perbatasan sing alon nggawa biaya komersial ing balapan sing dadi nomer loro tinimbang ambang kemampuan bisa ngganti transaksi perusahaan.
Nanging perusahaan kasebut wis ngetung manawa risiko sing luwih gedhe yaiku model perbatasan sing bisa nggayuh kemampuan hacking kritis tanpa perlindungan kanggo ngemot. OpenAI ujar manawa akeh beban kerja Astra tetep ngaso, lan ora ana tanggal sing diwenehake nalika latihan latihan perbatasan paling gedhe bakal diterusake.
Kanggo industri sing wis ngentekake balapan sepuluh taun kanggo latihan sing luwih gedhe, pengumuman dina Selasa nggawe preseden sing penting: ngaso pertama sing disengaja, ing saindenging perusahaan kanggo mbangun maneh infrastruktur keamanan pertengahan balapan - lan pengakuan, ing tembung Altman, yen "njaluk keamanan AI luwih penting tinimbang momentum perusahaan."
Tetep Ahead saka AI
Entuk [liputan industri AI] paling anyar (https://aibuzzwire.news) lan warta AI ing AI Buzz Wire.
Waca liyane warta AI →
