John Schulman Nggawe Perbaikan Diri Rekursif 3-4 Taun Luwih ing Debat Frank ing Langit-langit AI

John Schulman, co-founder OpenAI sing saiki dadi kepala ilmuwan ing Thinking Machines, ujar manawa dheweke ngarepake perbaikan diri rekursif - sistem AI nyepetake pangembangan dhewe - kira-kira telung nganti patang taun, garis wektu sing ndadekake dheweke dadi peramal sing luwih agresif ing lapangan. Schulman menehi prakiraan sajrone episode meja bunder saka Dwarkesh Podcast sing diterbitake ing dina Jumuah, ing ngendi telung peneliti lab perbatasan kanthi terang-terangan mbahas babagan cedhake industri kasebut ing langit-langit.

Obrolan kasebut menehi tampilan sing ora dijaga sing langka babagan kepiye peneliti sing cedhak karo wates mikir babagan kemajuan, tekan ing tengah minggu sing rame sing ndeleng CEO Nvidia Jensen Huang nyatakake yen "AGI wis teka" lan klompok 25 Fields Medalists ngelingake yen AI benchmark-nguber bakal ngrusak matematika. Kanggo sing maca nglacak perkembangan AI paling anyar, episode kasebut minangka counterweight sing migunani: iki wong sing mbangun sistem, lan padha ora setuju karo siji liyane.

Sing ana ing meja

Host Dwarkesh Patel ujar manawa dheweke nglumpukake panel amarga para tamu kerja ing apa sing diarani "lab lan perusahaan sing rada mbukak," tegese bisa ngomong ing rekaman kasebut. Gabung karo Schulman yaiku Beren Milridge, kepala pejabat teknologi ing Zyphra, wiwitan ngembangake model open-source, lan Charlie O'Neill, kepala pelatihan model ing Baseten.

Kredensial Schulman menehi bobot tartamtu ing timeline. Dheweke ngedegake OpenAI lan mimpin sinau penguatan saka riset umpan balik manungsa sing ngasilake teknik ing mburi ChatGPT, sadurunge mangkat menyang Thinking Machines, ing ngendi dheweke saiki dadi kepala ilmuwan.

Kasus marang singularitas, steelmanned

Patel mbukak kanthi pitakonan sing cetha: yen 2036 teka tanpa milyaran sistem superintelijen sing ngowahi jagad iki, apa sebabe teknis? Milidge nawakake kasus sing paling kuat kanggo skeptisisme, nggambarake apa sing diarani pola paradoks meh Moravec ing ngendi model kasebut bisa dadi patokan apa wae sing diteliti dening peneliti, nanging pengaruhe ing donya nyata nguciwani.

"Isih ana sawetara celah sim-to-nyata sing terus-terusan ngalangi kabeh," ujare Millidge, nggambarake jagad ing ngendi AI dadi "apik banget ing kabeh sing dilebokake wong menyang pathokan" tanpa umum. Dheweke nambahake manawa dheweke nganggep asil iki ora mungkin, nuduhake bukti yen sinau penguatan wis umum ing praktik.

Schulman umume setuju manawa kemajuan ora otomatis. Manungsa duwe kaluwihan nyata ing model saiki, ujare, lan saben model anyar diluncurake ing sawetara wilayah nalika isih ana bottlenecked ing liyane - pola sing wis ditemtokake sawetara siklus produk pungkasan.

Garis wektu cepet: rong taun, telu nganti papat, lima nganti sepuluh

Nalika Patel menet nomer, panel pamisah. Ditakoni kapan AI bisa ngasilake produktivitas sepuluh kali lipat kanggo pekerja kerah putih sing kompeten, Schulman pisanan ora gelem menehi angka siji, banjur ujar "Aku bakal ujar rong taun." Millidge ujar manawa dheweke bisa "sampeyan bisa ndeleng, sejatine," ujar manawa entuk bathi wis ngluwihi 10x kanggo sawetara kategori kerja. O'Neill minangka sing paling konservatif, mangsuli "5 nganti 10" taun.

Patel banjur di-push luwih, characterizing skenario minangka "Sejatine mung ASI." Tanggepan Schulman: "Aku bakal ujar 3-4 taun," nambahake manawa ngotomatisasi riset AI dhewe "dudu salah sawijining perkara sing paling angel kanggo AI, amarga kalebu akeh" pakaryan sing bisa ditindakake dening teknik saiki. Ijol-ijolan kasebut kacathet amarga sithik pushback perkiraan saka peneliti liyane.

Kepiye peneliti otomatis bakal dilatih

Sebagéyan gedhé saka episode sing ditangani karo mekanika skenario sing dituku Schulman. Ditakoni kepiye sistem AI sing bisa ngotomatisasi riset AI bakal dilatih, Schulman nerangake "sawetara kombinasi sinau saka umpan balik manungsa kanggo nyerep rasa peneliti, lan mung nggawe akeh lingkungan praktik sing melu nindakake riset multi-langkah."

Jawaban kasebut nyambung menyang ngendi dhuwit industri. Kasepakatan Google sing bubar rampung kanggo Mechanize, wiwitan sing nggawe simulasi lingkungan kerja kanggo agen pelatihan, nggambarake taruhan iki yen papan latihan sing luwih apik - ora mung model sing luwih gedhe - bakal nyopir keuntungan kemampuan sabanjure. Schulman uga menehi tandha kangelan inti: fungsi ganjaran dibangun ing data alam angel kanggo nemtokake, lan sinyal entheng kaya apa pangguna nampa suntingan kode bisa mislead latihan.

Distilasi lawan sentralisasi

Salah sawijining ramalan paling konkrit Schulman babagan struktur industri. "Aku mikir distilasi minangka perkara utama sing nglawan pasukan sentralisasi," ujare, kanthi argumentasi manawa kemampuan sing disinaoni liwat pembelajaran penguatan bisa ditransfer menyang model sing luwih cilik kanthi gampang, nyebarake kompetensi sing ana ing jejere ngluwihi sawetara perusahaan sing bisa mbayar latihan ing wates.

Ing pitakonan apa sing isih ana kanggo manungsa, Schulman minangka kategoris. "Aku bakal ujar manawa tugas pungkasan kanggo manungsa, utawa peran kanggo manungsa sing paling suwe, yaiku nemtokake tujuan lan mutusake apa sing dikarepake," ujare. Nalika Patel nyimpulake "alignment minangka tugas pungkasan," Schulman setuju: "Alignment minangka jawaban," nalika nyathet yen dheweke bakal nemokake tujuan sing bener lan banjur entuk.

Ngendi episode pas karo debat timeline

Subtitle episode - "We are nowhere near the ceiling" - nangkep tenor sakabèhé: peneliti sing ndeleng landasan pacu substansial ahead, malah lagi regejegan carane bumpy path bakal. Dhiskusi kasebut ana ing babagan apa sing nyebabake kemajuan laboratorium Cina, apa sinau penguatan jangka panjang bisa ngasilake intelijen umum, lan ngapa RL wis wiwit kerja uga.

Debat umum babagan garis wektu saya tambah akeh ing kabeh sisih wulan iki. Proklamasi "AGI wis teka" Huang nyebabake skeptisisme saka analis sing maca minangka kasus bisnis tinimbang klaim ilmiah, dene CEO OpenAI Sam Altman ngandhani staf manawa perusahaan kasebut mbukak alon-alon pangembangan mutakhir amarga masalah keamanan mundhak, miturut Bloomberg. Jendhela Schulman telung nganti patang taun kanggo perbaikan diri rekursif ana ing antarane marketing lan moratorium - perkiraan kerja saka wong sing duwe rekaman trek kanggo mbangun teknik sing saiki nyopir lapangan.

Apa dheweke bener bakal gumantung ing pitakonan sing mung diubengi panel: apa sinau penguatan terus nggenerali lingkungan latihan, lan apa celah antarane kinerja benchmark lan nilai ekonomi nyata terus ditutup.

Tetep Ahead saka AI

Peneliti Frontier debat watesan AI ing umum - tindakake crita nalika berkembang.

Waca liyane warta AI ing AI Buzz Wire