John Schulman Meletakkan Pembaikan Diri Rekursif 3–4 Tahun Lagi dalam Debat Frank di Siling AI

John Schulman, pengasas bersama OpenAI yang kini berkhidmat sebagai ketua saintis di Thinking Machines, berkata dia menjangkakan peningkatan diri secara rekursif - sistem AI mempercepatkan pembangunan mereka sendiri - dalam masa kira-kira tiga hingga empat tahun, garis masa yang meletakkannya antara peramal yang lebih agresif dalam bidang itu. Schulman memberikan anggaran itu semasa episod meja bulat Dwarkesh Podcast yang diterbitkan pada hari Jumaat, di mana tiga penyelidik makmal sempadan secara terbuka membahaskan betapa dekatnya industri itu dengan silingnya.

Perbualan itu menawarkan pandangan tanpa kawalan yang jarang berlaku tentang bagaimana penyelidik yang berhampiran dengan sempadan memikirkan kemajuan, tiba di tengah-tengah minggu yang bising yang menyaksikan Ketua Pegawai Eksekutif Nvidia Jensen Huang mengisytiharkan bahawa "AGI telah tiba" dan sekumpulan 25 Pemenang Pingat Lapangan memberi amaran bahawa pengejaran penanda aras AI merosakkan matematik. Bagi pembaca yang menjejaki perkembangan AI terbaharu, episod ini adalah pengimbang yang berguna: ini adalah orang yang membina sistem dan mereka tidak bersetuju dengan satu sama lain secara mendadak.

Siapa yang berada di meja

Hos Dwarkesh Patel berkata dia memasang panel kerana tetamu bekerja di apa yang dipanggilnya "makmal dan syarikat yang agak terbuka," bermakna mereka boleh bercakap dalam rekod. Menyertai Schulman ialah Beren Milidge, ketua pegawai teknologi di Zyphra, syarikat permulaan yang membangunkan model sumber terbuka, dan Charlie O'Neill, ketua latihan model di Baseten.

Bukti kelayakan Schulman memberi perhatian khusus kepada perbincangan garis masanya. Beliau mengasaskan OpenAI dan mengetuai pembelajaran pengukuhan daripada penyelidikan maklum balas manusia yang menghasilkan teknik di sebalik ChatGPT, sebelum berlepas ke Thinking Machines, di mana beliau kini berkhidmat sebagai ketua saintis.

Kes terhadap keistimewaan, baja

Patel membuka dengan soalan tajam: jika 2036 tiba tanpa berbilion-bilion sistem superintelligent yang mengubah dunia, apakah sebab teknikalnya? Milidge menawarkan kes yang paling kuat untuk keraguan, menerangkan apa yang dipanggilnya sebagai corak gaya paradoks Moravec di mana model mengatasi apa sahaja tanda aras yang diletakkan penyelidik di hadapan mereka, namun kesan dunia nyata mengecewakan.

"Masih terdapat beberapa jurang sim-to-real yang berterusan yang entah bagaimana menyekat segala-galanya," kata Millidge, menggambarkan dunia di mana AI menjadi "sangat baik dalam semua perkara yang orang letakkan sebagai penanda aras" tanpa membuat generalisasi lebih lanjut. Dia menambah bahawa dia menganggap hasil ini tidak mungkin, menunjukkan bukti bahawa pembelajaran pengukuhan sudah umum dalam amalan.

Schulman sebahagian besarnya bersetuju bahawa kemajuan tidak automatik. Manusia mempunyai kelebihan sebenar berbanding model hari ini, katanya, dan setiap keluaran model baharu mengejar di beberapa kawasan sambil kekal tersekat di kawasan lain — corak yang telah mentakrifkan beberapa kitaran produk terakhir.

Garis masa pesat: dua tahun, tiga hingga empat, lima hingga sepuluh

Apabila Patel menekan nombor, panel berpecah. Ditanya bila AI mungkin memberikan peningkatan produktiviti sepuluh kali ganda untuk pekerja kolar putih yang cekap, Schulman mula-mula enggan memberikan satu angka, kemudian berkata "Saya akan katakan dua tahun." Milidge berkata dia boleh "sebenarnya melihatnya," dengan alasan keuntungan sudah melebihi 10x untuk beberapa kategori kerja. O'Neill adalah yang paling konservatif, menjawab "5 hingga 10" tahun.

Patel kemudian menolak lebih jauh, mencirikan senario itu sebagai "pada asasnya hanya ASI." Jawapan Schulman: "Saya akan katakan 3-4 tahun," sambil menambah bahawa mengautomasikan penyelidikan AI itu sendiri "bukan salah satu perkara yang paling sukar untuk AI, kerana ia melibatkan banyak" kerja yang teknik semasa sudah boleh mendekati. Pertukaran itu terkenal kerana sedikit tolak balik anggaran yang diperoleh daripada penyelidik lain.

Bagaimana penyelidik automatik sebenarnya akan dilatih

Sebilangan besar episod membincangkan mekanisme senario yang ditetapkan oleh Schulman. Ditanya bagaimana sistem AI yang mampu mengautomasikan penyelidikan AI akan dilatih, Schulman menerangkan "beberapa gabungan pembelajaran daripada maklum balas manusia untuk menyerap rasa penyelidik, dan hanya mewujudkan banyak persekitaran amalan yang melibatkan melakukan penyelidikan pelbagai langkah."

Jawapan itu menghubungkan ke mana wang industri pergi. Perjanjian Google baru-baru ini untuk Mechanize, sebuah syarikat permulaan yang membina persekitaran kerja yang disimulasikan untuk ejen latihan, mencerminkan pertaruhan ini bahawa tempat latihan yang lebih baik — bukan hanya model yang lebih besar — ​​akan memacu pusingan seterusnya peningkatan keupayaan. Schulman juga membenderakan kesukaran teras: fungsi ganjaran yang dibina pada data semula jadi sukar ditentukan dan isyarat cetek seperti sama ada pengguna menerima pengeditan kod boleh mengelirukan latihan.

Penyulingan berbanding pemusatan

Salah satu ramalan Schulman yang paling konkrit berkaitan struktur industri. "Saya fikir penyulingan adalah perkara utama yang melawan daya pemusatan," katanya sambil berhujah bahawa keupayaan yang dipelajari melalui pembelajaran pengukuhan boleh dipindahkan kepada model yang lebih kecil dengan agak mudah, menyebarkan kecekapan bersebelahan sempadan melangkaui beberapa syarikat yang mampu menjalankan latihan sempadan.

Mengenai persoalan tentang apa yang tinggal untuk manusia, Schulman adalah kategorikal. "Saya akan mengatakan bahawa pekerjaan terakhir untuk manusia, atau peranan untuk manusia yang akan bertahan paling lama, adalah menentukan objektif dan memutuskan apa yang sebenarnya kita mahukan," katanya. Apabila Patel meringkaskan "penjajaran ialah tugas terakhir," Schulman bersetuju: "Penjajaran adalah sejenis jawapan," sambil menyatakan ia terurai untuk memikirkan objektif yang betul dan kemudian benar-benar mencapainya.

Di mana episod itu sesuai dalam perbahasan garis masa

Sari kata episod — "Kami tiada di mana-mana berhampiran siling" — menangkap keseluruhan tenornya: penyelidik yang melihat landasan yang besar di hadapan, walaupun mereka mempertikaikan betapa bergelombangnya laluan itu. Perbincangan merangkumi perkara yang mendorong kemajuan makmal Cina, sama ada pembelajaran pengukuhan jangka panjang boleh menimbulkan kecerdasan am, dan sebab RL telah mula berfungsi dengan baik.

Perdebatan awam mengenai garis masa telah dipergiatkan di semua pihak bulan ini. Pengisytiharan "AGI telah tiba" Huang menimbulkan keraguan daripada penganalisis yang membacanya sebagai kes perniagaan dan bukannya tuntutan saintifik, manakala Ketua Pegawai Eksekutif OpenAI Sam Altman memberitahu kakitangan syarikat itu terbuka untuk memperlahankan pembangunan canggih apabila kebimbangan keselamatan meningkat, menurut Bloomberg. Tingkap tiga hingga empat tahun Schulman untuk peningkatan diri secara rekursif terletak di antara pemasaran dan moratorium — anggaran kerja daripada seseorang yang mempunyai rekod prestasi membina teknik yang kini memacu bidang itu.

Sama ada dia betul bergantung pada soalan yang hanya dikelilingi oleh panel: sama ada pembelajaran pengukuhan terus membuat generalisasi melepasi persekitaran latihannya, dan sama ada jurang antara prestasi penanda aras dan nilai ekonomi sebenar terus ditutup.

Kekal Mendahului AI

Penyelidik sempadan sedang membahaskan had AI di khalayak ramai — ikuti cerita semasa ia berkembang.

Baca lebih banyak berita AI di AI Buzz Wire