John Schulman, salah satu pendiri OpenAI yang kini menjabat sebagai kepala ilmuwan di Thinking Machines, mengatakan bahwa ia mengharapkan perbaikan diri secara rekursif – sistem AI mempercepat pengembangannya sendiri – dalam waktu sekitar tiga hingga empat tahun, suatu jangka waktu yang menempatkannya di antara para peramal yang lebih agresif di bidangnya. Schulman memberikan perkiraan tersebut dalam episode meja bundar dari Dwarkesh Podcast yang diterbitkan pada hari Jumat, di mana tiga peneliti laboratorium terdepan secara terbuka memperdebatkan seberapa dekat industri ini sebenarnya dengan puncaknya.
Percakapan tersebut memberikan pandangan yang jarang terjadi tentang bagaimana para peneliti di dekat perbatasan memikirkan kemajuan, terjadi di tengah minggu yang penuh gejolak ketika CEO Nvidia Jensen Huang menyatakan bahwa "AGI telah tiba" dan sekelompok 25 Peraih Medali Bidang memperingatkan bahwa pengejaran benchmark AI merusak matematika. Bagi pembaca yang memantau perkembangan AI terkini, episode ini merupakan penyeimbang yang berguna: mereka adalah orang-orang yang membangun sistem, dan mereka sangat berbeda pendapat satu sama lain.
Siapa yang ada di meja
Pembawa acara Dwarkesh Patel mengatakan dia membentuk panel tersebut karena para tamu bekerja di apa yang disebutnya sebagai "laboratorium dan perusahaan yang agak terbuka", yang berarti mereka dapat berbicara dalam rekaman. Bergabung dengan Schulman adalah Beren Millidge, chief technology officer di Zyphra, sebuah startup yang mengembangkan model sumber terbuka, dan Charlie O'Neill, kepala pelatihan model di Baseten.
Kredensial Schulman memberikan bobot khusus pada pembicaraan timeline-nya. Dia ikut mendirikan OpenAI dan memimpin pembelajaran penguatan dari penelitian umpan balik manusia yang menghasilkan teknik di balik ChatGPT, sebelum berangkat ke Mesin Berpikir, di mana dia sekarang menjabat sebagai kepala ilmuwan.
Kasus melawan singularitas, berawak baja
Patel membuka dengan pertanyaan tajam: jika tahun 2036 tiba tanpa miliaran sistem super cerdas yang mengubah dunia, apa alasan teknisnya? Millidge memberikan alasan yang paling kuat untuk skeptisisme, dengan menggambarkan apa yang disebutnya sebagai pola gaya paradoks Moravec yang modelnya unggul dalam tolok ukur apa pun yang ditetapkan para peneliti, namun dampaknya di dunia nyata mengecewakan.
“Masih ada kesenjangan sim-to-real yang entah bagaimana menghalangi segalanya,” kata Millidge, menggambarkan dunia di mana AI menjadi “sangat baik dalam segala hal yang dijadikan patokan” tanpa melakukan generalisasi lebih jauh. Dia menambahkan bahwa dia menganggap hasil ini tidak mungkin terjadi, dengan menunjuk pada bukti bahwa pembelajaran penguatan sudah digeneralisasikan dalam praktik.
Schulman sebagian besar setuju bahwa kemajuan tidak terjadi secara otomatis. Manusia memiliki keunggulan nyata dibandingkan model yang ada saat ini, katanya, dan setiap peluncuran model baru mampu mengejar ketertinggalan di beberapa area, namun tetap mengalami hambatan di area lain – pola yang telah menentukan beberapa siklus produk terakhir.
Garis waktu yang cepat: dua tahun, tiga hingga empat, lima hingga sepuluh tahun
Saat Patel menekan angka, panelnya terbelah. Ketika ditanya kapan AI dapat memberikan peningkatan produktivitas sepuluh kali lipat bagi pekerja kerah putih yang kompeten, Schulman awalnya menolak memberikan satu angka pun, lalu berkata, "Saya akan menjawab dalam dua tahun." Millidge mengatakan dia "sebenarnya bisa melihatnya," dengan alasan bahwa keuntungan yang didapat sudah melebihi 10x untuk beberapa kategori pekerjaan. O'Neill adalah orang yang paling konservatif, menjawab "5 sampai 10" tahun.
Patel kemudian mendorong lebih jauh, mengkarakterisasi skenario tersebut sebagai "pada dasarnya hanya ASI." Tanggapan Schulman: "Saya kira 3-4 tahun," menambahkan bahwa mengotomatisasi penelitian AI itu sendiri "bukanlah salah satu hal tersulit bagi AI, karena ini melibatkan banyak" pekerjaan yang sudah dapat didekati oleh teknik saat ini. Pertukaran ini penting karena kecilnya penolakan terhadap perkiraan tersebut dari peneliti lain.
Bagaimana peneliti otomatis akan dilatih
Sebagian besar episode ini berhubungan dengan mekanisme skenario yang Schulman hargai. Ketika ditanya bagaimana sistem AI yang mampu mengotomatisasi penelitian AI akan dilatih, Schulman menjelaskan "beberapa kombinasi pembelajaran dari umpan balik manusia untuk menyerap selera para peneliti, dan hanya menciptakan banyak lingkungan praktik yang melibatkan melakukan penelitian multi-langkah."
Jawaban tersebut berkaitan dengan ke mana perginya uang dari industri ini. Kesepakatan Google yang baru saja diselesaikan untuk Mechanize, sebuah startup yang membangun simulasi lingkungan kerja untuk agen pelatihan, mencerminkan taruhan bahwa tempat pelatihan yang lebih baik — bukan hanya model yang lebih besar — akan mendorong peningkatan kemampuan berikutnya. Schulman juga menandai kesulitan utama: fungsi penghargaan yang dibangun berdasarkan data alami sulit untuk ditentukan, dan sinyal dangkal seperti apakah pengguna menerima pengeditan kode dapat menyesatkan pelatihan.
Distilasi versus sentralisasi
Salah satu prediksi Schulman yang paling konkrit berkaitan dengan struktur industri. “Saya pikir penyulingan adalah hal utama yang melawan kekuatan sentralisasi,” katanya, dengan alasan bahwa kemampuan yang dipelajari melalui pembelajaran penguatan dapat ditransfer ke model yang lebih kecil dengan relatif mudah, menyebarkan kompetensi yang berdekatan dengan garis depan melampaui beberapa perusahaan yang mampu menjalankan pelatihan garis depan.
Ketika ditanya apa yang tersisa bagi manusia, Schulman bersikap kategoris. “Saya berpendapat bahwa tugas terakhir manusia, atau peran manusia yang akan bertahan paling lama, adalah menentukan tujuan dan memutuskan apa yang sebenarnya kita inginkan,” katanya. Ketika Patel merangkum “penyelarasan adalah tugas akhir,” Schulman sependapat: “Penyelarasan adalah semacam jawabannya,” seraya mencatat bahwa penyelarasan terurai menjadi mencari tahu tujuan yang tepat dan kemudian benar-benar mencapainya.
Lokasi episode yang cocok dengan debat garis waktu
Subjudul episode tersebut — "Kita tidak berada di dekat langit-langit" — menggambarkan tenor keseluruhannya: para peneliti yang melihat landasan pacu yang besar di depan, bahkan ketika mereka memperdebatkan betapa bergelombangnya jalur tersebut. Diskusinya berkisar pada hal-hal yang mendorong kemajuan laboratorium di Tiongkok, apakah pembelajaran penguatan jangka panjang dapat memperoleh kecerdasan umum, dan mengapa RL mulai bekerja dengan baik.
Perdebatan publik mengenai jadwal telah meningkat di semua sisi pada bulan ini. Pernyataan Huang tentang "AGI telah tiba" menimbulkan skeptisisme dari para analis yang membacanya sebagai kasus bisnis dan bukan klaim ilmiah, sementara CEO OpenAI Sam Altman mengatakan kepada staf bahwa perusahaan terbuka untuk memperlambat pengembangan mutakhir karena masalah keselamatan meningkat, menurut Bloomberg. Jangka waktu tiga hingga empat tahun bagi Schulman untuk pengembangan diri secara rekursif berada di antara pemasaran dan moratorium – perkiraan kerja dari seseorang dengan rekam jejak dalam membangun teknik yang kini menggerakkan bidang tersebut.
Apakah dia benar akan bergantung pada pertanyaan yang hanya dilingkari oleh panel: apakah pembelajaran penguatan terus melakukan generalisasi di luar lingkungan pelatihannya, dan apakah kesenjangan antara kinerja tolok ukur dan nilai ekonomi riil terus menyempit.
Tetap Terdepan dalam AI
Para peneliti Frontier sedang memperdebatkan batasan AI di depan umum — ikuti cerita yang berkembang.
Baca berita AI selengkapnya di AI Buzz Wire
