OpenAI telah menarik balik tiga daripada 722 pracetak penyelidikan yang diterbitkan di GitHub pada 6 Oktober, Retraction Watch melaporkan pada 8 Oktober, selepas ralat tanda membatalkan hujah utama dan, dengan itu, dua keputusan yang bergantung pada pembinaan itu. Penarikan diri berlaku kurang daripada 24 jam selepas keluaran besar-besaran, yang OpenAI telah dibilkan sebagai usaha "untuk menolak sempadan pengetahuan manusia dan membolehkan kemajuan selanjutnya dalam matematik."
Pracetak menggambarkan kemajuan yang dikatakan oleh model AI dalaman pada 372 masalah yang tidak dapat diselesaikan merentas geometri, sains komputer, algebra dan bidang lain. Langkah itu menarik perhatian segera daripada komuniti penyelidikan — dan, seperti yang kami bincangkan awal minggu ini dalam laporan kami tentang keluaran awal 722 manuskrip matematik, syarikat itu membingkai penurunan itu sebagai demonstrasi yang belum pernah berlaku sebelum ini tentang perkara yang boleh dihasilkan oleh model sempadannya yang belum dikeluarkan. Ikuti berita terkini tentang cerita ini dalam perkembangan AI terkini kami.
Ralat Tanda Melantun Melalui Bukti Bergantung
Pada 7 Oktober, OpenAI mengumumkan penarikan balik tiga manuskrip kerana ralat tanda. Menurut pengumuman itu, kesilapan itu membatalkan hujah dalam satu manuskrip dan pembinaan yang digunakan oleh dua kertas tanggungan. Setiap kertas yang ditarik balik kini membawa notis yang menerangkan "jurang".
Syarikat itu juga berkata ia telah menyemak 14 manuskrip lain dengan pembaikan bukti, penyataan yang diperbetulkan, hipotesis dan kebergantungan yang lebih jelas, dan satu pembetulan kepada petikan usang. Dan Roberts, ketua penyelidikan di OpenAI, mengumumkan pengeluaran pada X dan menulis bahawa syarikat itu akan "terus mengemas kini repo dengan pemformalkan baharu dan dengan sebarang kesilapan yang kami perhatikan."
Jurucakap OpenAI memberitahu Retraction Watch syarikat itu mengenal pasti ralat semasa audit, menggambarkan proses itu sebagai berulang "seperti manuskrip penyelidikan lain." Jurucakap itu menambah bahawa OpenAI mengalu-alukan penelitian dan akan "berusaha untuk membetulkan [kesilapan] dengan segera dan menarik balik kertas jika tiada pembetulan dapat ditemui."
Terutama, jurucakap OpenAI berkata rakan usaha sama syarikat di Kumpulan Penasihat mengenai Matematik dan Kecerdasan Buatan (AGMAI) mengesyorkan untuk mengeluarkan keputusan tanpa menunggu "pemformalkan penuh" - dan kira-kira 50% daripada keputusan dikeluarkan tanpa disahkan.
Ahli Matematik: Pembetulan Pantas, Hilang Kepercayaan
Reaksi daripada ahli matematik penyelidikan diukur tetapi ditunjuk. Alex Townsend, seorang profesor matematik bersekutu di Universiti Cornell, memberitahu Retraction Watch bahawa ralat yang melata ke dalam tiga manuskrip tidak mengejutkan, dan dia mengesyaki lebih banyak ralat akan ditemui. "Memandangkan keraguan AI dalam komuniti matematik, saya fikir OpenAI sepatutnya mengumumkan manuskrip yang telah disahkan Lean terlebih dahulu," katanya, merujuk kepada bahasa pengaturcaraan sumber terbuka yang menyemak bukti matematik secara mekanikal. Pengumuman berasingan kemudiannya boleh mengundang bantuan komuniti untuk mengesahkan yang lain, hujahnya.
Andrew Sutherland, seorang saintis penyelidikan kanan di jabatan matematik MIT, berkata dia menghargai OpenAI bertindak pantas selepas menemui kesilapan, memanggilnya "perkara yang bertanggungjawab untuk dilakukan." Tetapi beliau menekankan bahawa ramai ahli matematik kekal "tidak berpuas hati dengan bagaimana OpenAI telah bertindak sehingga ke tahap ini," menunjuk khususnya kepada pengumuman syarikat pada 8 September bahawa sistem AI telah menyelesaikan masalah Navier-Stokes - dakwaan sekumpulan penyelidik terkemuka yang dikritik sebagai tergesa-gesa, "tidak meninggalkan masa untuk penulisan yang betul, kerja-kerja pengasingan kaedah baharu dan idea-idea yang lain." Lebih daripada 8,000 penyelidik telah mengesahkan kebimbangan tersebut.
Persatuan untuk Matematik Manusia pergi lebih jauh dalam satu kenyataan yang dikeluarkan pada 7 Oktober: "Ahli matematik tidak meminta kerja ini dilakukan. Melepaskan lebih 700 fail sekaligus bukanlah demonstrasi kesarjanaan, tetapi demonstrasi kuasa. Kami menggesa ahli matematik untuk menghentikan kerja mereka dengan OpenAI dan kembali kepada visi sains yang memusatkan pemahaman manusia."
Maksud Ini untuk Sains Dijana AI
Episod ini dibentuk sebagai kes ujian awal untuk bagaimana makmal AI harus mengendalikan penyelidikan yang dijana mesin pada skala. Pendekatan OpenAI — keluarkan cepat, audit di khalayak ramai, tarik balik apa yang gagal — berbeza dengan pendekatan formal-pengesahan-pertama yang disukai ramai ahli matematik, di mana keputusan disemak dalam pembantu bukti seperti Lean sebelum sebarang pengumuman.
Terdapat hujah yang munasabah di kedua-dua pihak. Menunggu untuk pemformalan penuh boleh menangguhkan hasil yang berguna beberapa bulan, dan OpenAI berkata ia dikeluarkan dengan restu AGMAI. Tetapi kesan lata - satu ralat tanda mengeluarkan dua kertas bergantung - menggambarkan mengapa pengesahan sebelum penerbitan telah menjadi kebiasaan dalam matematik, dan mengapa lebih banyak ralat mungkin muncul apabila komuniti bekerja melalui lebih kurang 700 manuskrip yang tinggal.
Buat masa ini, OpenAI berkata ia mahu belajar daripada maklum balas dan akan mengikuti protokol AGMAI "sebaik mungkin" pada masa hadapan. Sama ada itu cukup untuk membina semula kredibiliti dengan komuniti matematik adalah persoalan lain. Seperti yang dinyatakan oleh Sutherland: "Saya fikir penarikan balik dan pembetulan akan dilihat secara positif oleh komuniti matematik, tetapi ia akan mengambil lebih daripada itu untuk mendapatkan kembali kepercayaan yang telah hilang."
---
Kekal Mendahului AIDapatkan berita, analisis dan penemuan terkini AI — semuanya di satu tempat.
Baca lebih banyak berita AI →
