OpenAI telah menarik tiga dari 722 pracetak penelitian yang dipublikasikan di GitHub pada tanggal 6 Oktober, Retraction Watch melaporkan pada tanggal 8 Oktober, setelah kesalahan tanda membatalkan argumen utama dan, dengan itu, dua hasil yang bergantung pada konstruksi tersebut. Penarikan ini dilakukan kurang dari 24 jam setelah rilis massal, yang disebut OpenAI sebagai upaya "untuk mendorong batas pengetahuan manusia dan memungkinkan kemajuan lebih lanjut dalam matematika."
Pracetak tersebut menggambarkan kemajuan model AI internal pada 372 masalah yang belum terpecahkan di bidang geometri, ilmu komputer, aljabar, dan bidang lainnya. Langkah ini langsung menarik perhatian dari komunitas riset — dan, seperti yang kami bahas awal pekan ini dalam laporan kami tentang rilis awal 722 manuskrip matematika, perusahaan tersebut menggambarkan penurunan tersebut sebagai demonstrasi yang belum pernah terjadi sebelumnya mengenai apa yang dapat dihasilkan oleh model frontier yang belum dirilis. Ikuti berita terkini dalam liputan perkembangan AI terkini kami.
Kesalahan Tanda Mengalir Melalui Bukti Ketergantungan
Pada tanggal 7 Oktober, OpenAI mengumumkan penarikan tiga manuskrip karena kesalahan tanda. Menurut pengumuman tersebut, kesalahan tersebut membatalkan argumen dalam satu naskah dan konstruksi yang digunakan oleh dua makalah yang saling bergantung. Setiap kertas yang ditarik sekarang memuat pemberitahuan yang menjelaskan "kesenjangannya".
Perusahaan juga mengatakan telah merevisi 14 manuskrip lainnya dengan perbaikan bukti, pernyataan yang dikoreksi, hipotesis dan ketergantungan yang lebih jelas, dan satu koreksi pada kutipan usang. Dan Roberts, pemimpin penelitian di OpenAI, mengumumkan penarikan X dan menulis bahwa perusahaan akan "terus memperbarui repo dengan formalisasi baru dan dengan kesalahan apa pun yang kami temukan."
Seorang juru bicara OpenAI mengatakan kepada Retraction Watch bahwa perusahaan tersebut mengidentifikasi kesalahan selama audit, dan menggambarkan prosesnya sebagai proses yang berulang "seperti pada naskah penelitian lainnya." Juru bicara tersebut menambahkan bahwa OpenAI menyambut baik pengawasan dan akan "bekerja untuk memperbaiki [kesalahan] segera dan menarik dokumen jika tidak ada perbaikan yang dapat ditemukan."
Khususnya, juru bicara OpenAI mengatakan bahwa kolaborator perusahaan di Kelompok Penasihat Matematika dan Kecerdasan Buatan (AGMAI) merekomendasikan untuk merilis hasilnya tanpa menunggu "formalisasi penuh" — dan sekitar 50% dari hasil yang dirilis belum dikonfirmasi.
Matematikawan: Perbaikan Cepat, Hilangnya Kepercayaan
Reaksi dari ahli matematika penelitian terukur namun tajam. Alex Townsend, seorang profesor matematika di Cornell University, mengatakan kepada Retraction Watch bahwa kesalahan yang terjadi pada tiga manuskrip bukanlah hal yang mengejutkan, dan dia menduga akan ada lebih banyak kesalahan yang ditemukan. “Mengingat skeptisisme terhadap AI di komunitas matematika, saya pikir OpenAI seharusnya mengumumkan naskah yang telah diverifikasi Lean terlebih dahulu,” katanya, mengacu pada bahasa pemrograman sumber terbuka yang secara mekanis memeriksa bukti matematika. Pengumuman terpisah bisa saja mengundang bantuan masyarakat untuk memverifikasi sisanya, bantahnya.
Andrew Sutherland, seorang peneliti senior di departemen matematika MIT, mengatakan dia menghargai tindakan OpenAI yang cepat setelah menemukan kesalahan, dan menyebutnya sebagai "hal yang harus dilakukan." Namun dia menekankan bahwa banyak matematikawan yang masih “tidak puas dengan perilaku OpenAI hingga saat ini,” khususnya dengan menunjuk pada pengumuman perusahaan tersebut pada tanggal 8 September bahwa sistem AI telah memecahkan masalah Navier-Stokes – sebuah klaim yang dikritik oleh sekelompok peneliti terkemuka karena terburu-buru, “tidak menyisakan waktu untuk menulis artikel yang tepat, mengisolasi metode dan ide baru, dan mengutip karya orang lain yang relevan sebelumnya.” Lebih dari 8.000 peneliti telah mendukung kekhawatiran tersebut.
Association for Human Mathematics melangkah lebih jauh dalam pernyataan yang dirilis pada tanggal 7 Oktober: "Para ahli matematika tidak meminta pekerjaan ini dilakukan. Merilis lebih dari 700 file sekaligus bukanlah sebuah demonstrasi keilmuan, namun sebuah demonstrasi kekuasaan. Kami mendesak para matematikawan untuk menghentikan pekerjaan mereka dengan OpenAI dan kembali ke visi sains yang memusatkan pemahaman manusia."
Apa Artinya Bagi Sains yang Dihasilkan AI
Episode ini menjadi contoh uji awal tentang bagaimana laboratorium AI harus menangani penelitian yang dihasilkan mesin dalam skala besar. Pendekatan OpenAI — merilis dengan cepat, mengaudit di publik, menarik apa yang gagal — kontras dengan pendekatan formal-verifikasi-pertama yang disukai banyak ahli matematika, yang hasilnya diperiksa di asisten pembuktian seperti Lean sebelum pengumuman apa pun.
Ada argumen yang masuk akal di kedua sisi. Menunggu formalisasi penuh dapat menunda hasil yang bermanfaat selama berbulan-bulan, dan OpenAI mengatakan hal itu dirilis dengan izin AGMAI. Namun efek cascade – satu kesalahan yang menghapus dua makalah yang saling bergantung – menggambarkan mengapa verifikasi sebelum publikasi telah menjadi norma dalam matematika, dan mengapa lebih banyak kesalahan cenderung muncul ketika komunitas mengerjakan sekitar 700 naskah yang tersisa.
Untuk saat ini, OpenAI menyatakan ingin belajar dari masukan yang ada dan akan mengikuti protokol AGMAI "sebaik yang kami bisa" ke depannya. Apakah hal tersebut cukup untuk membangun kembali kredibilitas komunitas matematika adalah pertanyaan lain. Seperti yang dikatakan Sutherland: "Saya pikir penarikan dan koreksi akan dipandang positif oleh komunitas matematika, namun dibutuhkan lebih dari itu untuk mendapatkan kembali kepercayaan yang telah hilang."
---
Tetap Terdepan dalam AIDapatkan berita, analisis, dan terobosan AI terkini — semuanya di satu tempat.
Baca berita AI selengkapnya →
