Lab AI terdesentralisasi, Prime Intellect, telah menerbitkan hasil eksperimen skala besar yang menguji seberapa baik model AI terdepan saat ini dalam melakukan penelitian pembelajaran mesin otonom — dan model terbaiknya nyaris menyamai rekor dunia manusia pada tolok ukur komunitas ternama.
Proyek tersebut, yang dijuluki NanoGPT Speedrun Frontier dan diterbitkan pada tanggal 22 Agustus, terdiri dari 153 proses otonom di 18 model perbatasan yang mencoba speedrun pengoptimal nanoGPT — sebuah kompetisi di mana para peneliti mencari cara paling efisien untuk melatih model bahasa kecil ke target kualitas tetap. Cerita ini dengan cepat muncul di halaman depan Hacker News, dan mengundang lusinan komentar yang memperdebatkan hasil penelitian mengenai kemampuan AI dalam penemuan ilmiah sejati. For more context on this story, see our ongoing more AI stories.
Apa Sebenarnya NanoGPT Speedrun Itu
Tolok ukurnya berasal dari repositori modded-nanogpt yang dikelola oleh Keller Jordan dan daftar panjang kontributor komunitas. Tantangannya tampak sederhana untuk dinyatakan: dengan menggunakan 8 GPU NVIDIA H100, latih model bahasa yang mencapai 3,28 kehilangan entropi silang pada set validasi FineWeb — tingkat performa yang dicapai replikasi GPT-2 asli Andrej Karpathy setelah 45 menit — secepat mungkin.
Melalui ratusan kontribusi komunitas selama dua tahun terakhir, rekor manusia telah diturunkan menjadi kurang dari 75 detik dan kurang dari 400 juta token pelatihan, peningkatan lebih dari 30 kali lipat dibandingkan resep aslinya. Solusi pemenang terbaca seperti katalog teknik ML modern: pengoptimal Muon, penyematan putar dengan QK-Norm, aktivasi kuadrat ReLU, kuantisasi FP8 pada perhatian dan lintasan MLP, Flash Attention 3 dengan pola jendela geser, dan lusinan teknik lainnya yang ditumpuk satu sama lain.
Pengujian Prime Intellect menggunakan jalur pengoptimal benchmark, yang — sesuai dokumentasi repositori — meminimalkan jumlah langkah pelatihan yang diperlukan untuk mencapai target kerugian, tergantung pada arsitektur, kumpulan data, dan ukuran batch yang tetap, dengan anggaran jam dinding yang secara efektif tidak terbatas. Hal ini menjadikannya sebagai pengujian murni terhadap penemuan algoritme, bukan kecepatan perangkat keras mentah.
Cara Kerja Eksperimen
Masing-masing dari 18 model diberi tugas secara mandiri: mengusulkan perubahan pada resep pelatihan, menjalankan eksperimen, memeriksa hasil, dan mengulangi — dengan skrip verifikasi tetap dan benih acak tetap untuk memastikan bahwa peningkatan yang diklaim adalah nyata, bukan hanya sekedar keberuntungan. Seperti yang dirangkum oleh salah satu komentator Hacker News, model diminta untuk meneliti cara meningkatkan pelatihan model kecil, berulang kali mencoba perubahan, mengujinya, dan menggunakan hasilnya untuk memutuskan apa yang harus dicoba selanjutnya.
Model-model tersebut bekerja melalui berbagai pemanfaatan agen — termasuk kode claude, kodeks OpenAI, kode kimi, grok-cli, kode qwen, dan agen utama Prime Intellect sendiri — dan tim melacak konsumsi token setiap proses, jumlah eksperimen, pemanggilan alat, dan waktu agen yang telah berlalu. Secara total, eksperimen ini menghabiskan ratusan juta token per model teratas dan miliaran token di seluruh jaringan.
Papan Peringkat: Fabel 5 Memimpin Paket
Hasil utama: model yang diidentifikasi sebagai Fable 5, yang dijalankan melalui rangkaian kode claude, menutup 81,7 persen kesenjangan antara resep dasar dan catatan manusia, dengan hasil tervalidasi terbaik sebesar 2.726 pada metrik papan peringkat. Untuk mencapainya memerlukan waktu agen kumulatif selama 8,7 hari, sekitar 800 juta token, 811 eksperimen, dan sekitar 3.000 panggilan alat.
Kelompok yang mengejar dipimpin oleh Opus 5, yang menutup kesenjangan sebesar 53,6 persen, diikuti oleh Kimi K3 sebesar 52,2 persen ketika digerakkan oleh memanfaatkan agen utama Prime Intellect (dan 45,8 persen melalui kode kimi). Opus 4.8 memperoleh pangsa pasar sebesar 39,4 persen, beberapa varian GPT-5.6 memperoleh pangsa pasar antara 11 dan 36 persen, Sonnet 5 memperoleh pangsa pasar sebesar 26,8 persen, dan Grok 4.5 serta Qwen3.8 Max masing-masing mencapai pangsa pasar 24,6 persen.
Lebih jauh lagi, DeepSeek V4 Pro menutup kesenjangan sebesar 12,3 persen, GPT-5.5 mencapai 8,1 persen, dan Kimi K2.7 yang lebih lama berakhir pada 7,2 persen. Khususnya, salah satu model yang baru dirilis — GLM 5.3 — masih berjalan pada saat publikasi tanpa catatan yang tervalidasi, sebuah pengingat bahwa benchmark akan menghukum model yang tidak dapat memvalidasi peningkatannya secara andal.
Mengapa Itu Penting
Tolok ukur seperti ini penting karena mengukur sesuatu yang tidak dapat diukur oleh papan peringkat pengkodean: kemampuan untuk menjalankan putaran penelitian yang sebenarnya — hipotesis, eksperimen, analisis, revisi — dalam hitungan hari, bukan hitungan menit. Kemampuan tersebut adalah dasar dari bidang penelitian AI otonom yang sedang berkembang, di mana agen tidak ditugaskan untuk menulis kode sesuai spesifikasi, tetapi untuk menemukan hal-hal yang belum pernah ditunjukkan oleh siapa pun.
Penyebaran hasil itu sendiri bersifat informatif. Hampir setiap model dalam eksperimen menemukan ide-ide inti yang sama, menurut penulisan proyek - yang membedakan proses terbaik adalah apa yang ditinggalkan oleh eksperimen: agen yang lebih kuat mempertahankan sinyal lemah dalam hasil yang berisik cukup lama untuk memvalidasinya, dan memahami data eksperimen mereka dengan lebih baik.
Peringatan dari Komunitas
Komentator Hacker News mengangkat poin metodologis yang adil. Pengaturan upaya dan pemanfaatan bervariasi antar model - Fable 5 berjalan pada pengaturan penalaran tinggi sementara Opus 5 berjalan pada maksimum - dan aritmatika dari 153 berjalan pada 18 model menyiratkan bahwa beberapa model menerima lebih banyak upaya daripada yang lain. Apakah pemeringkatan suatu model mencerminkan kemampuan penelitian mentahnya atau kualitas pemanfaatannya masih menjadi pertanyaan terbuka.
Meski begitu, arah perjalanannya jelas. Ketika tangan manusia tercepat membutuhkan upaya kolektif selama bertahun-tahun untuk mencapai rekor saat ini, agen otonom terbaik kini menutup sebagian besar kesenjangan tersebut dalam waktu komputasi kurang dari seminggu. Pertanyaan berikutnya – apakah model apa pun dapat menutup 18,3 persen sisanya – mungkin akan terjawab lebih cepat dari yang diharapkan.
Untuk informasi lebih lanjut mengenai tolok ukur dan penelitian yang membentuk garis depan AI, ikuti liputan berkelanjutan AI Buzz Wire.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
