Tim Ornith telah merilis Ornith-1.5, rangkaian model bahasa open-weight yang dibangun berdasarkan ide yang tidak biasa: model tersebut menghasilkan tugas pelatihannya sendiri, mendesain scaffoldnya sendiri, dan belajar dari upaya solusinya sendiri dalam loop yang terus berjalan. Menurut evaluasi tim sendiri, Ornith-1.5-397B andalan mendapat skor 86,1 di Terminal-Bench 2.1 (Terminus-2), membuatnya setara dengan Claude Opus 4.8 dari Anthropic dengan skor 85,0 dan mengungguli setiap model sumber terbuka lainnya dengan ukuran yang sebanding.
Rilisan ini, yang diterbitkan minggu ini di blog Ornith dan di Hugging Face di bawah lisensi MIT, merupakan salvo terbaru dalam perlombaan AI open-source yang secara teratur memberikan hasil yang dulunya dianggap mustahil tanpa anggaran laboratorium terdepan. Bagi developer dan perusahaan yang memantau berita model AI terbaru, ada dua hal yang penting: kesetaraan benchmark dengan model tertutup terkemuka, dan resep pelatihan yang menunjukkan arah pengembangan model terbuka selanjutnya.
Tiga Ukuran, Satu Resep
Ornith-1.5 dikirimkan dalam tiga konfigurasi: unggulan campuran ahli dengan parameter 397B, MoE 35B yang hanya mengaktifkan 3B parameter per token, dan model padat 9B yang ringkas dengan varian "Seluler" terkuantisasi yang dirancang untuk berjalan langsung di perangkat iPhone dan Android. Ketiganya tersedia di Hugging Face bersama dengan build GGUF, MLX, dan NVFP4, dan kartu model menunjukkan bahwa keluarga tersebut dibangun di atas arsitektur Qwen3.5 MoE.
Silsilah penting di sini. Ornith-1.0, yang dirilis awal tahun ini, mempopulerkan pendekatan "self-scaffolding" terhadap pengkodean agen dan menjadi sukses besar — versi GGUF 9B-nya telah mencatat lebih dari lima juta unduhan di Hugging Face. Ornith-1.5 memperluas kerangka kerja tersebut dari mengoptimalkan perancah dan peluncuran menjadi jalur pengembangan mandiri secara penuh.
Lingkaran Peningkatan Diri, Dijelaskan
Dalam alur pasca-pelatihan konvensional, pembelajaran penguatan berjalan melawan serangkaian tugas tetap yang dikurasi oleh manusia. Ornith-1.5 malah membuat model itu sendiri mengusulkan tugas-tugas baru, menghasilkan perancah khusus tugas — instruksi, alat, dan strategi dekomposisi yang digunakan untuk mengatasi masalah — dan kemudian menghasilkan peluncuran solusi yang dinilai berdasarkan perancah yang baru saja dibuat. Hadiah disebarkan kembali melalui ketiga tahap menggunakan GRPO, sehingga sistem secara bersamaan belajar menulis tugas yang lebih baik, scaffold yang lebih baik, dan solusi yang lebih baik.
Imbalan yang menghasilkan tugas adalah inti dari desain ini. Setiap tugas yang diusulkan diberi skor berdasarkan tiga sinyal perkalian: validitas (apakah scaffold dijalankan dan dievaluasi dengan benar?), tingkat kesulitan frontier (apakah tingkat keberhasilan empiris model mendekati target sekitar 20 persen, menjaga tugas tetap menantang namun dapat dipelajari?), dan kebaruan (apakah model tersebut cukup berbeda dari semua yang ada dalam buffer tugas yang dibuat sebelumnya?). Karena tingkat kesulitan diukur berdasarkan tingkat keberhasilan model saat ini, kurikulum secara otomatis meningkat seiring dengan peningkatan model.
Tim juga melaporkan langkah-langkah anti-peretasan yang eksplisit selama evaluasi: riwayat git dihapus dari gambar repositori sehingga model tidak dapat memulihkan solusi sebelumnya, dan akses jaringan dinonaktifkan untuk mencegah model mengambil jawaban eksternal. Semua hasil dirata-ratakan selama lima kali lari independen.
Angka-angka
Pada pengkodean agen, hasil yang dilaporkan sendiri oleh unggulan tersebut dikelompokkan di bagian atas bidang sumber terbuka. Pada Terminal-Bench 2.1 dijalankan melalui harness Terminus-2, Ornith-1.5-397B 86.1 mengungguli Claude Opus 4.8 (85.0), DeepSeek-V4-Flash-0731 (82.7), dan GLM-5.2 (81). Pada benchmark yang sama yang dijalankan melalui memanfaatkan Claude Code, Ornith-1.5 menghasilkan 85,2 dibandingkan Opus 4.8 yang 78,9. Di bangku SWE Terverifikasi, keduanya secara efektif terikat pada 86,0 dan 85,8, dengan Kimi K3 sedikit unggul pada 86,2.
Kesenjangan semakin melebar pada rangkaian agen yang lebih sulit. Di DeepSWE, Ornith-1.5-397B mendapat skor 56,0 — mengungguli GLM-5.2 dengan 46,2, meskipun di belakang Opus 4.8 (59,0) dan Kimi K3 (67,5). Lompatan yang paling mencolok terjadi pada generasi: Ornith-1.0 hanya mendapat skor 8.0 pada DeepSWE, yang berarti iterasi baru memberikan peningkatan tujuh kali lipat pada keluarga benchmark yang sama.
Model yang lebih kecil menceritakan kisahnya sendiri. Ornith-1.5-35B-A3B, hanya mengaktifkan 3B parameter per token, mendapat skor 68,5 di Terminal-Bench 2.1 (Claude Code) versus 43,4 untuk Gemma 4-31B Google dan 51,7 untuk Muse Glimmer-30B Meta, dan memposting 79,0 di SWE-bench Terverifikasi. Model 9B mencapai 47,0 pada Terminal-Bench 2.1, 70,6 pada SWE-bench Verified, dan 86,4 pada GPQA Diamond — angka yang menempatkan model kelas ponsel dalam jarak yang sangat dekat dengan pesaing kelas desktop.
Peringatan dan Konteks
Ini adalah tolok ukur yang dijalankan pengembang, bukan hasil yang diaudit secara independen, dan model perbandingan dievaluasi oleh tim Ornith berdasarkan pengaturan sistemnya sendiri. Laboratorium pesaing juga melakukan trade-off yang berbeda; Kepemimpinan Kimi K3 di DeepSWE menunjukkan bahwa batasan pekerjaan perangkat lunak agen masih diperdebatkan. Namun transparansi lengkap dari rilis ini – rata-rata lima kali proses, konfigurasi harness yang dipublikasikan, perlindungan yang diungkapkan – membuat reproduksi independen menjadi sangat mudah.
Respon masyarakat sangat besar. Pengumuman rilis ini menarik lebih dari seratus poin di Hacker News dalam beberapa jam, dengan diskusi kurang terfokus pada klaim benchmark dibandingkan pada metodologi pengembangan diri, yang oleh beberapa komentator digambarkan sebagai salah satu implementasi terbuka yang lebih kredibel dari pembuatan tugas gaya rekursif.
Untuk ekosistem sumber terbuka, Ornith-1.5 hadir pada saat model terbuka dari laboratorium Tiongkok dan tim independen Barat telah menutup kesenjangan dengan batas tertutup dalam tugas pengkodean dan agen. Rangkaian produk berlisensi MIT yang cocok dengan model tertutup terkemuka di Terminal-Bench — dan mengirimkan varian 9B yang siap digunakan untuk ponsel — semakin mempersempit kesenjangan tersebut, dan melakukannya dengan metode pelatihan yang dapat diperiksa, direproduksi, dan diperluas oleh siapa pun.
---
Tetap Terdepan dalam AIDapatkan berita, analisis, dan terobosan AI terkini — semuanya di satu tempat.
Baca berita AI selengkapnya →
