Inception Labs Meluncurkan Mercury 2.5, Mengklaim 1,107 Token Per Detik Dari Diffusion LLM

Inception Labs merilis Mercury 2.5 pada hari Selasa, versi baru dari model bahasa difusi komersial yang digambarkan perusahaan sebagai LLM difusi paling mumpuni di pasar dan, sepengetahuannya, model bahasa difusi terbesar yang pernah dilatih. Menurut pengumuman perusahaan, model ini memberikan peningkatan kecerdasan sebesar 40% dibandingkan pendahulunya, Mercury 2, sekaligus mempertahankan profil penyajian berlatensi rendah dan berbiaya rendah yang membuat arsitektur difusi menarik untuk beban kerja bervolume tinggi.

Perusahaan, yang dipimpin oleh CEO Stefano Ermon, mengklaim Mercury 2.5 sebanding dengan model frontier dengan biaya yang dioptimalkan termasuk GPT-5.6 Luna (Low), Gemini 3.5 Flash-Lite dan Claude Haiku 4.5. Perbandingan tersebut dilaporkan oleh vendor dan belum diverifikasi oleh tolok ukur independen, namun mereka memposisikan model difusi – yang sudah lama menjadi keingintahuan penelitian – sebagai alternatif produksi terhadap model lama yang autoregresif. Untuk berita model AI terbaru, ikuti liputan model AI Buzz Wire yang sedang berlangsung. berita model AI terbaru

Kecepatan, Konteks dan Harga

Angka-angka judulnya agresif. Inception Labs mengatakan Mercury 2.5 menghasilkan 1,107 token per detik pada GPU NVIDIA yang tersedia secara luas, dengan jendela konteks 260,000 token. Harga ditetapkan sebesar $0,20 per juta token masukan dan $0,75 per juta token keluaran, dengan promosi peluncuran yang mendiskon model sebesar 80% menjadi $0,04 per juta masukan dan $0,15 per juta keluaran.

Dari sisi kemampuan, model ini hadir dengan alasan yang dapat disesuaikan — memungkinkan pengembang menukar latensi dengan kedalaman berdasarkan permintaan — bersama dengan panggilan alat paralel dan keluaran JSON yang selaras dengan skema untuk pembuatan terstruktur. Perusahaan membingkai rilis ini sebagai hasil pertama dari rangkaian pelatihan yang didorong oleh telemetri produksi: sejak Mercury 2 diluncurkan, ribuan pengembang telah membangunnya, lusinan perusahaan telah menerapkannya, dan penggunaannya telah meningkat lebih dari satu kali lipat.

Mengapa Model Difusi Menghasilkan Teks Lebih Cepat

LLM arus utama dari OpenAI, Google, dan Anthropic bersifat autoregresif: mereka menghasilkan teks satu token pada satu waktu, dengan setiap token dikondisikan pada semua yang dihasilkan sebelumnya. Ketergantungan sekuensial ini menempatkan tingkat kesulitan di bawah kecepatan pembangkitan. Model bahasa difusi dimulai dengan blok noise dan secara berulang menyempurnakan semua token secara paralel, sehingga memungkinkan throughput yang jauh lebih tinggi pada perangkat keras GPU konvensional setelah model dilatih untuk menyatu dengan baik.

Secara historis, trade-off yang terjadi adalah kualitas: model difusi telah tertinggal dari model autoregresif dalam hal penalaran dan tolok ukur mengikuti instruksi. Taruhan inti Inception Labs — dan klaim yang mendasari Mercury 2.5 — adalah bahwa kesenjangan ini telah menyempit ke titik di mana difusi menang pada poros yang dirasakan sebagian besar pelanggan: latensi dan biaya pada volume produksi.

Klaim Produksi Dari Pelanggan Awal

Pengumuman ini sangat bergantung pada penerapan pelanggan dibandingkan tabel benchmark. OpenCall, yang membuat agen telepon AI untuk panggilan pelanggan langsung, melaporkan bahwa peralihan ke Mercury membuat latensi respons model mediannya menjadi sekitar 170 milidetik. Oliver Silverstein, salah satu pendiri dan CEO OpenCall, mengatakan waktu respons P99 perusahaan turun dari beberapa menit menjadi satu detik, dan mediannya dari 0,4 detik menjadi di bawah 0,2 — angka yang ia gambarkan sebagai jauh lebih cepat dibandingkan penyedia lain mana pun yang telah diuji oleh perusahaan, termasuk dengan mengaktifkan penalaran.

Augment Code, pembuat asisten pengkodean AI, menggunakan Mercury untuk pemadatan konteks, perutean model, dan pencarian alat MCP. Menurut Inception Labs, memindahkan beban kerja pemadatan ke Mercury mengurangi latensi langkah tersebut sebesar 82%, dari sekitar 150 detik menjadi 27 detik, dan mengurangi biaya sebesar 90% dengan tetap menjaga kualitas. Kasus penggunaan ini menggambarkan dampak ekonomi: agen pengkodean membuat banyak panggilan model pendukung kecil di setiap generasi primer, dan latensi serta biaya bertambah di seluruh panggilan tersebut.

NVIDIA, yang perangkat kerasnya menjalankan model tersebut, juga mempertimbangkan hal tersebut. Shruti Koparkar, manajer senior produk di Accelerated Computing Group NVIDIA, mengatakan Inception telah mengembangkan model bahasa berbasis difusi pada infrastruktur AI NVIDIA, dan peningkatan kualitas Mercury 2.5 dengan kecepatan berkelanjutan menunjukkan seberapa cepat arsitektur baru dapat berkembang menjadi sistem siap produksi.

Pratinjau Suara Merkuri dan Router Merkuri

Bersamaan dengan model tersebut, Inception Labs mengumumkan pratinjau dua produk baru. Mercury Voice adalah LLM difusi yang dioptimalkan untuk agen suara dengan anggaran latensi paling ketat, waktu iklan hingga token pertama di bawah 170 milidetik. Mercury Router menggunakan model difusi untuk memahami permintaan masuk dan mengarahkannya ke model mana pun — terbuka atau tertutup — yang menawarkan perpaduan terbaik antara kualitas, kecepatan, dan biaya, memposisikan Inception sebagai lapisan di atas para pesaingnya serta salah satu dari mereka.

Mercury 2.5 tersedia melalui API milik Inception serta melalui Baseten dan OpenRouter. Penerapan perusahaan menambah kapasitas khusus, penskalaan otomatis, kontrol kepatuhan, dan retensi data yang dapat dikonfigurasi. Perusahaan ini menawarkan 100 juta token gratis kepada pengembang yang mencoba API tersebut.

Perusahaan juga mengatakan bahwa mereka telah mulai melatih model berikutnya – yang terbesar, yang ditargetkan untuk dirilis dalam beberapa bulan mendatang – yang digambarkan sebagai lompatan kemampuan yang tidak sebanding dengan kecepatan difusi atau efisiensi token. Jika klaim tersebut benar, maka tekanan terhadap perusahaan lama yang autoregresif akan dirasakan pertama kali pada tingkatan pasar komoditas, dimana harga dan latensi menentukan sebagian besar kontrak.

Tetap Terdepan dalam AI

Ikuti perkembangan AI terkini dan berita terkini tentang kecerdasan buatan seiring dengan dimulainya produksi arsitektur model baru.

Baca berita AI selengkapnya →