Pengembang independen telah menunjukkan bahwa model V4 Flash DeepSeek, sistem campuran pakar dengan 304 miliar parameter, dapat dijalankan dalam produksi pada satu GPU AMD MI300X, mencapai 168,6 token per detik dalam decoding aliran tunggal tanpa kuantisasi bobot atau pembongkaran apa pun. Karya tersebut, yang dipublikasikan di GitHub dan muncul di bagian atas Hacker News pada tanggal 4 Agustus 2026, menawarkan bukti paling jelas bahwa perangkat keras AMD dapat melayani model terbuka skala perbatasan tanpa bergantung pada Nvidia.

Repositori, dikelola oleh pengembang Ryan Zhou, mencakup tumpukan Docker Compose lengkap, overlay file yang disematkan, dan tabel penyetelan untuk menjalankan pos pemeriksaan DeepSeek-V4-Flash-0731 pada satu MI300X. Bagi pembaca yang menelusuri berita AI terkini mengenai perang chip antara AMD dan Nvidia, hasil ini signifikan karena menantang asumsi bahwa inferensi frontier memerlukan perangkat keras terbaru dan termahal dari Nvidia.

Angka-angka

Kinerja yang diukur, diukur pada tumpukan perangkat lunak yang disematkan menggunakan vLLM nightly build ROCm, menceritakan kisah menarik tentang apa yang dapat dilakukan oleh satu akselerator AMD:

  • Dekode aliran tunggal: 168,6 token per detik, cukup cepat untuk obrolan real-time dan beban kerja agen.
  • Throughput pra-pengisian: sekitar 7.900 hingga 8.500 token per detik dengan kernel yang disetel, yang berarti perintah panjang diproses dalam waktu kurang dari satu detik.
  • Delapan streaming serentak: agregat 542 token per detik, dengan 90,3 token per detik per streaming.
  • 64-stream burst: agregat 830 token per detik, tanpa kesalahan kehabisan memori dan tanpa kegagalan mesin.
  • Panjang konteks: 256.000 token divalidasi dalam pengujian, dengan arsitektur yang mendukung hingga satu juta.

Seluruh model menempati 156,67 gigabyte memori bandwidth tinggi, sepenuhnya sesuai dengan kumpulan HBM3 192 gigabyte milik MI300X. Tidak diperlukan kuantisasi atau pembongkaran bobot tambahan, sehingga akurasi penuh model tetap terjaga.

Mengapa MI300X Berfungsi

AMD MI300X memiliki dua atribut yang memungkinkan penerapan GPU tunggal pada model sebesar ini. Ia memiliki memori HBM3 192 gigabyte, 2,4 kali kapasitas Nvidia H100 SXM5, dan bandwidth memori 5,3 terabyte per detik. Tulisan terpisah oleh pengembang yang diidentifikasi sebagai Fergus Finn, yang meletakkan dasar bagi penerapan ini, memperkirakan bahwa harga MI300X kira-kira setengah dari harga perangkat keras Nvidia yang sebanding.

Untuk pos pemeriksaan khusus dengan 304 miliar parameter ini, kapasitas memori adalah faktor penentu. Model ini sepenuhnya cocok dengan memori on-chip, menyisakan ruang untuk kumpulan cache nilai kunci GPU sebesar 20 gigabyte dan tingkat CPU 96 gigabyte untuk entri cache awalan yang dikeluarkan. Satu kartu dapat menangani dua hingga delapan aliran bersamaan dan semburan hingga 64 aliran, yang cukup untuk banyak beban kerja inferensi produksi.

Rintangan Teknik

Menjalankan DeepSeek V4 Flash di MI300X tidaklah mudah. Resep vLLM resmi mencakup perangkat keras Nvidia dan GPU AMD yang lebih baru seperti MI325X dan MI355X, tetapi tidak mencakup konfigurasi produksi MI300X tunggal untuk pos pemeriksaan 31 Juli.

Repositori mendokumentasikan beberapa masalah teknik yang harus diselesaikan. MI300X menggunakan varian format angka FP8 yang berbeda dari standar yang digunakan oleh chip AMD yang lebih baru, dan kernel yang mengasumsikan semantik yang salah dapat memberikan hasil yang salah dua kali lipat. Pengembang juga harus memperbaiki perutean campuran ahli pada konkurensi tinggi, verifikasi spekulatif kausal, dan sinkronisasi nilai kunci CPU, beberapa di antaranya masih belum diperbaiki di vLLM upstream.

Repositori menambahkan overlay kebenaran, konfigurasi penyajian yang divalidasi dengan penyusunan spekulatif, tabel penyetelan AITER GEMM untuk bentuk chip yang tidak ada dalam tabel paket, dan strategi nilai kunci hibrid yang menggabungkan cache GPU dengan pembongkaran CPU.

Apa Artinya bagi Perang Chip

Demonstrasi ini merupakan momen penting bagi ambisi AMD di bidang AI. Nvidia menguasai sebagian besar pasar akselerator AI, didukung oleh ekosistem perangkat lunak CUDA, yang oleh banyak pengembang dilihat sebagai parit yang sulit diseberangi oleh AMD. SemiAnalysis mengkaji pertanyaan itu secara langsung dalam analisis Juli 2026 bertajuk “Dapatkah AMD mendobrak parit CUDA?” dan jawabannya masih diperdebatkan.

Namun proyek sumber terbuka seperti ini menghilangkan kesenjangan persepsi. Jika sebuah MI300X dapat melayani model skala terdepan dengan kecepatan yang kompetitif, argumen biaya untuk AMD menjadi lebih sulit untuk diabaikan. AMD juga telah membangun portofolio model terbukanya sendiri, merilis Instella-MoE-16B, model terbuka penuh yang dilatih dari awal pada GPU Instinct miliknya, dan bermitra dengan Zyphra pada platform MI355X 15 megawatt.

Sementara itu, DeepSeek sendiri telah menurunkan biaya AI frontier. Model V4 Flash sudah menjadi model termurah yang pernah dijalankan menurut analisis perusahaan riset, menyamai GPT-5.6 Luna dengan biaya 60 persen lebih rendah. Dikombinasikan dengan perangkat keras AMD yang lebih murah, keekonomian dalam melayani model besar di luar ekosistem Nvidia meningkat pesat.

Keuntungan Sumber Terbuka

Repositori ini menggarisbawahi tema yang lebih luas dalam pengembangan AI pada tahun 2026: model bobot terbuka dan alat inferensi sumber terbuka memungkinkan para insinyur independen untuk mereplikasi dan mengoptimalkan penerapan yang dulunya merupakan domain eksklusif laboratorium yang didanai dengan baik. Dengan memublikasikan konfigurasi lengkap, tabel penyetelan, dan bug spesifik yang diperbaiki, pekerjaan ini menurunkan hambatan bagi siapa pun yang mempertimbangkan perangkat keras AMD untuk beban kerja AI yang serius.

Tetap Terdepan dalam AI

Pertarungan antara AMD dan Nvidia untuk inferensi AI semakin intensif, dan kontribusi sumber terbuka seperti penerapan ini secara diam-diam mengubah lanskap persaingan. Untuk perkembangan AI terkini di bidang perangkat keras, model terbuka, dan infrastruktur, ikuti terus liputan kami.

Baca berita AI selengkapnya →