Perekonomian infrastruktur AI telah terbalik. Sekitar dua pertiga dari beban kerja yang dijalankan melalui infrastruktur AI saat ini adalah inferensi, bukan pelatihan, menurut eksekutif Positron AI Cameron McCaskill, yang menyampaikan angka tersebut dalam sebuah wawancara dengan CUBE Research di konferensi superkomputer SC26. Tiga tahun lalu, pembagiannya justru bertolak belakang: sekitar 85 persen pelatihan dan 15 persen inferensi.
Pembalikan ini secara diam-diam mengubah peta keberadaan komputasi AI – dan ini menjelaskan mengapa generasi baru pembuat chip yang mengutamakan inferensi tiba-tiba memenangkan kesepakatan cloud dari perusahaan-perusahaan yang jauh lebih besar dari mereka.
Angka dibalik Flip
“Kami berada pada titik di mana sekitar dua pertiga dari beban kerja yang dijalankan melalui infrastruktur AI ini adalah inferensi versus sepertiganya adalah pelatihan,” kata McCaskill, kepala penjualan dan pengembangan bisnis di Positron, dalam wawancara dengan Rebecca Knight dan John Furrier dari CUBE Research. “Pada tahun 2023, hal ini seperti 85% pelatihan, 15% inferensi. Jadi sekarang Anda dapat melihat mengapa inferensi mendorong keputusan ekonomi mengenai bagaimana mereka akan membangun infrastruktur mereka.”
Pergeseran ini masuk akal secara intuitif. Pelatihan dilakukan di beberapa laboratorium terdepan dengan kelompok bernilai miliaran dolar. Inferensi terjadi di mana-mana, setiap kali pengguna meminta suatu model — dan seiring dengan melonjaknya adopsi konsumen dan perusahaan, permintaan agregat terhadap token telah membanjiri infrastruktur yang dibangun untuk era pelatihan. Pasokan daya, pendinginan, dan memori kini terbentuk di mana token dihasilkan sama seperti kinerja chip mentah, dan hal itu mengubah perangkat keras mana yang memenangkan kesepakatan.
Taruhan Positron pada Memori Komoditas
Positron AI, yang mengumpulkan $875 juta dengan penilaian $5 miliar pada bulan September, telah membangun seluruh strateginya seputar era inferensi. Pilihan desain utama perusahaan: lewati memori bandwidth tinggi (HBM), jenis memori langka dan mahal yang menjadi landasan sebagian besar akselerator AI, dan sebagai gantinya membangun peralatan inferensi di sekitar memori komoditas.
“Hampir semua orang di industri ini menggunakan apa yang disebut HBM atau memori bandwidth tinggi. Persediaannya sangat terbatas dan sangat mahal,” kata McCaskill. "Kami menggunakan memori komoditas."
Pertukaran ini disengaja. Memori komoditas lebih murah dan jauh lebih mudah didapat, dan arsitektur Positron menjaga daya tetap cukup rendah untuk ruangan berpendingin udara — tidak memerlukan pendingin cair yang eksotik. Satu server Positron menggunakan daya sekitar 4.500 watt, dan satu rak penuh server Titan perusahaan yang akan datang dapat menampung daya sebesar 40 kilowatt.
Peta jalan berjalan dengan cepat. Server Atlas generasi pertama Positron berjalan pada chip yang dapat diprogram, dan perusahaan berencana untuk memproduksi silikonnya sendiri awal tahun depan untuk server Titan. Perusahaan ini telah melakukan penerapan besar-besaran: Oracle menghadirkan sekitar 340 server Atlas langsung di cloud-nya pada kuartal ini, menurut McCaskill, dan penyedia neocloud telah menandatangani kontrak dengan Atlas sambil berkomitmen pada generasi Titan yang akan datang.
Pusat Data Modular Menjadi Rumah Alami untuk Inferensi
Mungkin bagian yang paling penting dari wawancara ini adalah dari mana McCaskill mengatakan bahwa permintaan tersebut berasal: bukan dari kampus yang berskala besar, namun dari fasilitas yang kecil, cepat, dan modular.
“Salah satu kelompok perusahaan yang saat ini kami lihat sedang meningkat dan datang kepada kami untuk membeli produk adalah pusat data modular ini, yang memiliki pusat data modular berukuran setengah megawatt atau, 1 megawatt atau 2,5 megawatt, dan pusat data tersebut dapat dikerahkan dengan sangat cepat,” katanya. “Tujuan dari banyak pemain inferensi ini adalah saya ingin mendapatkan token yang dapat dimonetisasi dari tanah dan kekuasaan dalam waktu 90 hingga 120 hari.”
Jangka waktu tersebut – kira-kira seperempat dari tahap awal hingga pendapatan – tidak mungkin dilakukan untuk kampus pelatihan berskala gigawatt, yang memerlukan waktu bertahun-tahun untuk mendapatkan izin, membangun, dan memberi energi. Beban kerja inferensi lebih kecil, lebih fleksibel secara geografis, dan toleran terhadap lokasi di mana operator dapat memperoleh listrik murah beberapa megawatt tanpa hambatan peraturan yang berat. Hasilnya adalah munculnya tingkat infrastruktur inferensi terdistribusi yang berada di situs telekomunikasi, fasilitas kolokasi, dan unit modular yang lebih dekat dengan permintaan sebenarnya.
Apa Artinya Bagi Industri
Bagi vendor chip, pesannya adalah bahwa pasar perangkat keras AI sedang terbagi dua. Pelatihan terus memberikan penghargaan kepada akselerator paling canggih dan yang berkantong paling dalam. Inferensi memberikan manfaat yang berbeda: efisiensi daya, biaya memori, kecepatan penerapan, dan kemampuan untuk berjalan di gedung berpendingin udara biasa. Vendor yang dioptimalkan hanya untuk perlombaan pelatihan mungkin mendapati volume terbesar dari keputusan penerapan di masa depan — di mana token benar-benar dimonetisasi — terjadi pada perangkat keras yang dirancang untuk serangkaian batasan berbeda.
Bagi perusahaan dan pelanggan cloud, perubahan ini sebagian besar tidak terlihat namun semakin penting: kapasitas inferensi yang mencapai peningkatan 90 hingga 120 hari berarti harga yang lebih kompetitif dan pilihan geografis yang lebih banyak untuk menjalankan model di dekat pengguna dan data.
Dan untuk narasi pengembangan industri AI – yang sering dibingkai sebagai perlombaan tanpa akhir untuk mendapatkan kampus gigawatt – pembalikan inferensi adalah pengingat bahwa kurva permintaan semakin melebar, bukan hanya meningkat. Dua pertiga pencapaian yang disebutkan di SC26 merupakan perkiraan seorang eksekutif, namun hal ini sesuai dengan arah yang dilaporkan oleh setiap operator cloud besar: pusat gravitasi pengembangan AI beralih dari melatih model ke melayani mereka.
Tetap Terdepan dalam AILacak perkembangan AI terkini yang terjadi dengan AI Buzz Wire, sumber berita perangkat keras dan infrastruktur AI untuk Anda.
Baca berita AI selengkapnya →