Ekonomi infrastruktur AI telah berubah. Kira-kira dua pertiga daripada beban kerja yang dijalankan melalui infrastruktur AI hari ini adalah inferens dan bukannya latihan, menurut eksekutif Positron AI Cameron McCaskill, yang berkongsi angka itu dalam temu bual dengan theCUBE Research pada persidangan superkomputer SC26. Tiga tahun lalu, perpecahan itu hampir bertentangan: kira-kira 85 peratus latihan dan 15 peratus inferens.

Pembalikan itu secara senyap-senyap melukis semula peta tempat pengiraan AI hidup — dan ia menjelaskan mengapa generasi baharu pembuat cip yang mengutamakan inferens tiba-tiba memenangi tawaran awan daripada syarikat yang jauh lebih besar daripada mereka.

Nombor di Sebalik Flip

"Kami berada pada titik di mana kira-kira dua pertiga daripada beban kerja yang dijalankan melalui infrastruktur AI ini adalah inferens berbanding satu pertiga ialah latihan," kata McCaskill, ketua jualan dan pembangunan perniagaan di Positron, dalam temu bual dengan Rebecca Knight dan John Furrier dari theCUBE Research. "Pada tahun 2023, ia seperti 85% latihan, 15% inferens. Jadi sekarang anda boleh melihat mengapa inferens memacu keputusan ekonomi tentang bagaimana mereka akan membina infrastruktur mereka."

Peralihan masuk akal intuitif. Latihan berlaku di segelintir makmal sempadan dengan kluster berbilion dolar. Inferens berlaku di mana-mana, setiap kali pengguna menggesa model — dan apabila penggunaan pengguna dan perusahaan telah meletup, permintaan agregat untuk token telah mengatasi infrastruktur yang dibina untuk era latihan. Bekalan kuasa, penyejukan dan memori kini membentuk tempat token dijana sama seperti prestasi cip mentah, dan itu mengubah perkakasan yang memenangi tawaran.

Pertaruhan Positron pada Memori Komoditi

Positron AI, yang mengumpul $875 juta pada penilaian $5 bilion pada bulan September, telah membina keseluruhan strateginya di sekitar era inferens. Pilihan reka bentuk pusat syarikat: langkau memori lebar jalur tinggi (HBM), jenis memori yang terhad dan mahal yang menambat kebanyakan pemecut AI, dan sebaliknya membina peralatan inferens di sekitar memori komoditi.

"Semua orang dalam industri ini menggunakan apa yang dipanggil HBM atau memori lebar jalur tinggi. Ia sangat terhad dalam bekalan, sangat mahal," kata McCaskill. "Kami pergi dengan ingatan komoditi."

Pertukaran itu disengajakan. Memori komoditi adalah lebih murah dan jauh lebih mudah untuk mendapatkan sumber, dan seni bina Positron mengekalkan kuasa yang cukup rendah untuk bilik yang disejukkan udara — tiada penyejukan cecair eksotik diperlukan. Pelayan Positron tunggal mengeluarkan kira-kira 4,500 watt, dan rak penuh pelayan Titan akan datang syarikat muat dalam 40 kilowatt.

Pelan hala tuju semakin pantas. Pelayan Atlas generasi pertama Positron dijalankan pada cip boleh atur cara, dan syarikat itu merancang untuk merakam silikonnya sendiri awal tahun depan untuk pelayan Titan. Syarikat itu telah mendarat penempatan marquee: Oracle membawa kira-kira 340 pelayan Atlas secara langsung dalam awannya pada suku ini, menurut McCaskill, dan penyedia neocloud telah menandatangani untuk Atlas sambil komited kepada generasi Titan yang akan datang.

Pusat Data Modular Menjadi Rumah Semulajadi untuk Inferens

Mungkin bahagian temu bual yang paling penting ialah tempat McCaskill mengatakan permintaan itu datang dari: bukan kampus hiperskala, tetapi kemudahan modular yang kecil, pantas.

"Salah satu kumpulan syarikat yang kami lihat meningkat sekarang dan datang kepada kami untuk mendapatkan produk ialah pusat data modular ini, di mana mereka mempunyai setengah megawatt atau, pusat data modular 1 megawatt atau 2.5 megawatt, dan ia boleh digunakan dengan cepat," katanya. "Matlamat kebanyakan pemain inferens ini ialah saya mahu mendapatkan dari darat dan kuasa kepada token boleh wang dalam masa 90 hingga 120 hari."

Garis masa itu - kira-kira satu perempat daripada pecah tanah kepada hasil - adalah mustahil untuk kampus latihan berskala gigawatt, yang boleh mengambil masa bertahun-tahun untuk membenarkan, membina dan memberi tenaga. Beban kerja inferens adalah lebih kecil, lebih fleksibel dari segi geografi dan bertolak ansur dengan tapak yang pengendali boleh menemui beberapa megawatt kuasa murah tanpa halangan pengawalseliaan yang berat. Hasilnya ialah satu peringkat yang baru muncul bagi infrastruktur inferens teragih yang berada di tapak telco, kemudahan kolokasi dan unit modular yang lebih dekat dengan permintaan sebenarnya.

Maksudnya untuk Industri

Bagi vendor cip, mesejnya ialah pasaran perkakasan AI bercabang dua. Latihan terus memberi ganjaran kepada pemecut yang paling maju dan poket terdalam. Inferens memberi ganjaran kebaikan yang berbeza: kecekapan kuasa, kos memori, kelajuan penggunaan dan keupayaan untuk berjalan di bangunan biasa yang disejukkan udara. Vendor yang dioptimumkan hanya untuk perlumbaan latihan mungkin mendapati volum terbesar keputusan penggunaan masa hadapan — tempat token sebenarnya diwangkan — berlaku pada perkakasan yang direka bentuk untuk set kekangan yang berbeza.

Bagi perusahaan dan pelanggan awan, peralihan itu kebanyakannya tidak kelihatan tetapi semakin berbangkit: kapasiti inferens yang tiba dalam kenaikan 90 hingga 120 hari bermakna harga yang lebih kompetitif dan lebih banyak pilihan geografi untuk menjalankan model berhampiran pengguna dan data.

Dan untuk naratif binaan industri AI — sering dirangka sebagai perlumbaan yang tidak berkesudahan untuk kampus gigawatt — flip inferens adalah peringatan bahawa keluk permintaan semakin meluas, bukan hanya berskala. Pencapaian dua pertiga yang disebut di SC26 ialah anggaran seorang eksekutif, tetapi ia sepadan dengan arah yang dilaporkan oleh setiap pengendali awan utama: pusat graviti binaan AI bergerak daripada melatih model kepada memberi perkhidmatan kepada mereka.

Kekal Mendahului AI

Jejaki perkembangan AI terkini semasa ia berlaku dengan AI Buzz Wire, sumber anda untuk berita perkakasan dan infrastruktur AI.

Baca lebih banyak berita AI →