Ekonomi infrastruktur AI wis mudhun. Kira-kira rong pertiga saka beban kerja sing mlaku liwat infrastruktur AI saiki minangka inferensi tinimbang latihan, miturut eksekutif Positron AI Cameron McCaskill, sing nuduhake tokoh kasebut ing wawancara karo CUBE Research ing konferensi superkomputer SC26. Telung taun kepungkur, pamisah iki meh ngelawan: babagan 85 persen latihan lan 15 persen kesimpulan.
Pembalikan kasebut kanthi tenang nggambar maneh peta ing ngendi komputasi AI urip - lan nerangake kenapa generasi anyar pembuat chip sing pertama inferensi tiba-tiba menang tawaran awan saka perusahaan sing luwih gedhe tinimbang awake dhewe.
Angka ing Konco Flip
"Kita ana ing titik sing kira-kira rong pertiga saka beban kerja sing ditindakake liwat infrastruktur AI iki minangka inferensi tinimbang siji-katelu latihan," ujare McCaskill, kepala penjualan lan pangembangan bisnis ing Positron, ing wawancara karo Rebecca Knight lan John Furrier ing CUBE Research. "Mbalik ing 2023, kaya 85% latihan, 15% inferensi. Dadi saiki sampeyan bisa ndeleng kenapa inferensi nyopir keputusan ekonomi babagan carane mbangun infrastruktur.
Pergeseran ndadekake pangertèn intuisi. Latihan ditindakake ing sawetara laboratorium perbatasan kanthi klompok milyar dolar. Inferensi kedadeyan ing endi wae, saben pangguna njaluk model - lan nalika adopsi konsumen lan perusahaan wis mbledhos, panjaluk agregat kanggo token wis ngluwihi infrastruktur sing dibangun kanggo jaman latihan. Pasokan daya, pendinginan, lan memori saiki dibentuk ing ngendi token diasilake kaya kinerja chip mentah, lan owah-owahan hardware sing menang.
Bet Positron ing memori komoditas
Positron AI, sing ngunggahake $875 yuta kanthi regane $5 milyar ing wulan September, wis nggawe kabeh strategi ing jaman inferensi. Pilihan desain pusat perusahaan: skip memori bandwidth dhuwur (HBM), jinis memori sing langka lan larang sing paling akeh akselerator AI, lan nggawe piranti inferensi ing sekitar memori komoditas.
"Saben uwong ing industri iki nggunakake apa sing disebut HBM utawa memori bandwidth dhuwur. Iku winates banget ing sumber, larang banget," McCaskill ngandika. "We tindak karo memori komoditas."
Ijol-ijolan kasebut disengaja. memori komoditas luwih murah lan adoh luwih gampang kanggo sumber, lan arsitektur Positron kang tetep daya kurang cukup kanggo kamar online-digawe adhem - ora perlu cooling Cairan endah. A server Positron siji ndudohke babagan 4.500 watt, lan rak lengkap saka server Titan mbesuk perusahaan mathuk ing 40 kilowatt.
Peta dalan maju kanthi cepet. Server Atlas generasi pisanan Positron mlaku ing chip sing bisa diprogram, lan perusahaan kasebut ngrancang nggawe tape silikon dhewe ing awal taun ngarep kanggo server Titan. Perusahaan kasebut wis ndharat penyebaran marquee: Oracle nggawa kira-kira 340 server Atlas sing manggon ing awan ing kuartal iki, miturut McCaskill, lan panyedhiya neocloud wis mlebu kanggo Atlas nalika nindakake generasi Titan sing bakal teka.
Pusat Data Modular Dadi Omah Alami kanggo Inferensi
Mbok bagean paling consequential saka Interview ngendi McCaskill ngandika dikarepake teka saka: ora kampus hyperscale, nanging cilik, cepet, fasilitas modul.
"Salah sawijining klompok perusahaan sing saiki mundhak lan teka kanggo produk yaiku pusat data modular iki, sing duwe setengah megawatt utawa, pusat data modular 1 megawatt utawa 2,5 megawatt, lan bisa disebarake kanthi cepet," ujare. "Tujuan saka akeh pemain inferensi iki yaiku aku pengin njaluk saka tanah lan kekuwatan menyang token sing bisa dimonetisasi sajrone 90 nganti 120 dina."
Garis wektu kasebut - kira-kira seprapat saka entuk bathi - ora mungkin kanggo kampus latihan skala gigawatt, sing butuh pirang-pirang taun kanggo ngidini, mbangun, lan menehi energi. Beban kerja inferensi luwih cilik, luwih fleksibel sacara geografis, lan toleran situs sing operator bisa nemokake sawetara megawatt daya murah tanpa alangan peraturan sing abot. Asil kasebut minangka tingkat infrastruktur inferensi sing disebarake ing situs telco, fasilitas colocation, lan unit modular sing luwih cedhak karo sing dikarepake.
Apa Tegese kanggo Industri
Kanggo vendor chip, pesen kasebut yaiku pasar hardware AI bifurcating. Latihan terus menehi ganjaran akselerator paling maju lan kanthong paling jero. Inferensi menehi kabecikan sing beda-beda: efisiensi daya, biaya memori, kacepetan panyebaran, lan kemampuan kanggo mbukak ing bangunan sing adhem hawa biasa. Vendor optimized mung kanggo lomba latihan bisa nemokake volume paling gedhe saka pancasan penyebaran prajurit mangsa - ngendi token bener monetized - kedados ing hardware dirancang kanggo pesawat beda saka alangan.
Kanggo perusahaan lan pelanggan awan, owah-owahan kasebut biasane ora katon nanging tambah akeh konsekuensine: kapasitas inferensi sing teka ing kenaikan 90 nganti 120 dina tegese rega sing luwih kompetitif lan luwih akeh opsi geografis kanggo mbukak model sing cedhak karo pangguna lan data.
Lan kanggo narasi mbangun industri AI - asring dipigura minangka balapan tanpa wates kanggo kampus gigawatt - flip inferensi minangka pangeling yen kurva permintaan saya nyebar, ora mung skala. Tonggak sejarah rong pertiga sing dikutip ing SC26 minangka prakiraan eksekutif, nanging cocog karo arah sing dilapurake saben operator awan utama: pusat gravitasi AI buildout pindah saka latihan model kanggo ngladeni.
Tetep ing ngarep AILacak perkembangan AI paling anyar nalika kedadeyan karo AI Buzz Wire, sumber sampeyan kanggo warta hardware lan infrastruktur AI.
Waca liyane AI warta →