Ekonomin för AI-infrastruktur har vänt. Ungefär två tredjedelar av arbetsbelastningen som körs genom AI-infrastruktur idag är slutledning snarare än träning, enligt Positron AI-chefen Cameron McCaskill, som delade siffran i en intervju med CUBE Research på SC26 supercomputing-konferensen. För tre år sedan var splittringen nästan raka motsatsen: cirka 85 procent träning och 15 procent slutledning.
Den omsvängningen ritar tyst om kartan över var AI-beräkningar bor - och den förklarar varför en ny generation av chiptillverkare som börjar med slutsatsen plötsligt vinner molnaffärer från företag som är mycket större än dem själva.
Siffrorna bakom luckan
"Vi är vid en punkt där ungefär två tredjedelar av arbetsbelastningen som körs genom dessa AI-infrastrukturer är slutsatser jämfört med en tredjedel är utbildning", säger McCaskill, chef för försäljning och affärsutveckling på Positron, i intervjun med Rebecca Knight och John Furrier från theCUBE Research. "Tillbaka 2023 var det som 85 % träning, 15 % slutledning. Så nu kan du se varför slutsatser driver de ekonomiska besluten om hur de ska bygga ut sin infrastruktur."
Skiftet är intuitivt vettigt. Utbildning sker på en handfull gränslaboratorier med miljardkluster. Inferens sker överallt, varje gång en användare uppmanar en modell – och när konsumenternas och företagens introduktion har exploderat har den samlade efterfrågan på tokens överväldigat infrastrukturen som byggts för träningseran. Ström, kylning och minnesförsörjning formar nu var tokens genereras lika mycket som råchipprestandan gör, och det förändrar vilken hårdvara som vinner affärer.
Positrons satsning på varuminne
Positron AI, som samlade in 875 miljoner dollar till en värdering på 5 miljarder dollar i september, har byggt upp hela sin strategi kring inferenseran. Företagets centrala designval: hoppa över minne med hög bandbredd (HBM), den knappa och dyra minnestypen som förankrar de flesta AI-acceleratorer, och bygg istället slutledningsapparater kring varuminne.
"Alla andra i stort sett i branschen använder det som kallas HBM eller hög bandbreddsminne. Det är väldigt begränsat i utbudet, väldigt dyrt," sa McCaskill. "Vi gick med varuminne."
Avvägningarna är medvetna. Varuminne är billigare och mycket enklare att köpa, och Positrons arkitektur håller strömmen tillräckligt låg för luftkylda rum – ingen exotisk vätskekylning krävs. En enda Positron-server drar cirka 4 500 watt, och ett fullt rack av företagets kommande Titan-servrar ryms inom 40 kilowatt.
Färdplanen går snabbt framåt. Positrons första generationens Atlas-server körde på ett programmerbart chip, och företaget planerar att tejpa ut sitt eget kisel tidigt nästa år för Titan-servern. Företaget har redan landat markeringsutrullningar: Oracle ger cirka 340 Atlas-servrar live i sitt moln det här kvartalet, enligt McCaskill, och en neocloud-leverantör har skrivit på för Atlas samtidigt som han förbinder sig till den kommande Titan-generationen.
Modulära datacenter blir det naturliga hemmet för slutledningar
Den kanske mest betydelsefulla delen av intervjun är var McCaskill säger att efterfrågan kommer ifrån: inte hyperskaliga campus, utan små, snabba, modulära anläggningar.
"En av de företagsgrupper som vi ser en ökning i just nu och som kommer till oss för att köpa produkter är dessa modulära datacenter, där de har ett modulärt datacenter på en halv megawatt eller 1 megawatt eller 2,5 megawatt, och de kan distribueras mycket snabbt", sa han. "Målet för många av dessa slutsatsspelare är att jag vill komma från land och makt till intäktsbara tokens inom 90 till 120 dagar."
Den tidslinjen - ungefär en fjärdedel från banbrytande till intäkter - är omöjlig för ett gigawatt-skala träningscampus, som kan ta år att tillåta, bygga och få energi. Inferensarbetsbelastningar är mindre, mer geografiskt flexibla och toleranta mot platser där operatörer kan hitta några få megawatt billig kraft utan tunga regulatoriska hinder. Resultatet är en framväxande nivå av distribuerad slutledningsinfrastruktur som sitter i telekomsajter, samlokaliseringsanläggningar och modulära enheter närmare där efterfrågan faktiskt är.
Vad det betyder för branschen
För chipleverantörer är budskapet att AI-hårdvarumarknaden delar sig. Träningen fortsätter att belöna de mest avancerade acceleratorerna och de djupaste fickorna. Inferens belönar olika fördelar: energieffektivitet, minneskostnad, driftsättningshastighet och förmågan att köra i vanliga luftkylda byggnader. Leverantörer som endast är optimerade för träningsloppet kan hitta den största volymen framtida implementeringsbeslut – där tokens faktiskt tjänar pengar på – på hårdvara designad för en annan uppsättning begränsningar.
För företag och molnkunder är förändringen för det mesta osynlig men allt mer följdriktig: slutledningskapacitet som kommer i steg om 90 till 120 dagar innebär mer konkurrenskraftiga priser och fler geografiska alternativ för att köra modeller nära användare och data.
Och för AI-branschens uppbyggnadsberättelse – ofta inramad som en oändlig kapplöpning för gigawatt-campus – är slutsatsen en påminnelse om att efterfrågekurvan breddar, inte bara skalas. Den två tredjedelars milstolpe som citeras vid SC26 är en chefs uppskattning, men den matchar den riktning som varje större molnoperatör har rapporterat: AI-utbyggnadens tyngdpunkt flyttar från att träna modellerna till att betjäna dem.
Lägg dig före AISpåra den senaste AI-utvecklingen när de händer med AI Buzz Wire, din källa för nyheter om AI-hårdvara och infrastruktur.
Läs mer AI-nyheter →