De economie van de AI-infrastructuur is omgedraaid. Ongeveer tweederde van de werklasten die vandaag de dag door de AI-infrastructuur lopen, zijn gevolgtrekkingen in plaats van training, volgens Cameron McCaskill, directeur van Positron AI, die dit cijfer deelde in een interview met theCUBE Research op de SC26 supercomputing-conferentie. Drie jaar geleden was de verdeling bijna precies het tegenovergestelde: ongeveer 85 procent training en 15 procent gevolgtrekking.
Die omkering hertekent stilletjes de kaart van waar AI-computers leven – en het verklaart waarom een nieuwe generatie chipmakers die op de inferentie gericht zijn plotseling clouddeals binnenhaalt van bedrijven die veel groter zijn dan zijzelf.
De cijfers achter de klep
"We bevinden ons op een punt waarop ongeveer tweederde van de werklasten die via deze AI-infrastructuren worden uitgevoerd, gevolgtrekkingen zijn en een derde training is", zegt McCaskill, hoofd verkoop en bedrijfsontwikkeling bij Positron, in een interview met Rebecca Knight en John Furrier van theCUBE Research. "In 2023 was het 85% training, 15% gevolgtrekking. Dus nu kun je zien waarom gevolgtrekkingen de economische beslissingen bepalen over hoe ze hun infrastructuur gaan uitbouwen."
De verschuiving is intuïtief logisch. De training vindt plaats in een handvol grenslaboratoria met clusters van miljarden dollars. Inferentie vindt overal plaats, elke keer dat een gebruiker om een model vraagt. En naarmate de adoptie door consumenten en bedrijven explosief is toegenomen, heeft de totale vraag naar tokens de infrastructuur die voor het trainingstijdperk is gebouwd, overweldigd. Stroom-, koeling- en geheugenvoorziening bepalen nu net zo goed waar tokens worden gegenereerd als de ruwe chipprestaties, en dat verandert welke hardware deals wint.
Positron's weddenschap op grondstoffengeheugen
Positron AI, dat in september 875 miljoen dollar ophaalde tegen een waardering van 5 miljard dollar, heeft zijn hele strategie rond het inferentietijdperk opgebouwd. De centrale ontwerpkeuze van het bedrijf: sla high-bandwidth memory (HBM) over, het schaarse en dure geheugentype dat de meeste AI-versnellers verankert, en bouw inferentieapparatuur rond standaardgeheugen.
"Iedereen in de industrie maakt vrijwel gebruik van wat HBM of geheugen met hoge bandbreedte wordt genoemd. Het aanbod is zeer beperkt en erg duur", aldus McCaskill. "We gingen met grondstoffengeheugen."
De afwegingen zijn bewust gemaakt. Basisgeheugen is goedkoper en veel gemakkelijker te verkrijgen, en de architectuur van Positron houdt het vermogen laag genoeg voor luchtgekoelde kamers - geen exotische vloeistofkoeling vereist. Een enkele Positron-server verbruikt ongeveer 4.500 watt, en een volledig rack met de aankomende Titan-servers van het bedrijf past binnen 40 kilowatt.
De routekaart vordert snel. De Atlas-server van de eerste generatie van Positron draaide op een programmeerbare chip en het bedrijf is van plan begin volgend jaar zijn eigen silicium af te tappen voor de Titan-server. Het bedrijf heeft al grote implementaties gerealiseerd: Oracle brengt dit kwartaal ongeveer 340 Atlas-servers live in de cloud, volgens McCaskill, en een neocloud-provider heeft zich aangesloten bij Atlas terwijl hij zich inzet voor de komende Titan-generatie.
Modulaire datacenters worden de natuurlijke thuisbasis voor inferentie
Misschien wel het meest consequente deel van het interview is waar McCaskill zegt dat de vraag vandaan komt: geen hyperscale campussen, maar kleine, snelle, modulaire faciliteiten.
"Een van de groepen bedrijven waar we nu een opkomst zien en die naar ons toe komen voor producten, zijn deze modulaire datacenters, waar ze een modulair datacenter van een halve megawatt of 1 megawatt of 2,5 megawatt hebben, en die kunnen zeer snel worden ingezet", zei hij. "Het doel van veel van deze inferentiespelers is dat ik binnen 90 tot 120 dagen van land en macht naar tokens wil komen die inkomsten kunnen genereren."
Die tijdlijn – grofweg een kwart van baanbrekende grond tot inkomsten – is onmogelijk voor een trainingscampus op gigawatt-schaal, die jaren kan duren om deze mogelijk te maken, te bouwen en te activeren. De werklast voor inferentie is kleiner, geografisch flexibeler en toleranter ten opzichte van locaties waar operators een paar megawatt aan goedkope stroom kunnen vinden zonder zware hindernissen op regelgevingsgebied. Het resultaat is een opkomend niveau van gedistribueerde inferentie-infrastructuur in telecomlocaties, colocatiefaciliteiten en modulaire eenheden die dichter bij de plaats liggen waar de vraag daadwerkelijk is.
Wat het betekent voor de industrie
Voor chipleveranciers is de boodschap dat de AI-hardwaremarkt zich splitst. Training blijft de meest geavanceerde versnellers en de diepste zakken belonen. Inference beloont verschillende deugden: energie-efficiëntie, geheugenkosten, implementatiesnelheid en de mogelijkheid om in gewone luchtgekoelde gebouwen te werken. Leveranciers die alleen zijn geoptimaliseerd voor de trainingsrace zullen wellicht het grootste deel van de toekomstige implementatiebeslissingen (waarbij tokens feitelijk worden omgezet in inkomsten) vinden op hardware die is ontworpen voor een andere reeks beperkingen.
Voor ondernemingen en cloudklanten is de verschuiving grotendeels onzichtbaar, maar heeft ze steeds meer gevolgen: gevolgtrekkingscapaciteit die in stappen van 90 tot 120 dagen arriveert, betekent meer concurrerende prijzen en meer geografische opties voor het uitvoeren van modellen in de buurt van gebruikers en gegevens.
En voor het uitbouwverhaal van de AI-industrie – vaak geframed als een eindeloze race om gigawattcampussen – herinnert de omkering van de gevolgtrekkingen eraan dat de vraagcurve zich verbreedt en niet alleen maar schaalt. De op SC26 genoemde tweederde mijlpaal is de schatting van één leidinggevende, maar komt overeen met de richting die elke grote cloudoperator heeft gerapporteerd: het zwaartepunt van de AI-buildout verschuift van het trainen van de modellen naar het bedienen ervan.
Blijf AI een stap voorVolg de nieuwste AI-ontwikkelingen terwijl ze zich voordoen met AI Buzz Wire, uw bron voor nieuws over AI-hardware en infrastructuur.
Lees meer AI-nieuws →