Economia infrastructurii AI s-a schimbat. Aproximativ două treimi din sarcinile de lucru care se desfășoară astăzi prin infrastructura AI sunt mai degrabă inferențe decât antrenament, potrivit executivului Positron AI, Cameron McCaskill, care a împărtășit cifra într-un interviu cu theCUBE Research la conferința de supercomputing SC26. În urmă cu trei ani, împărțirea a fost aproape exact opusul: aproximativ 85% antrenament și 15% inferență.
Această inversare redesenează în liniște harta unde trăiește calculul AI - și explică de ce o nouă generație de producători de cipuri cu inferență în primul rând câștigă dintr-o dată oferte în cloud de la companii mult mai mari decât ei înșiși.
Numerele din spatele flipului
„Ne aflăm într-un punct în care aproximativ două treimi din sarcinile de lucru care se desfășoară prin aceste infrastructuri AI sunt inferențe, comparativ cu o treime este formare”, a declarat McCaskill, șeful departamentului de vânzări și dezvoltare a afacerilor la Positron, în interviul cu Rebecca Knight și John Furrier de la CUBE Research. „În 2023, era ca 85% antrenament, 15% inferență. Așa că acum puteți vedea de ce deducerea conduce deciziile economice cu privire la modul în care își vor construi infrastructura.”
Schimbarea are sens intuitiv. Instruirea are loc la câteva laboratoare de frontieră cu grupuri de miliarde de dolari. Inferența are loc peste tot, de fiecare dată când un utilizator solicită un model - și, pe măsură ce adoptarea consumatorilor și a întreprinderilor a explodat, cererea agregată de jetoane a copleșit infrastructura construită pentru epoca instruirii. Alimentarea, răcirea și aprovizionarea cu memorie influențează acum locul în care se generează token-urile la fel de mult ca și performanța cipurilor brute și asta schimbă ce hardware câștigă oferte.
Pariul pozitronului pe memoria mărfurilor
Positron AI, care a strâns 875 de milioane de dolari la o evaluare de 5 miliarde de dolari în septembrie, și-a construit întreaga strategie în jurul erei inferenței. Alegerea centrală de design a companiei: să omiteți memoria cu lățime de bandă mare (HBM), tipul de memorie rar și costisitor care ancorează majoritatea acceleratoarelor AI și, în schimb, construiți dispozitive de inferență în jurul memoriei de marfă.
"Aproape toți ceilalți din industrie folosesc ceea ce se numește HBM sau memorie cu lățime de bandă mare. Este foarte limitată ca aprovizionare, foarte scumpă", a spus McCaskill. „Am mers cu memoria mărfurilor”.
Compensațiile sunt deliberate. Memoria de mărfuri este mai ieftină și mult mai ușor de aprovizionat, iar arhitectura lui Positron menține puterea suficient de scăzută pentru încăperile răcite cu aer - nu este necesară răcirea cu lichid exotic. Un singur server Positron consumă aproximativ 4.500 de wați, iar un rack complet al viitoarelor servere Titan ale companiei se încadrează în 40 de kilowați.
Foaia de parcurs avansează rapid. Serverul Atlas de prima generație al lui Positron a funcționat pe un cip programabil, iar compania intenționează să-și scoată propriul siliciu la începutul anului viitor pentru serverul Titan. Compania a atins deja implementări remarcabile: Oracle aduce aproximativ 340 de servere Atlas live în cloud în acest trimestru, potrivit McCaskill, iar un furnizor de neocloud s-a înscris pentru Atlas în timp ce se angajează pentru viitoarea generație Titan.
Centrele de date modulare devin casa naturală pentru inferență
Poate cea mai importantă parte a interviului este de unde McCaskill spune că vine cererea: nu campusuri la scară largă, ci facilități mici, rapide, modulare.
„Unul dintre grupurile de companii în care vedem o creștere chiar acum și care vin la noi pentru produse este aceste centre de date modulare, unde au un centru de date modular de jumătate de megawatt sau, de 1 megawatt sau 2,5 megawați, iar acestea pot fi implementate foarte repede”, a spus el. „Scopul multor dintre acești jucători de inferență este că vreau să ajung de la pământ și putere la jetoane monetizabile în decurs de 90 până la 120 de zile.”
Acest interval de timp - aproximativ un sfert de la început până la venituri - este imposibil pentru un campus de formare la scară de gigawați, care poate dura ani pentru a permite, construi și dinamiza. Sarcinile de lucru de inferență sunt mai mici, mai flexibile din punct de vedere geografic și mai tolerante cu site-urile în care operatorii pot găsi câțiva megawați de energie ieftină fără obstacole grele de reglementare. Rezultatul este un nivel emergent de infrastructură de inferență distribuită care se află în site-uri de telecomunicații, facilități de colocare și unități modulare mai aproape de locul unde este de fapt cererea.
Ce înseamnă pentru industrie
Pentru vânzătorii de cipuri, mesajul este că piața hardware AI se bifurcă. Antrenamentul continuă să recompenseze cele mai avansate acceleratoare și cele mai adânci buzunare. Inferența recompensează diferite virtuți: eficiența energiei, costul memoriei, viteza de implementare și capacitatea de a rula în clădiri obișnuite răcite cu aer. Furnizorii optimizați doar pentru cursa de antrenament ar putea găsi cel mai mare volum de decizii de implementare viitoare - în cazul în care jetoanele sunt de fapt monetizate - pe hardware proiectat pentru un set diferit de constrângeri.
Pentru întreprinderi și clienții din cloud, schimbarea este în mare parte invizibilă, dar din ce în ce mai semnificativă: capacitatea de inferență care ajunge în trepte de la 90 la 120 de zile înseamnă prețuri mai competitive și mai multe opțiuni geografice pentru rularea modelelor lângă utilizatori și date.
Iar pentru narațiunea de dezvoltare a industriei AI – adesea încadrată ca o cursă nesfârșită pentru campusuri de gigawați – deducerea este o reamintire că curba cererii se lărgește, nu doar se extinde. Etapa de două treimi citată la SC26 este estimarea unui director, dar se potrivește cu direcția pe care a raportat-o fiecare operator de cloud important: centrul de greutate al construcției AI trece de la antrenarea modelelor la servirea acestora.
Rămâneți înaintea AIUrmărește cele mai recente evoluții AI pe măsură ce se întâmplă cu AI Buzz Wire, sursa ta de știri despre hardware și infrastructură AI.
Citiți mai multe știri AI →