Ekonomika infrastruktury AI se obrátila. Podle manažera Positron AI Camerona McCaskilla, který toto číslo sdílel v rozhovoru s theCUBE Research na superpočítačové konferenci SC26, jsou zhruba dvě třetiny pracovních zátěží, které dnes probíhají prostřednictvím infrastruktury AI, spíše dedukcí než školením. Před třemi lety bylo rozdělení téměř přesně opačné: asi 85 procent školení a 15 procent inference.
Tento obrat v tichosti překresluje mapu toho, kde žije výpočetní technika AI – a vysvětluje, proč nová generace prvních výrobců čipů najednou získává cloudové nabídky od společností mnohem větších, než jsou oni sami.
Čísla za flipem
„Jsme v bodě, kdy asi dvě třetiny pracovních zátěží, které probíhají prostřednictvím těchto infrastruktur AI, jsou odvozené, zatímco jedna třetina je školení,“ řekl McCaskill, vedoucí prodeje a rozvoje obchodu ve společnosti Positron, v rozhovoru s Rebeccou Knight a Johnem Furrierem z theCUBE Research. "V roce 2023 to bylo jako 85 % školení, 15 % dedukce. Takže nyní můžete vidět, proč inference řídí ekonomická rozhodnutí o tom, jak budou budovat svou infrastrukturu."
Posun dává intuitivní smysl. Školení probíhá v několika hraničních laboratořích s miliardovými shluky. Odvozování se děje všude, pokaždé, když uživatel požádá o model – a jak explodovalo přijetí spotřebiteli a podniky, agregátní poptávka po tokenech přemohla infrastrukturu vybudovanou pro éru školení. Napájení, chlazení a napájení paměti nyní určují, kde se tokeny generují, stejně jako nezpracovaný výkon čipu, a to mění, který hardware vyhrává nabídky.
Positron's Bet on Commodity Memory
Positron AI, která v září získala 875 milionů dolarů při ocenění 5 miliard dolarů, postavila celou svou strategii kolem éry odvození. Hlavní návrhová volba společnosti: přeskočit paměť s vysokou šířkou pásma (HBM), vzácný a drahý typ paměti, který ukotvuje většinu akcelerátorů AI, a místo toho postavit inferenční zařízení kolem komoditní paměti.
"Všichni ostatní v tomto odvětví používají to, čemu se říká HBM nebo paměť s vysokou šířkou pásma. Nabídka je velmi omezená, velmi drahá," řekl McCaskill. "Šli jsme s komoditní pamětí."
Kompromisy jsou záměrné. Komoditní paměti jsou levnější a mnohem jednodušší na zdroje a architektura Positronu udržuje výkon dostatečně nízký pro vzduchem chlazené místnosti – není potřeba žádné exotické kapalinové chlazení. Jediný server Positron spotřebovává asi 4 500 wattů a celý rack nadcházejících serverů Titan společnosti se vejde do 40 kilowattů.
Plán se rychle vyvíjí. První generace serveru Atlas společnosti Positron běžela na programovatelném čipu a společnost plánuje začátkem příštího roku nalepit vlastní křemík pro server Titan. Podle McCaskilla společnost již zavedla markýzy: Oracle v tomto čtvrtletí uvádí zhruba 340 serverů Atlas do svého cloudu, podle McCaskill a poskytovatel neocloudu se přihlásil k Atlasu a zavázal se k nadcházející generaci Titanu.
Modulární datová centra se stávají přirozeným domovem pro odvození
Možná nejdůležitější část rozhovoru je ta, kde McCaskill říká, že poptávka pochází: nikoli z hyperkampusech, ale z malých, rychlých, modulárních zařízení.
"Jednou ze skupin společností, u kterých právě teď vidíme nárůst a přicházejí k nám pro produkt, jsou tato modulární datová centra, kde mají půlmegawattové nebo 1 megawattové nebo 2,5 megawattové modulární datové centrum, které lze velmi rychle nasadit," řekl. "Cílem mnoha těchto hráčů je, že se chci dostat od země a moci k zpeněžitelným tokenům během 90 až 120 dnů."
Tato časová osa – zhruba jedna čtvrtina od průlomu k tržbám – je nemožná pro školicí kampus o velikosti gigawattů, jehož povolení, výstavba a dodávání energie může trvat roky. Inferenční zátěž je menší, geograficky flexibilnější a tolerantní k webům, kde operátoři mohou najít pár megawattů levné energie bez velkých regulačních překážek. Výsledkem je vznikající vrstva distribuované inferenční infrastruktury usazená v telekomunikačních sítích, kolokačních zařízeních a modulárních jednotkách blíže místu, kde je skutečně poptávka.
Co to znamená pro průmysl
Pro dodavatele čipů je zpráva, že trh s hardwarem AI se rozdvojuje. Školení nadále odměňuje nejpokročilejší akcelerátory a nejhlubší kapsy. Inference odměňuje různé přednosti: energetickou účinnost, náklady na paměť, rychlost nasazení a schopnost běžet v běžných vzduchem chlazených budovách. Prodejci optimalizovaní pouze pro tréninkový závod mohou najít největší objem budoucích rozhodnutí o nasazení – kde se tokeny ve skutečnosti zpeněžují – děje na hardwaru navrženém pro jinou sadu omezení.
Pro podniky a cloudové zákazníky je tento posun většinou neviditelný, ale čím dál tím důležitější: inferenční kapacita, která přichází v 90 až 120denních přírůstcích, znamená konkurenceschopnější ceny a více geografických možností pro provozování modelů v blízkosti uživatelů a dat.
A pro příběh o budování průmyslu AI – často koncipovaný jako nekonečný závod o gigawattové kampusy – je převrácení inference připomínkou toho, že křivka poptávky se rozšiřuje, nejen škáluje. Dvoutřetinový milník citovaný v SC26 je odhad jednoho vedoucího pracovníka, ale odpovídá směru, který oznámil každý velký cloudový operátor: těžiště sestavy AI se přesouvá od školení modelů k jejich obsluze.
Zůstaňte napřed před AISledujte nejnovější vývoj AI tak, jak k němu dochází, pomocí AI Buzz Wire, vašeho zdroje novinek o hardwaru a infrastruktuře AI.
Přečtěte si další zprávy o AI →