Die Wirtschaftlichkeit der KI-Infrastruktur hat sich gewendet. Laut Cameron McCaskill, Geschäftsführer von Positron AI, der die Zahl in einem Interview mit theCUBE Research auf der Supercomputing-Konferenz SC26 mitteilte, handelt es sich bei rund zwei Dritteln der Arbeitslasten, die heute über die KI-Infrastruktur laufen, um Inferenz und nicht um Training. Vor drei Jahren war die Aufteilung fast genau umgekehrt: etwa 85 Prozent Training und 15 Prozent Folgerung.
Diese Kehrtwende führt stillschweigend zu einer Neugestaltung der Landkarte, wo KI-Computing angesiedelt ist – und sie erklärt, warum eine neue Generation von Inferenz-First-Chipherstellern plötzlich Cloud-Deals von Unternehmen gewinnt, die weitaus größer sind als sie selbst.
Die Zahlen hinter dem Flip
„Wir sind an einem Punkt angelangt, an dem etwa zwei Drittel der Arbeitslasten, die durch diese KI-Infrastrukturen laufen, Inferenz sind, während ein Drittel Training ist“, sagte McCaskill, Leiter Vertrieb und Geschäftsentwicklung bei Positron, im Interview mit Rebecca Knight und John Furrier von theCUBE Research. „Im Jahr 2023 waren es 85 % Schulung und 15 % Inferenz. Jetzt können Sie sehen, warum Inferenz die wirtschaftlichen Entscheidungen darüber bestimmt, wie sie ihre Infrastruktur ausbauen werden.“
Die Verschiebung macht intuitiv Sinn. Die Ausbildung findet in einer Handvoll Grenzlabors mit milliardenschweren Clustern statt. Rückschlüsse finden überall statt, jedes Mal, wenn ein Benutzer ein Modell aufruft – und da die Akzeptanz bei Verbrauchern und Unternehmen explosionsartig zugenommen hat, hat die Gesamtnachfrage nach Token die für das Schulungszeitalter aufgebaute Infrastruktur überfordert. Strom, Kühlung und Speicherversorgung bestimmen jetzt ebenso wie die reine Chipleistung, wo Token generiert werden, und das ändert, welche Hardware Geschäfte gewinnt.
Positrons Wette auf Warengedächtnis
Positron AI, das im September 875 Millionen US-Dollar bei einer Bewertung von 5 Milliarden US-Dollar eingesammelt hat, hat seine gesamte Strategie rund um die Inferenz-Ära aufgebaut. Die zentrale Designentscheidung des Unternehmens: Verzichten Sie auf High-Bandwidwid Memory (HBM), den knappen und teuren Speichertyp, der den meisten KI-Beschleunigern zugrunde liegt, und bauen Sie stattdessen Inferenzgeräte auf Basis von Standardspeichern auf.
„Alle anderen in der Branche verwenden so genannte HBM-Speicher (Highbandwidth Memory). Das Angebot ist sehr begrenzt und sehr teuer“, sagte McCaskill. „Wir haben uns für Massenspeicher entschieden.“
Die Kompromisse sind bewusst. Standardspeicher sind günstiger und viel einfacher zu beschaffen, und die Architektur von Positron hält den Stromverbrauch niedrig genug für luftgekühlte Räume – eine exotische Flüssigkeitskühlung ist nicht erforderlich. Ein einzelner Positron-Server verbraucht etwa 4.500 Watt, und ein komplettes Rack der kommenden Titan-Server des Unternehmens fasst maximal 40 Kilowatt.
Die Roadmap schreitet schnell voran. Der Atlas-Server der ersten Generation von Positron lief auf einem programmierbaren Chip, und das Unternehmen plant, Anfang nächsten Jahres sein eigenes Silizium für den Titan-Server herauszunehmen. Das Unternehmen hat bereits namhafte Bereitstellungen abgeschlossen: Laut McCaskill bringt Oracle in diesem Quartal etwa 340 Atlas-Server in seiner Cloud live, und ein Neocloud-Anbieter hat sich für Atlas angemeldet und sich gleichzeitig für die kommende Titan-Generation entschieden.
Modulare Rechenzentren werden zum natürlichen Zuhause für Inferenz
Der vielleicht folgenreichste Teil des Interviews ist, woher laut McCaskill die Nachfrage kommt: nicht von Hyperscale-Campussen, sondern von kleinen, schnellen, modularen Einrichtungen.
„Eine der Unternehmensgruppen, bei denen wir derzeit einen Zuwachs verzeichnen und die sich wegen der Produkte an uns wenden, sind diese modularen Rechenzentren, wo sie über modulare Rechenzentren mit einem halben Megawatt oder 1 Megawatt oder 2,5 Megawatt verfügen und diese sehr schnell bereitgestellt werden können“, sagte er. „Das Ziel vieler dieser Inferenzspieler ist es, innerhalb von 90 bis 120 Tagen von Land und Strom zu monetarisierbaren Token zu gelangen.“
Dieser Zeitrahmen – etwa ein Viertel vom Spatenstich bis zum Umsatz – ist für einen Ausbildungscampus im Gigawatt-Maßstab unmöglich, dessen Genehmigung, Bau und Inbetriebnahme Jahre dauern kann. Inferenz-Workloads sind kleiner, geografisch flexibler und toleranter gegenüber Standorten, an denen Betreiber ohne große regulatorische Hürden ein paar Megawatt billigen Strom finden können. Das Ergebnis ist eine aufstrebende Ebene verteilter Inferenzinfrastruktur, die in Telekommunikationsstandorten, Colocation-Einrichtungen und modularen Einheiten näher an den tatsächlichen Bedarfsstandorten angesiedelt ist.
Was es für die Branche bedeutet
Für Chiphersteller lautet die Botschaft, dass sich der Markt für KI-Hardware spaltet. Das Training belohnt weiterhin die fortschrittlichsten Beschleuniger und die größten Geldbeutel. Inferenz belohnt verschiedene Vorteile: Energieeffizienz, Speicherkosten, Bereitstellungsgeschwindigkeit und die Fähigkeit, in gewöhnlichen luftgekühlten Gebäuden zu laufen. Anbieter, die nur für den Trainingswettlauf optimiert sind, werden möglicherweise feststellen, dass die meisten zukünftigen Bereitstellungsentscheidungen – bei denen Token tatsächlich monetarisiert werden – auf Hardware stattfinden, die für andere Einschränkungen ausgelegt ist.
Für Unternehmen und Cloud-Kunden ist der Wandel größtenteils unsichtbar, aber immer folgenreicher: Die Inferenzkapazität, die in Schritten von 90 bis 120 Tagen bereitgestellt wird, bedeutet wettbewerbsfähigere Preise und mehr geografische Optionen für die Ausführung von Modellen in der Nähe von Benutzern und Daten.
Und für das Ausbau-Narrativ der KI-Branche – das oft als endloser Wettlauf um Gigawatt-Campusse dargestellt wird – ist die Umkehrung der Schlussfolgerungen eine Erinnerung daran, dass sich die Nachfragekurve verbreitert und nicht nur skaliert. Der auf der SC26 genannte Zweidrittel-Meilenstein ist die Schätzung einer Führungskraft, entspricht aber der Richtung, die jeder große Cloud-Betreiber gemeldet hat: Der Schwerpunkt des KI-Ausbaus verlagert sich vom Training der Modelle hin zur Bereitstellung.
Bleiben Sie der KI immer einen Schritt vorausVerfolgen Sie die neuesten KI-Entwicklungen mit AI Buzz Wire, Ihrer Quelle für Neuigkeiten zu KI-Hardware und -Infrastruktur.
Weitere KI-Neuigkeiten lesen →