L’économie de l’infrastructure de l’IA s’est inversée. Selon Cameron McCaskill, directeur de Positron AI, qui a partagé ce chiffre dans une interview avec CUBE Research lors de la conférence SC26 sur le supercalcul, environ les deux tiers des charges de travail exécutées aujourd'hui via l'infrastructure d'IA sont des inférences plutôt que des formations. Il y a trois ans, la répartition était presque exactement l'inverse : environ 85 % de formation et 15 % d'inférence.
Ce renversement redessine discrètement la carte de l’endroit où se situe le calcul de l’IA – et explique pourquoi une nouvelle génération de fabricants de puces axés sur l’inférence remporte soudainement des contrats cloud auprès d’entreprises bien plus grandes qu’elles.
Les chiffres derrière le flip
"Nous sommes à un point où environ les deux tiers des charges de travail exécutées via ces infrastructures d'IA sont des inférences, contre un tiers de la formation", a déclaré McCaskill, responsable des ventes et du développement commercial chez Positron, dans l'entretien avec Rebecca Knight et John Furrier de CUBE Research. "En 2023, c'était comme 85 % de formation, 15 % d'inférence. Vous pouvez donc maintenant comprendre pourquoi l'inférence détermine les décisions économiques sur la façon dont ils vont construire leur infrastructure."
Le changement a un sens intuitif. La formation se déroule dans une poignée de laboratoires pionniers dotés de clusters valant des milliards de dollars. L'inférence se produit partout, chaque fois qu'un utilisateur demande un modèle – et à mesure que l'adoption par les consommateurs et les entreprises a explosé, la demande globale de jetons a submergé l'infrastructure construite pour l'ère de la formation. L’alimentation, le refroidissement et l’alimentation en mémoire déterminent désormais l’endroit où les jetons sont générés autant que les performances brutes des puces, et cela change le matériel qui remporte les contrats.
Le pari de Positron sur la mémoire des matières premières
Positron AI, qui a levé 875 millions de dollars pour une valorisation de 5 milliards de dollars en septembre, a construit toute sa stratégie autour de l'ère de l'inférence. Le choix de conception central de l'entreprise : ignorer la mémoire à large bande passante (HBM), le type de mémoire rare et coûteux qui ancre la plupart des accélérateurs d'IA, et construire des appareils d'inférence autour de la mémoire standard.
"Presque tout le monde dans l'industrie utilise ce qu'on appelle la mémoire HBM ou mémoire à large bande passante. Son offre est très limitée et très coûteuse", a déclaré McCaskill. "Nous avons opté pour la mémoire marchande."
Les compromis sont délibérés. La mémoire de base est moins chère et beaucoup plus facile à trouver, et l'architecture de Positron maintient la puissance suffisamment faible pour les pièces refroidies par air – aucun refroidissement liquide exotique n'est requis. Un seul serveur Positron consomme environ 4 500 watts, et un rack complet des prochains serveurs Titan de la société tient dans les 40 kilowatts.
La feuille de route avance rapidement. Le serveur Atlas de première génération de Positron fonctionnait sur une puce programmable, et la société prévoit d'enregistrer son propre silicium au début de l'année prochaine pour le serveur Titan. La société a déjà réalisé des déploiements de premier plan : Oracle met en service environ 340 serveurs Atlas dans son cloud ce trimestre, selon McCaskill, et un fournisseur de néocloud a signé pour Atlas tout en s'engageant sur la prochaine génération Titan.
Les centres de données modulaires deviennent le lieu naturel d'inférence
La partie la plus importante de l'interview est peut-être celle d'où McCaskill dit que la demande vient : non pas de campus à grande échelle, mais de petites installations rapides et modulaires.
"L'un des groupes d'entreprises que nous constatons actuellement une augmentation et qui nous contactent pour des produits est celui des centres de données modulaires, où ils disposent d'un centre de données modulaire d'un demi-mégawatt ou de 1 mégawatt ou 2,5 mégawatts, et ceux-ci peuvent être déployés très rapidement", a-t-il déclaré. "L'objectif de beaucoup de ces acteurs de l'inférence est que je veux passer de la terre et du pouvoir à des jetons monétisables dans un délai de 90 à 120 jours."
Ce calendrier – environ un quart entre le début des travaux et le chiffre d’affaires – est impossible pour un campus de formation à l’échelle du gigawatt, qui peut prendre des années pour autoriser, construire et dynamiser. Les charges de travail d'inférence sont plus petites, plus flexibles géographiquement et tolèrent les sites où les opérateurs peuvent trouver quelques mégawatts d'énergie bon marché sans obstacles réglementaires lourds. Le résultat est un niveau émergent d'infrastructure d'inférence distribuée hébergé dans des sites de télécommunications, des installations de colocation et des unités modulaires plus proches de l'endroit où se trouve réellement la demande.
Ce que cela signifie pour l'industrie
Pour les fournisseurs de puces, le message est que le marché du matériel d’IA est en train de se diviser. La formation continue de récompenser les accélérateurs les plus avancés et les plus riches. L'inférence récompense différentes vertus : l'efficacité énergétique, le coût de la mémoire, la vitesse de déploiement et la capacité de fonctionner dans des bâtiments ordinaires refroidis par air. Les fournisseurs optimisés uniquement pour la course à la formation pourraient trouver que le plus grand volume de décisions de déploiement futur – où les jetons sont réellement monétisés – se produira sur du matériel conçu pour un ensemble de contraintes différent.
Pour les entreprises et les clients du cloud, le changement est en grande partie invisible mais de plus en plus conséquent : une capacité d'inférence qui arrive par incréments de 90 à 120 jours signifie des prix plus compétitifs et davantage d'options géographiques pour exécuter des modèles à proximité des utilisateurs et des données.
Et pour le récit de développement de l’industrie de l’IA – souvent présenté comme une course sans fin aux campus de plusieurs gigawatts – le retournement d’inférence rappelle que la courbe de demande s’élargit, et ne se contente pas de s’étendre. L'étape des deux tiers citée lors du SC26 est l'estimation d'un dirigeant, mais elle correspond à la direction signalée par tous les grands opérateurs de cloud : le centre de gravité du développement de l'IA passe de la formation des modèles à leur service.
Gardez une longueur d'avance sur l'IASuivez les derniers développements de l'IA au fur et à mesure qu'ils se produisent avec AI Buzz Wire, votre source d'actualités sur le matériel et l'infrastructure de l'IA.
Lire plus d'actualités sur l'IA →