Qualcomm hat den Cloud AI 100 Ultra auf den Markt gebracht, einen Inferenzbeschleuniger für Rechenzentren, der bis zu 870 TOPS INT8-Leistung und 288 TFLOPS FP16-Rechenleistung liefert und dabei nur 150 Watt verbraucht – ein Bruchteil der Leistungshülle der GPUs, die derzeit die generative KI-Inferenz dominieren.
Die Karte, die auf der offiziellen Produktseite des Rechenzentrums von Qualcomm aufgeführt und in der Einführungsberichterstattung ausführlich beschrieben wird, ist speziell für generative KI und große Sprachmodell-Workloads konzipiert. Damit positioniert sich der Mobilfunkchip-Gigant als direkter Konkurrent auf dem Inferenzmarkt, wo die Nachfrage steigt, da Unternehmen KI-Agenten, Copiloten und abrufgestützte Anwendungen in großem Maßstab einsetzen. Weitere Informationen zum Wettlauf um KI-Hardware finden Sie in unserer KI-Berichterstattung.
Die Spezifikationen: SRAM zuerst, DRAM zweitens
Das Herzstück des Cloud AI 100 Ultra sind 64 KI-Kerne und 576 MB On-Die-SRAM. Qualcomm geht davon aus, dass es sich für transformatorbasierte Modelle, die von der Speicherbandbreite leben und sterben, auszahlt, die Modellgewichte und -aktivierungen physisch in der Nähe der Recheneinheiten zu halten – anstatt jeden Token in den externen Speicher zu verlagern.
Die Karte verfügt weiterhin über 128 GB LPDDR4x-Speicher mit 548 GB/s Bandbreite für größere Modelle und längere Kontexte, verbunden über PCIe Gen4 mit 16 Lanes. Diese Kombination – großes On-Die-SRAM plus eine bescheidene Leistungsaufnahme von 150 W – ist das Unterscheidungsmerkmal der Karte. Die Rechenzentrums-GPUs von Nvidia reichen typischerweise von 300 W bis 700 W, und jedes Watt zählt, wenn die Schlussfolgerung über den Token abgerechnet wird und die Rechenzentrumsleistung die am stärksten umkämpfte Ressource der Branche ist.
„Der Cloud AI 100 Ultra ist eine leistungs- und kostenoptimierte KI-Inferenzlösung“, sagte das Unternehmen in seinen Produktmaterialien und betonte die Programmierbarkeit für alle Arbeitslasten, die von Computer Vision bis zur Verarbeitung natürlicher Sprache reichen.
Software: Eine OpenAI-kompatible On-Ramp
Hardware war noch nie das Problem von Qualcomm im Rechenzentrum; Software hat. Das Unternehmen begegnet diesem Problem mit seiner AI Inference Suite, einer Softwareschicht, die OpenAI-kompatible APIs für die Erstellung von Chatbots, Copiloten und KI-Agenten bereitstellt.
Die Suite unterstützt Chat, Bildgenerierung, multimodale Modelle und RAG-Workflows (Retrieval-Augmented Generation) und wird über Kubernetes oder Bare-Metal-Container bereitgestellt. Qualcomm bietet auch Benutzerverwaltungs- und Verwaltungstools an – eine unrühmliche Ergänzung, die bei reinen Beschleunigerangeboten oft fehlt, aber eine, die IT-Teams in Unternehmen schwer wiegen muss, wenn sie Workloads intern verlagern.
Die OpenAI-kompatible API-Oberfläche ist von strategischer Bedeutung: Sie ermöglicht es Entwicklern, bestehende OpenAI-gebundene Pipelines mit einer Konfigurationsänderung statt einer Neufassung auf Qualcomm-Hardware zu verweisen, wodurch die Umstellungskosten gesenkt werden, die die etablierte Position in diesem Markt gesichert haben.
Ein überfülltes Feld mit einem klaren Anführer
Qualcomm betritt einen Inferenzmarkt, der zum Schlachtfeld des KI-Hardwarezyklus geworden ist. Nvidias L40S und H100 dominieren; AMDs MI300X und Intels Gaudi 3 zielen auf die gleichen Workloads ab; und spezialisiertes Silizium von Groq und Cerebras hat Nischen in Bezug auf die reine Inferenzgeschwindigkeit geschaffen.
Die Nachfrageseite erklärt das Durcheinander. Durch die Bereitstellung von KI-Agenten und RAG-Pipelines vervielfacht sich die Anzahl der Modellaufrufe, die eine einzelne Benutzersitzung generiert, und jeder dieser Aufrufe stellt ein Inferenzproblem dar, das zu den geringstmöglichen Kosten pro Token gelöst werden muss. Hyperscaler kaufen Racks mit Flaggschiff-GPUs, um damit umgehen zu können. Die Unternehmen unter ihnen sind auf der Suche nach Hardware, die in einen Standardserver und in einen Standardstromkreis passt, ohne dass sie ihre Stromverträge neu aushandeln müssen.
Qualcomms Argument sind die Gesamtbetriebskosten und nicht die Spitzenleistung. Für Unternehmen, die Inferenz in großem Maßstab betreiben, fließt der Stromverbrauch direkt in die Betriebskosten ein, und eine Karte, die einen wettbewerbsfähigen Durchsatz bei 150 W liefert, untergräbt die Wirtschaftlichkeit von Brute-Force-GPUs. Die Schulung bleibt Nvidias Domäne – der Ultra erhebt keinen Anspruch darauf –, aber die Schlussfolgerung ist, wo tatsächlich über die Einheitsökonomie der Branche entschieden wird, und es ist die Arbeitsbelastung, die die meisten Unternehmen selbst ausführen, sei es in einem lokalen Cluster oder einem Colocation-Käfig.
Das Software-Ökosystem bleibt ein harter Kampf. Die CUDA-Plattform von Nvidia ist immer noch die Standardwahl für die meisten KI-Entwickler, und obwohl OpenAI-kompatible APIs die Eintrittsbarriere senken, entfällt dadurch nicht die Nacharbeit, die für benutzerdefinierte Inferenzpipelines erforderlich ist.
Wo es in die Produktpalette von Qualcomm passt
Der Ultra steht an der Spitze der Inferenzreihe von Qualcomm, zu der auch der Cloud AI 80 Ultra (bis zu 618 TOPS von INT8 mit den gleichen 576 MB SRAM), der Cloud AI 100 Pro und der Cloud AI 100 Standard gehören, der mit 75-W-Leistungsumschlägen auf Edge- und kleinere Bereitstellungen abzielt.
Die Einführung stellt die aktuelle Generation der Dragonfly-Rechenzentrums-Roadmap von Qualcomm dar, die das Unternehmen für KI-Workloads im Cloud-Maßstab entwickelt hat – und die Qualcomm nun ein Argument für Unternehmen liefert, die generative KI-Inferenz vor Ort statt in der öffentlichen Cloud ausführen möchten, sei es aus Kosten-, Latenz- oder Daten-Governance-Gründen.
Die Wette, in einem Satz
Qualcomm geht davon aus, dass beim Übergang der KI von einer Handvoll Hyperscalern zu Tausenden von Unternehmen nicht die schnellste, sondern die effizienteste Inferenzkarte der Gewinner ist. Der Cloud AI 100 Ultra ist dieses Argument in Silizium; Ob sich die Entwickler an die Watts halten, bleibt offen.
---
Der KI einen Schritt voraus seinErhalten Sie die neuesten KI-Nachrichten, Analysen und Durchbrüche – alles an einem Ort.
Weitere KI-Neuigkeiten lesen →
