Amazon hat TorchNeuron angekündigt, ein natives Open-Source-PyTorch-Backend für seine Trainium-Familie von KI-Chips. Damit beseitigt es eines der größten praktischen Hindernisse für die Einführung benutzerdefinierter Chips für Workloads des maschinellen Lernens. Laut einem offiziellen Beitrag im PyTorch-Blog, der vor der PyTorch Conference North America am 20. Oktober veröffentlicht wurde, können Entwickler jetzt vorhandenen PyTorch-Modellcode auf Trainium mit einer einzeiligen Änderung ausführen, anstatt ihre Arbeitsabläufe um proprietäre Tools herum neu zu schreiben.

Die Ankündigung erregte sofort Aufmerksamkeit, da sie auf das abzielt, was Analysten seit langem als den nachhaltigsten Vorteil von Nvidia bezeichnen: nicht auf die reine Chipleistung, sondern auf das CUDA-Software-Ökosystem, das Entwickler an seine GPUs bindet. Reuters bezeichnete die Veröffentlichung als Amazon, dass seine KI-Chips mit dem beliebtesten Entwicklungs-Framework für KI funktionieren würden, während TechCrunch TorchNeuron als den bisher größten Versuch des Unternehmens gegenüber Nvidia bezeichnete. Für einen umfassenderen Überblick darüber, wie sich der Beschleunigermarkt verändert, verfolgt unsere fortlaufende KI-Hardware-Nachrichtenberichterstattung diese Entwicklungen, während sie sich entfalten.

Was TorchNeuron tatsächlich ändert

Das Kernversprechen von TorchNeuron ist Einfachheit. In dem im PyTorch-Blog veröffentlichten Beispiel läuft eine bestehende Trainingsschleife auf Trainium, nachdem lediglich das Modell mit „.to('neuron')“ auf das neue Gerät verschoben wurde. Code, der für „torch.accelerator“, die empfohlene geräteunabhängige API von PyTorch, geschrieben wurde, läuft dem Beitrag zufolge unverändert. Für kompilierte Workloads legen Entwickler das Standard-Backend einmal mit „torch.compiler.set_default_backend(„neuron“)“ fest und rufen dann „model.compile()“ ohne weitere Änderungen auf.

Unter der Haube registriert TorchNeuron Trainium über PrivateUse1, PyTorchs offiziellen Erweiterungspunkt für benutzerdefinierte Hardware-Backends, was bedeutet, dass sich der Chip wie ein Standard-PyTorch-Gerät verhält und nicht wie ein an das Framework geschraubtes Anhängsel. AWS beschreibt die Integration als mehrere Ausführungsmodi umfassend:

  • Eager-Ausführung für Recherche und Debugging, mit einem experimentellen „adaptiven Eager-Modus“, der den Startaufwand reduziert
  • torch.compile für Produktionsleistung, Erfassung von Modellen in Diagrammen, die der Neuron-Compiler optimiert, mit nativer Unterstützung für FlexAttention
  • Das Neuron Kernel Interface (NKI) für Forscher, die benutzerdefinierte Kernel auf niedriger Ebene benötigen

Der Ankündigung zufolge funktioniert das Backend sowohl auf Trainium2- als auch auf den neueren Trainium3-Chips.

Ein direkter Angriff auf Nvidias Software Moat

Nvidias Einfluss auf KI-Computing beruhte nie ausschließlich auf schnellerer Hardware. CUDA, die zwei Jahrzehnte alte Softwareplattform des Unternehmens, ist der Ort, an dem der Großteil des KI-Forschungscodes geschrieben, optimiert und bereitgestellt wird, und jeder Challenger-Chip – von der Instinct-Reihe von AMD über die TPUs von Google bis hin zu Trainium von Amazon – musste sich mit den Kosten auseinandersetzen, die die Aufforderung an Entwickler mit sich brachte, ihn aufzugeben. Die Berichterstattung über den Start von TorchNeuron in GeekWire, Benzinga und GuruFocus bezeichnete die Ankündigung einhellig als einen Angriff auf diesen Burggraben.

Amazon versucht nicht, Entwickler aus PyTorch herauszuziehen, um sie für sich zu gewinnen. Stattdessen wird Trainium in PyTorch integriert, sodass die enorme Benutzerbasis des Frameworks den Chip übernehmen kann, ohne ihre Gewohnheiten zu ändern. Der PyTorch-Blogbeitrag enthielt eine Empfehlung von Meta, das das Framework verwaltet: „Die native Unterstützung von AWS Trainium erweitert diese Auswahl und ermöglicht Forschern und Ingenieuren das Experimentieren und Iterieren unter Verwendung der ihnen bereits bekannten eifrigen Ausführungs- und verteilten APIs“, sagte Jana van Greunen, Direktorin für PyTorch Engineering bei Meta, in dem Beitrag.

Dieser Rahmen ist für das Cloud-Geschäft von AWS von Bedeutung. Trainium-Instanzen wurden als kostengünstigere Alternative zu Nvidia-GPUs für Training und Inferenz vermarktet, und die Chips haben bereits zahlreiche KI-Kunden angezogen. Dadurch, dass sich die Chips nativ in PyTorch anfühlen, wird direkt der Einwand angegangen, der die breitere Akzeptanz verlangsamt hat: der Portierungsaufwand.

Technischer Umfang, von Notebooks bis hin zu Schulungen im Cluster-Maßstab

Die im PyTorch-Blog aufgeführten Funktionen lassen darauf schließen, dass Amazon weit über Hobby-Experimente hinausgeht. TorchNeuron deckt die Operatorsätze für Text-, multimodale und visuelle Sprachmodelle sowie Bild- und Videogenerierung, Zustandsraummodelle und Weltmodelle mit BF16-, FP32- und FP16-Präzision ab; Die Unterstützung von TorchAO und FP8 befindet sich in der privaten Betaphase, bevor sie in der nächsten Version allgemein verfügbar ist.

Verteiltes Training, die Disziplin, die Single-GPU-Code in Cluster-Scale-Läufe umwandelt, wird durch die Standard-PyTorch-APIs unterstützt – DDP, FSDP2, SimpleFSDP, Tensor- und Pipeline-Parallelität und Sharding im ZeRO-Stil, zusammen mit DTensor und DeviceMesh für mehrdimensionale Prozessgruppen. Streams und Ereignisse bilden die Semantik von PyTorch auf die Hardware-Warteschlangen von Trainium ab, heißt es in dem Beitrag.

Zur Schlussfolgerung: Die Neuron-Stacks von Amazon basieren auf derselben Grundlage: vLLM Neuron bedient große Sprachmodelle, während vLLM Omni Neuron Diffusionsmodelle für die Bild- und Videogenerierung bereitstellt. Mit der Neuron Kernel Interface können Forscher benutzerdefinierte Operatoren sowohl für die eifrige als auch für die kompilierte Ausführung schreiben, und AWS ist Open-Source-NKI-lib, eine Reihe von Trainium-optimierten Kerneln, die blockweise FlashAttention- und MoE-Berechnungen für gängige LLM- und multimodale Szenarien abdecken.

Leistungswerkzeuge sind ebenfalls enthalten. Neuron Explorer erweitert den standardmäßigen „torch.profiler“, um die Ausführung vom Framework bis zur Hardware zu verfolgen, jedes Ereignis zurück mit seiner Quellzeile zu verknüpfen und kann Metriken im Parquet-Format exportieren, sodass die Postnotizen von Agenten zur automatisierten Engpassanalyse verwendet werden können.

Verfügbarkeit und was als nächstes kommt

Dem Blogbeitrag zufolge soll TorchNeuron am 20. Oktober auf der PyTorch Conference North America als Open-Source-Version eingeführt werden. Die Kompatibilität erstreckt sich auch auf Hugging Face Transformers v5. AWS beschreibt Trainium als ein Portfolio von Chips, die von Grund auf für KI-Training und Inferenz im Cloud-Maßstab entwickelt wurden.

Der strategische Kontext ist ein Markt, in dem jeder große Cloud-Anbieter gleichzeitig der größte Käufer von Nvidia-Beschleunigern und ein potenzieller Konkurrent ist. Microsoft, Google und Meta entwickeln alle kundenspezifische Chips, und chinesische Firmen, darunter Huawei, bauen ihre eigenen Software-Stacks, um der Anziehungskraft von CUDA zu entgehen. Durch die Begegnung mit Entwicklern innerhalb von PyTorch, anstatt sie zur Migration aufzufordern, hat Amazon den am wenigsten störenden Weg in diesen Wettbewerb gewählt – und den, der, wenn die Erfahrung der Entwickler Bestand hat, am ehesten dazu führt, echte Trainingsarbeitslasten von der Nvidia-Hardware zu verlagern.

Ob TorchNeuron den Vorteil von CUDA wirklich untergräbt, hängt von der Leistung im Maßstab und dem langen Schwanz realer Modelle ab – Fragen, die in den Einführungsmaterialien nicht beantwortet werden. Aber die Hürde, die die meisten PyTorch-Entwickler davon abhielt, Trainium überhaupt auszuprobieren – eine Neufassung –, wurde jetzt auf eine einzige Codezeile gesenkt.

---

Der KI einen Schritt voraus sein

Erhalten Sie die neuesten KI-Nachrichten, Analysen und Durchbrüche – alles an einem Ort.

Weitere KI-Neuigkeiten lesen →