Amazon heeft TorchNeuron aangekondigd, een open-source native PyTorch-backend voor zijn Trainium-familie van AI-chips, in een stap die een van de grootste praktische barrières voor het adopteren van aangepast silicium voor machine learning-workloads wegneemt. Volgens een officieel bericht op de PyTorch-blog, gepubliceerd voorafgaand aan de PyTorch Conference North America op 20 oktober, kunnen ontwikkelaars nu bestaande PyTorch-modelcode op Trainium uitvoeren met een wijziging van één regel, in plaats van hun workflows te herschrijven rond eigen tools.

De aankondiging trok onmiddellijk de aandacht omdat het zich richt op wat analisten al lang hebben omschreven als het meest duurzame voordeel van Nvidia: niet de ruwe chipprestaties, maar het CUDA-software-ecosysteem dat ontwikkelaars aan zijn GPU's bindt. Reuters omschreef de release als Amazon die zei dat zijn AI-chips zullen werken met het populairste ontwikkelingsframework op het gebied van AI, terwijl TechCrunch TorchNeuron de grootste kans van het bedrijf op Nvidia tot nu toe noemde. Voor een breder beeld van hoe de acceleratormarkt aan het veranderen is, volgt onze voortdurende AI-hardwarenieuwsberichtgeving deze ontwikkelingen terwijl ze zich ontvouwen.

Wat TorchNeuron feitelijk verandert

De kernbelofte van TorchNeuron is eenvoud. In het voorbeeld gepubliceerd op de PyTorch-blog draait een bestaande trainingslus op Trainium na niets anders dan het verplaatsen van het model naar het nieuwe apparaat met `.to('neuron')`. Code geschreven tegen `torch.accelerator`, de door PyTorch aanbevolen apparaat-agnostische API, werkt ongewijzigd, aldus het bericht. Voor gecompileerde workloads stellen ontwikkelaars de standaard backend één keer in met `torch.compiler.set_default_backend("neuron")` en roepen vervolgens `model.compile()` aan zonder verdere wijzigingen.

Onder de motorkap registreert TorchNeuron Trainium via PrivateUse1, PyTorch's officiële uitbreidingspunt voor aangepaste hardware-backends, wat betekent dat de chip zich gedraagt ​​als een standaard PyTorch-apparaat in plaats van als een aanhangsel dat aan het raamwerk is vastgeschroefd. AWS beschrijft dat de integratie verschillende uitvoeringsmodi omvat:

  • Eager uitvoering voor onderzoek en foutopsporing, met een experimentele 'adaptieve enthousiaste modus' die de lanceringskosten vermindert
  • torch.compile voor productieprestaties, waarbij modellen worden vastgelegd in grafieken die de Neuron-compiler optimaliseert, met native ondersteuning voor FlexAttention
  • De Neuron Kernel Interface (NKI) voor onderzoekers die aangepaste kernels op laag niveau nodig hebben

Volgens de aankondiging werkt de backend op zowel Trainium2 als de nieuwere Trainium3-chips.

Een directe aanval op de softwaregracht van Nvidia

Nvidia's greep op AI-computing berustte nooit alleen op snellere hardware. CUDA, het twintig jaar oude softwareplatform van het bedrijf, is waar de meeste AI-onderzoekscode wordt geschreven, afgestemd en ingezet, en elke challenger-chip – van AMD’s Instinct-lijn tot Google’s TPU’s en Amazon’s Trainium – heeft te kampen gehad met de kosten om ontwikkelaars te vragen deze te verlaten. De berichtgeving over de TorchNeuron-lancering in GeekWire, Benzinga en GuruFocus omlijstte de aankondiging uniform als een aanval op die gracht.

Amazon probeert niet om ontwikkelaars uit PyTorch te halen om ze voor zich te winnen. In plaats daarvan wordt Trainium in PyTorch gebracht, zodat de enorme gebruikersbasis van het raamwerk de chip kan adopteren zonder hun gewoontes te veranderen. De PyTorch-blogpost bevatte een goedkeuring van Meta, die het raamwerk handhaaft: "Native ondersteuning voor AWS Trainium breidt die keuze uit, waardoor onderzoekers en ingenieurs kunnen experimenteren en herhalen met behulp van de enthousiaste uitvoering en gedistribueerde API's die ze al kennen", zegt Jana van Greunen, directeur van PyTorch Engineering bij Meta, in de post.

Die framing is van belang voor de cloudactiviteiten van AWS. Trainium-instanties zijn op de markt gebracht als een goedkoper alternatief voor Nvidia GPU's voor training en gevolgtrekking, en de chips hebben al grote AI-klanten aangetrokken. Door de chips het gevoel te geven dat ze eigen zijn aan PyTorch, wordt direct het bezwaar aangepakt dat de bredere adoptie heeft vertraagd: portering.

Technische reikwijdte, van notebooks tot training op clusterschaal

De mogelijkheden die op de PyTorch-blog worden vermeld, suggereren dat Amazon veel verder gaat dan hobby-experimenten. TorchNeuron omvat de operatorsets die te zien zijn in tekst-, multimodale en beeldtaalmodellen, evenals het genereren van afbeeldingen en video's, toestandsruimtemodellen en wereldmodellen, met BF16-, FP32- en FP16-precisie; TorchAO- en FP8-ondersteuning bevinden zich in een privébèta, voorafgaand aan de algemene beschikbaarheid in de volgende release.

Gedistribueerde training, de discipline die code van één GPU omzet in uitvoeringen op clusterschaal, wordt ondersteund via de standaard PyTorch API's - DDP, FSDP2, SimpleFSDP, tensor- en pijplijnparallelisme, en ZeRO-stijl sharding, samen met DTensor en DeviceMesh voor multidimensionale procesgroepen. Streams en gebeurtenissen brengen de semantiek van PyTorch in kaart in de hardwarewachtrijen van Trainium, aldus de post.

Ter conclusie: de Neuron-stacks van Amazon zijn gebaseerd op hetzelfde fundament: vLLM Neuron bedient grote taalmodellen, terwijl vLLM Omni Neuron diffusiemodellen bedient voor het genereren van afbeeldingen en video's. Met de Neuron Kernel Interface kunnen onderzoekers aangepaste operators schrijven voor zowel enthousiaste als gecompileerde uitvoering, en AWS is open-sourcing NKI-lib, een set Trainium-geoptimaliseerde kernels die FlashAttention en MoE bloksgewijze berekeningen voor reguliere LLM- en multimodale scenario's dekken.

Prestatietools zijn ook inbegrepen. Neuron Explorer breidt de standaard `torch.profiler` uit om de uitvoering van het raamwerk naar de hardware te traceren, waarbij elke gebeurtenis terug wordt gekoppeld aan de bronregel, en kan in Parquet opgemaakte statistieken exporteren zodat de postnotities door agenten kunnen worden gebruikt voor geautomatiseerde knelpuntenanalyse.

Beschikbaarheid en wat daarna komt

TorchNeuron zal volgens de blogpost op 20 oktober open-source worden gelanceerd op de PyTorch Conference North America, waarbij de compatibiliteit wordt uitgebreid naar Hugging Face Transformers v5. AWS beschrijft Trainium als een portfolio van chips die vanaf de basis zijn ontworpen voor AI-training en -inferentie op cloudschaal.

De strategische context is een markt waarin elke grote cloudprovider tegelijkertijd de grootste afnemer van Nvidia-accelerators en een potentiële concurrent is. Microsoft, Google en Meta ontwikkelen allemaal op maat gemaakt silicium, en Chinese bedrijven, waaronder Huawei, bouwen hun eigen softwarestacks om aan de zwaartekracht van CUDA te ontsnappen. Door ontwikkelaars binnen PyTorch te ontmoeten in plaats van hen te vragen te migreren, heeft Amazon de minst ontwrichtende weg naar die wedstrijd gekozen – en de weg die, als de ontwikkelaarservaring standhoudt, het meest waarschijnlijk is om de echte trainingsbelasting van Nvidia-hardware te halen.

Of TorchNeuron het voordeel van CUDA daadwerkelijk uitholt, zal afhangen van de prestaties op schaal en de lange staart van modellen uit de echte wereld, vragen die de lanceringsmaterialen niet beantwoorden. Maar de barrière die de meeste PyTorch-ontwikkelaars ervan weerhield Trainium zelfs maar te proberen – een herschrijving – is nu verlaagd tot één regel code.

---

Blijf AI een stap voor

Ontvang het laatste AI-nieuws, analyses en doorbraken – allemaal op één plek.

Lees meer AI-nieuws →