Amazon a anunțat TorchNeuron, un backend nativ PyTorch open-source pentru familia sa de cipuri AI Trainium, într-o mișcare care înlătură una dintre cele mai mari bariere practice în calea adoptării siliciului personalizat pentru sarcinile de lucru de învățare automată. Potrivit unei postări oficiale pe blogul PyTorch publicată înainte de Conferința PyTorch America de Nord din 20 octombrie, dezvoltatorii pot rula acum codul de model PyTorch existent pe Trainium cu o schimbare pe o singură linie, în loc să-și rescrie fluxurile de lucru în jurul instrumentelor proprietare.

Anunțul a atras atenția imediată, deoarece vizează ceea ce analiștii au descris de mult timp ca fiind cel mai durabil avantaj al Nvidia: nu performanța brută a cipurilor, ci ecosistemul software CUDA care leagă dezvoltatorii de GPU-urile sale. Reuters a încadrat lansarea ca Amazon spunând că cipurile sale AI vor funcționa cu cel mai popular cadru de dezvoltare din AI, în timp ce TechCrunch a numit TorchNeuron cea mai mare șansă a companiei la Nvidia de până acum. Pentru o perspectivă mai largă a modului în care piața acceleratoarelor se schimbă, acoperirea știrilor hardware AI urmărește aceste evoluții pe măsură ce se desfășoară.

Ce se schimbă de fapt TorchNeuron

Promisiunea de bază a TorchNeuron este simplitatea. În exemplul publicat pe blogul PyTorch, o buclă de antrenament existentă rulează pe Trainium după nimic altceva decât mutarea modelului pe noul dispozitiv cu `.to('neuron')`. Codul scris împotriva `torch.accelerator`, API-ul recomandat de PyTorch, care nu depinde de dispozitiv, rulează nemodificat, potrivit postării. Pentru sarcinile de lucru compilate, dezvoltatorii setează backend-ul implicit o dată cu `torch.compiler.set_default_backend("neuron")` și apoi invocă `model.compile()` fără alte modificări.

Sub capotă, TorchNeuron înregistrează Trainium prin PrivateUse1, punctul de extensie oficial al PyTorch pentru backend-uri hardware personalizate, ceea ce înseamnă că cipul se comportă ca un dispozitiv PyTorch standard, mai degrabă decât un apendice fixat pe cadru. AWS descrie integrarea ca acoperind mai multe moduri de execuție:

  • Execuție dornică pentru cercetare și depanare, cu un „mod dornic de adaptare” experimental care reduce cheltuielile de lansare
  • torch.compile pentru performanța producției, captând modele în grafice pe care compilatorul Neuron le optimizează, cu suport nativ pentru FlexAttention
  • Interfața Neuron Kernel (NKI) pentru cercetătorii care au nevoie de nuclee personalizate, de nivel scăzut

Backend-ul funcționează atât pe Trainium2, cât și pe noile cipuri Trainium3, conform anunțului.

O lovitură directă la șanțul software al Nvidia

Stăpânirea Nvidia asupra computingului AI nu s-a bazat niciodată doar pe un hardware mai rapid. CUDA, platforma software veche de două decenii a companiei, este locul unde este scris, reglat și implementat majoritatea codului de cercetare AI, iar fiecare cip challenger - de la linia AMD Instinct la TPU-urile Google și Trainium-ul Amazon - a trebuit să facă față costului de a cere dezvoltatorilor să-l părăsească. Acoperirea lansării TorchNeuron în GeekWire, Benzinga și GuruFocus a încadrat uniform anunțul ca un atac asupra acelui șanț.

Amazon nu încearcă să scoată dezvoltatorii din PyTorch pentru a-i câștiga. În schimb, aduce Trainium în PyTorch, astfel încât baza enormă de utilizatori a cadrului poate adopta cipul fără a schimba obiceiurile. Postarea de blog PyTorch a inclus o aprobare de la Meta, care menține cadrul: „Suportul nativ pentru AWS Trainium extinde această opțiune, permițând cercetătorilor și inginerilor să experimenteze și să repete folosind execuția nerăbdătoare și API-urile distribuite pe care le cunosc deja”, a spus Jana van Greunen, directorul PyTorch Engineering la Meta, în postare.

Această încadrare contează pentru afacerea în cloud a AWS. Instanțele Trainium au fost comercializate ca o alternativă la costuri mai mici la GPU-urile Nvidia pentru instruire și inferență, iar cipurile au atras deja clienți marcanți de AI. A face ca cipurile să se simtă native în PyTorch abordează în mod direct obiecția care a încetinit adoptarea mai largă: efortul de portare.

Domeniul tehnic, de la caiete la formarea la scară de grup

Capacitățile enumerate pe blogul PyTorch sugerează că Amazon țintește cu mult dincolo de experimentele amatorilor. TorchNeuron acoperă seturile de operatori văzute în modelele text, multimodale și în limbaj de viziune, precum și generarea de imagini și video, modele spațiale de stat și modele mondiale, cu precizie BF16, FP32 și FP16; Asistența TorchAO și FP8 sunt în versiune beta privată înainte de disponibilitatea generală în următoarea versiune.

Antrenamentul distribuit, disciplina care transformă codul cu un singur GPU în rulări la scară de cluster, este acceptată prin API-urile standard PyTorch - DDP, FSDP2, SimpleFSDP, paralelism tensor și pipeline și sharding în stil ZeRO, împreună cu DTensor și DeviceMesh pentru grupuri de procese multidimensionale. Fluxurile și evenimentele mapează semantica lui PyTorch pe cozile hardware ale Trainium, se spune în postare.

Pentru deducere, stivele Amazon Neuron se construiesc pe aceeași bază: vLLM Neuron servește modele de limbaj mari, în timp ce vLLM Omni Neuron servește modele de difuzie pentru generarea de imagini și video. Interfața Neuron Kernel permite cercetătorilor să scrie operatori personalizați atât pentru execuție dornică, cât și pentru execuție compilată, iar AWS oferă open-source NKI-lib, un set de nuclee optimizate pentru Trainium care acoperă calcule în bloc FlashAttention și MoE pentru LLM mainstream și scenarii multimodale.

Instrumentul de performanță este, de asemenea, inclus. Neuron Explorer extinde standardul `torch.profiler` pentru a urmări execuția de la cadru la hardware, legând fiecare eveniment înapoi la linia sursă și poate exporta valorile formatate în Parquet, pe care notele postate pot fi consumate de agenți pentru analiza automată a blocajelor.

Disponibilitate și ce urmează

TorchNeuron este pregătit pentru lansarea open-source la Conferința PyTorch America de Nord pe 20 octombrie, conform postării pe blog, compatibilitatea extinzându-se la Hugging Face Transformers v5. AWS descrie Trainium ca un portofoliu de cipuri concepute de la zero pentru instruirea și inferența AI la scară cloud.

Contextul strategic este o piață în care fiecare furnizor important de cloud este în același timp cel mai mare cumpărător de acceleratoare Nvidia și un potențial competitor. Microsoft, Google și Meta dezvoltă siliciu personalizat, iar firmele chineze, inclusiv Huawei, își construiesc propriile stive de software pentru a scăpa de gravitatea CUDA. Prin întâlnirea cu dezvoltatorii din PyTorch, mai degrabă decât cerându-le să migreze, Amazon a ales calea cel mai puțin perturbatoare în acel concurs - și cea mai probabil, dacă experiența dezvoltatorului rezistă, să mute sarcinile reale de antrenament de pe hardware-ul Nvidia.

Dacă TorchNeuron erodează cu adevărat avantajul CUDA va depinde de performanța la scară și de coada lungă a modelelor din lumea reală, întrebări la care materialele de lansare nu răspund. Dar bariera care i-a împiedicat pe majoritatea dezvoltatorilor PyTorch să încerce Trainium – o rescrie – a fost acum redusă la o singură linie de cod.

---

Rămâneți înaintea AI

Obțineți cele mai recente știri, analize și descoperiri AI - toate într-un singur loc.

Citește mai multe știri AI →