Amazon ha annunciato TorchNeuron, un backend PyTorch nativo open source per la sua famiglia di chip AI Trainium, con una mossa che rimuove uno dei maggiori ostacoli pratici all'adozione di silicio personalizzato per i carichi di lavoro di machine learning. Secondo un post ufficiale sul blog PyTorch pubblicato prima della PyTorch Conference North America del 20 ottobre, gli sviluppatori possono ora eseguire il codice del modello PyTorch esistente su Trainium con una modifica su una sola riga, anziché riscrivere i propri flussi di lavoro attorno a strumenti proprietari.

L'annuncio ha attirato immediatamente l'attenzione perché prende di mira quello che gli analisti hanno a lungo descritto come il vantaggio più duraturo di Nvidia: non le prestazioni grezze del chip, ma l'ecosistema software CUDA che lega gli sviluppatori alle sue GPU. Reuters ha inquadrato il rilascio come se Amazon affermasse che i suoi chip AI funzioneranno con il framework di sviluppo più popolare nell'intelligenza artificiale, mentre TechCrunch ha definito TorchNeuron la più grande possibilità dell'azienda contro Nvidia. Per una visione più ampia di come si sta cambiando il mercato degli acceleratori, la nostra copertura di notizie sull'hardware AI continua a tenere traccia di questi sviluppi mentre si svolgono.

Cosa cambia realmente TorchNeuron

La promessa principale di TorchNeuron è la semplicità. Nell'esempio pubblicato sul blog PyTorch, un ciclo di training esistente viene eseguito su Trainium dopo aver semplicemente spostato il modello sul nuovo dispositivo con `.to('neuron')`. Il codice scritto su "torch.accelerator", l'API indipendente dal dispositivo consigliata da PyTorch, viene eseguito senza modifiche, secondo il post. Per i carichi di lavoro compilati, gli sviluppatori impostano il backend predefinito una volta con `torch.compiler.set_default_backend("neuron")` e quindi richiamano `model.compile()` senza ulteriori modifiche.

Sotto il cofano, TorchNeuron registra Trainium tramite PrivateUse1, il punto di estensione ufficiale di PyTorch per backend hardware personalizzati, il che significa che il chip si comporta come un dispositivo PyTorch standard piuttosto che un'appendice imbullonata al framework. AWS descrive l'integrazione come comprensiva di diverse modalità di esecuzione:

  • Esecuzione entusiasta per ricerca e debug, con una "modalità entusiasta adattiva" sperimentale che riduce il sovraccarico di lancio
  • torch.compile per prestazioni di produzione, acquisizione di modelli in grafici ottimizzati dal compilatore Neuron, con supporto nativo per FlexAttention
  • La Neuron Kernel Interface (NKI) per i ricercatori che necessitano di kernel personalizzati di basso livello

Secondo l'annuncio, il backend funziona sia su Trainium2 che sui nuovi chip Trainium3.

Un attacco diretto al Software Moat di Nvidia

La presa di Nvidia sull'intelligenza artificiale non si è mai basata esclusivamente su hardware più veloce. CUDA, la piattaforma software dell'azienda vecchia di vent'anni, è il luogo in cui viene scritto, messo a punto e distribuito la maggior parte del codice di ricerca sull'intelligenza artificiale, e ogni chip sfidante - dalla linea Instinct di AMD ai TPU di Google e Trainium di Amazon - ha dovuto fare i conti con il costo di chiedere agli sviluppatori di abbandonarlo. La copertura del lancio di TorchNeuron su GeekWire, Benzinga e GuruFocus ha inquadrato uniformemente l'annuncio come un assalto a quel fossato.

Amazon non sta cercando di far uscire gli sviluppatori da PyTorch per conquistarli. Sta invece portando Trainium in PyTorch, in modo che l'enorme base di utenti del framework possa adottare il chip senza cambiare abitudini. Il post sul blog PyTorch includeva un'approvazione da parte di Meta, che mantiene il framework: "Il supporto nativo per AWS Trainium espande questa scelta, consentendo a ricercatori e ingegneri di sperimentare e iterare utilizzando l'esecuzione entusiasta e le API distribuite che già conoscono", ha affermato Jana van Greunen, Direttore di PyTorch Engineering presso Meta, nel post.

Questo quadro è importante per il business cloud di AWS. Le istanze Trainium sono state commercializzate come alternativa a basso costo alle GPU Nvidia per l'addestramento e l'inferenza, e i chip hanno già attirato i principali clienti dell'intelligenza artificiale. Rendere i chip nativi di PyTorch affronta direttamente l'obiezione che ha rallentato un'adozione più ampia: lo sforzo di porting.

Ambito tecnico, dai notebook alla formazione su scala cluster

Le funzionalità elencate sul blog PyTorch suggeriscono che Amazon sta puntando ben oltre gli esperimenti hobbistici. TorchNeuron copre i set di operatori visti attraverso modelli di testo, multimodali e di linguaggio visivo, nonché generazione di immagini e video, modelli dello spazio degli stati e modelli mondiali, con precisione BF16, FP32 e FP16; Il supporto di TorchAO e FP8 è in versione beta privata prima della disponibilità generale nella prossima versione.

L'addestramento distribuito, la disciplina che trasforma il codice a GPU singola in esecuzioni su scala cluster, è supportato tramite le API PyTorch standard: DDP, FSDP2, SimpleFSDP, parallelismo di tensore e pipeline e sharding in stile ZeRO, insieme a DTensor e DeviceMesh per gruppi di processi multidimensionali. Stream ed eventi mappano la semantica di PyTorch sulle code hardware di Trainium, afferma il post.

Per inferenza, gli stack Neuron di Amazon si basano sulle stesse basi: vLLM Neuron serve modelli linguistici di grandi dimensioni, mentre vLLM Omni Neuron serve modelli di diffusione per la generazione di immagini e video. L'interfaccia Neuron Kernel consente ai ricercatori di scrivere operatori personalizzati per l'esecuzione sia entusiastica che compilata, e AWS offre NKI-lib in open source, un set di kernel ottimizzati per Trainium che copre i calcoli a blocchi FlashAttention e MoE per scenari LLM tradizionali e multimodali.

Sono inclusi anche gli strumenti per le prestazioni. Neuron Explorer estende lo standard "torch.profiler" per tracciare l'esecuzione dal framework all'hardware, collegando ogni evento alla sua linea di origine e può esportare metriche in formato Parquet che le note post possono essere utilizzate dagli agenti per l'analisi automatizzata dei colli di bottiglia.

Disponibilità e cosa verrà dopo

TorchNeuron è pronto per il suo lancio open source alla PyTorch Conference North America il 20 ottobre, secondo il post sul blog, con la compatibilità che si estende a Hugging Face Transformers v5. AWS descrive Trainium come un portafoglio di chip progettati da zero per l'addestramento e l'inferenza AI su scala cloud.

Il contesto strategico è un mercato in cui ogni principale fornitore di servizi cloud è allo stesso tempo il più grande acquirente di acceleratori Nvidia e un potenziale concorrente. Microsoft, Google e Meta sviluppano tutti silicio personalizzato e le aziende cinesi, tra cui Huawei, stanno costruendo i propri stack software per sfuggire alla gravità di CUDA. Incontrando gli sviluppatori all'interno di PyTorch invece di chiedere loro di migrare, Amazon ha scelto il percorso meno distruttivo in quel concorso - e quello più probabile, se l'esperienza degli sviluppatori regge, per spostare i carichi di lavoro di formazione reali dall'hardware Nvidia.

Se TorchNeuron eroderà davvero il vantaggio di CUDA dipenderà dalle prestazioni su larga scala e dalla lunga coda dei modelli del mondo reale, domande a cui i materiali di lancio non rispondono. Ma la barriera che ha impedito alla maggior parte degli sviluppatori PyTorch anche solo di provare Trainium – una riscrittura – è stata ora ridotta a una singola riga di codice.

---

Stai al passo con l'intelligenza artificiale

Ricevi le ultime notizie, analisi e scoperte sull'intelligenza artificiale, tutto in un unico posto.

Leggi altre notizie sull'AI →