Amazon wis ngumumake TorchNeuron, backend PyTorch asli open-source kanggo kulawarga Trainium saka chip AI, minangka langkah sing mbusak salah sawijining alangan praktis paling gedhe kanggo nggunakake silikon khusus kanggo beban kerja mesin. Miturut kiriman resmi ing blog PyTorch sing diterbitake sadurunge Konferensi PyTorch Amerika Utara tanggal 20 Oktober, para pangembang saiki bisa mbukak kode model PyTorch sing ana ing Trainium kanthi owah-owahan siji-baris, tinimbang nulis ulang alur kerja ing babagan perkakas proprietary.

Pengumuman kasebut langsung narik kawigaten amarga target apa sing wis suwe diterangake para analis minangka kauntungan Nvidia sing paling tahan lama: dudu kinerja chip mentah, nanging ekosistem piranti lunak CUDA sing ngiket pangembang menyang GPU. Reuters nggawe rilis nalika Amazon ujar manawa chip AI bakal bisa digunakake karo kerangka pangembangan paling populer ing AI, dene TechCrunch diarani TorchNeuron minangka tembakan paling gedhe ing Nvidia. Kanggo ndeleng luwih akeh babagan owah-owahan pasar akselerator, [liputan warta hardware AI] (https://aibuzzwire.news) terus-terusan nglacak perkembangan kasebut nalika kedadeyan.

Apa TorchNeuron Bener Ganti

Janji inti TorchNeuron yaiku kesederhanaan. Ing conto sing diterbitake ing blog PyTorch, loop latihan sing ana ing Trainium sawise ora luwih saka mindhah model menyang piranti anyar kanthi `.to('neuron')`. Kode sing ditulis nglawan `torch.accelerator`, API agnostik piranti sing disaranake PyTorch, ora diowahi, miturut kiriman kasebut. Kanggo beban kerja sing dikompilasi, pangembang nyetel backend gawan sapisan nganggo `torch.compiler.set_default_backend("neuron")` banjur njaluk `model.compile()` tanpa owah-owahan maneh.

Ing hood, TorchNeuron ndhaptar Trainium liwat PrivateUse1, titik extension resmi PyTorch kanggo backend hardware adat, kang tegese chip tumindak minangka piranti PyTorch standar tinimbang appendage bolted menyang framework. AWS nggambarake integrasi kasebut sajrone sawetara mode eksekusi:

  • Eager execution for research and debugging, with the experimental "adaptive eager mode" that reduced launch overhead
  • torch.compile kanggo kinerja produksi, njupuk model dadi grafik sing dioptimalake kompiler Neuron, kanthi dhukungan asli kanggo FlexAttention
  • Antarmuka Neuron Kernel (NKI) kanggo peneliti sing butuh kernel khusus, tingkat rendah

Backend bisa digunakake ing Trainium2 lan chip Trainium3 sing luwih anyar, miturut woro-woro kasebut.

Serangan Langsung ing Nvidia's Software Moat

Genggeman Nvidia ing komputasi AI ora tau ngaso mung ing hardware sing luwih cepet. CUDA, platform piranti lunak umur rong dasawarsa perusahaan, ing ngendi umume kode riset AI ditulis, disetel, lan disebarake, lan saben chip penantang - saka garis Instinct AMD menyang TPU Google lan Trainium Amazon - kudu padu karo biaya njaluk pangembang ninggalake. Cakupan peluncuran TorchNeuron ing GeekWire, Benzinga, lan GuruFocus kanthi seragam nggawe pengumuman kasebut minangka serangan ing parit kasebut.

Amazon ora nyoba narik pangembang metu saka PyTorch kanggo menang. Nanging, nggawa Trainium menyang PyTorch, saengga basis pangguna sing gedhe banget bisa nggunakake chip kasebut tanpa ngganti kabiasaan. Posting blog PyTorch kalebu endorsement saka Meta, sing njaga kerangka: "Dhukungan asli kanggo AWS Trainium nggedhekake pilihan kasebut, ngidini peneliti lan insinyur bisa nyoba lan ngulang nggunakake eksekusi lan nyebarake API sing wis dingerteni," ujare Jana van Greunen, Direktur Teknik PyTorch ing Meta, ing postingan kasebut.

Bingkai kasebut penting kanggo bisnis awan AWS. Instance trainium wis dipasarake minangka alternatif murah kanggo GPU Nvidia kanggo latihan lan inferensi, lan chip kasebut wis narik pelanggan AI marquee. Nggawe Kripik aran asli PyTorch langsung alamat bantahan sing wis kalem Adoption luwih amba: porting efforts .

Cakupan Teknis, Saka Notebook nganti Latihan Skala Kluster

Kapabilitas sing kadhaptar ing blog PyTorch suggest Amazon ngarahake uga ngluwihi eksperimen hobi. TorchNeuron nyakup set operator sing katon ing teks, multimodal, lan model basa visi uga gambar lan generasi video, model ruang negara, lan model donya, kanthi presisi BF16, FP32, lan FP16; Dhukungan TorchAO lan FP8 ana ing beta pribadi sadurunge kasedhiyan umum ing rilis sabanjure.

Latihan sing disebarake, disiplin sing ngowahi kode GPU siji dadi skala kluster, didhukung liwat API PyTorch standar - DDP, FSDP2, SimpleFSDP, tensor lan pipeline paralelisme, lan sharding gaya ZeRO, bebarengan karo DTensor lan DeviceMesh kanggo grup proses multi-dimensi. Aliran lan acara map semantik PyTorch menyang antrian hardware Trainium, kirim ngandika.

Kanggo inferensi, tumpukan Neuron Amazon dibangun ing pondasi sing padha: vLLM Neuron nglayani model basa gedhe, dene vLLM Omni Neuron nyedhiyakake model difusi kanggo nggawe gambar lan video. Antarmuka Neuron Kernel ngidini peneliti nulis operator khusus kanggo eksekusi sing semangat lan dikompilasi, lan AWS minangka sumber terbuka NKI-lib, sakumpulan kernel sing dioptimalake Trainium sing nyakup komputasi FlashAttention lan MoE kanggo LLM mainstream lan skenario multimodal.

Perkakas kinerja uga kalebu. Neuron Explorer ngluwihi `torch.profiler` standar kanggo nglacak eksekusi saka kerangka menyang hardware, ngubungake saben acara bali menyang garis sumber, lan bisa ngekspor metrik format Parquet sing cathetan kirim bisa dikonsumsi dening agen kanggo analisis bottleneck otomatis.

Kasedhiyan lan Apa Sabanjure

TorchNeuron disetel kanggo mbukak sumber terbuka ing Konferensi PyTorch Amerika Utara tanggal 20 Oktober, saben kiriman blog, kanthi kompatibilitas nganti Hugging Face Transformers v5. AWS nggambarake Trainium minangka portofolio chip sing dirancang saka wiwitan kanggo latihan lan inferensi AI skala awan.

Konteks strategis minangka pasar ing ngendi saben panyedhiya awan utama bebarengan dadi panuku paling gedhe saka akselerator Nvidia lan bakal dadi pesaing. Microsoft, Google, lan Meta kabeh ngembangake silikon khusus, lan perusahaan China kalebu Huawei nggawe tumpukan piranti lunak dhewe kanggo uwal saka gravitasi CUDA. Kanthi patemon para pangembang ing PyTorch tinimbang njaluk dheweke pindhah, Amazon wis milih dalan sing paling ora ngganggu menyang kontes kasebut - lan sing paling mungkin, yen pengalaman pangembang tetep, kanggo mindhah beban kerja latihan nyata saka hardware Nvidia.

Apa TorchNeuron bener-bener ngrusak kauntungan CUDA bakal gumantung saka kinerja ing skala lan buntut dawa model donya nyata, pitakonan bahan peluncuran ora dijawab. Nanging alangan sing paling akeh gawe PyTorch malah nyoba Trainium - nulis ulang - saiki wis sudo kanggo baris siji kode.

---

Tetep Ahead of AI

Entuk warta, analisis, lan terobosan AI paling anyar - kabeh ing sak panggonan.

Waca liyane AI warta →