Amazon telah mengumumkan TorchNeuron, bahagian belakang PyTorch asli sumber terbuka untuk keluarga cip AI Trainiumnya, dalam satu langkah yang menghapuskan salah satu halangan praktikal terbesar untuk menggunakan silikon tersuai untuk beban kerja pembelajaran mesin. Menurut catatan rasmi di blog PyTorch yang diterbitkan sebelum Persidangan PyTorch Amerika Utara pada 20 Oktober, pembangun kini boleh menjalankan kod model PyTorch sedia ada pada Trainium dengan perubahan satu baris, dan bukannya menulis semula aliran kerja mereka di sekitar perkakas proprietari.
Pengumuman itu menarik perhatian segera kerana ia menyasarkan perkara yang telah lama digambarkan oleh penganalisis sebagai kelebihan Nvidia yang paling tahan lama: bukan prestasi cip mentah, tetapi ekosistem perisian CUDA yang mengikat pembangun kepada GPUnya. Reuters merangka keluaran itu kerana Amazon berkata cip AInya akan berfungsi dengan rangka kerja pembangunan paling popular dalam AI, manakala TechCrunch memanggil TorchNeuron pukulan terbesar syarikat itu di Nvidia. Untuk paparan yang lebih luas tentang cara pasaran pemecut berubah, liputan berita perkakasan AI kami yang berterusan menjejaki perkembangan ini semasa ia berlaku.
Apa TorchNeuron Sebenarnya Berubah
Janji teras TorchNeuron ialah kesederhanaan. Dalam contoh yang diterbitkan pada blog PyTorch, gelung latihan sedia ada dijalankan pada Trainium selepas tidak lebih daripada mengalihkan model ke peranti baharu dengan `.to('neuron')`. Kod yang ditulis terhadap `torch.accelerator`, API agnostik peranti yang disyorkan PyTorch, berjalan tanpa diubah suai, menurut siaran itu. Untuk beban kerja yang dihimpun, pembangun menetapkan hujung belakang lalai sekali dengan `torch.compiler.set_default_backend("neuron")` dan kemudian menggunakan `model.compile()` tanpa perubahan selanjutnya.
Di bawah tudung, TorchNeuron mendaftarkan Trainium melalui PrivateUse1, titik lanjutan rasmi PyTorch untuk bahagian belakang perkakasan tersuai, yang bermaksud cip berfungsi sebagai peranti PyTorch standard dan bukannya lampiran yang dilekat pada rangka kerja. AWS menerangkan integrasi sebagai merangkumi beberapa mod pelaksanaan:
- Pelaksanaan yang bersemangat untuk penyelidikan dan penyahpepijatan, dengan "mod bersemangat penyesuaian" percubaan yang mengurangkan overhed pelancaran
- torch.compile untuk prestasi pengeluaran, menangkap model ke dalam graf yang dioptimumkan oleh pengkompil Neuron, dengan sokongan asli untuk FlexAttention
- Antara Muka Inti Neuron (NKI) untuk penyelidik yang memerlukan kernel peringkat rendah tersuai
Bahagian belakang berfungsi pada kedua-dua Trainium2 dan cip Trainium3 yang lebih baharu, menurut pengumuman itu.
Serangan Terus di Parit Perisian Nvidia
Cengkaman Nvidia pada pengkomputeran AI tidak pernah bergantung sepenuhnya pada perkakasan yang lebih pantas. CUDA, platform perisian berusia dua dekad syarikat, adalah tempat kebanyakan kod penyelidikan AI ditulis, ditala dan digunakan, dan setiap cip pencabar — daripada barisan Naluri AMD ke TPU Google dan Trainium Amazon — terpaksa berdepan dengan kos meminta pembangun meninggalkannya. Liputan pelancaran TorchNeuron di GeekWire, Benzinga dan GuruFocus secara seragam merangka pengumuman itu sebagai serangan ke atas parit itu.
Amazon tidak cuba menarik pemaju keluar dari PyTorch untuk memenangi mereka. Sebaliknya, ia membawa Trainium ke dalam PyTorch, jadi pangkalan pengguna besar rangka kerja itu boleh menggunakan cip tanpa mengubah tabiat. Siaran blog PyTorch menyertakan pengesahan daripada Meta, yang mengekalkan rangka kerja: "Sokongan asli untuk AWS Trainium memperluaskan pilihan itu, membolehkan penyelidik dan jurutera mencuba dan mengulangi menggunakan pelaksanaan yang bersemangat dan API yang diedarkan yang sudah mereka ketahui," kata Jana van Greunen, Pengarah Kejuruteraan PyTorch di Meta, dalam jawatan itu.
Pembingkaian itu penting untuk perniagaan awan AWS. Contoh trainium telah dipasarkan sebagai alternatif kos yang lebih rendah kepada GPU Nvidia untuk latihan dan inferens, dan cip tersebut telah menarik pelanggan AI yang besar. Membuat cip berasa asli kepada PyTorch secara langsung menangani bantahan yang telah memperlahankan penggunaan yang lebih luas: usaha mengalihkan.
Skop Teknikal, Daripada Buku Nota kepada Latihan Berskala Kluster
Keupayaan yang disenaraikan di blog PyTorch mencadangkan Amazon menyasarkan jauh melampaui eksperimen hobi. TorchNeuron merangkumi set operator yang dilihat merentas teks, multimodal dan model bahasa penglihatan serta penjanaan imej dan video, model angkasa negeri dan model dunia, dengan ketepatan BF16, FP32 dan FP16; Sokongan TorchAO dan FP8 berada dalam beta peribadi lebih awal daripada ketersediaan umum dalam keluaran seterusnya.
Latihan teragih, disiplin yang mengubah kod GPU tunggal menjadi larian skala kelompok, disokong melalui API PyTorch standard — DDP, FSDP2, SimpleFSDP, selari tensor dan saluran paip, dan sharding gaya ZeRO, bersama-sama dengan DTensor dan DeviceMesh untuk kumpulan proses berbilang dimensi. Strim dan acara memetakan semantik PyTorch pada baris gilir perkakasan Trainium, kata siaran itu.
Untuk inferens, susunan Neuron Amazon dibina di atas asas yang sama: vLLM Neuron menyediakan model bahasa yang besar, manakala vLLM Omni Neuron menyediakan model resapan untuk penjanaan imej dan video. Antara Muka Inti Neuron membolehkan penyelidik menulis pengendali tersuai untuk pelaksanaan yang bersemangat dan tersusun, dan AWS ialah NKI-lib sumber terbuka, satu set kernel yang dioptimumkan Trainium yang meliputi pengiraan FlashAttention dan MoE untuk LLM arus perdana dan senario multimodal.
Perkakas prestasi disertakan juga. Neuron Explorer memanjangkan `torch.profiler` standard untuk mengesan pelaksanaan daripada rangka kerja kepada perkakasan, memautkan setiap peristiwa kembali ke baris sumbernya, dan boleh mengeksport metrik berformat Parket yang nota catatan boleh digunakan oleh ejen untuk analisis kesesakan automatik.
Ketersediaan dan Perkara Seterusnya
TorchNeuron ditetapkan untuk pelancaran sumber terbukanya di Persidangan PyTorch Amerika Utara pada 20 Oktober, mengikut catatan blog, dengan keserasian meluas kepada Hugging Face Transformers v5. AWS menerangkan Trainium sebagai portfolio cip yang direka dari bawah untuk latihan dan inferens AI skala awan.
Konteks strategik ialah pasaran di mana setiap penyedia awan utama secara serentak merupakan pembeli terbesar bagi pemecut Nvidia dan bakal pesaing. Microsoft, Google dan Meta semuanya membangunkan silikon tersuai, dan firma China termasuk Huawei sedang membina susunan perisian mereka sendiri untuk melepaskan diri daripada graviti CUDA. Dengan bertemu dengan pembangun di dalam PyTorch dan bukannya meminta mereka berhijrah, Amazon telah memilih laluan yang paling tidak mengganggu ke dalam peraduan itu — dan yang paling mungkin, jika pengalaman pembangun bertahan, untuk mengalihkan beban kerja latihan sebenar daripada perkakasan Nvidia.
Sama ada TorchNeuron benar-benar menghakis kelebihan CUDA bergantung pada prestasi pada skala dan ekor panjang model dunia sebenar, persoalan bahan pelancaran tidak dijawab. Tetapi halangan yang menghalang kebanyakan pembangun PyTorch daripada mencuba Trainium — penulisan semula — kini telah diturunkan kepada satu baris kod.
---
Kekal Mendahului AIDapatkan berita, analisis dan penemuan terkini AI — semuanya di satu tempat.
Baca lebih banyak berita AI →
