Amazon telah mengumumkan TorchNeuron, backend PyTorch asli sumber terbuka untuk keluarga chip AI Trainium, dalam sebuah langkah yang menghilangkan salah satu hambatan praktis terbesar dalam mengadopsi silikon khusus untuk beban kerja pembelajaran mesin. Menurut postingan resmi di blog PyTorch yang diterbitkan menjelang Konferensi PyTorch Amerika Utara pada tanggal 20 Oktober, pengembang kini dapat menjalankan kode model PyTorch yang ada di Trainium dengan perubahan satu baris, daripada menulis ulang alur kerja mereka menggunakan peralatan berpemilik.
Pengumuman ini langsung menarik perhatian karena menargetkan apa yang telah lama digambarkan oleh para analis sebagai keunggulan Nvidia yang paling tahan lama: bukan kinerja chip mentah, tetapi ekosistem perangkat lunak CUDA yang mengikat pengembang ke GPU-nya. Reuters membingkai rilis tersebut karena Amazon mengatakan bahwa chip AI-nya akan bekerja dengan kerangka pengembangan AI yang paling populer, sementara TechCrunch menyebut TorchNeuron sebagai terobosan terbesar perusahaan di Nvidia. Untuk mendapatkan gambaran yang lebih luas tentang perubahan pasar akselerator, liputan berita perangkat keras AI kami terus memantau perkembangan ini seiring perkembangannya.
Apa yang Sebenarnya Diubah TorchNeuron
Janji inti TorchNeuron adalah kesederhanaan. Dalam contoh yang dipublikasikan di blog PyTorch, loop pelatihan yang ada berjalan di Trainium setelah memindahkan model ke perangkat baru dengan `.to('neuron')`. Kode yang ditulis terhadap `torch.accelerator`, API agnostik perangkat yang direkomendasikan PyTorch, berjalan tanpa dimodifikasi, menurut postingan tersebut. Untuk beban kerja yang dikompilasi, pengembang menyetel backend default satu kali dengan `torch.compiler.set_default_backend("neuron")` lalu memanggil `model.compile()` tanpa perubahan lebih lanjut.
Di bawah tenda, TorchNeuron mendaftarkan Trainium melalui PrivateUse1, titik ekstensi resmi PyTorch untuk backend perangkat keras khusus, yang berarti chip tersebut berperilaku sebagai perangkat PyTorch standar dan bukan sebagai pelengkap yang dipasang ke kerangka kerja. AWS menjelaskan integrasi tersebut mencakup beberapa mode eksekusi:
- Eksekusi yang bersemangat untuk penelitian dan proses debug, dengan "mode bersemangat adaptif" eksperimental yang mengurangi overhead peluncuran
- torch.compile untuk performa produksi, menangkap model ke dalam grafik yang dioptimalkan oleh compiler Neuron, dengan dukungan asli untuk FlexAttention
- Antarmuka Kernel Neuron (NKI) untuk peneliti yang membutuhkan kernel tingkat rendah khusus
Backend berfungsi pada chip Trainium2 dan chip Trainium3 yang lebih baru, menurut pengumuman tersebut.
Serangan Langsung ke Parit Perangkat Lunak Nvidia
Kekuasaan Nvidia dalam komputasi AI tidak pernah hanya bertumpu pada perangkat keras yang lebih cepat. CUDA, platform perangkat lunak perusahaan yang telah berusia dua dekade, adalah tempat sebagian besar kode penelitian AI ditulis, disetel, dan diterapkan, dan setiap chip penantang – mulai dari lini Instinct AMD hingga TPU Google dan Trainium Amazon – harus menanggung biaya meminta pengembang untuk meninggalkannya. Liputan peluncuran TorchNeuron di GeekWire, Benzinga, dan GuruFocus secara seragam membingkai pengumuman tersebut sebagai serangan terhadap parit tersebut.
Amazon tidak mencoba menarik pengembang keluar dari PyTorch untuk memenangkan hati mereka. Sebaliknya, mereka menghadirkan Trainium ke PyTorch, sehingga basis pengguna kerangka kerja yang sangat besar dapat mengadopsi chip tersebut tanpa mengubah kebiasaan. Postingan blog PyTorch menyertakan dukungan dari Meta, yang mempertahankan kerangka kerja: "Dukungan asli untuk AWS Trainium memperluas pilihan tersebut, memungkinkan peneliti dan insinyur untuk bereksperimen dan melakukan iterasi menggunakan eksekusi yang bersemangat dan API terdistribusi yang sudah mereka ketahui," kata Jana van Greunen, Direktur Teknik PyTorch di Meta, dalam postingan tersebut.
Pembingkaian tersebut penting bagi bisnis cloud AWS. Instans Trainium telah dipasarkan sebagai alternatif berbiaya lebih rendah dibandingkan GPU Nvidia untuk pelatihan dan inferensi, dan chip tersebut telah menarik pelanggan AI. Membuat chip terasa asli bagi PyTorch secara langsung mengatasi keberatan yang memperlambat adopsi yang lebih luas: upaya porting.
Cakupan Teknis, Dari Buku Catatan hingga Pelatihan Skala Cluster
Kemampuan yang tercantum di blog PyTorch menunjukkan bahwa Amazon bertujuan melampaui eksperimen penghobi. TorchNeuron mencakup rangkaian operator yang terlihat pada model teks, multimodal, dan bahasa visi serta pembuatan gambar dan video, model ruang negara, dan model dunia, dengan presisi BF16, FP32, dan FP16; Dukungan TorchAO dan FP8 masih dalam versi beta pribadi sebelum ketersediaan umum pada rilis berikutnya.
Pelatihan terdistribusi, disiplin yang mengubah kode GPU tunggal menjadi eksekusi skala cluster, didukung melalui API PyTorch standar — DDP, FSDP2, SimpleFSDP, paralelisme tensor dan pipeline, dan sharding gaya ZeRO, bersama dengan DTensor dan DeviceMesh untuk grup proses multidimensi. Aliran dan peristiwa memetakan semantik PyTorch ke antrean perangkat keras Trainium, kata postingan itu.
Sebagai kesimpulan, tumpukan Neuron Amazon dibangun di atas fondasi yang sama: vLLM Neuron melayani model bahasa besar, sementara vLLM Omni Neuron melayani model difusi untuk pembuatan gambar dan video. Antarmuka Kernel Neuron memungkinkan peneliti menulis operator khusus untuk eksekusi yang bersemangat dan terkompilasi, dan AWS adalah sumber terbuka NKI-lib, satu set kernel yang dioptimalkan Trainium yang mencakup komputasi blok FlashAttention dan MoE untuk skenario LLM dan multimodal arus utama.
Perkakas kinerja juga disertakan. Neuron Explorer memperluas `torch.profiler` standar untuk melacak eksekusi dari kerangka kerja ke perangkat keras, menghubungkan setiap peristiwa kembali ke jalur sumbernya, dan dapat mengekspor metrik berformat Parket sehingga catatan postingan dapat digunakan oleh agen untuk analisis kemacetan otomatis.
Ketersediaan dan Berikutnya
TorchNeuron ditetapkan untuk peluncuran sumber terbukanya di Konferensi PyTorch Amerika Utara pada tanggal 20 Oktober, sesuai postingan blog, dengan kompatibilitas yang diperluas ke Hugging Face Transformers v5. AWS menggambarkan Trainium sebagai portofolio chip yang dirancang sejak awal untuk pelatihan dan inferensi AI skala cloud.
Konteks strategisnya adalah pasar di mana setiap penyedia cloud besar sekaligus merupakan pembeli terbesar akselerator Nvidia sekaligus calon pesaingnya. Microsoft, Google, dan Meta semuanya mengembangkan silikon khusus, dan perusahaan Tiongkok termasuk Huawei sedang membangun perangkat lunak mereka sendiri untuk menghindari gravitasi CUDA. Dengan menemui pengembang di dalam PyTorch dibandingkan meminta mereka untuk bermigrasi, Amazon telah memilih jalur yang paling tidak mengganggu dalam kontes tersebut — dan jalur yang paling mungkin, jika pengalaman pengembang bertahan, adalah memindahkan beban kerja pelatihan nyata dari perangkat keras Nvidia.
Apakah TorchNeuron benar-benar mengikis keunggulan CUDA akan bergantung pada kinerja dalam skala besar dan model dunia nyata yang panjang, pertanyaan yang tidak dapat dijawab oleh materi peluncuran. Namun penghalang yang menghalangi sebagian besar pengembang PyTorch untuk mencoba Trainium — sebuah penulisan ulang — kini telah diturunkan menjadi satu baris kode.
---
Tetap Terdepan dalam AIDapatkan berita, analisis, dan terobosan AI terkini — semuanya di satu tempat.
Baca berita AI selengkapnya →
