Kos yang paling pesat berkembang dalam kecerdasan buatan mungkin bukan cip — ia mungkin elektrik yang memberi mereka makan. Pada 12 Oktober, Universiti Michigan mengumumkan bahawa NVIDIA, syarikat pengkomputeran AI yang dominan di dunia, sedang menilai cara menambahkan dua alat penjimatan tenaga U-M kepada Megatron-LM, platform sumber terbuka NVIDIA yang digunakan secara meluas untuk melatih model bahasa yang besar. Menurut universiti itu, perisian itu boleh mengurangkan tenaga yang diperlukan untuk melatih AI sehingga 50% — tanpa menjejaskan kelajuan latihan atau prestasi model.
Berita itu penting melebihi rekod penerbitan satu makmal. Megatron-LM bukanlah pangkalan kod penyelidikan khusus: syarikat boleh menggunakannya secara langsung atau sebagai asas untuk platform latihan peribadi mereka sendiri yang disesuaikan, dan ia adalah platform yang digunakan untuk melatih model Nemotron perdana NVIDIA, yang boleh dimuat turun oleh pengguna ke perkakasan mereka sendiri. Jika alatan U-M berjaya menjadi Megatron-LM, peningkatan kecekapan yang dibangunkan dalam makmal akademik akan berkembang menjadi sebahagian besar larian latihan AI dunia. Untuk liputan berterusan tentang perlumbaan infrastruktur di belakang AI, ikuti perkembangan AI terkini di halaman utama kami.
Apa Kareus dan Perseus Sebenarnya Buat
Kedua-dua alatan itu menyerang sumber sisa yang berbeza dalam latihan yang diedarkan, dan timbunan simpanannya.
Perseus: Mengurus Kelajuan Pemproses
Perseus menangani pengiraan lebihan peruntukan. Dalam latihan yang besar, tidak setiap pemproses melakukan kerja yang berguna pada setiap saat, namun semuanya menarik kuasa. Dengan menguruskan kelajuan pemproses agar sepadan dengan kerja sebenar yang tersedia pada setiap titik latihan, Perseus mengurangkan tenaga yang diperlukan untuk melatih AI sehingga 30%, menurut U-M.
Kareus: Masa Lebih Pintar untuk Pengiraan dan Komunikasi
Kareus menyasarkan masalah yang lebih halus. Melatih model moden memerlukan penyelarasan ratusan hingga ribuan pemproses, dan kerja berpecah antara pengiraan dan komunikasi cip-ke-cip. Kareus mengurangkan tenaga latihan sebanyak 15% hingga 30% tambahan dengan mencari masa yang paling cekap dan perkongsian sumber antara tugas latihan dan komunikasi tersebut — menjadualkan setiap satu supaya tidak ada yang terbiar menunggu yang lain.
Bersama-sama, kata universiti itu, alat itu boleh menjimatkan kira-kira separuh daripada tenaga yang digunakan untuk melatih AI sambil menyampaikan kelajuan latihan dan prestasi model akhir yang sama. Kareus juga merupakan hasil semakan rakan sebaya: alat itu telah dibentangkan di Simposium USENIX mengenai Reka Bentuk dan Pelaksanaan Sistem Operasi (OSDI) pada bulan Julai, salah satu tempat teratas untuk penyelidikan sistem.
Mengapa Minat NVIDIA Adalah Kisah Sebenar
Penyelidikan kecekapan akademik biasanya menghadapi jalan panjang untuk pengeluaran. Yang ini mungkin berbeza, kerana tempat ia mendarat. Seorang pelajar kedoktoran, Ruofan Wu, menghabiskan musim panas lalu di NVIDIA menyepadukan perisian U-M ke dalam Megatron-LM sebagai sebahagian daripada latihan amali — bermakna alatan tersebut bukan cadangan tetapi kod kerja di dalam timbunan latihan NVIDIA, kini di bawah penilaian rasmi.
"AI menjadi terhad kuasa apabila model menjadi lebih besar dan lebih ramai orang mahu melatih model, tetapi kami boleh mencapai kelajuan dan prestasi latihan yang sama menggunakan kurang tenaga," kata Wu, pelajar kedoktoran dalam sains komputer dan kejuruteraan di U-M, dalam pengumuman universiti itu. "Terdapat banyak peluang untuk mengoptimumkan penggunaan tenaga AI pada peringkat perisian dan perkakasan, dan salah satu bahagian latihan amali yang paling menggembirakan ialah peluang untuk membawa idea daripada penyelidikan saya ke dalam sistem pengeluaran," tambahnya.
Perkataan itu — dikekang kuasa — ialah kata kunci baharu industri. Pasukan penyelidik U-M, yang turut merangkumi pelajar kedoktoran Jeff Ma dan Jae-Won Chung bersama profesor bersekutu Mosharaf Chowdhury, sedang bekerjasama dengan NVIDIA dalam penyepaduan. Pembingkaian pasukan adalah mudah: matlamatnya adalah untuk membolehkan AI melakukan kerja yang lebih berguna untuk mengurangkan tenaga dan kos dengan mencari cara paling cekap untuk menyelaraskan latihan merentas ratusan hingga ribuan pemproses.
Tenaga Kini Menjadi Kekangan Kelas Pertama
Skala latihan sempadan adalah yang menjadikan peratusan simpanan kepada nombor strategik. Meta berkata minggu ini bahawa model Muse Wonder baharunya telah dilatih di Prometheus, yang disifatkannya sebagai pusat data berskala gigawatt. Apabila kempen latihan tunggal dijalankan pada skala itu, pengurangan tenaga peringkat peratusan bukanlah ralat pembundaran; ia adalah perbezaan antara memasang latihan dalam bajet kuasa atau tidak.
Ekonomi mengikut fizik. Tenaga telah menjadi salah satu sumber gating untuk pengembangan AI. Perisian yang mengurangkan separuh bil elektrik untuk latihan dijalankan — menggunakan perkakasan sedia ada — mengubah kalkulus untuk setiap syarikat melatih modelnya sendiri, dan terutamanya untuk pemain yang lebih kecil yang kos tenaga adalah kekangan yang mengikat.
Ia juga merangka semula perdebatan alam sekitar sekitar AI. Kebanyakan perbincangan awam telah menumpukan pada tenaga inferens — kuasa yang digunakan oleh setiap pertanyaan chatbot. Tetapi latihan adalah di mana blok tunggal terbesar tenaga tertumpu, dan pendekatan perisian agnostik vendor yang disemak rakan sebaya yang mengurangkannya sehingga separuh menawarkan sesuatu yang lebih jarang daripada peta jalan perkakasan: keuntungan kecekapan yang boleh tiba dengan keluaran sumber terbuka seterusnya dan bukannya binaan pusat data seterusnya.
Apa Yang Berlaku Seterusnya
Universiti itu berkata NVIDIA sedang menilai cara menambah perisian itu ke platform latihan sumber terbukanya. Jika ia dihantar dalam Megatron-LM, penerimaan boleh merebak dengan cepat memandangkan sejauh mana rangka kerja digunakan merentas industri dan dalam akademik. Program penyelidikan lebih luas pasukan U-M terus mencari penjimatan tenaga merentas timbunan perisian dan perkakasan — agenda yang kelihatan khusus beberapa tahun lalu dan kini kelihatan seperti pusat permainan.
