Biaya yang tumbuh paling cepat dalam kecerdasan buatan mungkin bukan chip – tapi mungkin listrik yang memberi pasokan pada chip. Pada tanggal 12 Oktober, Universitas Michigan mengumumkan bahwa NVIDIA, perusahaan komputasi AI yang dominan di dunia, sedang mengevaluasi cara menambahkan dua alat penghemat energi UM ke Megatron-LM, platform sumber terbuka NVIDIA yang banyak digunakan untuk melatih model bahasa besar. Menurut universitas tersebut, perangkat lunak ini dapat menghemat energi yang dibutuhkan untuk melatih AI hingga 50% — tanpa memengaruhi kecepatan pelatihan atau performa model.
Berita ini jauh lebih penting daripada catatan publikasi satu laboratorium. Megatron-LM bukanlah basis kode penelitian khusus: perusahaan dapat menggunakannya secara langsung atau sebagai landasan untuk platform pelatihan pribadi mereka yang disesuaikan, dan merupakan platform yang digunakan untuk melatih model Nemotron andalan NVIDIA, yang dapat diunduh pengguna ke perangkat keras mereka sendiri. Jika alat UM berhasil menjadi Megatron-LM, peningkatan efisiensi yang dikembangkan di laboratorium akademis akan diterapkan pada sebagian besar pelatihan AI di dunia. Untuk liputan berkelanjutan mengenai perlombaan infrastruktur di balik AI, ikuti perkembangan AI terkini di beranda kami.
Apa yang Sebenarnya Dilakukan Kareus dan Perseus
Kedua alat tersebut menyerang sumber pemborosan yang berbeda dalam pelatihan terdistribusi, dan tumpukan tabungannya.
Perseus: Mengelola Kecepatan Prosesor
Perseus menangani komputasi yang disediakan secara berlebihan. Dalam proses pelatihan yang besar, tidak semua prosesor melakukan pekerjaan yang berguna setiap saat, namun semuanya menggunakan daya. Dengan mengatur kecepatan prosesor agar sesuai dengan pekerjaan sebenarnya yang tersedia di setiap titik pelatihan, Perseus mengurangi energi yang dibutuhkan untuk melatih AI hingga 30%, menurut UM.
Kareus: Pengaturan Waktu yang Lebih Cerdas untuk Komputasi dan Komunikasi
Kareus menargetkan masalah yang lebih halus. Melatih model modern memerlukan koordinasi ratusan hingga ribuan prosesor, dan pekerjaannya terbagi antara komputasi dan komunikasi chip-ke-chip. Kareus mengurangi energi pelatihan sebesar 15% hingga 30% dengan menemukan waktu yang paling efisien dan pembagian sumber daya antara tugas-tugas pelatihan dan komunikasi tersebut — menjadwalkan masing-masing tugas sehingga tidak ada yang duduk diam menunggu yang lain.
Jika digabungkan, kata universitas tersebut, alat-alat tersebut dapat menghemat sekitar setengah energi yang digunakan untuk melatih AI sekaligus memberikan kecepatan pelatihan dan kinerja model akhir yang sama. Kareus juga merupakan hasil tinjauan sejawat: alat ini dipresentasikan pada Simposium USENIX tentang Desain dan Implementasi Sistem Operasi (OSDI) pada bulan Juli, salah satu tempat terbaik untuk penelitian sistem.
Mengapa Ketertarikan NVIDIA Adalah Kisah Nyata
Penelitian efisiensi akademis biasanya menghadapi jalan panjang menuju produksi. Yang ini mungkin berbeda, tergantung di mana ia mendarat. Seorang mahasiswa doktoral, Ruofan Wu, menghabiskan musim panas lalu di NVIDIA untuk mengintegrasikan perangkat lunak UM ke Megatron-LM sebagai bagian dari magang — yang berarti alat tersebut bukanlah sebuah proposal tetapi kode kerja di dalam tumpukan pelatihan NVIDIA, yang sekarang sedang dalam evaluasi formal.
“AI menjadi terbatas pada daya ketika model menjadi lebih besar dan semakin banyak orang yang ingin melatih model, namun kita dapat mencapai kecepatan dan kinerja pelatihan yang sama dengan menggunakan lebih sedikit energi,” kata Wu, seorang mahasiswa doktoral di bidang ilmu komputer dan teknik di UM, dalam pengumuman universitasnya. “Ada banyak peluang untuk mengoptimalkan penggunaan energi AI pada tingkat perangkat lunak dan perangkat keras, dan salah satu bagian yang paling bermanfaat dari magang ini adalah kesempatan untuk membawa ide-ide dari penelitian saya ke dalam sistem produksi,” tambahnya.
Kata tersebut – terbatas pada kekuasaan – adalah semboyan baru dalam industri ini. Tim peneliti UM, yang juga terdiri dari mahasiswa doktoral Jeff Ma dan Jae-Won Chung serta profesor madya Mosharaf Chowdhury, bekerja sama dengan NVIDIA dalam integrasi tersebut. Kerangka kerja tim ini sangat jelas: tujuannya adalah agar AI dapat melakukan pekerjaan yang lebih berguna dengan lebih sedikit energi dan biaya dengan menemukan cara paling efisien untuk mengoordinasikan pelatihan di ratusan hingga ribuan prosesor.
Energi Kini Menjadi Kendala Kelas Satu
Skala pelatihan terdepan inilah yang mengubah persentase penghematan menjadi angka-angka strategis. Meta mengatakan minggu ini bahwa model Muse Wonder barunya dilatih di Prometheus, yang digambarkan sebagai pusat data berskala gigawatt. Ketika satu kampanye pelatihan dijalankan pada skala tersebut, pengurangan energi pada tingkat persentase bukanlah kesalahan pembulatan; inilah perbedaan antara menjalankan pelatihan sesuai anggaran daya atau tidak.
Ilmu ekonomi mengikuti fisika. Energi telah menjadi salah satu sumber daya utama untuk ekspansi AI. Perangkat lunak yang mengurangi separuh tagihan listrik selama pelatihan – dengan menggunakan perangkat keras yang ada – mengubah perhitungan setiap perusahaan yang melatih modelnya sendiri, dan khususnya bagi pemain kecil yang biaya energinya merupakan kendala utama.
Hal ini juga mengubah perdebatan lingkungan seputar AI. Sebagian besar diskusi publik berfokus pada energi inferensi — daya yang dikonsumsi oleh setiap kueri chatbot. Namun pelatihan adalah tempat di mana blok-blok energi terbesar dikonsentrasikan, dan pendekatan perangkat lunak yang tidak bergantung pada vendor dan ditinjau oleh rekan sejawat yang memotongnya hingga setengahnya menawarkan sesuatu yang lebih langka daripada peta jalan perangkat keras: peningkatan efisiensi yang dapat dicapai dengan rilis sumber terbuka berikutnya dibandingkan dengan pembangunan pusat data berikutnya.
Apa yang Terjadi Selanjutnya
Universitas tersebut mengatakan NVIDIA sedang mengevaluasi cara menambahkan perangkat lunak tersebut ke platform pelatihan sumber terbukanya. Jika kerangka ini dikirimkan dalam Megatron-LM, adopsi dapat menyebar dengan cepat mengingat seberapa luas kerangka kerja ini digunakan di seluruh industri dan akademisi. Program penelitian tim UM yang lebih luas terus mencari penghematan energi di seluruh perangkat lunak dan perangkat keras – sebuah agenda yang tampak khusus beberapa tahun yang lalu dan sekarang menjadi pusat perhatian.
