Yapay zekanın en hızlı artan maliyeti çipler olmayabilir; onları besleyen elektrik olabilir. 12 Ekim'de Michigan Üniversitesi, dünyanın önde gelen yapay zeka bilgi işlem şirketi NVIDIA'nın, NVIDIA'nın büyük dil modellerini eğitmek için yaygın olarak kullanılan açık kaynaklı platformu Megatron-LM'ye iki U-M enerji tasarrufu aracını nasıl ekleyeceğini değerlendirdiğini duyurdu. Üniversiteye göre yazılım, eğitim hızını veya model performansını etkilemeden yapay zekayı eğitmek için gereken enerjiyi %50'ye kadar azaltabiliyor.
Haber, bir laboratuvarın yayın kaydının çok ötesinde önem taşıyor. Megatron-LM niş bir araştırma kod tabanı değildir: şirketler onu doğrudan veya kendi özel, özelleştirilmiş eğitim platformlarının temeli olarak kullanabilir ve kullanıcıların kendi donanımlarına indirebilecekleri, NVIDIA'nın amiral gemisi Nemotron modellerini eğitmek için kullanılan platformdur. U-M araçları Megatron-LM'ye dahil edilirse, akademik bir laboratuvarda geliştirilen verimlilik iyileştirmeleri dünyadaki yapay zeka eğitim çalışmalarının büyük bir kısmına yayılacaktır. Yapay zekanın arkasındaki altyapı yarışının devam eden kapsamı için ana sayfamızdan en son yapay zeka gelişmelerini takip edin.
Kareus ve Perseus Aslında Ne Yapıyor?
İki araç, dağıtılmış eğitimde farklı atık kaynaklarına ve tasarruf yığınlarına saldırır.
Perseus: İşlemci Hızını Yönetme
Perseus aşırı provizyona sahip hesaplamayı ele alıyor. Büyük bir eğitim çalışmasında, her işlemci her an yararlı bir iş yapmasa da hepsi güç çeker. U-M'ye göre Perseus, işlemci hızını eğitimin her noktasında mevcut olan fiili çalışmaya uyacak şekilde yöneterek yapay zekayı eğitmek için gereken enerjiyi %30'a kadar azaltıyor.
Kareus: Bilgi İşlem ve İletişim için Daha Akıllı Zamanlama
Kareus daha incelikli bir sorunu hedef alıyor. Modern modellerin eğitimi, yüzlerce ila binlerce işlemcinin koordine edilmesini gerektirir ve iş, hesaplama ile çipten çipe iletişim arasında bölünür. Kareus, bu eğitim ve iletişim görevleri arasında en verimli zamanlamayı ve kaynak paylaşımını bularak ve her birini, diğerini boşta beklemeyecek şekilde planlayarak, eğitim enerjisini %15 ila %30 oranında daha azaltır.
Üniversite, araçların aynı eğitim hızını ve son model performansını sunarken, yapay zekayı eğitmek için kullanılan enerjinin yaklaşık yarısından tasarruf sağlayabileceğini söylüyor. Kareus aynı zamanda hakemli bir sonuçtur: Araç, Temmuz ayında sistem araştırması için en iyi mekanlardan biri olan USENIX İşletim Sistemleri Tasarımı ve Uygulaması Sempozyumu'nda (OSDI) sunuldu.
Neden NVIDIA'nın İlgisi Gerçek Hikayedir
Akademik verimlilik araştırmaları genellikle üretime giden uzun bir yolla karşı karşıyadır. Bu, indiği yerden dolayı farklı olabilir. Doktora öğrencisi Ruofan Wu, geçen yazı NVIDIA'da stajın bir parçası olarak U-M yazılımını Megatron-LM'ye entegre ederek geçirdi; bu, araçların bir teklif değil, şu anda resmi değerlendirme aşamasında olan NVIDIA'nın eğitim yığınında çalışan bir kod olduğu anlamına geliyor.
Üniversitenin duyurusunda, U-M'de bilgisayar bilimi ve mühendisliği alanında doktora öğrencisi olan Wu, "Modeller büyüdükçe ve daha fazla insan modelleri eğitmek istediğinde yapay zekanın gücü kısıtlı hale geliyor, ancak daha az enerji kullanarak aynı eğitim hızına ve performansına ulaşabiliriz" dedi. "Yazılım ve donanım düzeyinde yapay zeka enerji kullanımını optimize etmek için pek çok fırsat var ve stajın en ödüllendirici kısımlarından biri, araştırmamdan elde ettiğim fikirleri üretim sistemlerine aktarma fırsatıydı" diye ekledi.
Bu kelime -gücü kısıtlı- endüstrinin yeni sloganıdır. Doktora öğrencileri Jeff Ma ve Jae-Won Chung ile doçent Mosharaf Chowdhury'nin de yer aldığı U-M araştırma ekibi, entegrasyon konusunda NVIDIA ile çalışıyor. Ekibin çerçevesi basittir: Amaç, yüzlerce ila binlerce işlemci arasında eğitimi koordine etmenin en verimli yolunu bularak yapay zekanın daha az enerji ve maliyetle daha yararlı işler yapmasına olanak sağlamaktır.
Enerji Artık Birinci Sınıf Bir Kısıtlamadır
Sınır eğitiminin ölçeği, tasarruf yüzdesini stratejik rakamlara dönüştüren şeydir. Meta, bu hafta yeni Muse Wonder modellerinin gigawatt ölçeğinde bir veri merkezi olarak tanımladığı Prometheus'ta eğitildiğini söyledi. Bu ölçekte tek bir eğitim kampanyası yürütüldüğünde, yüzde düzeyindeki enerji azaltımı bir yuvarlama hatası değildir; bir antrenman çalışmasının güç bütçesine uygun olup olmaması arasındaki farktır.
Ekonomi fiziği takip eder. Enerji, yapay zekanın genişlemesi için geçiş kaynaklarından biri haline geldi. Mevcut donanımı kullanarak bir eğitim çalışmasının elektrik faturasını yarıya indiren yazılım, kendi modellerini eğiten her şirket için ve özellikle enerji maliyetlerinin bağlayıcı kısıtlama olduğu küçük oyuncular için hesabı değiştirir.
Aynı zamanda yapay zeka etrafındaki çevresel tartışmayı da yeniden çerçeveliyor. Kamuya açık tartışmaların çoğu, her chatbot sorgusunun tükettiği güç olan çıkarım enerjisine odaklandı. Ancak eğitim, en büyük enerji bloklarının yoğunlaştığı yerdir ve bunu yarıya kadar azaltan, hakemli, satıcıdan bağımsız bir yazılım yaklaşımı, donanım yol haritasından daha nadir bir şey sunar: bir sonraki veri merkezi yapısından ziyade bir sonraki açık kaynak sürümüyle elde edilebilecek verimlilik kazanımları.
Sırada Ne Olacak?
Üniversite, NVIDIA'nın yazılımı açık kaynaklı eğitim platformuna nasıl ekleyeceğini değerlendirdiğini söylüyor. Megatron-LM ile gönderilirse, çerçevenin endüstride ve akademide ne kadar yaygın kullanıldığı göz önüne alındığında benimsenme hızla yayılabilir. U-M ekibinin daha geniş araştırma programı, yazılım ve donanım yığınında enerji tasarrufu aramaya devam ediyor; bu, birkaç yıl önce niş bir gündem gibi görünüyordu ve şimdi oyunun merkezi gibi görünüyor.
