Yapay zeka altyapısının ekonomisi tersine döndü. SC26 süper bilgi işlem konferansında CUBE Research ile yaptığı röportajda bu rakamı paylaşan Positron AI yöneticisi Cameron McCaskill'e göre, bugün yapay zeka altyapısı üzerinden yürütülen iş yüklerinin kabaca üçte ikisi eğitimden ziyade çıkarımdan oluşuyor. Üç yıl önce, bölünme neredeyse tam tersiydi: yaklaşık yüzde 85'i eğitim ve yüzde 15'i çıkarım.

Bu tersine dönüş, yapay zeka hesaplamalarının nerede yaşadığının haritasını sessizce yeniden çiziyor ve neden yeni nesil çıkarım öncelikli çip üreticilerinin birdenbire kendilerinden çok daha büyük şirketlerden bulut anlaşmaları kazandığını açıklıyor.

Flip'in Arkasındaki Sayılar

Positron satış ve iş geliştirme başkanı McCaskill, theCUBE Research'ten Rebecca Knight ve John Furrier ile yaptığı röportajda, "Bu yapay zeka altyapıları üzerinden yürütülen iş yüklerinin yaklaşık üçte ikisinin çıkarım, üçte birinin eğitim olduğu bir noktadayız" dedi. "2023'te bu, %85 eğitim, %15 çıkarım gibiydi. Artık altyapılarını nasıl inşa edeceklerine ilişkin ekonomik kararlarda çıkarımın neden yön verdiğini görebilirsiniz."

Değişim sezgisel olarak anlamlıdır. Eğitim, milyar dolarlık kümelerin bulunduğu bir avuç sınır laboratuvarında gerçekleşiyor. Çıkarım her yerde, bir kullanıcı bir modeli her istediğinde gerçekleşir; tüketici ve kurumsal benimsemede patlama yaşanırken, tokenlara yönelik toplam talep, eğitim dönemi için oluşturulan altyapıyı aşmıştır. Güç, soğutma ve bellek kaynağı artık ham çip performansı kadar tokenlerin nerede üretileceğini şekillendiriyor ve bu da hangi donanımın anlaşmaları kazanacağını değiştiriyor.

Pozitron'un Emtia Belleğine Bahsi

Eylül ayında 5 milyar dolarlık değerlemeyle 875 milyon dolar toplayan Positron AI, tüm stratejisini çıkarım çağı etrafında oluşturdu. Şirketin merkezi tasarım tercihi: çoğu yapay zeka hızlandırıcısını destekleyen az bulunan ve pahalı bellek türü olan yüksek bant genişlikli belleği (HBM) atlamak ve bunun yerine ticari bellek etrafında çıkarım araçları oluşturmak.

McCaskill, "Sektördeki hemen hemen herkes HBM veya yüksek bant genişliğine sahip bellek denilen şeyi kullanıyor. Arzı çok sınırlı ve çok pahalı" dedi. "Emtia hafızasıyla gittik."

Takaslar kasıtlıdır. Emtia hafızası daha ucuzdur ve kaynaklanması çok daha kolaydır ve Positron'un mimarisi, hava soğutmalı odalar için gücü yeterince düşük tutar; egzotik sıvı soğutmaya gerek yoktur. Tek bir Positron sunucusu yaklaşık 4.500 watt güç tüketiyor ve şirketin yeni Titan sunucularının tam rafı 40 kilowatt'a sığıyor.

Yol haritası hızla ilerliyor. Positron'un birinci nesil Atlas sunucusu programlanabilir bir çip üzerinde çalışıyordu ve şirket, Titan sunucusu için gelecek yılın başlarında kendi silikonunu bantlamayı planlıyor. Şirket zaten önemli dağıtımlara ulaştı: McCaskill'e göre Oracle, bu çeyrekte yaklaşık 340 Atlas sunucusunu bulutunda canlı olarak kullanıma sunuyor ve bir neocloud sağlayıcısı, gelecek Titan nesline taahhüt verirken Atlas için de anlaşma imzaladı.

Modüler Veri Merkezleri Çıkarımın Doğal Yuvası Haline Geliyor

Röportajın belki de en önemli kısmı, McCaskill'in talebin nereden geldiğini söylediği kısım: hiper ölçekli kampüsler değil, küçük, hızlı, modüler tesisler.

"Şu anda artış gördüğümüz ve ürün için bize gelen şirket gruplarından biri, yarım megavat veya 1 megavat veya 2,5 megavat modüler veri merkezlerine sahip olan ve çok hızlı bir şekilde devreye alınabilen modüler veri merkezleridir" dedi. "Bu çıkarım yapan oyuncuların çoğunun hedefi, 90 ila 120 gün içinde karadan ve güçten para kazanılabilir tokenlara ulaşmaktır."

Temel atılmasından gelir elde edilmesine kadar geçen yaklaşık dörtte birlik bu zaman çizelgesi, izin verilmesi, inşa edilmesi ve enerjilendirilmesi yıllar sürebilen gigawatt ölçeğindeki bir eğitim kampüsü için imkansızdır. Çıkarım iş yükleri daha küçüktür, coğrafi olarak daha esnektir ve operatörlerin ağır düzenleyici engeller olmadan birkaç megavatlık ucuz enerji bulabileceği sahalara karşı daha toleranslıdır. Sonuç, telekomünikasyon tesislerinde, ortak yerleşim tesislerinde ve talebin gerçekte olduğu yere daha yakın modüler birimlerde bulunan, ortaya çıkan dağıtılmış çıkarım altyapısı katmanıdır.

Endüstri İçin Ne İfade Ediyor?

Çip satıcıları için mesaj, yapay zeka donanım pazarının ikiye ayrıldığı yönünde. Eğitim, en gelişmiş hızlandırıcıları ve en derin bütçeleri ödüllendirmeye devam ediyor. Çıkarım farklı erdemleri ödüllendirir: güç verimliliği, bellek maliyeti, dağıtım hızı ve sıradan hava soğutmalı binalarda çalışabilme yeteneği. Yalnızca eğitim yarışı için optimize edilmiş satıcılar, gelecekteki dağıtım kararlarının en büyük hacminin (tokenların gerçekten para kazanıldığı yerlerde) farklı kısıtlamalar için tasarlanmış donanımlarda gerçekleştiğini görebilir.

İşletmeler ve bulut müşterileri için bu değişim çoğunlukla görünmez ancak giderek daha önemli hale geliyor: 90 ila 120 günlük artışlarla gelen çıkarım kapasitesi, daha rekabetçi fiyatlandırma ve modelleri kullanıcıların ve verilerin yakınında çalıştırmak için daha fazla coğrafi seçenek anlamına geliyor.

Yapay zeka endüstrisinin (genellikle gigawatt'lık kampüsler için sonsuz bir yarış olarak çerçevelenen) inşa anlatısı için çıkarım değişimi, talep eğrisinin sadece ölçeklenmekle kalmayıp genişlediğini de hatırlatıyor. SC26'da belirtilen üçte ikilik dönüm noktası bir yöneticinin tahminidir, ancak her büyük bulut operatörünün bildirdiği yön ile örtüşmektedir: Yapay zeka yapısının ağırlık merkezi, modelleri eğitmekten onlara hizmet vermeye doğru ilerlemektedir.

Yapay Zekanın Önünde Olun

Yapay zeka donanım ve altyapı haberleri kaynağınız olan AI Buzz Wire ile en son yapay zeka gelişmelerini anında takip edin.

Daha fazla AI haberini okuyun →