Google, sekizinci nesil TPU serisini iki yeni özel sistemle genişletti: Uzun bağlamlı aracı iş yükleri için iki çıkarım çipini tek bir pakette birleştiren TPU 8i Max ve denetime tabi kuruluşlar ve hükümetleri hedefleyen gizli, donanımdan yalıtılmış çıkarım için oluşturulmuş TPU 8tx. Tom's Hardware perşembe günü eklemeleri bildirdi.

Bu hamle, Google'ın Nisan ayında büyük ölçekli yapay zeka eğitimi için tasarlanan TPU 8t ve örnekleme, sunma ve akıl yürütme gibi genel amaçlı çıkarım çalışmaları için tasarlanan TPU 8i ile başlattığı aileyi tamamlıyor. Yeni değişkenlerle birlikte sekizinci nesil ürün yelpazesi artık eğitim, standart çıkarım, güvenli çıkarım ve maksimum bant genişliğine sahip aracılı çıkarımı kapsıyor; bu, kuruluşların artık yapay zeka donanımını ne kadar farklı kullandığını yansıtan bir seçenekler matrisi. Bu çip haberi, AI donanım pazarındaki en son AI gelişmelerini kapsamımızın bir parçasıdır.

Yeni çipler ne işe yarıyor?

TPU 8i Max, iki adet 8i yongasını tek bir pakete yerleştirerek orijinal 8i'nin bilgi işlem, SRAM ve yüksek bant genişliğine sahip bellek bant genişliğini iki katına çıkarır. Tasarım, yapay zeka aracılarının çok adımlı görevlerde çok geniş çalışma bağlamları taşıdığı senaryolar olan uzun bağlamlı aracılı çalışmayı hedefliyor.

Tom's Hardware, bant genişliğinin iki katına çıkmasını, Google'ın bellek duvarı olarak adlandırdığı, "düzinelerce yapay zeka aracısının tüm yazılım kod tabanında birlikte çalıştığında" akut hale gelen bant genişliği darboğazının etrafından dolaşmanın bir yolu olarak çerçeveledi. Yaklaşık 1 milyon jetonu hedefleyen daha büyük modellerle daha büyük bağlam pencereleri, kısmen SRAM'de tutulan daha büyük KV önbellekleri anlamına gelir ve oluşturulan her yeni jetonun bu önbelleği bellekten geri okuması gerekir. Tek bir pakette HBM bant genişliğini ikiye katlamak tam olarak bu darboğaza saldırıyor ve yayın, bunun Nvidia'nın kod çözme için ikinci bir çip türünü bağlam için bir depolama katmanıyla eşleştirme yaklaşımından farklı bir yol olduğunu belirtti.

Bu arada TPU 8tx, daha önce duyurulan eğitim odaklı 8t ile aynı silikon üzerine inşa edilmiş ancak gizli bilgi işlem için yapılandırılmıştır: Verilerinin ve modellerinin işlem sırasında korunduğunun kanıtlanması gereken düzenlemeye tabi kuruluşlar ve hükümetler için donanımdan yalıtılmış çıkarım. Sistem, 8t ve 8i tarafından kullanılan Arm tabanlı Axion ana bilgisayar CPU'larını 5. Nesil AMD EPYC işlemciyle değiştiriyor ve Google'ın Boardfly ağını benimsiyor.

Özellikle Google, her iki yeni sistem için de ayrıntılı özellikleri, fiyatları veya gönderim tarihlerini henüz paylaşmadı; dolayısıyla alıcılar şu anda sipariş edilebilir ürünler yerine görselleştirmeler ve konumlandırmalara sahip.

Google'ın duyuruyla birlikte yayınladığı görseller, her biri tek bir pakette iki çip taşıyan dört TPU 8i Max kartının yanı sıra dört çip taşıyan bir TPU 8tx kartını gösteriyor; bu, sekizinci nesil ailenin önceki nesillerin tek çipli herkese uyan hızlandırıcı modelinden ne kadar uzaklaştığının fiziksel bir örneği.

TPU Sync: aracı hafızası için yazılım katmanı

Google, silikonun yanı sıra aracı-bellek sorununu çözmek için yazılıma da güveniyor. TPU Sync, devasa KV önbelleklerini çipten milisaniyeler içinde otomatik olarak katmanlayan, bunları ana DRAM'e ve deneysel olarak paylaşılan depolamaya taşıyan açık kaynaklı bir "TPU kümeleri için model durumu katmanıdır".

Google'a göre bu, KV-önbellek aktarım gecikmesini %90'dan fazla azaltabilir ve buna karşılık gelen ilk belirteç süresinde (bir yapay zeka sistemi yanıt vermeye başlamadan önce kullanıcının yaşadığı gecikme) kazanç sağlar. Tek bir oturumun, her birinin aynı birikmiş bağlama erişmesi gereken düzinelerce sıralı model çağrısını içerebildiği aracılı iş yükleri için, önbellek yönetimi, ham bilgi işlem kadar önemli hale geliyor.

Yapay zeka donanım pazarı için neden önemli?

TPU'lar Google için hızla büyüyen bir iş haline geldi ve çipler için yaklaşık 100 müşteriye sahip olduğunu iddia ediyor; buna veri merkezlerinde Google TPU'ları benimseyerek Nvidia'nın bölgesine yönelik en önemli rekabet saldırılarından biri olan Meta da dahil. Şirket, Google'ın sekizinci nesil ailede benimsediği daha modüler yaklaşımın, özelleştirilmiş sistemleri "yıllar yerine birkaç ay içinde" sunmasına olanak sağladığını ve müşterinin büyümesine yardımcı olduğunu söylüyor.

Açıklamanın zamanlaması dikkat çekici. Google'ın çip genişlemesi, Nvidia'nın CEO Jensen Huang'ın istifa ettiğini ve CFO Colette Kress'in geçici CEO olarak atandığını duyurmasıyla aynı gün gerçekleşti; GPU'ları Google'ın TPU'larının parçaladığı pazara hakim olan şirkette olağanüstü bir liderlik kesintisi. Bu iki olayın birbiriyle alakası yok ama hepsi birlikte yapay zeka altyapı pazarının ne kadar rekabetçi ve değişken hale geldiğinin altını çiziyor.

Yapay zeka altyapısını değerlendiren kuruluşlar için eklemeler, seçim setinin genişlediğine işaret ediyor: eğitim için optimize edilmiş silikon, genel çıkarım, düzenlenmiş veriler için güvenli çıkarım ve aracı filoları için maksimum bant genişliği paketleri, herkese uyan tek boyutlu hızlandırıcılar yerine farklı ürün kategorileri haline geliyor. Google fiyatlandırma ve kullanılabilirlik ayrıntılarını yayınladığında, alıcılar için pratik soru, 8i Max'in iki katına çıkan bant genişliğinin, acente filoları için standart 8i dağıtımlarına göre bir primi haklı çıkaracak yeterli veri hacmine dönüşüp dönüşmeyeceği olacaktır.

Modülerliğin aynı zamanda arz yönlü bir mantığı da vardır. Google, yeni nesil bir tasarımın tüm donanım yığını arasında geçiş yapmasını yıllarca beklemek yerine, tüm varyantlarda ortak bir yazılım yığınını korurken niş segmentlere daha hızlı ulaşmak için (8 ton silikonu farklı bir ana CPU ile güvenli çıkarım paketine taşıyarak yaptığı gibi) mevcut silikonu yeniden birleştirebilir. Bu hızın kendisi, müşteri gereksinimlerinin üç ayda bir değiştiği bir pazarda rekabetçi bir silahtır.

---

Yapay Zekanın Önünde Olun

En son yapay zeka haberlerini, analizlerini ve buluşlarını tek bir yerden alın.

Daha fazla AI haberini okuyun →