Cerebras, trilyon parametreli yapay zeka modellerini levha ölçeğindeki donanımına nasıl yerleştirdiğine dair ayrıntılı bir mühendislik dökümü yayınladı; ağırlıkları tek başına terabaytlarca bellek gerektiren modeller için ultra hızlı çıkarımların ardındaki tesisata nadir görülen bir genel bakış.
Sarah Chieng tarafından yazılan ve 22 Ekim 2026'da Cerebras blogunda yayınlanan yazı, Hacker News'in ön sayfasına ulaştıktan sonra hafta sonu yeniden ilgi gördü. Temel sorusu basit: Tek bir Cerebras WSE-3T yonga plakasının 44 GB'lik çip üzerinde belleği var, ancak trilyon parametreli sınır modellerinin yalnızca ağırlıklarını depolamak için terabaytlara ihtiyacı var. Bu açığı nasıl kapatıyorsunuz? For more context on this story, see our ongoing latest AI developments.
Trilyon Parametreli Modeller Neden Normal Donanımı Kırıyor?
Cevap, geleneksel hızlandırıcılar için rahatsız edici bir gerçekle başlıyor: Tam hassasiyette, üç trilyon parametreli bir model, piyasadaki tek bir çipin hafızasına sığamaz. GPU kümeleri, modelleri birçok cihaza bölerek ve ağırlıkları ve aktivasyonları yüksek hızlı ara bağlantılar üzerinden sürekli olarak göndererek bu sorunu çözer; büyük modellerde çıkarımın pahalı ve yavaş olmasının büyük bir kısmı budur.
Cerebras farklı bir yaklaşım benimsiyor. Yonga levha ölçeğindeki yongaları, WSE-3T yonga plakası başına 44 GB olmak üzere muazzam miktarda yonga üzerinde SRAM barındırıyor; bu da şirketin hedefinin, bellek erişiminin herhangi bir yonga dışı bağlantıdan çok daha hızlı olduğu yonga üzerinde yerleşik ağırlıkları korumak olduğu anlamına geliyor.
Şirket, bu mimarinin, multi trilyon parametreli modelleri saniyede 1.000 ila 2.000'den fazla jetonla çalıştırmasına izin verdiğini söylüyor.
Çalışılmış Örnek Olarak Kimi K3
Açıklamayı somutlaştırmak için Cerebras, yaklaşık 3 trilyon parametreye sahip açık kaynaklı bir model olan Kimi K3'ü devreye alıyor. Model hibrit bir mimari kullanıyor: 69 doğrusal dikkat katmanı ve 24 yoğun katman.
Blog, kıyaslama sonuçlarına atıfta bulunarak Kimi K3'ün Terminal-Bench 2.1'de %88,3 puan aldığını (GPT-5.6 Sol'un %88,8'inin hemen arkasında) ve GözatComp'ta %91,2 puan alarak GPT-5.6 Sol'un %90,4'ünün önünde olduğunu söylüyor. Cerebras, bu sayıların açık ağırlık modelinde sınır düzeyinde kodlamayı ve aracılık yeteneğini gösterdiğini ve bunun da onu iyi bir gösteri hedefi haline getirdiğini savunuyor.
Çalışılan örnekte 256.000 jetonluk ortalama istek boyutu, 4 bitlik ağırlık nicelemesi (Hugging Face uygulamasına uygun) ve 8 bitlik KV önbellek varsayılmaktadır.
3T Modeli 44 GB'lık Parçalara Dilimleme
Aritmetik yazının en aydınlatıcı kısmıdır. Kimi K3'ün parametre başına 4 bitlik 3 trilyon parametresi kabaca 1,5 TB ham ağırlığa karşılık gelir. Modelin 93 katmanına bölünmüş her katmanın yaklaşık 16 GB'a ihtiyacı vardır.
Bu, her plakada mevcut olan 44 GB'a tam olarak uyuyor ancak iki katman türü farklı şekilde bölünüyor:
- Yoğun katmanlar KV önbelleği için alana ihtiyaç duyar, çünkü tam dikkat, her etkin istekteki her belirtecin anahtarlarını ve değerlerini saklar. Cerebras, levha başına bir yoğun katman yerleştirir ve kalan SRAM'ı bu önbellek için bırakır.
- Doğrusal dikkat katmanları bağlam uzunluğundan bağımsız olarak istek başına yalnızca küçük, sabit boyutlu bir durumu korur; dolayısıyla KV önbelleğine gerek kalmaz. Bu, gofret başına iki doğrusal katman için yer bırakır.
69 doğrusal katman ve 24 yoğun katmanla model, doğrusal katmanlar için 35 levhaya ve yoğun katmanlar için 24 levhaya eşlenir; Kimi K3'ün tek bir kopyası için toplamda 59 levha.
Ağırlıklar Hiçbir Zaman Hareket Etmez — Yalnızca Aktivasyonlar Hareket Eder
İkinci önemli fikir ise Cerebras'ın bu 59 levha arasına ne gönderip göndermediğidir. Şirket, modelleri bir boru hattı olarak yürütüyor: derleyici katmanları levha bölgelerine eşledikten sonra, çalışma zamanı belirteçlerinin levhadan levhaya izlediği yolu çiziyor.
En önemlisi, her katman tamamen bir levhaya (veya doğrusal katmanlar için iki) sığdığından, model ağırlıklarının hiçbir zaman hareket etmesine gerek kalmaz. Katmanlar gofretlere bölünmez. Yalnızca aktivasyonlar bir levhadan diğerine geçer ve standart Ethernet üzerinde RDMA üzerinden kabaca 2 mikrosaniyelik bir atlama süresiyle taşınır.
Bu tasarım noktası Cerebras'ın performans iddiaları hakkında pek çok şeyi açıklıyor. GPU dağıtımlarında, ağırlıkların taşınması veya cihazlar arasında parçalanma durumu genellikle darboğazdır; Cerebra'nın donanımında ara bağlantı yalnızca çok daha küçük aktivasyon tensörlerini taşır.
Çıkarım Piyasası İçin Neden Önemli?
Gönderi kısmen bir mühendislik açıklaması ve kısmen de bir argümandır: levha ölçeğindeki SRAM, endüstrinin gönderdiği giderek daha büyük hale gelen modellere hizmet vermenin güvenilir bir yoludur. Kimi K3 gibi açık ağırlıklı sürümler üç trilyon parametreye yaklaştıkça, bellek duvarı çıkarım ekonomisinin tanımlayıcı kısıtlaması haline geliyor ve ağırlıkları sabit tutan yaklaşımlar, jeton başına hız açısından yapısal bir avantaja sahip oluyor.
Aynı zamanda ne kadar çok şeyin kuantizasyona bağlı olduğunun da altını çiziyor. Dağıtımın tamamı 4 bit ağırlıklara ve 8 bit KV önbelleğe dayanıyor; bu teknikler, karşılaştırma performansını korurken bellek ayak izlerini 16 bit taban çizgileriyle karşılaştırıldığında yaklaşık %75 veya daha fazla azaltıyor. Onlar olmasaydı 59 gofret bile yeterli olmazdı.
Takaslar da gerçektir. 59 plakalı sistem büyük, özel bir makinedir ve boru hattı yaklaşımı, isteklerin sistem genelinde verimli bir şekilde gruplanabileceğini varsayar. Cerebras'ın blogu eş zamanlılığı temel konularından biri olarak ele alıyor ve mimarinin çok sayıda eş zamanlı isteği karşılayacak şekilde tasarlandığını belirtiyor.
Şimdilik gönderi, dört rakamlı token hızlarında sınır ölçeğinde bir açık model sunmak için gerçekte ne gerektiğine dair en net kamuya açık açıklamalardan biri olarak duruyor ve çıkarım donanımı hakkındaki tartışmanın çiplerden tam plaka sistemlerine doğru kaydığının bir işareti.
Kaynak: Cerebras blogu, "Trilyon parametreli sınır modellerini Cerebras'ta nasıl dağıtıyoruz" (22 Ekim 2026).---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
