Cerebras opublikował szczegółowy opis inżynieryjny wdrażania modeli sztucznej inteligencji o bilionach parametrów na swoim sprzęcie w skali płytki — rzadkie publiczne spojrzenie na ultraszybkie wnioskowanie w przypadku modeli, których sama waga wymaga terabajtów pamięci.
Post, napisany przez Sarah Chieng i opublikowany na blogu Cerebras 22 października 2026 r., ponownie wzbudził zainteresowanie w weekend, po tym jak trafił na pierwszą stronę Hacker News. Zasadnicze pytanie jest proste: pojedynczy wafel Cerebras WSE-3T ma 44 GB wbudowanej pamięci, ale czołowe modele z bilionami parametrów potrzebują terabajtów tylko do przechowywania swojej wagi. Jak wypełnić tę lukę? Więcej kontekstu na ten temat znajdziesz w naszych najnowsze osiągnięcia AI.
Dlaczego modele o bilionach parametrów psują normalny sprzęt
Odpowiedź zaczyna się od niewygodnej dla konwencjonalnych akceleratorów prawdy: przy pełnej precyzji model o trzech bilionach parametrów nie zmieści się w pamięci żadnego pojedynczego chipa na rynku. Klastry GPU rozwiązują ten problem, dzieląc modele na wiele urządzeń i stale przesyłając wagi i aktywacje za pośrednictwem szybkich połączeń wzajemnych — w dużej mierze dlatego wnioskowanie na temat ogromnych modeli jest drogie i powolne.
Cerebras przyjmuje inne podejście. Jej chipy w skali waflowej zawierają ogromną ilość wbudowanej pamięci SRAM – 44 GB na płytkę WSE-3T – co oznacza, że celem firmy jest utrzymanie ciężarów w chipie, gdzie dostęp do pamięci jest znacznie szybszy niż jakiekolwiek łącze zewnętrzne.
Firma twierdzi, że ta architektura pozwala na uruchamianie modeli o wielu bilionach parametrów z szybkością od 1000 do 2000+ tokenów na sekundę.
Kimi K3 jako sprawdzony przykład
Aby wyjaśnienia były konkretne, Cerebras przeprowadza proces wdrażania Kimi K3, modelu open source z około 3 bilionami parametrów. W modelu zastosowano architekturę hybrydową: 69 warstw uwagi liniowej i 24 warstwy gęste.
Powołując się na wyniki testów porównawczych, blog podaje, że Kimi K3 uzyskał 88,3% wyniku w Terminal-Bench 2.1 — tuż za 88,8% w GPT-5.6 Sol — i 91,2% w BrowseComp, wyprzedzając 90,4% w GPT-5.6 Sol. Liczby te, twierdzi Cerebras, pokazują pionierskie możliwości kodowania i agentyczności w modelu z otwartymi wagami, co czyni go dobrym celem demonstracyjnym.
W opracowanym przykładzie przyjęto średni rozmiar żądania wynoszący 256 000 tokenów, 4-bitową kwantyzację wagi (zgodną z implementacją Hugging Face) i 8-bitową pamięć podręczną KV.
Krojenie modelu 3T na kawałki o pojemności 44 GB
Arytmetyka jest najbardziej pouczającą częścią postu. Przy 4 bitach na parametr, 3 biliony parametrów Kimi K3 wynoszą około 1,5 TB surowych wag. Każda warstwa podzielona na 93 warstwy modelu zajmuje około 16 GB.
Pasuje to idealnie do 44 GB dostępnych na każdej płytce, ale te dwa typy warstw różnią się między sobą:
- Gęste warstwy wymagają miejsca na pamięć podręczną KV, ponieważ pełna uwaga przechowuje klucze i wartości dla każdego tokena w każdym aktywnym żądaniu. Cerebras umieszcza jedną gęstą warstwę na płytkę, pozostawiając pozostałą pamięć SRAM dla tej pamięci podręcznej.
- Warstwy uwagi liniowej zachowują tylko mały stan o stałym rozmiarze na żądanie, niezależnie od długości kontekstu, więc nie jest potrzebna pamięć podręczna KV. Pozostawia to miejsce na dwie warstwy liniowe na płytkę.
Z 69 warstwami liniowymi i 24 warstwami gęstymi, model odwzorowuje 35 płytek w przypadku warstw liniowych plus 24 wafle w przypadku warstw gęstych — łącznie 59 płytek w przypadku jednej kopii Kimi K3.
Ciężary nigdy się nie poruszają — poruszają się tylko aktywacje
Drugą kluczową ideą jest to, co Cerebras robi – a czego nie – przesyła pomiędzy tymi 59 płytkami. Firma wykonuje modele w formie potoku: po tym, jak kompilator odwzorowuje warstwy na regiony płytek, środowisko wykonawcze tworzy wykresy ścieżki, jaką tokeny pokonują od płytki do płytki.
Co najważniejsze, ponieważ każda warstwa mieści się całkowicie na jednej płytce (lub dwóch w przypadku warstw liniowych), ciężarki modelu nigdy nie muszą się przesuwać. Warstwy nie są dzielone pomiędzy wafle. Tylko aktywacje przechodzą z jednego płytki na drugi, przenoszone przez RDMA w standardowej sieci Ethernet z czasem przeskoku wynoszącym około 2 mikrosekundy.
Ten punkt konstrukcyjny wyjaśnia wiele na temat twierdzeń dotyczących wydajności Cerebrasa. W przypadku wdrożeń procesorów graficznych wąskim gardłem często jest przenoszenie ciężarów lub stan fragmentowania między urządzeniami; na sprzęcie Cerebras interkonekt przenosi tylko znacznie mniejsze tensory aktywacji.
Dlaczego ma to znaczenie dla rynku wnioskowania
Post jest częściowo wyjaśnieniem inżynierii, a częściowo argumentem: że pamięć SRAM w skali płytki jest wiarygodnym sposobem obsługi coraz większych modeli dostarczanych przez branżę. Ponieważ wersje o otwartej wadze, takie jak Kimi K3, zbliżają się do trzech bilionów parametrów, ściana pamięci staje się definiującym ograniczeniem ekonomii wnioskowania, a podejścia, które utrzymują wagi na stałym poziomie, mają strukturalną przewagę w zakresie szybkości przypadającej na token.
Podkreśla również, jak wiele zależy od kwantyzacji. Całe wdrożenie opiera się na 4-bitowych wagach i 8-bitowej pamięci podręcznej KV — technikach, które zmniejszają zużycie pamięci o około 75% lub więcej w porównaniu z 16-bitowymi wersjami bazowymi, przy jednoczesnym zachowaniu wydajności wzorcowej. Bez nich nawet 59 wafli nie wystarczyłoby.
Kompromisy też są realne. System składający się z 59 płytek jest dużą, wyspecjalizowaną maszyną, a podejście potokowe zakłada, że żądania mogą być efektywnie grupowane w całym systemie. Blog Cerebras traktuje współbieżność jako jeden z głównych tematów, zauważając, że architektura jest zaprojektowana do obsługi dużej liczby jednoczesnych żądań.
Na razie post jest jednym z najwyraźniejszych publicznych wyjaśnień tego, czego tak naprawdę potrzeba, aby móc obsługiwać otwarty model na szeroką skalę przy czterocyfrowych prędkościach tokena, a także znakiem, że dyskusja na temat sprzętu do wnioskowania przenosi się z chipów na systemy całych płytek.
Źródło: blog Cerebras, „Jak wdrażamy modele graniczne o bilionach parametrów na Cerebras” (22 października 2026 r.).---
Bądź na Bieżąco z AINajnowsze wiadomości, analizy i przełomy w dziedzinie AI — wszystko w jednym miejscu.
Czytaj więcej wiadomości AI →
