Компанія Cerebras опублікувала детальну інженерну розробку того, як вона розгортає моделі штучного інтелекту з трильйонами параметрів на своєму апаратному забезпеченні пластинчастого масштабу — рідкісний публічний погляд на систему надшвидкого висновку для моделей, лише для ваги яких потрібні терабайти пам’яті.
Публікація, написана Сарою Чієнг і опублікована в блозі Cerebras 22 жовтня 2026 року, знову привернула увагу на вихідних після того, як потрапила на першу сторінку Hacker News. Його центральне питання просте: одна пластина Cerebras WSE-3T має 44 ГБ вбудованої пам’яті, але передові моделі з трильйонами параметрів потребують терабайтів лише для збереження їх ваги. Як подолати цей розрив? For more context on this story, see our ongoing artificial intelligence updates.
Чому моделі з трильйонами параметрів ламають нормальне обладнання
Відповідь починається з незручної правди для звичайних прискорювачів: при повній точності модель із трьома трильйонами параметрів не може поміститися в пам’ять жодного окремого чіпа на ринку. Кластери графічних процесорів вирішують це шляхом розподілу моделей між багатьма пристроями та постійної передачі ваг і активацій через високошвидкісні з’єднання — велика частина того, чому висновок на величезних моделях є дорогим і повільним.
Cerebras використовує інший підхід. Його чіпи розміру пластини містять величезну кількість вбудованої пам’яті SRAM — 44 ГБ на пластину WSE-3T — що означає, що мета компанії — зберегти ваги резидентно на чіпі, де доступ до пам’яті значно швидший, ніж будь-яке зовнішнє з’єднання.
Компанія каже, що ця архітектура дозволяє запускати моделі з кількома трильйонами параметрів зі швидкістю від 1000 до 2000+ токенів на секунду.
Kimi K3 як робочий приклад
Щоб зробити пояснення конкретним, Cerebras розгортає Kimi K3, модель з відкритим кодом із приблизно 3 трильйонами параметрів. У моделі використовується гібридна архітектура: 69 лінійних шарів уваги та 24 щільних шару.
Посилаючись на результати порівняльного тесту, у блозі сказано, що Kimi K3 набирає 88,3% результатів у Terminal-Bench 2.1 — це трохи менше ніж у GPT-5.6 Sol (88,8%) — і 91,2% у BrowseComp, випереджаючи GPT-5.6 Sol у 90,4%. Ці цифри, стверджує Cerebras, демонструють кодування на граничному рівні та агентські можливості в моделі відкритих ваг, що робить її хорошою демонстраційною метою.
Опрацьований приклад передбачає середній розмір запиту 256 000 токенів, 4-бітове квантування ваги (відповідає реалізації Hugging Face) і 8-бітний кеш KV.
Розрізання моделі 3T на частини по 44 ГБ
Арифметика є найбільш яскравою частиною публікації. При 4 бітах на параметр 3 трильйони параметрів Kimi K3 складають приблизно 1,5 ТБ необробленої ваги. Поділені на 93 шари моделі, кожен шар потребує близько 16 ГБ.
Це добре вписується в 44 ГБ, доступні на кожній пластині, але два типи шарів поділяються по-різному:
- Щільним шарам потрібне місце для кешу KV, оскільки повна увага зберігає ключі та значення для кожного маркера в кожному активному запиті. Cerebras розміщує один щільний шар на пластину, залишаючи залишок SRAM для цього кешу.
- Лінійні рівні уваги зберігають лише невеликий стан фіксованого розміру на запит незалежно від довжини контексту, тому кеш KV не потрібен. Це залишає місце для двох лінійних шарів на пластину.
Завдяки 69 лінійним шарам і 24 щільним шарам модель відображає 35 пластин для лінійних шарів плюс 24 пластини для щільних шарів — загалом 59 пластин для однієї копії Kimi K3.
Ваги ніколи не рухаються — діють лише активації
Друга ключова ідея полягає в тому, що Cerebras робить — і ні — надсилає між цими 59 пластинами. Компанія виконує моделі як конвеєр: після того, як компілятор відобразить шари на області пластин, середовище виконання складає діаграми шляху маркерів від пластини до пластини.
Важливо, оскільки кожен шар повністю поміщається на одній пластині (або двох, для лінійних шарів), вага моделі ніколи не повинна рухатися. Шари не поділяються на вафлі. Лише активації переходять від однієї пластини до іншої через RDMA через стандартний Ethernet із часом стрибка приблизно 2 мікросекунди.
Цей конструктивний момент багато пояснює вимоги Cerebras щодо продуктивності. У розгортанні GPU вузьким місцем часто є переміщення вагових коефіцієнтів або стан сегментування між пристроями; на апаратному забезпеченні Cerebras міжзв’язок завжди містить лише набагато менші тензори активації.
Чому це важливо для ринку висновків
Публікація є частково інженерним поясненням, а частково аргументом: SRAM пластинчастого масштабу є надійним способом обслуговування все більших величезних моделей, які постачає галузь. Оскільки такі релізи з відкритою вагою, як Kimi K3, наближаються до трьох трильйонів параметрів, стіна пам’яті стає визначальним обмеженням економічного висновку, а підходи, які зберігають ваги стаціонарними, мають структурну перевагу щодо швидкості кожного токена.
Це також підкреслює, наскільки багато залежить від квантування. Усе розгортання залежить від 4-бітних вагових коефіцієнтів і 8-бітного кешу KV — методів, які скорочують використання пам’яті приблизно на 75% або більше порівняно з 16-бітними базовими рівнями, зберігаючи продуктивність тестів. Без них навіть 59 вафель не вистачило б.
Компроміси теж реальні. Система з 59 пластинами є великою спеціалізованою машиною, і конвеєрний підхід припускає, що запити можуть ефективно групуватися в системі. У блозі Cerebras розглядається паралелізм як одна з основних тем, зазначаючи, що архітектура розроблена для обробки великої кількості одночасних запитів.
Наразі ця публікація є одним із найчіткіших публічних пояснень того, що насправді потрібно для обслуговування відкритої моделі передового масштабу з чотиризначною швидкістю токенів — і ознакою того, що розмова про апаратне забезпечення логічного висновку переходить від чіпів до систем із цільними пластинами.
Джерело: блог Cerebras, «Як ми розгортаємо граничні моделі трильйонних параметрів на Cerebras» (22 жовтня 2026 р.).---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
