Cerebras опубликовала подробный инженерный анализ того, как она развертывает модели искусственного интеллекта с триллионом параметров на своем оборудовании масштаба пластины — редкий публичный взгляд на механизм сверхбыстрого вывода для моделей, вес которых требует только терабайтов памяти.

Сообщение, написанное Сарой Чиенг и опубликованное в блоге Cerebras 22 октября 2026 года, привлекло новое внимание на выходных после того, как попало на первую страницу Hacker News. Ее главный вопрос прост: одна пластина Cerebras WSE-3T имеет 44 ГБ встроенной памяти, но пограничным моделям с триллионом параметров нужны терабайты только для хранения их веса. Как преодолеть этот разрыв? Подробнее об этой истории — в нашем тенденции ИИ.

Почему модели с триллионом параметров ломают обычное оборудование

Ответ начинается с неудобной для обычных ускорителей истины: при полной точности модель с тремя триллионами параметров не может поместиться в памяти ни одного чипа на рынке. Кластеры графических процессоров решают эту проблему, разделяя модели на множество устройств и постоянно передавая веса и активации по высокоскоростным межсоединениям — во многом причина того, почему вывод на огромных моделях обходится дорого и медленно.

Церебрас использует другой подход. Ее чипы размером с пластину содержат огромное количество встроенной SRAM — 44 ГБ на пластину WSE-3T — что означает, что цель компании — хранить веса постоянно внутри кристалла, где доступ к памяти происходит значительно быстрее, чем по любому внешнему каналу.

Компания заявляет, что эта архитектура позволяет запускать модели с несколькими триллионами параметров со скоростью от 1000 до 2000+ токенов в секунду.

Кими К3 как рабочий пример

Чтобы сделать объяснение конкретным, Cerebras рассказывает о развертывании Kimi K3, модели с открытым исходным кодом, содержащей примерно 3 триллиона параметров. Модель использует гибридную архитектуру: 69 слоев линейного внимания и 24 плотных слоя.

Ссылаясь на результаты тестов, в блоге говорится, что Kimi K3 набирает 88,3% в Terminal-Bench 2.1 — чуть ниже 88,8% у GPT-5.6 Sol — и 91,2% в BrowseComp, опережая 90,4% у GPT-5.6 Sol. Эти цифры, утверждает Церебрас, демонстрируют передовой уровень кодирования и агентские возможности модели с открытыми весами, что делает ее хорошей демонстрационной целью.

В проработанном примере предполагается средний размер запроса в 256 000 токенов, 4-битное весовое квантование (соответствующее реализации Hugging Face) и 8-битный KV-кеш.

Разрезание модели 3T на части по 44 ГБ

Арифметика — самая познавательная часть поста. При 4 битах на параметр 3 триллиона параметров Kimi K3 составляют примерно 1,5 ТБ необработанных весов. Модель разделена на 93 уровня, каждому из которых требуется около 16 ГБ.

Это аккуратно вписывается в 44 ГБ, доступных на каждой пластине, но два типа слоев делятся по-разному:

  • Плотным слоям требуется место для кэша KV, поскольку полное внимание хранит ключи и значения для каждого токена в каждом активном запросе. Cerebras размещает один плотный слой на каждой пластине, оставляя оставшуюся SRAM для этого кэша.
  • Уровни линейного внимания сохраняют только небольшое состояние фиксированного размера для каждого запроса независимо от длины контекста, поэтому кэш KV не требуется. Это оставляет место для двух линейных слоев на пластину.

Имея 69 линейных слоев и 24 плотных слоя, модель отображает 35 пластин для линейных слоев плюс 24 пластины для плотных слоев — всего 59 пластин для одной копии Kimi K3.

Грузы никогда не перемещаются — работают только активации

Вторая ключевая идея заключается в том, что Cerebras делает — и не отправляет — между этими 59 пластинами. Компания выполняет модели как конвейер: после того, как компилятор сопоставляет слои с областями пластин, среда выполнения отображает путь, по которому токены проходят от пластины к пластине.

Важно отметить, что поскольку каждый слой полностью помещается на одной пластине (или двух, для линейных слоев), веса модели никогда не должны перемещаться. Слои не разделены по пластинам. От одной пластины к другой передаются только активации, передаваемые через RDMA в стандартном Ethernet со временем перехода примерно 2 микросекунды.

Этот конструктивный момент многое объясняет в заявлениях Cerebras о производительности. При развертывании графических процессоров перемещение весов или состояние сегментирования между устройствами часто является узким местом; на оборудовании Cerebras межсоединение всегда несет гораздо меньшие тензоры активации.

Почему это важно для рынка умозаключений

Этот пост частично является инженерным объяснением, а частично аргументом: SRAM размером с пластину является надежным способом обслуживания все более огромных моделей, которые выпускает отрасль. Поскольку выпуски с открытым весом, такие как Kimi K3, приближаются к трем триллионам параметров, стена памяти становится определяющим ограничением экономики вывода, а подходы, которые поддерживают постоянные веса, имеют структурное преимущество в скорости обработки каждого токена.

Это также подчеркивает, насколько многое зависит от квантования. Все развертывание зависит от 4-битных весов и 8-битного KV-кэша — методов, которые сокращают объем памяти примерно на 75% или более по сравнению с 16-битными базовыми показателями, сохраняя при этом производительность тестов. Без них даже 59 пластин было бы недостаточно.

Компромиссы тоже реальны. Система с 59 пластинами — это большая специализированная машина, и конвейерный подход предполагает возможность эффективного пакетного распределения запросов по всей системе. В блоге Cerebras параллелизм рассматривается как одна из основных тем, отмечая, что архитектура предназначена для обработки большого количества одновременных запросов.

На данный момент этот пост является одним из самых ясных публичных объяснений того, что на самом деле нужно для обслуживания открытой модели передового масштаба с четырехзначными скоростями токенов — и признаком того, что разговор об аппаратном обеспечении вывода смещается от чипов к системам с цельными пластинами.

Источник: блог Cerebras, «Как мы развертываем граничные модели с триллионом параметров на Cerebras» (22 октября 2026 г.).

---

Будьте в курсе ИИ

Последние новости, аналитика и прорывы в сфере ИИ — всё в одном месте.

Читать больше новостей об ИИ →