Cerebras는 웨이퍼 규모 하드웨어에 1000조 매개변수 AI 모델을 배포하는 방법에 대한 자세한 엔지니어링 분석을 발표했습니다. 이는 무게에만 테라바이트의 메모리가 필요한 모델에 대한 초고속 추론 뒤에 있는 배관에 대한 공개 보기가 드물습니다.

Sarah Chieng이 작성하고 2026년 10월 22일 Cerebras 블로그에 게시된 이 게시물은 Hacker News의 첫 페이지에 게재된 후 주말 동안 다시 주목을 받았습니다. 핵심 질문은 간단합니다. 단일 Cerebras WSE-3T 웨이퍼에는 44GB의 온칩 메모리가 있지만 1조 매개변수 프론티어 모델은 무게를 저장하는 데만 테라바이트가 필요합니다. 그 격차를 어떻게 해소합니까? 이 이야기에 대한 자세한 내용은 AI 뉴스를 참조하세요.

수조 매개변수 모델이 일반 하드웨어를 깨뜨리는 이유

대답은 기존 가속기에 대한 불편한 진실에서 시작됩니다. 최대 정밀도에서 3조 개의 매개변수를 가진 모델은 시장에 있는 어떤 단일 칩의 메모리에도 맞지 않습니다. GPU 클러스터는 모델을 여러 장치에 걸쳐 분할하고 고속 상호 연결을 통해 지속적으로 가중치와 활성화를 전달함으로써 이 문제를 해결합니다. 이는 대규모 모델에 대한 추론이 비용이 많이 들고 느린 이유 중 큰 부분을 차지합니다.

Cerebras는 다른 접근 방식을 취합니다. 웨이퍼 규모의 칩은 WSE-3T 웨이퍼당 44GB의 엄청난 양의 온칩 SRAM을 포장합니다. 즉, 회사의 목표는 메모리 액세스가 오프칩 링크보다 훨씬 빠른 온칩에 상주하는 무게를 유지하는 것임을 의미합니다.

회사는 이 아키텍처를 통해 초당 1,000~2,000개 이상의 토큰으로 수조 매개변수 모델을 실행할 수 있다고 말합니다.

실제 사례로서의 Kimi K3

구체적인 설명을 위해 Cerebras는 약 3조 개의 매개변수가 있는 오픈 소스 모델인 Kimi K3 배포 과정을 안내합니다. 이 모델은 69개의 선형 어텐션 레이어와 24개의 밀집 레이어로 구성된 하이브리드 아키텍처를 사용합니다.

블로그에서는 벤치마크 결과를 인용하여 Kimi K3가 Terminal-Bench 2.1에서 88.3%(GPT-5.6 Sol의 88.8% 바로 뒤), BrowseComp에서 91.2%(GPT-5.6 Sol의 90.4%보다 앞선)를 기록했다고 밝혔습니다. Cerebras는 이러한 숫자가 개방형 가중치 모델에서 프론티어 수준의 코딩 및 에이전트 기능을 보여줌으로써 좋은 시연 대상이 된다고 주장합니다.

작업된 예에서는 256,000개의 평균 요청 크기, 4비트 가중치 양자화(Hugging Face 구현과 일치) 및 8비트 KV 캐시를 가정합니다.

3T 모델을 44GB 조각으로 분할

산술은 게시물에서 가장 빛나는 부분입니다. 매개변수당 4비트에서 Kimi K3의 3조 매개변수는 대략 1.5TB의 원시 무게에 달합니다. 모델의 93개 레이어로 나누어지면 각 레이어에는 약 16GB가 필요합니다.

이는 각 웨이퍼에서 사용 가능한 44GB에 딱 들어맞지만 두 레이어 유형은 다르게 나뉩니다.

  • 밀집된 레이어에는 KV 캐시를 위한 공간이 필요합니다. 왜냐하면 모든 활성 요청에서 모든 토큰에 대한 키와 값을 완전히 주의 깊게 저장하기 때문입니다. Cerebras는 웨이퍼당 하나의 조밀한 레이어를 배치하고 나머지 SRAM은 해당 캐시에 남겨 둡니다.
  • 선형 주의 레이어는 컨텍스트 길이에 관계없이 요청당 작은 고정 크기 상태만 유지하므로 KV 캐시가 필요하지 않습니다. 그러면 웨이퍼당 2개의 선형 레이어를 위한 공간이 남습니다.

69개의 선형 레이어와 24개의 고밀도 레이어를 갖춘 모델은 선형 레이어용 35개 웨이퍼와 고밀도 레이어용 24개 웨이퍼로 매핑됩니다. 즉, Kimi K3의 단일 복사본에 대해 총 59개의 웨이퍼입니다.

무게는 절대 움직이지 않습니다 — 활성화만 움직입니다

두 번째 핵심 아이디어는 Cerebras가 59개의 웨이퍼 사이에서 보내는 것과 보내지 않는 것입니다. 회사는 모델을 파이프라인으로 실행합니다. 컴파일러가 레이어를 웨이퍼 영역에 매핑한 후 런타임은 웨이퍼에서 웨이퍼로 이동하는 경로 토큰을 차트로 표시합니다.

결정적으로, 각 레이어는 하나의 웨이퍼(또는 선형 레이어의 경우 두 개)에 완전히 맞기 때문에 모델 가중치가 이동할 필요가 없습니다. 레이어는 웨이퍼 전체에 걸쳐 분할되지 않습니다. 활성화만 한 웨이퍼에서 다음 웨이퍼로 이동하며, 약 2마이크로초의 홉 시간으로 표준 이더넷에서 RDMA를 통해 전달됩니다.

이 디자인 포인트는 Cerebras의 성능 주장에 대해 많은 것을 설명합니다. GPU 배포에서는 장치 간 가중치 이동이나 샤딩 상태가 병목 현상을 일으키는 경우가 많습니다. Cerebras 하드웨어에서 상호 연결은 훨씬 더 작은 활성화 텐서만 전달합니다.

추론 시장에 중요한 이유

이 게시물은 부분적으로는 엔지니어링 설명이고 부분적으로는 웨이퍼 규모 SRAM이 업계에서 점점 더 거대해지는 모델을 제공할 수 있는 신뢰할 수 있는 방법이라는 주장입니다. Kimi K3와 같은 공개 가중치 릴리스가 3조 매개변수에 접근함에 따라 메모리 벽은 추론 경제학의 정의적인 제약이 되며 가중치를 고정적으로 유지하는 접근 방식은 토큰당 속도에 구조적 이점을 갖습니다.

또한 양자화에 얼마나 의존하는지 강조합니다. 전체 배포는 4비트 가중치와 8비트 KV 캐시에 달려 있습니다. 이는 벤치마크 성능을 유지하면서 16비트 기준에 비해 메모리 공간을 약 75% 이상 줄이는 기술입니다. 그것이 없었다면 웨이퍼 59장으로도 충분하지 않았을 것입니다.

절충안도 현실입니다. 59웨이퍼 시스템은 대규모의 특수 시스템이며 파이프라인 접근 방식에서는 요청이 시스템 전체에 걸쳐 효율적으로 일괄 처리될 수 있다고 가정합니다. Cerebras의 블로그에서는 동시성을 핵심 주제 중 하나로 다루며 아키텍처가 많은 수의 동시 요청을 처리하도록 설계되었음을 언급합니다.

현재 이 게시물은 4자리 토큰 속도로 프론티어 규모의 개방형 모델을 제공하는 데 실제로 필요한 것이 무엇인지에 대한 가장 명확한 공개 설명 중 하나이며 추론 하드웨어에 대한 대화가 칩에서 전체 웨이퍼 시스템으로 전환되고 있다는 신호입니다.

출처: Cerebras 블로그, "Cerebras에 수조 매개변수 프론티어 모델을 배포하는 방법"(2026년 10월 22일).

---

AI 최신 소식

최신 AI 뉴스, 분석 및 혁신을 한 곳에서 확인하세요.

AI 뉴스 더 보기 →