Cerebras đã công bố bản phân tích kỹ thuật chi tiết về cách triển khai các mô hình AI nghìn tỷ tham số trên phần cứng quy mô wafer của mình - một cái nhìn hiếm hoi của công chúng về hệ thống ống nước đằng sau khả năng suy luận cực nhanh cho các mô hình có trọng lượng riêng đã yêu cầu bộ nhớ terabyte.

Bài đăng do Sarah Chieng viết và đăng trên blog Cerebras vào ngày 22 tháng 10 năm 2026, đã thu hút sự chú ý mới vào cuối tuần sau khi lên trang nhất của Hacker News. Câu hỏi trọng tâm của nó rất đơn giản: một tấm wafer Cerebras WSE-3T có bộ nhớ trên chip 44 GB, nhưng các mô hình biên giới nghìn tỷ tham số cần hàng terabyte chỉ để lưu trữ trọng lượng của chúng. Làm thế nào để bạn thu hẹp khoảng cách đó? For more context on this story, see our ongoing latest AI developments.

Tại sao mô hình nghìn tỷ tham số lại phá vỡ phần cứng thông thường

Câu trả lời bắt đầu từ một sự thật khó chịu đối với các máy gia tốc thông thường: ở độ chính xác hoàn toàn, một mô hình có ba nghìn tỷ tham số không thể vừa với bộ nhớ của bất kỳ con chip đơn lẻ nào trên thị trường. Các cụm GPU giải quyết vấn đề này bằng cách chia tách các mô hình trên nhiều thiết bị và liên tục vận chuyển trọng số cũng như kích hoạt qua các kết nối tốc độ cao — một phần lớn lý do khiến việc suy luận trên các mô hình lớn lại tốn kém và chậm.

Cerebras có một cách tiếp cận khác. Các chip quy mô wafer của nó đóng gói một lượng lớn SRAM trên chip — 44 GB cho mỗi wafer WSE-3T — có nghĩa là mục tiêu của công ty là giữ trọng lượng lưu trú trên chip, nơi khả năng truy cập bộ nhớ nhanh hơn đáng kể so với bất kỳ liên kết ngoài chip nào.

Công ty cho biết kiến ​​trúc này cho phép nó chạy các mô hình nhiều nghìn tỷ tham số với tốc độ từ 1.000 đến hơn 2.000 mã thông báo mỗi giây.

Kimi K3 là ví dụ thực tế

Để giải thích cụ thể hơn, Cerebras sẽ triển khai Kimi K3, một mô hình nguồn mở với khoảng 3 nghìn tỷ tham số. Mô hình sử dụng kiến ​​trúc kết hợp: 69 lớp chú ý tuyến tính và 24 lớp dày đặc.

Trích dẫn kết quả điểm chuẩn, blog cho biết Kimi K3 đạt 88,3% trên Terminal-Bench 2.1 - chỉ sau 88,8% của GPT-5.6 Sol - và 91,2% trên DuyệtComp, trước 90,4% của GPT-5.6 Sol. Cerebras lập luận rằng những con số đó cho thấy khả năng mã hóa và tác nhân ở cấp độ biên giới trong một mô hình trọng lượng mở, khiến nó trở thành mục tiêu trình diễn tốt.

Ví dụ hoạt động giả định kích thước yêu cầu trung bình là 256.000 mã thông báo, lượng tử hóa trọng lượng 4 bit (phù hợp với việc triển khai Ôm mặt) và bộ đệm KV 8 bit.

Cắt mô hình 3T thành các phần 44 GB

Số học là phần sáng tỏ nhất của bài viết. Với 4 bit cho mỗi tham số, 3 nghìn tỷ tham số của Kimi K3 tương đương với khoảng 1,5 TB trọng lượng thô. Được chia thành 93 lớp của mô hình, mỗi lớp cần khoảng 16 GB.

Dung lượng đó vừa khít với 44 GB có sẵn trên mỗi tấm wafer, nhưng hai loại lớp này phân chia khác nhau:

  • Các lớp dày đặc cần có chỗ cho bộ đệm KV, vì toàn bộ sự chú ý sẽ lưu trữ khóa và giá trị cho mọi mã thông báo trong mọi yêu cầu đang hoạt động. Cerebras đặt một lớp dày đặc trên mỗi wafer, để lại SRAM còn lại cho bộ đệm đó.
  • Lớp chú ý tuyến tính chỉ giữ trạng thái nhỏ, có kích thước cố định cho mỗi yêu cầu bất kể độ dài ngữ cảnh, do đó không cần bộ nhớ đệm KV. Điều đó để lại chỗ cho hai lớp tuyến tính trên mỗi tấm wafer.

Với 69 lớp tuyến tính và 24 lớp dày đặc, mô hình này ánh xạ tới 35 tấm wafer cho các lớp tuyến tính cộng với 24 tấm wafer cho các lớp dày đặc — tổng cộng 59 tấm wafer cho một bản sao của Kimi K3.

Trọng lượng không bao giờ di chuyển - Chỉ kích hoạt mới thực hiện

Ý tưởng quan trọng thứ hai là những gì Cerebras làm - và không - gửi giữa 59 tấm wafer đó. Công ty thực thi các mô hình dưới dạng một đường dẫn: sau khi trình biên dịch ánh xạ các lớp vào các vùng của tấm wafer, thời gian chạy sẽ lập biểu đồ các mã thông báo đường dẫn đi từ tấm wafer này sang tấm wafer khác.

Điều quan trọng là vì mỗi lớp nằm hoàn toàn trên một wafer (hoặc hai, đối với các lớp tuyến tính), nên trọng lượng của mô hình không bao giờ phải di chuyển. Các lớp không được phân chia trên các tấm wafer. Chỉ các kích hoạt được truyền từ wafer này sang wafer tiếp theo, được truyền qua RDMA trên Ethernet tiêu chuẩn với thời gian nhảy khoảng 2 micro giây.

Điểm thiết kế đó giải thích rất nhiều về những tuyên bố về hiệu suất của Cerebras. Trong quá trình triển khai GPU, việc di chuyển trọng lượng hoặc trạng thái phân chia giữa các thiết bị thường là điểm nghẽn cổ chai; trên phần cứng của Cerebra, kết nối chỉ mang các tensor kích hoạt nhỏ hơn nhiều.

Tại sao nó lại quan trọng đối với thị trường suy luận

Bài đăng một phần là lời giải thích về mặt kỹ thuật và một phần là một lập luận: SRAM ở quy mô wafer là một cách đáng tin cậy để phục vụ các mô hình ngày càng khổng lồ mà ngành công nghiệp đang vận chuyển. Khi các bản phát hành trọng lượng mở như Kimi K3 tiếp cận ba nghìn tỷ thông số, bức tường bộ nhớ trở thành hạn chế xác định của kinh tế suy luận và các phương pháp tiếp cận giữ cho trọng số đứng yên có lợi thế về cấu trúc về tốc độ trên mỗi mã thông báo.

Nó cũng nhấn mạnh mức độ phụ thuộc vào lượng tử hóa. Toàn bộ quá trình triển khai xoay quanh trọng số 4 bit và bộ nhớ đệm KV 8 bit — các kỹ thuật giúp giảm mức chiếm dụng bộ nhớ khoảng 75% hoặc hơn so với đường cơ sở 16 bit trong khi vẫn duy trì hiệu suất chuẩn. Không có chúng, thậm chí 59 tấm wafer cũng không đủ.

Sự đánh đổi cũng là có thật. Hệ thống 59 wafer là một cỗ máy lớn, chuyên dụng và phương pháp tiếp cận đường ống giả định rằng các yêu cầu có thể được phân nhóm trên toàn hệ thống một cách hiệu quả. Blog của Cerebras coi tính đồng thời là một trong những chủ đề cốt lõi của nó, lưu ý rằng kiến ​​trúc được thiết kế để xử lý số lượng lớn yêu cầu đồng thời.

Hiện tại, bài đăng này được coi là một trong những lời giải thích rõ ràng nhất cho công chúng về những gì thực sự cần để phục vụ một mô hình mở quy mô biên giới với tốc độ mã thông báo bốn con số - và là dấu hiệu cho thấy cuộc trò chuyện về phần cứng suy luận đang chuyển từ chip sang toàn bộ hệ thống wafer.

Nguồn: blog Cerebras, “Cách chúng tôi triển khai các mô hình biên giới nghìn tỷ tham số trên Cerebras” (22 tháng 10 năm 2026).

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →