Cerebras ได้เผยแพร่รายละเอียดทางวิศวกรรมเกี่ยวกับวิธีการปรับใช้โมเดล AI จำนวนล้านล้านพารามิเตอร์บนฮาร์ดแวร์ขนาดเวเฟอร์ ซึ่งเป็นภาพรวมที่หายากต่อสาธารณะเกี่ยวกับระบบที่อยู่เบื้องหลังการอนุมานที่รวดเร็วมากสำหรับโมเดลที่มีน้ำหนักเพียงอย่างเดียวต้องใช้หน่วยความจำเทราไบต์

โพสต์นี้เขียนโดย Sarah Chieng และเผยแพร่ในบล็อก Cerebras เมื่อวันที่ 22 ตุลาคม พ.ศ. 2569 ได้รับความสนใจอีกครั้งในช่วงสุดสัปดาห์หลังจากขึ้นไปหน้าแรกของ Hacker News คำถามสำคัญนั้นง่ายมาก: เวเฟอร์ Cerebras WSE-3T หนึ่งตัวมีหน่วยความจำบนชิป 44 GB แต่โมเดลชายแดนที่มีพารามิเตอร์ล้านล้านพารามิเตอร์ต้องใช้เทราไบต์เพื่อจัดเก็บน้ำหนัก คุณจะเชื่อมช่องว่างนั้นได้อย่างไร? For more context on this story, see our ongoing breaking AI news.

เหตุใดโมเดลล้านล้านพารามิเตอร์จึงทำลายฮาร์ดแวร์ปกติ

คำตอบเริ่มต้นด้วยความจริงที่น่าอึดอัดใจสำหรับเครื่องเร่งความเร็วทั่วไป: ด้วยความแม่นยำสูงสุด โมเดลที่มีพารามิเตอร์สามล้านล้านค่าจะไม่สามารถบรรจุลงในหน่วยความจำของชิปตัวเดียวในตลาดได้ คลัสเตอร์ GPU แก้ปัญหานี้โดยการแบ่งโมเดลออกเป็นหลายอุปกรณ์ และจัดส่งน้ำหนักและการเปิดใช้งานผ่านการเชื่อมต่อความเร็วสูงอย่างต่อเนื่อง ซึ่งเป็นสาเหตุส่วนใหญ่ว่าทำไมการอนุมานโมเดลขนาดใหญ่จึงมีราคาแพงและช้า

Cerebras ใช้แนวทางที่แตกต่างออกไป ชิปขนาดเวเฟอร์ของบริษัทบรรจุ SRAM บนชิปจำนวนมหาศาล — 44 GB ต่อเวเฟอร์ WSE-3T — ซึ่งหมายความว่าเป้าหมายของบริษัทคือการรักษาน้ำหนักที่อยู่บนชิป ซึ่งการเข้าถึงหน่วยความจำจะเร็วกว่าลิงก์นอกชิปใดๆ อย่างมาก

บริษัทกล่าวว่าสถาปัตยกรรมนี้ช่วยให้สามารถรันโมเดลหลายล้านล้านพารามิเตอร์ที่ 1,000 ถึง 2,000+ โทเค็นต่อวินาที

Kimi K3 เป็นตัวอย่างการทำงาน

เพื่อให้คำอธิบายเป็นรูปธรรม Cerebras ได้ดำเนินการปรับใช้ Kimi K3 ซึ่งเป็นโมเดลโอเพ่นซอร์สที่มีพารามิเตอร์ประมาณ 3 ล้านล้านพารามิเตอร์ แบบจำลองนี้ใช้สถาปัตยกรรมไฮบริด: 69 ชั้นความสนใจเชิงเส้นและ 24 ชั้นหนาแน่น

จากผลการวัดประสิทธิภาพ บล็อกกล่าวว่า Kimi K3 ได้คะแนน 88.3% ใน Terminal-Bench 2.1 ซึ่งตามหลัง GPT-5.6 Sol ที่ 88.8% และ 91.2% ใน BrowserComp มากกว่า GPT-5.6 Sol ที่ 90.4% Cerebras ให้เหตุผลว่าตัวเลขเหล่านี้ แสดงให้เห็นถึงการเขียนโค้ดระดับแนวหน้าและความสามารถด้านเอเจนต์ในแบบจำลอง Open-Weights ซึ่งทำให้เป็นเป้าหมายในการสาธิตที่ดี

ตัวอย่างการทำงานจะถือว่าขนาดคำขอโดยเฉลี่ย 256,000 โทเค็น การหาปริมาณน้ำหนัก 4 บิต (ตรงกับการใช้งาน Hugging Face) และแคช KV 8 บิต

การแบ่งรุ่น 3T ออกเป็นชิ้นขนาด 44 GB

เลขคณิตเป็นส่วนที่ส่องสว่างที่สุดของโพสต์ ที่ 4 บิตต่อพารามิเตอร์ พารามิเตอร์ 3 ล้านล้านของ Kimi K3 คิดเป็นน้ำหนักดิบประมาณ 1.5 TB แบ่งออกเป็น 93 เลเยอร์ของโมเดล แต่ละเลเยอร์ต้องใช้พื้นที่ประมาณ 16 GB

ซึ่งมีขนาดพอดี 44 GB บนเวเฟอร์แต่ละอัน แต่ประเภทเลเยอร์ทั้งสองแบ่งต่างกัน:

  • เลเยอร์หนาแน่น ต้องการพื้นที่สำหรับแคช KV เนื่องจากความสนใจทั้งหมดจะจัดเก็บคีย์และค่าสำหรับทุกโทเค็นในทุกคำขอที่ใช้งานอยู่ Cerebras จะวางเลเยอร์หนาแน่นหนึ่งชั้นต่อเวเฟอร์ โดยเหลือ SRAM ที่เหลือไว้สำหรับแคชนั้น
  • เลเยอร์ความสนใจเชิงเส้น เก็บเฉพาะสถานะขนาดเล็กและขนาดคงที่ต่อคำขอ โดยไม่คำนึงถึงความยาวของบริบท ดังนั้นจึงไม่จำเป็นต้องใช้แคช KV นั่นทำให้มีที่ว่างสำหรับเลเยอร์เชิงเส้นสองชั้นต่อเวเฟอร์

ด้วยเลเยอร์เชิงเส้น 69 เลเยอร์และเลเยอร์หนาแน่น 24 เลเยอร์ แบบจำลองจะแมปกับเวเฟอร์ 35 เลเยอร์สำหรับเลเยอร์เชิงเส้น บวก 24 เวเฟอร์สำหรับเลเยอร์หนาแน่น รวม 59 เวเฟอร์สำหรับสำเนา Kimi K3 เพียงชุดเดียว

น้ำหนักไม่เคยเคลื่อนไหว — มีเพียงการเปิดใช้งานเท่านั้นที่ทำได้

แนวคิดสำคัญประการที่สองคือสิ่งที่ Cerebras ทำและไม่ส่งระหว่างเวเฟอร์ 59 ชิ้นเหล่านั้น บริษัทดำเนินการโมเดลเป็นไปป์ไลน์: หลังจากที่คอมไพเลอร์แมปเลเยอร์บนพื้นที่ของเวเฟอร์ รันไทม์จะจัดทำแผนภูมิโทเค็นเส้นทางที่ใช้จากเวเฟอร์หนึ่งไปยังอีกเวเฟอร์

สิ่งสำคัญอย่างยิ่ง เนื่องจากแต่ละเลเยอร์พอดีกับเวเฟอร์เดียว (หรือสองชั้นสำหรับเลเยอร์เชิงเส้น) ตุ้มน้ำหนักของโมเดลจึงไม่จำเป็นต้องขยับ เลเยอร์จะไม่ถูกแยกข้ามเวเฟอร์ เฉพาะการเปิดใช้งานที่ข้ามจากเวเฟอร์หนึ่งไปยังอีกเวเฟอร์ถัดไป ซึ่งส่งผ่าน RDMA บนอีเทอร์เน็ตมาตรฐานด้วยเวลากระโดดประมาณ 2 ไมโครวินาที

จุดออกแบบนั้นอธิบายได้มากเกี่ยวกับการอ้างประสิทธิภาพของ Cerebras ในการปรับใช้ GPU การเคลื่อนย้ายน้ำหนักหรือสถานะการแบ่งส่วนระหว่างอุปกรณ์มักเป็นปัญหาคอขวด บนฮาร์ดแวร์ Cerebras การเชื่อมต่อระหว่างกันจะมีเทนเซอร์การเปิดใช้งานที่เล็กกว่ามากเท่านั้น

เหตุใดจึงมีความสำคัญสำหรับตลาดอนุมาน

โพสต์นี้ส่วนหนึ่งเป็นการอธิบายทางวิศวกรรมและอีกส่วนหนึ่งเป็นข้อโต้แย้ง: SRAM ขนาดเวเฟอร์เป็นวิธีที่น่าเชื่อถือในการให้บริการโมเดลขนาดใหญ่ที่เพิ่มมากขึ้นเรื่อยๆ ที่อุตสาหกรรมกำลังจัดส่ง ในขณะที่การเปิดตัวน้ำหนักแบบเปิดเช่น Kimi K3 เข้าใกล้พารามิเตอร์สามล้านล้านกำแพงหน่วยความจำกลายเป็นข้อจำกัดที่กำหนดของการอนุมานเศรษฐศาสตร์ และแนวทางที่ทำให้น้ำหนักคงที่มีข้อได้เปรียบทางโครงสร้างในด้านความเร็วต่อโทเค็น

นอกจากนี้ยังขีดเส้นใต้ว่าขึ้นอยู่กับปริมาณมากน้อยเพียงใด การปรับใช้ทั้งหมดขึ้นอยู่กับน้ำหนัก 4 บิตและแคช KV 8 บิต — เทคนิคที่ลดขนาดหน่วยความจำลงประมาณ 75% หรือมากกว่านั้นเมื่อเปรียบเทียบกับเส้นพื้นฐาน 16 บิต ในขณะที่ยังคงรักษาประสิทธิภาพการวัดประสิทธิภาพไว้ หากไม่มีพวกเขา แม้แต่ 59 เวเฟอร์ก็ไม่เพียงพอ

การแลกเปลี่ยนก็มีจริงเช่นกัน ระบบ 59 เวเฟอร์เป็นเครื่องจักรเฉพาะทางขนาดใหญ่ และวิธีการไปป์ไลน์ถือว่าคำขอสามารถแบทช์ทั่วทั้งระบบได้อย่างมีประสิทธิภาพ บล็อกของ Cerebras กล่าวถึงการทำงานพร้อมกันเป็นหนึ่งในหัวข้อหลัก โดยสังเกตว่าสถาปัตยกรรมได้รับการออกแบบมาเพื่อรองรับคำขอจำนวนมากพร้อมกัน

สำหรับตอนนี้ โพสต์นี้ถือเป็นหนึ่งในคำอธิบายสาธารณะที่ชัดเจนที่สุดเกี่ยวกับสิ่งที่ต้องใช้จริงในการให้บริการโมเดลเปิดระดับแนวหน้าด้วยความเร็วโทเค็นสี่หลัก — และเป็นสัญญาณว่าการสนทนาเกี่ยวกับฮาร์ดแวร์อนุมานกำลังเปลี่ยนจากชิปเป็นระบบเวเฟอร์ทั้งหมด

ที่มา: บล็อกของ Cerebras “วิธีที่เราปรับใช้โมเดลชายแดนล้านล้านพารามิเตอร์บน Cerebras” (22 ตุลาคม 2026)

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →