MLCommons เผยแพร่ผลการวัดประสิทธิภาพ MLPerf Inference v6.1 เมื่อวันที่ 16 กันยายน 2026 และพาดหัวข่าวเป็นของแพลตฟอร์มรุ่นต่อไปของ NVIDIA ในการส่งตัวอย่างครั้งแรก ระบบ Vera Rubin NVL72 ให้ทรูพุตของ NVIDIA รุ่นเรือธง GB300 NVL72 ถึง 3.7 เท่า ตามประกาศของ NVIDIA ซึ่งเป็นสัญญาณเริ่มต้นว่าผู้สืบทอดของ Blackwell Ultra จะมีความหมายอย่างไรต่อเศรษฐศาสตร์การอนุมานของ AI

Vera Rubin เป็นแพลตฟอร์มศูนย์ข้อมูลแห่งถัดไปของ NVIDIA ซึ่งได้รับการตั้งชื่อตามนักดาราศาสตร์ฟิสิกส์ผู้ให้หลักฐานสำคัญเกี่ยวกับสสารมืด ผลลัพธ์การแสดงตัวอย่าง MLPerf เป็นข้อมูลประสิทธิภาพสาธารณะรายการแรกที่มีการจัดระเบียบอย่างอิสระสำหรับระบบ For more context on this story, see our ongoing AI industry coverage.

ตัวเลขเบื้องหลังการเปิดตัว

NVIDIA ส่งผลการแสดงตัวอย่าง Vera Rubin NVL72 กับเวิร์กโหลดที่มีความต้องการมากที่สุดสองรายการในชุด v6.1: โมเดลการใช้เหตุผล DeepSeek-R1 และโมเดลภาษาวิชั่น Qwen3-VL

บน Qwen3-VL นั้น Vera Rubin NVL72 ให้ปริมาณการประมวลผลที่สูงกว่า GB300 NVL72 ถึง 3.7 เท่า ในสถานการณ์ออฟไลน์ เซิร์ฟเวอร์ และเชิงโต้ตอบ โดยรัน vLLM ด้วยเฟรมเวิร์กการอนุมานไดนาโมโอเพ่นซอร์สของ NVIDIA บน DeepSeek-R1 ที่ใช้ไลบรารี TensorRT-LLM ของ NVIDIA ปริมาณงานสูงกว่าเรือธงรุ่นก่อนถึง 2.5 เท่า

ตัวเลขทั้งสองมาจากการส่งของ NVIDIA ไปยังแผนกปิดของ MLCommons ซึ่งหมายความว่าตัวเลขเหล่านี้ถูกสร้างขึ้นภายใต้กฎที่ได้รับการตรวจสอบของ MLPerf แม้ว่าผลการแสดงตัวอย่างจะเป็นการวัดอย่างชัดเจนในช่วงต้นของแพลตฟอร์มที่ยังคงได้รับการปรับปรุงให้เหมาะสม

วิธีสร้างกำไร

NVIDIA ให้ความสำคัญกับการออกแบบร่วมแบบฟูลสแตกทั้งฮาร์ดแวร์และซอฟต์แวร์ แทนที่จะเป็นองค์ประกอบเดียว

ในด้านซิลิคอน Vera Rubin นำเสนอ Tensor Cores ที่ได้รับการปรับปรุงและ Transformer Engine ที่ได้รับการปรับปรุง ซึ่งจะช่วยเร่งการอนุมานทั้งสองขั้นตอน — ขั้นตอนการกรอกข้อมูลล่วงหน้าที่เน้นการประมวลผลและเฟสการถอดรหัสที่ผูกกับหน่วยความจำ แพลตฟอร์มดังกล่าวอาศัยความแม่นยำของ NVFP4 ซึ่งลดขนาดหน่วยความจำของน้ำหนักโมเดล ความสนใจ และแคช KV และเพิ่มปริมาณงานตามที่ NVIDIA อธิบายว่าสูญเสียคุณภาพเอาต์พุตน้อยที่สุด

ในด้านซอฟต์แวร์ การส่งใช้การให้บริการแบบแยกส่วน ซึ่งจะแยกการกรอกข้อมูลล่วงหน้าและถอดรหัสไปยังงานต่างๆ ควบคู่ไปกับการทำงานแบบขนานของผู้เชี่ยวชาญในวงกว้างเพื่อรักษาเลเยอร์ที่ผสมผสานของผู้เชี่ยวชาญไว้ในโมเดล เช่น DeepSeek-R1 และ Qwen3-VL ที่ป้อนงานอย่างเต็มที่

การเชื่อมต่อระหว่างกันเป็นเสาหลักที่สาม การออกแบบแร็ค NVL72 เชื่อมโยง GPU 72 ตัวไว้ในโดเมนขยายขนาดโดเมนเดียวโดยใช้ NVLink และ NVLink Switch รุ่นที่หก ซึ่ง NVIDIA กล่าวว่าให้อัตราแพ็กเก็ตที่สูงขึ้น 10 เท่าและเวลาแฝงที่ต่ำกว่า 3 เท่าเมื่อเทียบกับอีเธอร์เน็ตแบบทั่วไป ซึ่งเป็นรากฐานที่ทำให้การให้บริการแบบแยกส่วนระดับแร็คใช้งานได้จริง

GB300 แสดงการปรับขนาดที่เกือบจะสมบูรณ์แบบ

เรือธงปัจจุบันก็มีข่าวของตัวเองในรอบ v6.1 การส่ง DeepSeek-R1 ของ NVIDIA ปรับขนาดจากแร็ค GB300 NVL72 เดี่ยว — 72 GPUs — ไปจนถึงสี่แร็ค, 288 GPUs บรรลุประสิทธิภาพในการปรับขนาด 99 เปอร์เซ็นต์ในสถานการณ์ออฟไลน์ โดยมีปริมาณงานเพิ่มขึ้นเกือบตามสัดส่วนของฮาร์ดแวร์ที่เพิ่ม

ประสิทธิภาพในการปรับขนาดเป็นตัวชี้วัดที่ผู้ปฏิบัติงานศูนย์ข้อมูลจับตาดูอย่างใกล้ชิด เนื่องจากจะกำหนดว่าการซื้อฮาร์ดแวร์เพิ่มเติมจริง ๆ แล้วจะซื้อความจุที่มากขึ้นตามสัดส่วนหรือไม่ การปรับขนาดแบบ Near-linear ทั่วทั้งแร็คแสดงให้เห็นว่าคอขวดในระดับนี้ยังคงประสิทธิภาพต่อ GPU มากกว่าการสื่อสารระหว่างแร็ค

ซอฟต์แวร์ช่วยให้ทบต้น

รูปแบบที่เกิดซ้ำในรอบ MLPerf ถูกจัดขึ้นอีกครั้ง: การปรับปรุงซอฟต์แวร์เพียงอย่างเดียวให้ประสิทธิภาพที่สูงขึ้นถึง 1.6 เท่าในการส่ง NVIDIA's v6.1 เมื่อเทียบกับ v6.0 และบริษัทกล่าวว่าการปรับให้เหมาะสมยังคงดำเนินต่อไปหลังจากกำหนดเวลาส่ง v6.1 ซึ่งให้ผลกำไรเพิ่มเติม

สำหรับผู้ซื้อ ความหมายก็คือแร็คที่กำหนดจะเร็วขึ้นตลอดอายุการใช้งานโดยไม่ต้องรีเฟรชฮาร์ดแวร์ — NVIDIA ไดนามิกเคยโต้แย้งว่าฐานที่ติดตั้งนั้นมีคุณค่ามากกว่าที่จะเสื่อมลงเมื่อสแต็กซอฟต์แวร์เติบโตเต็มที่

ปริมาณงานแบบ Agentic ปรับโฉมเกณฑ์มาตรฐานใหม่

รอบเวอร์ชัน 6.1 ยังสะท้อนถึงการเปลี่ยนแปลงในการใช้การอนุมานด้วย NVIDIA ชี้ไปที่การแสดงตัวอย่างการทดสอบเกณฑ์มาตรฐาน AgentX ของ SemiAnalysis ซึ่งออกแบบโดยตัวแทน AI ที่ให้เหตุผล วางแผน และดำเนินการในหลายขั้นตอน โดยที่ Vera Rubin NVL72 ให้ประสิทธิภาพ 30 เท่าของ GB300 NVL72

นอกจากนี้ MLCommons กำลังเตรียมเกณฑ์มาตรฐานเฉพาะสำหรับการเปลี่ยนแปลงนี้: เกณฑ์มาตรฐาน MLPerf Endpoints ที่กำลังจะมีขึ้นมีเป้าหมายเพื่อสร้างมาตรฐานในการวัดปริมาณงานการอนุมานแบบเอเจนต์ที่การทดสอบทรูพุตแบบเดิมจับภาพได้ไม่ดี เนื่องจากการอนุมานเปลี่ยนจากการแชทพร้อมท์ครั้งเดียวไปสู่เซสชันตัวแทนหลายขั้นตอนที่ยาวนาน ความหน่วงและความสอดคล้องเชิงโต้ตอบมีความสำคัญพอๆ กับโทเค็นดิบต่อวินาที และเกณฑ์มาตรฐานก็ถูกสร้างขึ้นใหม่ตามนั้น

Nebius และระบบนิเวศมาถึงก่อนกำหนด

ผู้ให้บริการคลาวด์ Nebius ยังส่งผลการแสดงตัวอย่าง Vera Rubin NVL72 ซึ่ง NVIDIA เน้นย้ำว่าเป็นหลักฐานของประสิทธิภาพของระบบนิเวศที่แข็งแกร่งในช่วงต้น โดยทั่วไปการส่งผลงานโดยบุคคลที่สามก่อนกำหนดจะเป็นสัญญาณว่าระบบรุ่นต่อไปกำลังย้ายจากการสุ่มตัวอย่างในห้องปฏิบัติการไปสู่ความพร้อมใช้งานที่กว้างขึ้น แม้ว่าโพสต์ของ NVIDIA หรือการเปิดตัว MLCommons จะไม่ได้ระบุกำหนดเวลาของความพร้อมใช้งานทั่วไปก็ตาม

เหตุใดจึงสำคัญสำหรับเศรษฐศาสตร์ AI

NVIDIA วางกรอบผลลัพธ์ตามเงื่อนไขรายได้: แต่ละแร็ค Vera Rubin NVL72 สร้างโทเค็นได้มากขึ้น รองรับผู้ใช้ได้มากขึ้น และลดต้นทุนต่อโทเค็นเมื่อเทียบกับแร็ค GB300 NVL72 ในอุตสาหกรรมที่ความต้องการในการอนุมานถูกขับเคลื่อนโดยโมเดลการให้เหตุผลและปริมาณงานของตัวแทนที่ใช้คำสั่งที่มีขนาดการประมวลผลต่อการสืบค้นมากกว่าการแชทธรรมดา ปริมาณงานต่อแร็คคือตัวเลขที่กำหนดจำนวนผู้ใช้ที่งบประมาณศูนย์ข้อมูลคงที่สามารถรองรับได้

มีคำเตือนตามปกติ: สิ่งเหล่านี้เป็นการส่งของผู้จำหน่ายในรอบแสดงตัวอย่าง ในสองรุ่นที่เลือกโดย NVIDIA โดยที่ยังคงดำเนินการเพิ่มประสิทธิภาพอยู่ แต่ทิศทางไม่คลุมเครือ การดู Vera Rubin ครั้งแรกของ MLPerf ชี้ให้เห็นว่าการไต่ระดับประสิทธิภาพที่กำหนดโครงสร้างพื้นฐาน AI ตั้งแต่ปี 2023 นั้นยังมองไม่เห็นความราบเรียบอีกต่อไป และรอบการรีเฟรชแร็คครั้งถัดไปจะรีเซ็ตความคุ้มค่าของการให้บริการ AI ในวงกว้างอีกครั้ง

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →