Microsoft AI เสร็จสิ้นการฝึกอบรมล่วงหน้าบน MAI-Base-2 ซึ่งเป็นโมเดลพารามิเตอร์ 2.8T ที่บอกว่าเอาชนะคู่แข่งแบบ Open-Weight

Microsoft AI ได้เสร็จสิ้นการฝึกอบรมล่วงหน้าเกี่ยวกับ MAI-Base-2 ซึ่งเป็นโมเดลพื้นฐานแบบผสมผสานของผู้เชี่ยวชาญซึ่งมีพารามิเตอร์ที่ใช้งานอยู่ 8 หมื่นล้านพารามิเตอร์ และพารามิเตอร์ทั้งหมด 2.8 ล้านล้านพารามิเตอร์ ฝ่ายดังกล่าวได้ประกาศเมื่อวันที่ 15 ตุลาคมในโพสต์ทางเทคนิค "Lab Notes" บริษัทกล่าวว่าโมเดลนี้มีประสิทธิภาพเหนือกว่าโมเดล open-weight ทุกตัวที่ทดสอบกับการประเมินแบบรอไว้ และมีประสิทธิภาพมากกว่า FLOPs ก่อนการฝึก 4 ถึง 12 เท่า เมื่อเทียบกับโมเดลฐานเปิดที่แข็งแกร่งที่สุด DeepSeek-V4-Pro-Base

การประกาศดังกล่าวถือเป็นสัญญาณที่ชัดเจนที่สุดว่าโปรแกรมโมเดลภายในของ Microsoft ซึ่งสร้างขึ้นภายใต้องค์กร Microsoft AI ของ CEO Mustafa Suleyman นั้น ตั้งใจที่จะแข่งขันในระดับแนวหน้าแทนที่จะพึ่งพาความร่วมมือ OpenAI เพียงอย่างเดียว ขณะนี้ MAI-Base-2 อยู่ระหว่างการฝึกหลังการฝึกอบรม และคาดว่าจะได้ผลลัพธ์เพิ่มเติมเร็วๆ นี้ หากต้องการรายงานข่าวโมเดลใหม่ๆ อย่างต่อเนื่อง โปรดติดตาม ข่าวโมเดล AI ของเรา

ขนาดของการวิ่ง

Microsoft กล่าวว่าได้ฝึกอบรม MAI-Base-2 บน GPU NVIDIA GB200 จำนวน 16,000 ตัวในระยะเวลา 38 วันในเดือนสิงหาคมและกันยายน 2569 การรันมีการใช้งานโมเดล FLOPs โดยเฉลี่ย 21% (ปรับให้เป็นมาตรฐานเทียบกับค่าสูงสุดทางทฤษฎีของ GB200 ที่ 2.5 PFLOPS ใน BF16 ไม่รวมการปรับวัตถุใหม่และ FLOP ของเครื่องมือเพิ่มประสิทธิภาพ) และบรรลุ goodput 89% — เศษส่วนของเวลาการฝึกอบรมดำเนินไปโดยไม่มี การหยุดชะงัก ตัวเลขเหล่านี้อธิบายถึงการวิ่งขนาดใหญ่ที่มีระเบียบวินัย กลุ่ม GPU ที่ถูกขัดจังหวะหรือใช้งานไม่ดีถือเป็นบรรทัดฐานในระดับนี้ และทุกจุดของ Goodput จะแปลเป็นเวลาหลายสัปดาห์ในการฝึกอบรมที่บันทึกไว้

แบบจำลองนี้มีขนาดใหญ่กว่า กระจัดกระจายกว่า และได้รับการฝึกอบรมเกี่ยวกับข้อมูลมากกว่ารุ่นก่อน นั่นคือ MAI-Base-1 ซึ่งทำหน้าที่เป็นรากฐานสำหรับ MAI-Thinking-1 ซึ่งเป็นโมเดลการให้เหตุผลของ Microsoft ที่เปิดตัวในเดือนมิถุนายน Microsoft กล่าวว่าได้จงใจนำการประหยัดประสิทธิภาพจากสูตรการฝึกอบรมของ MAI-Base-2 ไปลงทุนใหม่เพื่อฝึกอบรมโมเดลที่ใหญ่ขึ้น

Microsoft บอกว่าเปรียบเทียบอย่างไร

บริษัทประเมิน MAI-Base-2 เทียบกับจุดตรวจชายแดนที่มีอยู่ก่อนเดือนตุลาคม 2569 โดยใช้บิตต่อไบต์บนข้อความที่จัดไว้ ซึ่งเป็นตัวชี้วัดที่ไม่เชื่อเรื่องโทเค็นของ tokenizer พร้อมด้วยการประเมินโค้ดที่จัดขึ้นที่ดึงมาจากโค้ดเบสของ Microsoft เอง การประเมิน STEM คณิตศาสตร์ และการถามตอบได้รับมอบหมายจากผู้ขายภายนอกเพื่อลดความเสี่ยงของการปนเปื้อนในชุดการฝึกอบรม และชุดการประเมินทั้งหมดจะถูกกำจัดการปนเปื้อนกับข้อมูลการฝึกอบรม

ชุดการเปรียบเทียบประกอบด้วย DeepSeek-V4-Pro-Base ซึ่ง Microsoft อธิบายว่าเป็นโมเดลพื้นฐานที่มีความสามารถมากที่สุดพร้อมน้ำหนักแบบเปิด และเป็นจุดตรวจสอบก่อนการฝึกอบรมฐานเดียวที่เปิดตัวที่สูงกว่าพารามิเตอร์หนึ่งล้านล้านรายการ รวมถึง Kimi K3, Qwen3.8-2.4T-A95B และ MiMo-V2.6-Pro-RL Microsoft ตั้งข้อสังเกต: สำหรับทั้งสามจุดดังกล่าว จะมีเพียงจุดตรวจหลังการฝึกอบรมเท่านั้น และหลังการฝึกอบรมอาจส่งผลต่อการประเมินก่อนการฝึกอบรม จากการประเมินที่จัดขึ้น Microsoft รายงานว่า MAI-Base-2 มีบิตต่อไบต์ต่ำกว่ารุ่นอื่นๆ ที่ทดสอบ

การอ้างสิทธิ์ด้านประสิทธิภาพ ถอดรหัสแล้ว

ตัวเลขประสิทธิภาพที่ 4-12 เท่าไม่ใช่การชนะเกณฑ์มาตรฐานโดยตรง แต่เป็นการวิเคราะห์การจับคู่ทางคอมพิวเตอร์ สำหรับการประเมินที่จัดขึ้นแต่ละครั้ง Microsoft ได้ติดตั้งกฎการปรับขนาดบิตต่อไบต์เทียบกับการฝึกอบรม FLOP และประเมินว่าสูตรอาหารของตัวเองจะต้องคำนวณเท่าใดจึงจะตรงกับคะแนนของ DeepSeek-V4-Pro-Base ช่วงดังกล่าวสะท้อนถึงความแตกต่างในการประเมินทั้งสี่ครั้ง การอ้างสิทธิ์ในแง่ธรรมดา: Microsoft กล่าวว่าสูตรของตนดึงความสามารถต่อหน่วยการประมวลผลการฝึกอบรมได้มากกว่ารุ่นพื้นฐานที่แข็งแกร่งที่สุดที่เปิดเผยอย่างเปิดเผยหลายเท่า และใช้ส่วนเกินนั้นตามขนาด

เป็นเจ้าของเต็มกอง

นอกเหนือจากประสิทธิภาพการทำงานแบบดิบแล้ว โพสต์ยังระบุเหตุผลเชิงกลยุทธ์ด้วย Microsoft กล่าวว่าการเป็นเจ้าของไปป์ไลน์โมเดลตั้งแต่ต้นทางถึงปลายทางทำให้มีที่มาของข้อมูลที่แข็งแกร่งเหนือโทเค็นการฝึกอบรม และการฝึกอบรมล่วงหน้านั้นอาศัยข้อมูลทั่วไปโดยไม่มีการกลั่นกรองจากโมเดลอื่น บริษัทให้เหตุผลว่าที่มานั้นจะทำให้บริษัทอนุญาตให้ใช้น้ำหนักโมเดลแก่องค์กรต่างๆ ผ่านทาง Foundry ซึ่งเป็นแหล่งข้อมูลข่าวกรองระดับแนวหน้าที่เชื่อถือได้ ในขณะที่การปรับโมเดลและโครงสร้างพื้นฐานร่วมกันจะช่วยลดต้นทุนเป็นอันดับแรกในผลิตภัณฑ์ของ Microsoft เอง

ส่วนทางเทคนิคให้เครดิตความคิดริเริ่มสามประการสำหรับความสำเร็จของการวิ่ง: วิทยาศาสตร์การปรับขนาด ซึ่งรวมถึง "บันไดการปรับขนาด" ที่พิจารณาข้อมูลการฝึกซ้ำผ่านเทคนิคที่เรียกว่าการปรับขนาดแหล่งที่มา ซึ่งจะรักษาอัตราส่วนของข้อมูลที่ไม่ซ้ำกันต่อพารามิเตอร์ที่คงที่ข้ามขั้น การออกแบบร่วมกันระหว่างแบบจำลองและโครงสร้างพื้นฐาน รวมถึงการใช้งาน MoE และ Muon Optimizer ที่ได้รับการปรับปรุงควบคู่ไปกับการเปิดใช้งานการไล่ระดับสี และขยายไปป์ไลน์ข้อมูลด้วยการบูรณาการข้อมูลการมองเห็น Microsoft กล่าวว่าการปรับขนาดแหล่งที่มาเป็นกุญแจสำคัญในการขยายขนาดที่เชื่อถือได้เป็นขนาดพารามิเตอร์ 2.8 ล้านล้านโดยไม่เกิดความประหลาดใจมากเกินไป

ความหมายสำหรับตลาดคืออะไร

หากการกล่าวอ้างดังกล่าวอยู่ภายใต้การตรวจสอบอย่างเป็นอิสระ MAI-Base-2 ได้วางตำแหน่ง Microsoft ให้เป็นผู้สร้างโมเดลชายแดนตะวันตกรายใหญ่รายที่สี่ ควบคู่ไปกับ OpenAI, Anthropic และ Google โดยมีการนำเสนอที่แตกต่างซึ่งสร้างขึ้นจากแหล่งที่มาของข้อมูลและใบอนุญาตระดับองค์กร แทนที่จะเป็นการแบ่งปันความคิดของแชทบอทสำหรับผู้บริโภค ตลาดที่มีความสำคัญเป็นอันดับแรกคือฐานลูกค้าองค์กรของ Azure ซึ่งลูกค้าของ Foundry สามารถเข้าถึงโมเดลระดับแนวหน้าซึ่งสายเลือดการฝึกอบรมที่ Microsoft ควบคุมอย่างเต็มที่

การตรวจสอบโดยอิสระยังคงเป็นคำถามเปิด การประเมินของ Microsoft เป็นแบบรายงานด้วยตนเอง ข้อแม้หลังการฝึกอบรมของโมเดลการเปรียบเทียบนั้นมีสาระสำคัญ และบิตต่อไบต์ของข้อความที่จัดไว้ไม่ได้แปลโดยตรงเป็นการแชท การเขียนโค้ด และการวัดประสิทธิภาพตัวแทนที่องค์กรจับจ่ายใช้สอยจริง อนุพันธ์หลังการฝึกอบรมของ MAI-Base-2 ซึ่งเป็นผู้สืบทอดของ MAI-Thinking-1 จะเป็นการทดสอบจริง แต่ข้อความเบื้องหลังของการประกาศนั้นไม่คลุมเครือ: การเดิมพันของ Microsoft ในการฝึกอบรมโมเดลชายแดนภายในองค์กรโดยใช้กองเรือซิลิคอนของตัวเองนั้นไม่ได้เป็นแรงบันดาลใจอีกต่อไป มีโมเดลพื้นฐานที่เสร็จสมบูรณ์แล้ว และไปป์ไลน์หลังการฝึกอบรมกำลังทำงานอยู่

---

ก้าวนำหน้า AI

รับข่าวสาร AI การวิเคราะห์ และความก้าวหน้าล่าสุด ทั้งหมดในที่เดียว

อ่านข่าว AI เพิ่มเติม →