Thinking Machines ให้รายละเอียดการฝึกอบรมแบบ End-to-End 4-Bit บนฮาร์ดแวร์ Nvidia GB300

Thinking Machines Lab ซึ่งเป็นบริษัทวิจัยที่ก่อตั้งโดยอดีตประธานเจ้าหน้าที่ฝ่ายเทคโนโลยีของ OpenAI Mira Murati ได้เผยแพร่คำอธิบายทางเทคนิคโดยละเอียดเกี่ยวกับวิธีการฝึกโมเดลภาษาขนาดใหญ่เกือบทั้งหมดด้วยความแม่นยำ 4 บิต ซึ่งเป็นเทคนิคที่บริษัทกล่าวว่าจะปลดล็อกความเร็วที่สำคัญและการประหยัดหน่วยความจำบนฮาร์ดแวร์ศูนย์ข้อมูลใหม่ล่าสุดของ Nvidia

โพสต์ในบล็อกชื่อ "End-to-End 4-Bit Training" และเผยแพร่บนเว็บไซต์ของบริษัทเมื่อวันที่ 13 พฤศจิกายน กล่าวถึงการแลกเปลี่ยนเชิงตัวเลขที่อยู่เบื้องหลังการฝึกอบรมที่มีความแม่นยำต่ำ และอธิบายถึงวิธีที่ทีมจัดการพวกเขาในขณะที่ฝึกอบรม Inkling 2 Small model สำหรับผู้อ่านที่ติดตามการพัฒนา AI ล่าสุด โพสต์นี้จะนำเสนอการตัดสินใจทางวิศวกรรมต่อสาธารณะซึ่งหาได้ยาก ซึ่งเป็นตัวกำหนดค่าใช้จ่ายจริงของการฝึกอบรมระดับแนวหน้า

เหตุใดบิตที่น้อยลงจึงหมายถึงการฝึกอบรมที่เร็วขึ้น

การฝึกแบบจำลองภาษาขนาดใหญ่เกี่ยวข้องกับการคำนวณและการจัดเก็บตัวเลขจำนวนมหาศาล การใช้บิตน้อยลงสำหรับแต่ละค่าจะช่วยลดการใช้หน่วยความจำ และช่วยให้ GPU ทำการคำนวณได้เร็วขึ้น ต้นทุนมีความแม่นยำ: จำนวนบิตที่น้อยลงหมายถึงตัวเลขที่สามารถแทนค่าได้น้อยลง ดังนั้นค่าจึงต้องถูกปัดเศษให้เข้มงวดมากขึ้น

บริษัทได้แสดงปัญหาด้วยตัวอย่างง่ายๆ หากรูปแบบสามารถแสดงเฉพาะตัวเลข 3 และ 4 การจัดเก็บ 3.2 จำเป็นต้องปัดเศษเป็น 3 ทำให้เกิดข้อผิดพลาดเชิงปริมาณเป็น 0.2 ข้อผิดพลาดในการปัดเศษเพียงครั้งเดียวนั้นไม่สำคัญ แต่ในระหว่างการฝึกอบรม ข้อผิดพลาดเหล่านี้จะสะสมตามเลเยอร์และขั้นตอนการเพิ่มประสิทธิภาพ และอาจรบกวนกระบวนการเรียนรู้ได้

"นี่คือความท้าทายหลักของการฝึกอบรมที่มีความแม่นยำต่ำ: เราจะได้ประโยชน์จากการคำนวณที่เร็วขึ้นโดยไม่เกิดข้อผิดพลาดที่รบกวนการเรียนรู้ได้อย่างไร" บริษัท เขียนไว้ในโพสต์

สามรูปแบบ หนึ่งการฝึกซ้อม

แทนที่จะมุ่งมั่นในระดับความแม่นยำเดียว Thinking Machines ใช้รูปแบบตัวเลขสามรูปแบบในขั้นตอนการฝึกอบรมที่แตกต่างกัน: BF16, MXFP8 และ NVFP4 แต่ละรูปแบบมีความแม่นยำคงที่ แต่ความเร็วขึ้นอยู่กับฮาร์ดแวร์ที่ใช้งาน

บริษัทฝึกอบรมบนแพลตฟอร์ม Grace Blackwell Ultra ของ Nvidia รุ่น GB300 ซึ่งได้รับการออกแบบมาโดยเฉพาะเพื่อเร่งการคูณเมทริกซ์ใน NVFP4 ตามโพสต์ดังกล่าว NVFP4 จะจัดเก็บค่าด้วยบิตน้อยกว่า BF16 ถึง 3.6 เท่า ในขณะที่ทำงานเร็วขึ้นสูงสุด 6 เท่าบนระบบ GB300 ในแง่ของปริมาณการประมวลผล บริษัทแสดงรายการประสิทธิภาพ GB300 ที่ประมาณ 15 PFLOPS ใน NVFP4, 5 PFLOPS ใน MXFP8 และ 2.5 PFLOPS ใน BF16

สิ่งที่จับได้ก็คือการบีบอัดเชิงรุกของ NVFP4 ทำให้เกิดข้อผิดพลาดในเชิงปริมาณมากกว่ารูปแบบที่กว้างกว่ามาก ข้อผิดพลาดดังกล่าวเป็นที่ยอมรับได้ในบางขั้นตอนของการฝึกอบรม และไม่สามารถยอมรับได้ในบางขั้นตอน ซึ่งเป็นเหตุผลว่าทำไมบริษัทจึงปฏิบัติต่อแต่ละขั้นตอนแยกกัน

ด่านต่างกัน กฎต่างกัน

โพสต์ในบล็อกแบ่งการฝึกอบรมออกเป็นสี่ขั้นตอน ได้แก่ การผ่านการฝึกล่วงหน้าและย้อนหลัง ตัวอย่างการเรียนรู้แบบเสริมกำลัง และผู้ฝึกสอน RL และกำหนดสมดุลลำดับความสำคัญที่แตกต่างกันระหว่างการลดข้อผิดพลาด การลดอคติ การเพิ่มความเร็ว และลดการใช้หน่วยความจำ

ความเร็วมีความสำคัญมากที่สุดในขั้นตอนที่มีปริมาณมาก ได้แก่ การฝึกฝนล่วงหน้าซึ่งมีโทเค็นมากกว่าล้านล้านรายการ และการสุ่มตัวอย่าง RL ซึ่งสร้างการเปิดตัวจำนวนมาก อย่างไรก็ตาม การจ่ายบอลย้อนหลังเป็นกรณีพิเศษ โพสต์อธิบายว่าการย้อนกลับส่งผ่านค่าเฉลี่ยผ่านโทเค็นจำนวนมากในชุด ซึ่งจะทำให้ผลกระทบของข้อผิดพลาดในการปัดเศษแบบกระจายแบบสุ่มลดลง แต่มีความไวสูงต่ออคติเชิงปริมาณ การเบี่ยงเบนอย่างเป็นระบบที่เกิดขึ้นเมื่อค่าปัดเศษอย่างสม่ำเสมอในทิศทางเดียว ต่างจากสัญญาณรบกวนแบบสุ่มตรงที่อคตินั้นอาจปะปนไปตามเลเยอร์ ตัวอย่าง และขั้นตอนการฝึก

บริษัทกล่าวว่าได้จัดการการแลกเปลี่ยนเหล่านี้ในขณะที่ฝึกอบรม Inkling 2 Small ซึ่งเป็นโมเดลผู้เชี่ยวชาญแบบผสมน้ำหนักเปิดที่เปิดตัวเมื่อต้นเดือนนี้ภายใต้ลิขสิทธิ์ Apache 2.0 โพสต์ไม่ได้อ้างว่าทุกส่วนของการรันรันเป็น 4 บิต แต่จะอธิบายถึงกลยุทธ์แบบ end-to-end ซึ่งความแม่นยำของแต่ละองค์ประกอบถูกเลือกอย่างจงใจ แทนที่จะสืบทอดมาโดยค่าเริ่มต้น

เหตุใดการฝึกอบรมที่มีความแม่นยำต่ำจึงมีความสำคัญ

เศรษฐศาสตร์ที่นี่ตรงไปตรงมา การประมวลผลเป็นต้นทุนหลักในการพัฒนาโมเดลระดับแนวหน้า และผู้จำหน่ายฮาร์ดแวร์ต่างเร่งรีบเพื่อเพิ่มการเร่งความเร็วที่มีความแม่นยำต่ำให้กับชิปรุ่นใหม่แต่ละรุ่น Nvidia ได้วางตำแหน่งการสนับสนุน NVFP4 ในแพลตฟอร์ม Blackwell Ultra เป็นฟีเจอร์พาดหัว และตัวเร่งคู่แข่งจาก AMD, Google และบริษัทอื่นๆ โฆษณารูปแบบที่มีความแม่นยำลดลงของตนเอง

หากห้องปฏิบัติการวิจัยสามารถผลักดันขั้นตอนการฝึกอบรมไปสู่เลขคณิตแบบ 4 บิตได้อย่างปลอดภัย งบประมาณฮาร์ดแวร์เท่าเดิมจะซื้อการทดลองเพิ่มเติม โทเค็นมากขึ้น หรือแบบจำลองที่ใหญ่กว่า นั่นเป็นข้อได้เปรียบที่สำคัญในตลาดที่การเข้าถึงเครื่องเร่งความเร็วที่ล้ำสมัยนั้นหายากและมีราคาแพง นอกจากนี้ยังผสมผสานกับการผลักดันในวงกว้างของอุตสาหกรรมไปสู่เทคนิคที่มีประสิทธิภาพ เช่น การอนุมานเชิงปริมาณและการถอดรหัสแบบเก็งกำไร ซึ่งทั้งสองอย่างนี้บีบความสามารถจากฮาร์ดแวร์แบบคงที่มากขึ้น

โพสต์ดังกล่าวยังเป็นสัญญาณบ่งชี้ว่าชุมชนการวิจัยกำลังมุ่งหน้าไปที่ใด การฝึกอบรมที่มีความแม่นยำต่ำถูกมองว่ามีความเสี่ยงมากเกินไปสำหรับสิ่งใดก็ตามที่อยู่นอกเหนือการอนุมาน เนื่องจากข้อผิดพลาดในการปัดเศษถือเป็นความเสียหายต่อการเรียนรู้ การวิเคราะห์ทีละขั้นตอนอย่างรอบคอบ — เช่นเดียวกับที่ Thinking Machines เผยแพร่ — คือวิธีทดสอบสมมติฐานดังกล่าว และหากเป็นไปได้ ก็จะถูกพลิกกลับ

จากบล็อกโพสต์ไปจนถึง Open Weights

สิ่งที่ทำให้การเปิดเผยข้อมูลมีความโดดเด่นคือการเปิดเผยข้อมูลดังกล่าวไม่ได้เป็นเพียงทฤษฎีเท่านั้น บริษัทเชื่อมโยงเทคนิคนี้เข้ากับโมเดลที่จัดส่งจริงโดยตรง Inkling 2 Small เปิดตัวพร้อมตุ้มน้ำหนักที่ดาวน์โหลดได้ในช่วงต้นเดือนพฤศจิกายน และโพสต์ใหม่จะอธิบายกลยุทธ์เชิงตัวเลขที่อยู่เบื้องหลังการฝึกอบรม ผู้ปฏิบัติงานที่ดาวน์โหลดแบบจำลองนี้จะได้รับสิ่งประดิษฐ์ที่ใช้งานได้จริงจากวิธีการที่มีความแม่นยำต่ำตามที่บริษัทอธิบายไว้

Thinking Machines ได้รับการเปิดอย่างผิดปกติสำหรับห้องปฏิบัติการระดับแนวหน้า โดยเผยแพร่บล็อกโพสต์ทางเทคนิคควบคู่ไปกับการเผยแพร่โมเดล ความโปร่งใสดังกล่าวทำให้นักวิจัยภายนอกมีบางสิ่งที่หายาก: เอกสารที่จัดทำเป็นเอกสารและทำซ้ำได้เกี่ยวกับวิธีการฝึกอบรมสมัยใหม่ในการจัดการกับความเป็นจริงเชิงตัวเลขที่ยุ่งเหยิงของเลขคณิตที่มีความแม่นยำแบบผสม

สำหรับอุตสาหกรรมในวงกว้าง ข้อความก็คือการฝึกอบรมแบบ 4 บิตได้เปลี่ยนจากความอยากรู้อยากเห็นในการวิจัยไปสู่เทคนิคการผลิต เนื่องจากห้องปฏิบัติการจำนวนมากขึ้นใช้กลยุทธ์ที่คล้ายกัน ช่องว่างระหว่างประสิทธิภาพสูงสุดของฮาร์ดแวร์ตามทฤษฎีและปริมาณงานการฝึกอบรมที่เกิดขึ้นจริงจะลดลง และต้นทุนของโมเดลที่มีความสามารถในการฝึกอบรมจะยังคงลดลงต่อไป

ก้าวนำหน้า AI

เทคนิคเบื้องหลังโมเดลชายแดนจะมีการพัฒนาทุกสัปดาห์ ติดตาม AI Buzz Wire เพื่อการรายงานที่ชัดเจนและมีแหล่งที่มาเกี่ยวกับการวิจัยที่เป็นตัวกำหนดทิศทางของสาขานี้

อ่านข่าว AI เพิ่มเติม →