ต้นทุนที่เติบโตเร็วที่สุดในปัญญาประดิษฐ์อาจไม่ใช่ชิป แต่อาจเป็นไฟฟ้าที่ป้อนพวกมัน เมื่อวันที่ 12 ตุลาคม มหาวิทยาลัยมิชิแกนประกาศว่า NVIDIA ซึ่งเป็นบริษัทคอมพิวเตอร์ AI ที่โดดเด่นของโลก กำลังประเมินวิธีเพิ่มเครื่องมือประหยัดพลังงาน UM สองตัวให้กับ Megatron-LM ซึ่งเป็นแพลตฟอร์มโอเพ่นซอร์สที่ใช้กันอย่างแพร่หลายของ NVIDIA สำหรับการฝึกอบรมโมเดลภาษาขนาดใหญ่ จากข้อมูลของมหาวิทยาลัย ซอฟต์แวร์นี้สามารถลดพลังงานที่จำเป็นในการฝึก AI ได้ถึง 50% โดยไม่ส่งผลกระทบต่อความเร็วในการฝึกหรือประสิทธิภาพของโมเดล
ข่าวมีความสำคัญมากกว่าบันทึกการตีพิมพ์ของห้องปฏิบัติการแห่งหนึ่ง Megatron-LM ไม่ใช่ฐานโค้ดการวิจัยเฉพาะกลุ่ม: บริษัทต่างๆ สามารถใช้โดยตรงหรือเป็นรากฐานสำหรับแพลตฟอร์มการฝึกอบรมส่วนตัวที่ปรับแต่งเองได้ และเป็นแพลตฟอร์มที่ใช้ในการฝึกอบรมโมเดล Nemotron รุ่นเรือธงของ NVIDIA ซึ่งผู้ใช้สามารถดาวน์โหลดลงในฮาร์ดแวร์ของตนเองได้ หากเครื่องมือ UM ทำให้กลายเป็น Megatron-LM การปรับปรุงประสิทธิภาพที่พัฒนาขึ้นในห้องปฏิบัติการทางวิชาการจะแพร่กระจายไปสู่การฝึกอบรม AI จำนวนมากทั่วโลก ติดตามการพัฒนา AI ล่าสุดบนหน้าแรกของเราเพื่อการรายงานข่าวอย่างต่อเนื่องเกี่ยวกับการแข่งขันด้านโครงสร้างพื้นฐานที่อยู่เบื้องหลัง AI
สิ่งที่คาเรอุสและเพอร์ซีอุสทำจริงๆ
เครื่องมือทั้งสองโจมตีแหล่งที่มาของขยะที่แตกต่างกันในการฝึกอบรมแบบกระจาย และส่วนการออมของพวกเขา
Perseus: การจัดการความเร็วโปรเซสเซอร์
Perseus จัดการกับคอมพิวเตอร์ที่มีการจัดเตรียมมากเกินไป ในการฝึกซ้อมครั้งใหญ่ ไม่ใช่ว่าโปรเซสเซอร์ทุกตัวจะทำงานที่เป็นประโยชน์ตลอดเวลา แต่โปรเซสเซอร์ทั้งหมดกลับดึงพลังออกมา ด้วยการจัดการความเร็วโปรเซสเซอร์ให้ตรงกับงานจริงในแต่ละจุดในการฝึกอบรม Perseus ลดพลังงานที่จำเป็นในการฝึกอบรม AI ได้ถึง 30% ตามข้อมูลของ UM
Kareus: กำหนดเวลาที่ชาญฉลาดยิ่งขึ้นสำหรับการประมวลผลและการสื่อสาร
คาเรียสมุ่งเป้าไปที่ปัญหาที่ละเอียดอ่อนกว่านั้น การฝึกอบรมโมเดลสมัยใหม่จำเป็นต้องประสานงานกับโปรเซสเซอร์นับแสนถึงหลายพันตัว และงานจะแยกระหว่างการคำนวณและการสื่อสารระหว่างชิป Kareus ลดพลังงานในการฝึกอบรมเพิ่มเติม 15% ถึง 30% โดยการค้นหาเวลาและการแบ่งปันทรัพยากรที่มีประสิทธิภาพมากที่สุดระหว่างงานฝึกอบรมและการสื่อสารเหล่านั้น โดยจัดกำหนดการแต่ละรายการเพื่อไม่ให้นั่งเฉยๆ รออีกฝ่าย
มหาวิทยาลัยกล่าวว่า เครื่องมือต่างๆ สามารถประหยัดพลังงานได้ประมาณครึ่งหนึ่งที่ใช้ในการฝึก AI ในขณะเดียวกันก็ให้ความเร็วในการฝึกและประสิทธิภาพของโมเดลขั้นสุดท้ายเท่าเดิม นอกจากนี้ Kareus ยังได้รับการตรวจสอบโดยผู้ทรงคุณวุฒิอีกด้วย โดยเครื่องมือดังกล่าวถูกนำเสนอในงาน USENIX Symposium on Operating Systems Design and Implementation (OSDI) ในเดือนกรกฎาคม ซึ่งเป็นหนึ่งในสถานที่ชั้นนำสำหรับการวิจัยระบบ
ทำไมความสนใจของ NVIDIA ถึงเป็นเรื่องจริง
การวิจัยประสิทธิภาพทางวิชาการมักต้องเผชิญกับเส้นทางการผลิตที่ยาวนาน อันนี้อาจแตกต่างกันเพราะมันลงที่ไหน นักศึกษาปริญญาเอก Ruofan Wu ใช้เวลาช่วงฤดูร้อนที่ผ่านมาที่ NVIDIA เพื่อรวมซอฟต์แวร์ UM เข้ากับ Megatron-LM โดยเป็นส่วนหนึ่งของการฝึกงาน ซึ่งหมายความว่าเครื่องมือเหล่านี้ไม่ใช่ข้อเสนอ แต่เป็นโค้ดที่ใช้งานได้ภายในชุดการฝึกอบรมของ NVIDIA ซึ่งขณะนี้อยู่ระหว่างการประเมินอย่างเป็นทางการ
“AI กำลังถูกจำกัดด้านพลังงาน เนื่องจากโมเดลมีขนาดใหญ่ขึ้น และผู้คนต้องการฝึกโมเดลมากขึ้น แต่เราสามารถบรรลุความเร็วในการฝึกและประสิทธิภาพเท่าเดิมได้โดยใช้พลังงานน้อยลง” Wu นักศึกษาปริญญาเอกสาขาวิทยาการคอมพิวเตอร์และวิศวกรรมศาสตร์ที่ UM กล่าวในประกาศของมหาวิทยาลัย “มีโอกาสมากมายที่จะเพิ่มประสิทธิภาพการใช้พลังงาน AI ในระดับซอฟต์แวร์และฮาร์ดแวร์ และส่วนที่คุ้มค่าที่สุดอย่างหนึ่งของการฝึกงานก็คือโอกาสในการนำแนวคิดจากการวิจัยของฉันมาสู่ระบบการผลิต” เธอกล่าวเสริม
คำนั้น — ข้อจำกัดด้านพลังงาน — เป็นคำสำคัญใหม่ของอุตสาหกรรม ทีมวิจัย UM ซึ่งรวมถึงนักศึกษาระดับปริญญาเอก Jeff Ma และ Jae-Won Chung พร้อมด้วยรองศาสตราจารย์ Mosharaf Chowdhury กำลังทำงานร่วมกับ NVIDIA ในการบูรณาการ กรอบของทีมมีความตรงไปตรงมา: เป้าหมายคือการปล่อยให้ AI ทำงานที่มีประโยชน์มากขึ้นโดยใช้พลังงานและต้นทุนน้อยลง โดยการหาวิธีที่มีประสิทธิภาพมากที่สุดในการประสานงานการฝึกอบรมกับโปรเซสเซอร์นับแสนตัว
พลังงานกลายเป็นข้อจำกัดระดับเฟิร์สคลาสแล้ว
ขนาดของการฝึกอบรมชายแดนคือสิ่งที่เปลี่ยนเปอร์เซ็นต์การออมให้เป็นตัวเลขเชิงกลยุทธ์ Meta กล่าวในสัปดาห์นี้ว่าโมเดล Muse Wonder ใหม่ได้รับการฝึกอบรมที่ Prometheus ซึ่งอธิบายว่าเป็นศูนย์ข้อมูลขนาดกิกะวัตต์ เมื่อแคมเปญการฝึกอบรมเดียวทำงานในระดับนั้น การลดพลังงานในระดับเปอร์เซ็นต์จะไม่ใช่ข้อผิดพลาดในการปัดเศษ มันเป็นความแตกต่างระหว่างการปรับการฝึกซ้อมให้เหมาะสมภายในงบประมาณด้านพลังงานหรือไม่
เศรษฐศาสตร์เป็นไปตามฟิสิกส์ พลังงานได้กลายเป็นหนึ่งในทรัพยากรทางเข้าสำหรับการขยาย AI ซอฟต์แวร์ที่ช่วยลดค่าไฟฟ้าของการฝึกอบรมลงครึ่งหนึ่ง โดยใช้ฮาร์ดแวร์ที่มีอยู่ จะเปลี่ยนแคลคูลัสสำหรับทุกบริษัทที่ฝึกอบรมโมเดลของตัวเอง และโดยเฉพาะอย่างยิ่งสำหรับผู้เล่นรายเล็กซึ่งมีต้นทุนด้านพลังงานเป็นข้อจำกัดที่มีผลผูกพัน
นอกจากนี้ยังปรับกรอบการอภิปรายด้านสิ่งแวดล้อมเกี่ยวกับ AI อีกด้วย การอภิปรายสาธารณะส่วนใหญ่มุ่งเน้นไปที่พลังงานอนุมาน ซึ่งเป็นพลังงานที่ใช้โดยทุกข้อความค้นหาของแชทบอท แต่การฝึกอบรมเป็นที่ที่กลุ่มพลังงานเดียวที่ใหญ่ที่สุดรวมตัวกันอยู่ และวิธีการของซอฟต์แวร์ที่ผ่านการตรวจสอบจากผู้ทรงคุณวุฒิและไม่เชื่อเรื่องผู้จำหน่าย ซึ่งลดได้มากถึงครึ่งหนึ่ง ทำให้เกิดสิ่งที่หาได้ยากกว่าแผนงานด้านฮาร์ดแวร์ นั่นคือ ประสิทธิภาพที่เพิ่มขึ้นซึ่งจะเกิดขึ้นพร้อมกับการเปิดตัวโอเพ่นซอร์สครั้งถัดไป แทนที่จะเป็นการสร้างศูนย์ข้อมูลครั้งถัดไป
จะเกิดอะไรขึ้นต่อไป
มหาวิทยาลัยกล่าวว่า NVIDIA กำลังประเมินวิธีเพิ่มซอฟต์แวร์ลงในแพลตฟอร์มการฝึกอบรมโอเพ่นซอร์ส หากจัดส่งใน Megatron-LM การนำไปใช้อาจแพร่กระจายได้อย่างรวดเร็ว เมื่อพิจารณาว่ากรอบการทำงานดังกล่าวถูกนำไปใช้อย่างกว้างขวางทั่วทั้งอุตสาหกรรมและในแวดวงวิชาการ โครงการวิจัยในวงกว้างของทีม UM ยังคงมองหาการประหยัดพลังงานในกลุ่มซอฟต์แวร์และฮาร์ดแวร์ ซึ่งเป็นวาระที่ดูเหมือนเป็นประเด็นเฉพาะเมื่อไม่กี่ปีที่ผ่านมา และตอนนี้ดูเหมือนเป็นศูนย์กลางของเกม
