Amazon ได้ประกาศเปิดตัว TorchNeuron ซึ่งเป็นแบ็คเอนด์ PyTorch แบบโอเพ่นซอร์สสำหรับชิป AI ตระกูล Trainium โดยเป็นการเคลื่อนไหวที่ช่วยขจัดอุปสรรคในทางปฏิบัติที่ใหญ่ที่สุดประการหนึ่งในการนำซิลิคอนแบบกำหนดเองมาใช้กับปริมาณงานการเรียนรู้ของเครื่อง ตามโพสต์อย่างเป็นทางการในบล็อก PyTorch ที่เผยแพร่ก่อนการประชุม PyTorch Conference North America ในวันที่ 20 ตุลาคม นักพัฒนาสามารถเรียกใช้โค้ดโมเดล PyTorch ที่มีอยู่ใน Trainium ด้วยการเปลี่ยนแปลงบรรทัดเดียว แทนที่จะเขียนขั้นตอนการทำงานใหม่โดยใช้เครื่องมือที่เป็นกรรมสิทธิ์

การประกาศดังกล่าวได้รับความสนใจในทันทีเนื่องจากกำหนดเป้าหมายสิ่งที่นักวิเคราะห์อธิบายมานานแล้วว่าเป็นข้อได้เปรียบที่คงทนที่สุดของ Nvidia ไม่ใช่ประสิทธิภาพของชิปดิบ แต่เป็นระบบนิเวศของซอฟต์แวร์ CUDA ที่เชื่อมโยงนักพัฒนาเข้ากับ GPU สำนักข่าวรอยเตอร์วางกรอบการเปิดตัวในขณะที่ Amazon กล่าวว่าชิป AI จะทำงานร่วมกับกรอบการพัฒนาที่ได้รับความนิยมมากที่สุดใน AI ในขณะที่ TechCrunch เรียก TorchNeuron ว่าเป็นเป้าหมายที่ใหญ่ที่สุดของบริษัทที่ Nvidia เพื่อให้เห็นภาพที่กว้างขึ้นว่าตลาดตัวเร่งความเร็วมีการเปลี่ยนแปลงอย่างไร ข่าวฮาร์ดแวร์ AI ที่กำลังดำเนินอยู่ของเราจะติดตามการพัฒนาเหล่านี้ในขณะที่เปิดเผย

สิ่งที่ TorchNeuron เปลี่ยนแปลงไปจริงๆ

คำมั่นสัญญาหลักของ TorchNeuron คือความเรียบง่าย ในตัวอย่างที่เผยแพร่บนบล็อก PyTorch ลูปการฝึกที่มีอยู่จะทำงานบน Trainium หลังจากย้ายโมเดลไปยังอุปกรณ์ใหม่ด้วย `.to('neuron')` โค้ดที่เขียนขึ้นเพื่อต่อต้าน `torch.accelerator` ซึ่งเป็น API ที่ไม่เชื่อเรื่องอุปกรณ์ที่แนะนำของ PyTorch นั้นทำงานโดยไม่มีการแก้ไข ตามโพสต์ สำหรับปริมาณงานที่คอมไพล์แล้ว นักพัฒนาจะตั้งค่าแบ็กเอนด์เริ่มต้นหนึ่งครั้งด้วย `torch.compiler.set_default_backend("neuron")` จากนั้นเรียกใช้ `model.compile()` โดยไม่มีการเปลี่ยนแปลงเพิ่มเติม

ภายใต้ประทุนนั้น TorchNeuron จะลงทะเบียน Trainium ผ่าน PrivateUse1 ซึ่งเป็นจุดขยายอย่างเป็นทางการของ PyTorch สำหรับแบ็กเอนด์ฮาร์ดแวร์แบบกำหนดเอง ซึ่งหมายความว่าชิปจะทำงานเหมือนอุปกรณ์ PyTorch มาตรฐาน แทนที่จะเป็นส่วนต่อที่ยึดติดกับเฟรมเวิร์ก AWS อธิบายการรวมดังกล่าวว่าครอบคลุมโหมดการดำเนินการหลายโหมด:

  • การดำเนินการอย่างกระตือรือร้น สำหรับการวิจัยและการดีบัก ด้วย "โหมดกระตือรือร้นที่ปรับเปลี่ยนได้" แบบทดลองซึ่งจะช่วยลดค่าใช้จ่ายในการเปิดตัว
  • torch.compile สำหรับประสิทธิภาพการผลิต โดยบันทึกโมเดลเป็นกราฟที่คอมไพเลอร์ Neuron ปรับให้เหมาะสม พร้อมรองรับ FlexAttention แบบเนทีฟ
  • Neuron Kernel Interface (NKI) สำหรับนักวิจัยที่ต้องการเคอร์เนลระดับต่ำแบบกำหนดเอง

แบ็กเอนด์ใช้งานได้ทั้งบน Trainium2 และชิป Trainium3 รุ่นใหม่ตามประกาศ

การจู่โจมโดยตรงที่ Software Moat ของ Nvidia

การควบคุมคอมพิวเตอร์ AI ของ Nvidia ไม่เคยขึ้นอยู่กับฮาร์ดแวร์ที่เร็วกว่าเท่านั้น CUDA ซึ่งเป็นแพลตฟอร์มซอฟต์แวร์ที่มีอายุสองทศวรรษของบริษัท เป็นที่ซึ่งโค้ดการวิจัย AI ส่วนใหญ่ถูกเขียน ปรับแต่ง และปรับใช้ และชิปผู้ท้าชิงทุกตัว ตั้งแต่กลุ่มผลิตภัณฑ์ Instinct ของ AMD ไปจนถึง TPU ของ Google และ Trainium ของ Amazon จะต้องต่อสู้กับค่าใช้จ่ายในการขอให้นักพัฒนาละทิ้งมัน ความครอบคลุมของการเปิดตัว TorchNeuron ใน GeekWire, Benzinga และ GuruFocus ได้วางกรอบการประกาศดังกล่าวว่าเป็นการโจมตีคูน้ำนั้น

Amazon ไม่ได้พยายามดึงนักพัฒนาออกจาก PyTorch เพื่อเอาชนะใจพวกเขา แต่กำลังนำ Trainium มาสู่ PyTorch แทน ดังนั้นฐานผู้ใช้จำนวนมหาศาลของเฟรมเวิร์กจึงสามารถนำชิปมาใช้ได้โดยไม่ต้องเปลี่ยนนิสัย โพสต์ในบล็อกของ PyTorch มีการรับรองจาก Meta ซึ่งยังคงรักษากรอบการทำงานไว้: "การสนับสนุนแบบเนทีฟสำหรับ AWS Trainium ขยายทางเลือกดังกล่าว ช่วยให้นักวิจัยและวิศวกรสามารถทดลองและทำซ้ำโดยใช้การดำเนินการที่กระตือรือร้นและ API แบบกระจายที่พวกเขารู้จักอยู่แล้ว" Jana van Greunen ผู้อำนวยการฝ่ายวิศวกรรม PyTorch ที่ Meta กล่าวในโพสต์

การวางเฟรมนั้นสำคัญสำหรับธุรกิจคลาวด์ของ AWS อินสแตนซ์ Trainium ได้รับการวางตลาดว่าเป็นทางเลือกที่มีต้นทุนต่ำกว่า Nvidia GPU สำหรับการฝึกอบรมและการอนุมาน และชิปดังกล่าวได้ดึงดูดลูกค้า AI ขนาดใหญ่แล้ว การทำให้ชิปให้ความรู้สึกเป็นธรรมชาติกับ PyTorch จะช่วยแก้ไขข้อโต้แย้งที่ทำให้การยอมรับในวงกว้างช้าลงโดยตรง นั่นก็คือความพยายามในการพอร์ต

ขอบเขตทางเทคนิค ตั้งแต่โน้ตบุ๊กไปจนถึงการฝึกอบรมระดับคลัสเตอร์

ความสามารถที่ระบุไว้ในบล็อก PyTorch แนะนำว่า Amazon ตั้งเป้าไว้มากกว่าการทดลองแบบงานอดิเรก TorchNeuron ครอบคลุมชุดโอเปอเรเตอร์ที่เห็นในโมเดลข้อความ มัลติโมดัล และภาษาการมองเห็น รวมถึงการสร้างรูปภาพและวิดีโอ โมเดลอวกาศ และโมเดลโลก ด้วยความแม่นยำ BF16, FP32 และ FP16 การรองรับ TorchAO และ FP8 อยู่ในรุ่นเบต้าส่วนตัว ก่อนที่จะเปิดให้ใช้งานทั่วไปในรุ่นถัดไป

การฝึกอบรมแบบกระจาย ซึ่งเป็นระเบียบวินัยที่เปลี่ยนโค้ด GPU เดี่ยวเป็นการรันระดับคลัสเตอร์ ได้รับการรองรับผ่าน PyTorch API มาตรฐาน — DDP, FSDP2, SimpleFSDP, เทนเซอร์และไปป์ไลน์ขนานกัน และการแบ่งส่วนสไตล์ ZeRO พร้อมด้วย DTensor และ DeviceMesh สำหรับกลุ่มกระบวนการหลายมิติ สตรีมและกิจกรรมต่างๆ แมปความหมายของ PyTorch ไปยังคิวฮาร์ดแวร์ของ Trainium โพสต์ดังกล่าว

สำหรับการอนุมาน สแต็ค Neuron ของ Amazon สร้างขึ้นบนรากฐานเดียวกัน: vLLM Neuron ให้บริการโมเดลภาษาขนาดใหญ่ ในขณะที่ vLLM Omni Neuron ให้บริการโมเดลการแพร่กระจายสำหรับการสร้างรูปภาพและวิดีโอ อินเทอร์เฟซเคอร์เนลของ Neuron ช่วยให้นักวิจัยเขียนโอเปอเรเตอร์แบบกำหนดเองสำหรับทั้งการดำเนินการที่กระตือรือร้นและแบบคอมไพล์ได้ และ AWS ก็เป็น NKI-lib แบบโอเพ่นซอร์ส ซึ่งเป็นชุดของเคอร์เนลที่ปรับให้เหมาะสมกับ Trainium ครอบคลุมการคำนวณ FlashAttention และ MoE แบบบล็อกสำหรับ LLM กระแสหลักและสถานการณ์หลายรูปแบบ

เครื่องมือวัดประสิทธิภาพรวมอยู่ด้วย Neuron Explorer ขยาย `torch.profiler` มาตรฐานเพื่อติดตามการดำเนินการจากเฟรมเวิร์กไปยังฮาร์ดแวร์ เชื่อมโยงทุกเหตุการณ์กลับไปยังบรรทัดต้นทาง และสามารถส่งออกตัววัดที่จัดรูปแบบ Parquet ซึ่งตัวแทนสามารถใช้บันทึกโพสต์เพื่อการวิเคราะห์คอขวดแบบอัตโนมัติ

ความพร้อมใช้งานและสิ่งที่จะเกิดขึ้นต่อไป

TorchNeuron มีกำหนดเปิดตัวแบบโอเพ่นซอร์สที่ PyTorch Conference North America ในวันที่ 20 ตุลาคม ตามโพสต์ในบล็อก โดยมีความเข้ากันได้กับ Hugging Face Transformers v5 AWS อธิบายว่า Trainium เป็นกลุ่มผลิตภัณฑ์ชิปที่ได้รับการออกแบบตั้งแต่พื้นฐานสำหรับการฝึกอบรมและการอนุมาน AI ในระดับคลาวด์

บริบทเชิงกลยุทธ์คือตลาดที่ผู้ให้บริการคลาวด์รายใหญ่ทุกรายเป็นผู้ซื้อตัวเร่งความเร็วของ Nvidia รายใหญ่ที่สุดและเป็นคู่แข่งกันในเวลาเดียวกัน Microsoft, Google และ Meta ต่างก็พัฒนาซิลิคอนแบบกำหนดเอง ส่วนบริษัทจีนรวมถึง Huawei ก็กำลังสร้างชุดซอฟต์แวร์ของตัวเองเพื่อหลีกเลี่ยงแรงโน้มถ่วงของ CUDA ด้วยการพบปะนักพัฒนาใน PyTorch แทนที่จะขอให้พวกเขาย้าย Amazon ได้เลือกเส้นทางที่ก่อกวนน้อยที่สุดในการแข่งขันนั้น และเส้นทางที่เป็นไปได้มากที่สุด (หากประสบการณ์ของนักพัฒนายังคงมีอยู่) คือการย้ายปริมาณงานการฝึกอบรมจริงออกจากฮาร์ดแวร์ของ Nvidia

ไม่ว่า TorchNeuron จะกัดกร่อนข้อได้เปรียบของ CUDA อย่างแท้จริงหรือไม่นั้นจะขึ้นอยู่กับประสิทธิภาพในขนาดและส่วนท้ายของโมเดลในโลกแห่งความเป็นจริง คำถามที่เอกสารการเปิดตัวไม่สามารถตอบได้ แต่อุปสรรคที่ทำให้นักพัฒนา PyTorch ส่วนใหญ่ไม่ลองใช้ Trainium ซึ่งเป็นการเขียนใหม่ ได้ถูกลดระดับลงเหลือโค้ดบรรทัดเดียวแล้ว

---

ก้าวนำหน้า AI

รับข่าวสาร AI การวิเคราะห์ และความก้าวหน้าล่าสุด ทั้งหมดในที่เดียว

อ่านข่าว AI เพิ่มเติม →