ห้องปฏิบัติการ AI ของจีน Z.ai ได้เผยแพร่เรื่องราวทางเทคนิคโดยละเอียดเกี่ยวกับวิธีการตั้งค่าโมเดล GLM ให้ทำงานปรับปรุงระบบที่รองรับโมเดลดังกล่าว โดยอธิบายถึง "Infra Agent" ที่จะค้นหาและแก้ไขคอขวดด้านประสิทธิภาพในโครงสร้างพื้นฐานอนุมานของบริษัทโดยมีการแทรกแซงของมนุษย์อย่างจำกัด
โพสต์ในบล็อกชื่อ "สู่การพัฒนาตนเองแบบเรียกซ้ำ: GLM สร้างโครงสร้างพื้นฐานการอนุมานของตัวเองได้อย่างไร" ปรากฏบนเว็บไซต์ของบริษัทในวันพุธ และกลายเป็นหนึ่งในเรื่องราวเทคโนโลยีที่ได้รับการกล่าวถึงมากที่สุดอย่างรวดเร็วใน Hacker News ซึ่งได้รับคะแนนมากกว่า 200 คะแนนจากชุมชนนักพัฒนา For more context on this story, see our ongoing AI industry coverage.
“ในขณะที่เราพัฒนา GLM บางครั้งโมเดลก็แสดงความสามารถที่ทำให้เราประหลาดใจ และอาจทำให้เราไม่มั่นคง” บริษัทเขียนไว้ในบรรทัดแรกของโพสต์
จากการวิจัยความปลอดภัยทางไซเบอร์ไปจนถึงระบบการเพิ่มประสิทธิภาพตนเอง
งานนี้ย้อนกลับไปในเดือนตุลาคม 2025 เมื่อ Z.ai เริ่มค้นคว้าวิธีเสริมความสามารถด้านความปลอดภัยทางไซเบอร์ของ GLM บริษัทกล่าวว่าเหตุผลที่ตรงไปตรงมา: ความปลอดภัยทางไซเบอร์เป็นส่วนขยายตามธรรมชาติของการเขียนโค้ด และโมเดลที่สามารถนำทางไปยังฐานโค้ดขนาดใหญ่ ในที่สุดก็สามารถนำทางโค้ดระบบระดับต่ำที่วิศวกรส่วนใหญ่หลีกเลี่ยงได้ในที่สุด
รากฐานดังกล่าวได้พัฒนาไปสู่สิ่งที่ทะเยอทะยานมากขึ้น แทนที่จะใช้โมเดลเพียงเพื่อเขียนโค้ด Z.ai ตั้งใจที่จะตอบคำถามทางวิศวกรรมระบบ: ตัวแทน AI สามารถรับผิดชอบต่อประสิทธิภาพของสแต็กการอนุมานการผลิต ซึ่งเป็นเลเยอร์การประสานงานของซอฟต์แวร์และฮาร์ดแวร์ที่เปลี่ยนน้ำหนักของโมเดลให้เป็นการตอบสนองที่รวดเร็วและราคาถูกหรือไม่
คำตอบของบริษัทเกี่ยวข้องกับกรอบปัญหาใหม่ โพสต์ระบุว่าเมตริกจากต้นทางถึงปลายทางเพียงอย่างเดียวไม่สามารถแนะนำตัวแทนการเพิ่มประสิทธิภาพได้ รายงานที่ระบุว่าโทเค็นเวลาถึงโทเค็นแรกเพิ่มขึ้น 30 เปอร์เซ็นต์ หรือปริมาณงานเอาต์พุตลดลง 20 เปอร์เซ็นต์ จะบอกตัวแทนว่ามีบางอย่างแย่ลง แต่ไม่ใช่ว่าเลเยอร์ใดต้องรับผิดชอบ เหตุใดสมมติฐานจึงล้มเหลว หรือต้องทดสอบอะไรต่อไป
"เราจะเปลี่ยนผลลัพธ์แบบ end-to-end ที่กระจัดกระจายให้กลายเป็นผลตอบรับทางวิศวกรรมที่มีรายละเอียดและระบุแหล่งที่มาได้ซึ่งจะชี้แนะการดำเนินการถัดไปโดยตรงได้อย่างไร" บริษัทถามในโพสต์ โดยอธิบายว่าคำถามนี้เป็นกุญแจสำคัญในความพยายามทั้งหมด
กฎสามข้อสำหรับคำติชมที่ตัวแทนสามารถอ่านได้
คำตอบของ Z.ai คือวินัยในการตอบรับที่สร้างขึ้นจากคุณลักษณะสามประการ ขั้นแรก ความคิดเห็นจะต้องอยู่ในเครื่องอย่างเพียงพอ โดยเชื่อมโยงกับพารามิเตอร์การเรียกใช้เอ็นจิ้นเฉพาะ การเปลี่ยนแปลงโค้ด เคอร์เนล เงื่อนไขอินพุต เธรด ช่วงเวลาการดำเนินการ หรือพาธโค้ด เพื่อให้เอเจนต์สามารถจำกัดขอบเขตของปัญหาใด ๆ ให้แคบลงได้ ประการที่สอง จะต้องมีราคาไม่แพงและทันเวลาในการขอรับ: คำถามที่ตอบได้ด้วยการทดสอบเคอร์เนลหรือไมโครเบนช์มาร์กในพื้นที่ ไม่จำเป็นต้องมีการปรับใช้บริการเต็มรูปแบบ ประการที่สาม การตรวจสอบความถูกต้องควรตรงกับสมมติฐานปัจจุบัน โดยทุกการทดลองได้รับการออกแบบเพื่อตอบคำถามเฉพาะเจาะจง แทนที่จะทำตามลำดับที่ตายตัว
บริษัทกล่าวว่าวงจรตอบรับที่หนาแน่นนี้เป็นสิ่งที่ทำให้ Infra Agent ทำงานน้อยลงเหมือนการเติมข้อความอัตโนมัติสำหรับวิศวกร และเป็นเหมือนเพื่อนร่วมงานที่สามารถดำเนินการทดลองได้ในชั่วข้ามคืน
กรณีศึกษาสามกรณี ตั้งแต่ตัวเลขไปจนถึงข้อบกพร่องของเธรด
โพสต์กล่าวถึงตอนที่เป็นรูปธรรมสามตอนจากการเพิ่มประสิทธิภาพกองการให้บริการของบริษัทสำหรับ GLM-5.3-Flash ซึ่งเป็นรุ่น Open-Weight Z.ai ที่เผยแพร่ภายใต้ใบอนุญาต MIT ในเดือนสิงหาคม
ประการแรกเกี่ยวข้องกับความถูกต้อง เนื่องจากการเพิ่มประสิทธิภาพการอนุมานจะสับเปลี่ยนวิธีการคำนวณแบบขนาน เอเจนต์จึงจำเป็นต้องตรวจสอบว่าเคอร์เนลให้ผลลัพธ์เดียวกันภายใต้เงื่อนไขแบบแบ่งพาร์ติชันและแบบไม่แบ่งพาร์ติชัน ในกรณีหนึ่ง ทีมงานได้รวมการทำงานของ TF32 Tensor Core เข้าด้วยกันเพื่อสร้างผลลัพธ์ที่มีความแม่นยำสูงขึ้น ซึ่งช่วยลดข้อผิดพลาดเชิงตัวเลขที่สะสม ในขณะเดียวกันก็รักษาความได้เปรียบด้านประสิทธิภาพ Tensor Core ส่วนใหญ่ไว้ การทดสอบเปรียบเทียบระหว่างกลยุทธ์การแบ่งพาร์ติชันเผยให้เห็นความแตกต่างที่กระตุ้นให้เกิดการแก้ไข
เรื่องที่สองคือเรื่องราวการแก้ไขข้อบกพร่องของระบบที่วิศวกรด้านการปฏิบัติงานทุกคนจะรู้สึกคุ้นเคย เกณฑ์การยอมรับที่กำหนดว่าการเพิ่มการถ่ายโอนแคช KV ไปยังเส้นทางการให้บริการไม่ควรลดประสิทธิภาพการเติมล่วงหน้าลงมากกว่า 5 เปอร์เซ็นต์ภายใต้ปริมาณงานที่เหมือนกัน เจ้าหน้าที่พบว่าช่องว่างเกิน 20 เปอร์เซ็นต์ในบางสถานการณ์ ซึ่งทำให้การตรวจสอบแคบลงเหลือเพียงพฤติกรรมการทำงานพร้อมกันของการถ่ายโอน KV เท่านั้น เมื่อตรวจสอบไทม์ไลน์การดำเนินการ เอเจนต์ได้ระบุความผิดปกติ: ในสถานการณ์ปัญหา การดำเนินการถ่ายโอน KV ฝั่ง Python ไม่เคยทับซ้อนกับการจัดส่งและรวมช่วงเวลาของไลบรารีการสื่อสาร DeepEP การแก้ไขคือการปลดล็อคล่ามทั่วโลกของ Python ในระหว่างช่วงเวลาการดำเนินการ C ++ ที่เกี่ยวข้อง ทำให้เธรดการถ่ายโอนที่ให้บริการ Mooncake ซึ่งเป็นที่เก็บแคช KV สามารถดำเนินการควบคู่ไปกับการคำนวณได้ ช่องว่างด้านประสิทธิภาพก็ลดลงภายในเกณฑ์การยอมรับในเวลาต่อมา
ตอนที่สามแสดงการปรับแต่งเคอร์เนลแบบวนซ้ำ ขอแนะนำ ReplaySSM ซึ่งเป็นเทคนิคที่แลกเปลี่ยนการประมวลผลกับหน่วยความจำ โดยเริ่มแรกจะเพิ่มเวลาดำเนินการของเคอร์เนลถอดรหัส KDA การเพิ่มประสิทธิภาพการแบ่งส่วนของเอเจนต์ทำให้เวลาดำเนินการของเคอร์เนลลดลง 9.6 เปอร์เซ็นต์ หลังจากได้รับคำติชมว่าการคำนวณยังคงเป็นปัญหาคอขวดหลัก เอเจนต์ค้นพบการใช้งานดั้งเดิมที่เรียงต่อกันตามมิติ V ส่งผลให้ FP32 การทำให้เป็นมาตรฐานและการคำนวณเกตติ้งที่เหมือนกันซ้ำกันโดยไม่จำเป็น
กองหลัง GLM-5.3-Flash
การเพิ่มประสิทธิภาพนั้นอยู่เหนือสถาปัตยกรรมการให้บริการเชิงรุกที่ Z.ai อธิบายไว้ในโพสต์: ความเท่าเทียมของเทนเซอร์ภายในโหนดสำหรับความสนใจเชิงเส้นและส่วนหัวของโมเดลภาษา, การแลกเปลี่ยนการคำนวณสำหรับหน่วยความจำ ReplaySSM, การหาปริมาณ W8A8, การหาปริมาณแคชที่มีความแม่นยำแบบผสมโดยใช้รูปแบบ INT8, FP8 และ BF16, รูปแบบการแบ่งเลเยอร์ และสถาปัตยกรรมแบบแยกส่วน Encode-Prefill-Decode ที่รันขั้นตอนการให้บริการบนทรัพยากรที่แยกจากกัน
บริษัทวางกรอบการสะสมของเทคนิคเหล่านี้ ซึ่งค้นพบและตรวจสอบโดยเอเจนต์เป็นส่วนใหญ่ เป็นขั้นตอนสู่การพัฒนาตนเองแบบเรียกซ้ำ: ระบบ AI ปรับปรุงโครงสร้างพื้นฐานที่ทำให้ทำงานเร็วขึ้นและราคาถูกกว่า ซึ่งจะทำให้รอบถัดไปของการปรับปรุงที่ขับเคลื่อนด้วยเอเจนต์มีราคาไม่แพงมาก
ทำไมมันถึงสำคัญ
ต้นทุนการอนุมานถือเป็นเศรษฐศาสตร์ชี้ขาดประการหนึ่งของอุตสาหกรรม AI ห้องแล็บที่สามารถรองรับโมเดลระดับแนวหน้าด้วยต้นทุนต่อโทเค็นที่ต่ำกว่าสามารถกำหนดราคาเชิงรุกได้ ให้เงินอุดหนุนแก่ตัวแทนที่โทรเข้านับพันครั้งต่องาน และให้ทุนสนับสนุนการฝึกอบรมเพิ่มเติมจากการให้บริการรายได้ Z.ai มีความก้าวร้าวอย่างเห็นได้ชัดในทั้งสามด้าน และการเปิดเผยข้อมูลทางการเงินระหว่างกาลของบริษัทเมื่อต้นปีนี้ แสดงให้เห็นว่ารายได้เติบโตอย่างรวดเร็วแม้ว่าผลขาดทุนจะลดลงก็ตาม
โพสต์นี้ยังเป็นสัญญาณว่าวิศวกรรมด้านห้องปฏิบัติการกำลังมุ่งหน้าไปที่ใด การแบ่งงานแบบเดิมๆ โดยที่วิศวกรด้านการปฏิบัติงานของมนุษย์จะปรับแต่งเคอร์เนลและตัวกำหนดเวลา ในขณะที่โมเดลจัดการกับคำขอของผู้ใช้ กำลังถูกแทนที่ด้วย Z.ai โดยวนซ้ำซึ่งโมเดลเสนอการเปลี่ยนแปลง การทดลองราคาถูกจะตรวจสอบความถูกต้อง และผลตอบรับที่หนาแน่นจะกำหนดทิศทางความพยายามครั้งถัดไป
การกล่าวอ้างว่ามีการพัฒนาตนเองอย่างเป็นอิสระอย่างสมบูรณ์ควรอ่านด้วยความระมัดระวัง โพสต์ดังกล่าวแสดงให้เห็นชัดเจนว่าวิศวกรที่เป็นมนุษย์ได้กำหนดสถานการณ์การทดสอบ กำหนดเกณฑ์การยอมรับ และสร้างสภาพแวดล้อมข้อเสนอแนะที่ตัวแทนดำเนินการภายใน สิ่งที่บริษัทอธิบายคือระบบอัตโนมัติของลูปการเพิ่มประสิทธิภาพที่มีเครื่องมือครบครัน ไม่ใช่ระบบที่ไม่ได้รับการดูแลซึ่งออกแบบใหม่ด้วยตัวเอง
ยังไงก็มีทิศทางที่ชัดเจน หากเศรษฐศาสตร์ของ AI ในอีกไม่กี่ปีข้างหน้าถูกตัดสินโดยผู้ที่สามารถให้บริการข่าวกรองได้ราคาถูกที่สุด ห้องแล็บที่สอนโมเดลของตนเพื่อเพิ่มประสิทธิภาพโครงสร้างพื้นฐานของตนเองอาจช่วยก้าวไปข้างหน้า และ Z.ai ต้องการให้อุตสาหกรรมรู้ว่าตนตั้งใจที่จะเป็นหนึ่งในนั้น
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
