DeepSeek มี DeepInfer แบบโอเพ่นซอร์ส ซึ่งเป็นเฟรมเวิร์กการอนุมานประสิทธิภาพสูงที่ห้องปฏิบัติการ AI ของจีนกล่าวว่าขับเคลื่อนบริการการผลิตขนาดใหญ่ของตนเอง รหัสดังกล่าวปรากฏบน GitHub ภายใต้ลิขสิทธิ์ Apache 2.0 และได้รวบรวมดาวมากกว่า 5,500 ดาวภายในไม่กี่วัน หลังจากการหารือของ Hacker News เกี่ยวกับการเปิดตัวดังกล่าวได้รับการโหวตหลายร้อยคนในวันจันทร์

จากข้อมูลของ README ของโปรเจ็กต์ การเปิดตัวครั้งนี้เป็นการอนุมานแบบออฟไลน์ด้วยฟีเจอร์หลักที่ DeepSeek อาศัยเพื่อรองรับโมเดลต่างๆ ในวงกว้าง การกำหนดค่าเริ่มต้นกำหนดเป้าหมาย DeepSeek-V4.1-Flash และเฟรมเวิร์กจะดาวน์โหลดจุดตรวจสอบ DeepSeek-V4.1-Flash-1017 จาก Hugging Face โดยอัตโนมัติเมื่อเรียกใช้ครั้งแรก For more context on this story, see our ongoing breaking AI news.

สิ่งที่ DeepInfer รวมอยู่ด้วยจริงๆ

DeepInfer ไม่ใช่การเขียนใหม่ตั้งแต่ต้น โดยเชื่อมโยงเคอร์เนลเฉพาะทางที่ DeepSeek ได้ปล่อยทีละส่วนในช่วงสองปีที่ผ่านมา — FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect และเคอร์เนล TileLang แบบกำหนดเอง — ไว้ในรันไทม์เดียวพร้อมการดำเนินการโมเดลและตัวอย่างในตัว

เฟรมเวิร์กยังจัดส่งเทคนิคการให้บริการหลายอย่างที่ได้รับการบันทึกไว้โดยละเอียดในพื้นที่เก็บข้อมูล:

  • การตรวจสอบตามกำหนดเวลาความมั่นใจ ซึ่งเป็นวิธีการถอดรหัสแบบเก็งกำไรที่ใช้โทเค็นแบบร่างและการประมาณค่าความเชื่อมั่นเพื่อกำหนดเวลาการตรวจสอบ ซึ่งควบคุมได้ผ่านตัวแปรสภาพแวดล้อม
  • การเล่นซ้ำแบบมีขอบเขต SWA ของตัวถอดรหัส ซึ่งจะลดการทำงานการเติมล่วงหน้าของตัวถอดรหัสโดยการเล่นซ้ำเฉพาะส่วนต่อท้ายที่มีขอบเขตของลำดับ
  • การตั้งเวลาแบบอะซิงโครนัส ที่ทับซ้อนการตั้งเวลาแบทช์ของ CPU กับการทำงานของอุปกรณ์ ซึ่งเปิดใช้งานตามค่าเริ่มต้น
  • การอนุมานแบบไม่แปรผันเป็นกลุ่ม ซึ่งช่วยให้ผลลัพธ์ของแบบจำลองเหมือนกันในองค์ประกอบของชุดงานต่างๆ
  • การสุ่มตัวอย่างตามกำหนด ให้ผลลัพธ์ที่เหมือนกันสำหรับอินพุตและพารามิเตอร์การสุ่มตัวอย่างที่เหมือนกัน
  • เอาต์พุตที่มีโครงสร้าง การจำกัดการสร้าง regex, สคีมา JSON หรือไวยากรณ์ EBNF

การรวมกันดังกล่าวมุ่งเป้าไปที่ผู้ปฏิบัติงานที่ต้องการการสร้างข้อความที่สามารถทำซ้ำได้และมีปริมาณงานสูง แทนที่จะเป็นของเล่นทดลอง ความแปรปรวนแบบแบตช์และการสุ่มตัวอย่างตามที่กำหนดในเรื่องเฉพาะสำหรับองค์กรที่ต้องตรวจสอบว่าทำไมแบบจำลองจึงสร้างผลลัพธ์ที่กำหนด

NVIDIA และ Huawei Ascend เคียงข้างกัน

รายละเอียดที่จับตามองอย่างใกล้ชิดที่สุดคือการสนับสนุนฮาร์ดแวร์ DeepInfer กำหนดเป้าหมาย GPU NVIDIA SM100 ผ่าน CUDA 13 และ Huawei Ascend 950 NPU ผ่าน CANN 9.2 โดยมี Linux, GCC 13 และ Python 3.12 แสดงรายการเป็นข้อกำหนดเบื้องต้นสำหรับทั้งสองเส้นทาง

จุดยืนแบบสองแพลตฟอร์มนั้นสอดคล้องกับประวัติล่าสุดของ DeepSeek บริษัทใช้เวลาหลายเดือนในการพัฒนาซอฟต์แวร์ที่ใช้ TileLang สำหรับฮาร์ดแวร์ Ascend และท้าทายสมมติฐานต่อสาธารณะว่า CUDA ไม่สามารถทดแทนได้ การจัดส่งกรอบการอนุมานการผลิตที่ปฏิบัติต่อ Ascend ในฐานะพลเมืองชั้นหนึ่ง แทนที่จะเป็นการวิจัยในภายหลัง เป็นการขยายกลยุทธ์ดังกล่าว และเข้าสู่ช่วงเวลาที่การควบคุมการส่งออกของสหรัฐฯ ยังคงจำกัดชิป Nvidia ที่บริษัทจีนสามารถซื้อได้

สำหรับผู้ให้บริการระบบคลาวด์ของจีนที่ใช้ซิลิคอนในประเทศ เครื่องมืออนุมานที่ได้รับการบำรุงรักษาซึ่งรองรับ Ascend 950 ได้ขจัดอุปสรรคในทางปฏิบัติอย่างหนึ่งในการให้บริการโมเดลเปิดระดับแนวหน้านอกระบบนิเวศของ Nvidia

สิ่งที่ขาดหายไปจากการเปิดตัว

README แสดงให้เห็นอย่างชัดเจนว่านี่ยังไม่ใช่สแต็กการให้บริการที่สมบูรณ์ การใช้งานจริงที่ใช้งานจริงที่สร้างบน DeepInfer ยังคงต้องการองค์ประกอบสามประการที่รีลีสไม่มี ได้แก่ ระบบแคช KV การแยกส่วนการกรอกข้อมูลล่วงหน้าและถอดรหัส และการปรับสมดุลโหลดในแบบจำลองข้อมูลคู่ขนาน พื้นที่เก็บข้อมูลตั้งข้อสังเกตว่าฟังก์ชันการทำงานของเอ็นจิ้นที่จำเป็นสำหรับการแยกส่วนได้ถูกนำมาใช้แล้ว แต่ระบบโดยรอบยังคงเป็นหน้าที่ของผู้ปฏิบัติงาน

ในทางปฏิบัตินั่นหมายความว่า DeepInfer เป็นที่เข้าใจได้ดีที่สุดว่าเป็นกลไกการประมวลผลของโครงสร้างพื้นฐานของ DeepSeek มากกว่าเป็นทางเลือกแบบครบวงจรสำหรับเฟรมเวิร์กการให้บริการของชุมชน ทีมยังคงต้องผสานรวมเข้ากับเลเยอร์แคชและการกำหนดเส้นทางก่อนที่จะนำเสนอต่อหน้าการรับส่งข้อมูลจริง

ทำไมมันถึงสำคัญ

ธุรกิจของ DeepSeek ตั้งอยู่บนการให้บริการโมเดลที่มีราคาถูกมาก และเศรษฐศาสตร์ของธุรกิจนั้นก็ได้รับการตรวจสอบอย่างเข้มงวด ในขณะที่บริษัทกำลังมุ่งหน้าไปสู่สิ่งที่ได้อธิบายไว้เมื่อการกำหนดราคาเคลื่อนตัวออกจากตำแหน่งที่มีต้นทุนต่ำก่อนหน้านี้ การเปิดเส้นทางการอนุมานการผลิตจริง ไม่ใช่แค่โค้ดการวิจัย ช่วยให้นักพัฒนาภายนอกและผู้ให้บริการระบบคลาวด์ได้ดูเทคนิคที่อยู่เบื้องหลังต้นทุนเหล่านั้นโดยตรงอย่างผิดปกติ

มันยังคงรูปแบบโดยเจตนาต่อไป FlashMLA, DeepGEMM และ DeepEP ได้รับการเผยแพร่ทีละรายการในขณะที่ห้องปฏิบัติการสร้างสแต็ก DeepInfer บันทึกอย่างมีประสิทธิภาพว่าชิ้นส่วนต่างๆ เข้ากันได้อย่างไร สำหรับนักวิจัย การเปิดตัวครั้งนี้ทำให้ง่ายต่อการทำซ้ำคำกล่าวอ้างด้านประสิทธิภาพที่เผยแพร่ของ DeepSeek สำหรับคู่แข่ง จะเป็นการยกระดับสิ่งที่นับเป็นสแต็กการอนุมานแบบเปิด

ใบอนุญาต Apache 2.0 อนุญาตให้ใช้ในเชิงพาณิชย์โดยไม่มีข้อผูกมัดด้านลิขสิทธิ์ ซึ่งหมายความว่าผู้ให้บริการคลาวด์ของตะวันตกสามารถนำไปใช้งานได้อย่างถูกกฎหมาย แม้ว่าปัจจุบันการสนับสนุนโมเดลจะจำกัดอยู่ที่จุดตรวจสอบ V4.1-Flash ของ DeepSeek เอง ดังนั้นส่วนใหญ่จะถือว่าเป็นการดำเนินการอ้างอิงในตอนนี้

จะดูอะไรดี

คำถามสามข้อจะตัดสินว่า DeepInfer ได้รับการยอมรับอย่างกว้างขวางหรือยังคงเป็นข้อสงสัยอยู่หรือไม่ ประการแรก ไม่ว่าชุมชนจะพอร์ตชุมชนดังกล่าวนอกเหนือจาก V4.1-Flash ไปยังสถาปัตยกรรมโมเดลอื่นๆ หรือไม่ ประการที่สอง ไม่ว่าผลลัพธ์การวัดประสิทธิภาพที่เผยแพร่ในตารางประสิทธิภาพของพื้นที่เก็บข้อมูลจะรองรับฮาร์ดแวร์นอกคลัสเตอร์ของ DeepSeek เองหรือไม่ ประการที่สาม ไม่ว่าชิ้นส่วนที่ขาดหายไป — การจัดการแคช KV, การแยกส่วน และการปรับสมดุลโหลด — จะมาถึงในรีลีสในอนาคตหรือไม่ ซึ่งเปลี่ยนกลไกให้เป็นเฟรมเวิร์กการให้บริการที่สมบูรณ์

สำหรับตอนนี้ การเปิดตัวนี้เป็นการเคลื่อนไหวที่โปร่งใสที่โดดเด่นจากห้องปฏิบัติการที่เลือกเผยแพร่โครงสร้างพื้นฐานภายใต้แบบจำลองซ้ำแล้วซ้ำเล่า นักพัฒนาที่ต้องการทดลองสามารถสร้าง DeepInfer จากแหล่งที่มาบนแพลตฟอร์มที่รองรับ และเรียกใช้การอนุมานแบบออฟไลน์ด้วยสคริปต์ตัวอย่างเพียงตัวเดียว

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →