กลุ่มสถาบันวิจัยของเยอรมนีและบริษัท AI ได้เปิดตัว Soofi S 30B-A3B ซึ่งเป็นโมเดลภาษาเปิดที่โครงการกล่าวว่าได้รับคะแนนสูงสุดทั้งจากเกณฑ์มาตรฐานทั้งภาษาอังกฤษและเยอรมันในบรรดาโมเดลแบบเปิดเต็มรูปแบบ การเปิดตัวครั้งนี้ได้รับการประสานงานโดย KI Bundesverband ซึ่งเป็นสมาคม AI แห่งชาติของเยอรมนี โดยถือเป็นโมเดลภาษาขนาดใหญ่รุ่นแรกๆ ที่ได้รับการฝึกอบรมทั้งหมดเกี่ยวกับ Industrial AI Cloud ของ Deutsche Telekom ในมิวนิก และอยู่ในตำแหน่งที่เป็นทางเลือกของยุโรปที่มีอำนาจเหนือกว่าการเปิดตัวแบบ open-weight ของสหรัฐอเมริกาและจีน สำหรับนักพัฒนาที่ติดตาม การพัฒนา AI ล่าสุด การเปิดตัวครั้งนี้มีความโดดเด่นน้อยกว่าประสิทธิภาพที่ไม่ธรรมดาและการมุ่งเน้นด้านภาษาที่รวมอยู่ในสถาปัตยกรรม

การออกแบบไฮบริดที่มีพารามิเตอร์ที่ใช้งานเพียง 3.2 พันล้านพารามิเตอร์

Soofi S เป็นโมเดลแบบผสมผสานของผู้เชี่ยวชาญ (MoE) ซึ่งมีพารามิเตอร์ทั้งหมด 31.6 พันล้านพารามิเตอร์ แต่จะเปิดใช้งานเพียงประมาณ 3.2 พันล้านต่อโทเค็นที่สร้างขึ้นเท่านั้น นั่นทำให้ต้นทุนการประมวลผลใกล้เคียงกับโมเดลความหนาแน่น 3 พันล้านพารามิเตอร์มากกว่าโมเดลหนาแน่นพารามิเตอร์ 30 พันล้านพารามิเตอร์ทั่วไป ซึ่งเป็นตัวเลือกการออกแบบที่มีจุดมุ่งหมายเพื่อรักษาการอนุมานให้มีราคาถูกพอที่จะทำงานบนโครงสร้างพื้นฐานของยุโรปโดยไม่ต้องพึ่งพาผู้ให้บริการคลาวด์ในต่างประเทศ

สถาปัตยกรรมนี้ยืมมาจาก Nemotron 3 Nano ของ Nvidia ซึ่งรวมเลเยอร์ Mamba-2 เข้ากับเลเยอร์ความสนใจมาตรฐานในรูปแบบไฮบริด ตามรายงานการฝึกอบรมล่วงหน้าของโปรเจ็กต์ มีเพียง 6 ชั้นจาก 52 เลเยอร์ของโมเดลเท่านั้นที่รักษาแคชคีย์-ค่า (KV) ซึ่งเป็นโครงสร้างหน่วยความจำที่เก็บโทเค็นก่อนหน้าสำหรับการคำนวณความสนใจ ในหม้อแปลงแบบทั่วไป แคชนั้นจะเพิ่มขึ้นเป็นเส้นตรงตามความยาวของบริบท และกลายเป็นปัญหาคอขวดที่สำคัญในระหว่างการอนุมานบริบทแบบยาว

ผลตอบแทนในทางปฏิบัติจะแสดงเป็นปริมาณงาน ที่ความยาวบริบท 40,000 โทเค็นพร้อมคำขอแบบขนาน 32 รายการ Soofi S สร้างโทเค็นต่อวินาทีต่อ GPU ประมาณแปดเท่ามากกว่าโมเดลหนาแน่นในช่วง 14 ถึง 24 พันล้านพารามิเตอร์ ในขณะที่ความเร็วในการสร้างสำหรับรุ่นทั่วไปจะลดลงอย่างรวดเร็วเมื่อบริบทเพิ่มขึ้น Soofi S จะยังคงทรงตัวจากโทเค็น 4,000 ไปจนถึง 256,000 โทเค็น โมเดลเดียวที่เทียบเคียงได้ในกลุ่มการวัดคือ Qwen3.5 35B-A3B ของอาลีบาบา ซึ่งใช้สถาปัตยกรรมไฮบริดเช่นกัน

ผ่านการฝึกอบรมภาษาเยอรมันโดยไม่ต้องเสียสละภาษาอังกฤษ

การมุ่งความสนใจไปที่ภาษาเยอรมันโดยเจตนาถือเป็นหัวใจสำคัญของโครงการ ในช่วงแรกของการฝึกอบรม ชาวเยอรมันคิดเป็น 7.2 เปอร์เซ็นต์ของการผสมผสานข้อมูล ในระยะที่สอง ส่วนแบ่งดังกล่าวเพิ่มขึ้นเป็นร้อยละ 15.3 จากการเปรียบเทียบ ในสูตรอ้างอิง Nemotron ของ Nvidia ภาษาที่ไม่ใช่ภาษาอังกฤษทั้งหมดรวมกันคิดเป็นประมาณ 5 เปอร์เซ็นต์ของการผสมผสานการฝึกอบรม

แหล่งข้อมูลประกอบด้วยข้อความเว็บภาษาเยอรมันจากคลังข้อมูล HPLT คลังข้อมูลคอมมอนส์เยอรมันที่ได้รับอนุญาตแบบเปิดเผย ส่วนของ FinePDF และ FineWiki ในภาษาเยอรมัน และคลังบทความในหนังสือพิมพ์ Genios ที่ได้รับอนุญาตในเชิงพาณิชย์จำนวน 193 ล้านบทความที่ดึงมาจากสิ่งพิมพ์ภาษาเยอรมัน 916 ฉบับ ข้อความภาษาเยอรมันที่แปลด้วยเครื่องและสร้างแบบสังเคราะห์ทำให้การผสมผสานกันอย่างลงตัว

โมเดลดังกล่าวประมวลผลโทเค็นประมาณ 27 ล้านล้านโทเค็นในสามขั้นตอนการฝึกอบรม ได้แก่ โทเค็นประมาณ 20 ล้านล้านโทเค็นสำหรับเว็บแบบกว้าง โค้ด คณิตศาสตร์ และข้อความเฉพาะโดเมนในระยะแรก โทเค็นคุณภาพสูงกว่าประมาณ 6 ล้านล้านในวินาที และระยะที่สามที่สั้นกว่าจะขยายหน้าต่างบริบทโดยใช้เอกสารที่มีความยาวสูงสุดหนึ่งล้านโทเค็น

ผลลัพธ์เกณฑ์มาตรฐาน: เหนือกว่าภาษาเยอรมันและอังกฤษ อ่อนกว่าในวิชาคณิตศาสตร์

ในการประเมินเทียบกับรุ่นเปิดอื่นๆ อีก 16 รุ่น Soofi S เป็นผู้นำรุ่นเปิดเต็มรูปแบบทั้งหมดด้วยคะแนนรวมสำหรับทั้งภาษาเยอรมันและอังกฤษ ตามข้อมูลจากสมาคม ซึ่งรวมถึง OLMo 3 32B จาก Allen Institute for AI และ Apertus 70B จาก ETH Zurich และ EPFL เมื่อเทียบกับมาตรฐานอธิปไตยของยุโรปทุกรายการ แบบจำลองนี้ออกมาเหนือกว่าเกณฑ์มาตรฐานของเยอรมันทั้งหมดในชุดนี้ ซึ่งบางครั้งก็มีอัตรากำไรเป็นเลขสองหลัก

ในงานโค้ด Soofi S ได้คะแนน 73.8 เปอร์เซ็นต์สำหรับ HumanEval, 70.2 สำหรับ MBPP และ 84.2 สำหรับตัวแปร MBPP ของเยอรมัน ซึ่งเป็นผลลัพธ์ที่ดีที่สุดในบรรดาโปรแกรมอื่นๆ แบบโอเพ่นซอร์ส ใน INCLUDE-DE ซึ่งเป็นการทดสอบความรู้ระดับภูมิภาคเฉพาะของเยอรมนี Soofi S เสมอกันเป็นที่หนึ่งที่ 61.2 คะแนนกับ Qwen3.5 35B-A3B ที่ใหญ่กว่า เมื่อเปรียบเทียบกับพื้นฐาน Nemotron สูตรข้อมูลที่ถ่วงน้ำหนักแบบเยอรมันจะปรับปรุงความสามารถทางภาษาได้ 15.1 คะแนน และเกณฑ์มาตรฐานทางวิทยาศาสตร์ GPQA-Diamond เพิ่มขึ้น 9.6 คะแนน โดยไม่กระทบต่อประสิทธิภาพภาษาอังกฤษ

มีจุดอ่อนที่ชัดเจน ในการแข่งขันคณิตศาสตร์เยอรมัน (Minerva MATH-DE) Soofi S ทำคะแนนได้ 56 คะแนน ตามหลัง Qwen3.5 35B-A3B ที่ 76.5 และ Gemma 3 27B ที่ 65.6 นอกจากนี้ ยังติดตามการสืบค้นข้อเท็จจริงแบบเปิดใน NaturalQuestions ซึ่งทีมงานระบุว่ามีพารามิเตอร์ที่ใช้งานอยู่เพียงประมาณ 3 พันล้านพารามิเตอร์ ดังนั้นความรู้ทางโลกที่เก็บไว้จึงน้อยกว่าแบบจำลอง 27B ที่หนาแน่น การทดสอบบริบทแบบยาวของ RULER เผยให้เห็นช่องว่างอื่น: เมื่อแบบจำลองต้องแยกคำที่เกิดขึ้นบ่อยจากข้อความขนาดยาว อัตราการเข้าชมจะลดลงเหลือประมาณ 3 เปอร์เซ็นต์ ซึ่งเกินกว่า 32,000 โทเค็น ในขณะที่แบบจำลอง Nemotron ที่เทียบเคียงยังคงจัดการได้ 60 ถึง 64 เปอร์เซ็นต์

ฝึกฝนเกี่ยวกับ GPU Nvidia B200 จำนวน 512 ตัวในมิวนิก

การฝึกซ้อมจัดขึ้นระหว่างเดือนมีนาคมถึงพฤษภาคม 2026 บน GPU Nvidia B200 สูงสุด 512 ตัวที่ Industrial AI Cloud ของ Deutsche Telekom ในมิวนิก รวมเป็นชั่วโมง GPU ทั้งสิ้นประมาณ 253,000 ชั่วโมง โรงงานแห่งนี้ใช้พลังงานหมุนเวียนทั้งหมด ระบายความร้อนด้วยน้ำจากคลอง Eisbach และป้อนความร้อนเหลือทิ้งเข้าสู่ย่าน Tucherpark โดยรอบ ตามรายงาน Soofi S เป็นหนึ่งในการฝึกอบรมหลักชุดแรกๆ ที่ดำเนินการกับโครงสร้างพื้นฐานนี้

กลุ่มความร่วมมือที่อยู่เบื้องหลังโมเดลนี้ได้รับทุนจากกระทรวงกิจการเศรษฐกิจและพลังงานแห่งสหพันธรัฐเยอรมนี ซึ่งเป็นส่วนหนึ่งของโครงการ IPCEI-CIS ของยุโรป ผู้เข้าร่วม ได้แก่ Fraunhofer Institutes IAIS และ IIS, ศูนย์วิจัยปัญญาประดิษฐ์แห่งเยอรมนี (DFKI), TU Darmstadt, มหาวิทยาลัย Würzburg, ศูนย์วิจัย L3S, มหาวิทยาลัยวิทยาศาสตร์ประยุกต์แห่งเบอร์ลิน และบริษัท AI Ellamind และ Merantix Momentum

การอภิปรายเรื่อง 'overtraining'

หลังจากเปิดตัวได้ไม่นาน นักวิจารณ์แย้งว่า Soofi S ได้รับการฝึกมากเกินไปตามมาตรฐานของกฎหมายมาตราส่วน Chinchilla แบบคลาสสิกที่เผยแพร่โดย Google DeepMind ในปี 2022 ซึ่งแนะนำจุดที่น่าสนใจคร่าวๆ ที่ 20 โทเค็นต่อพารามิเตอร์ ด้วยโทเค็น 27 ล้านล้านโทเค็นและพารามิเตอร์ประมาณ 3 หมื่นล้านรายการ Soofi S จึงมีโทเค็นหลายร้อยรายการต่อพารามิเตอร์ การนับเพียง 3.2 พันล้านพารามิเตอร์ที่ใช้งานอยู่จะผลักดันอัตราส่วนให้เป็นหลักพัน

Michael Fromm ซึ่งเป็นส่วนหนึ่งของความเป็นผู้นำทางเทคนิคของโครงการ ตอบโต้คำวิจารณ์นั้น โดยโต้แย้งว่ากฎเหล่านั้นไม่สามารถส่งต่อไปยังสถาปัตยกรรม MoE ได้ “มีงานวิจัยใหม่แสดงให้เห็นว่ากฎหมายการปรับขนาดแบบเก่าจากแบบจำลองหนาแน่นไม่สามารถใช้ได้กับสถาปัตยกรรม MoE อีกต่อไป” ฟรอมม์กล่าว โดยสังเกตว่าผู้เชี่ยวชาญแต่ละรายจะได้รับประโยชน์จากการดูเอกสารเดียวกันซ้ำๆ ในชุดข้อมูลขนาดใหญ่และมีคุณภาพสูง ในการเปรียบเทียบ เขาชี้ไปที่ Nvidia ซึ่งได้ฝึกฝนโมเดลของตัวเองด้วยโทเค็นมากถึง 25 ล้านล้านโทเค็น

อะไรได้รับการปล่อยตัวและสิ่งที่ไม่ได้

นักวิจัยกำลังเผยแพร่น้ำหนักแบบจำลองพร้อมกับจุดตรวจสอบระดับกลางที่เลือก โค้ดการฝึกอบรมและการประเมินผลที่สมบูรณ์ และรายการข้อมูลโดยละเอียดที่แสดงรายการจำนวนโทเค็นดิบ หมายเลขยุค และการมีส่วนร่วมที่มีประสิทธิผลต่อแหล่งที่มา ตามที่ทีมงานระบุ นี่หมายความว่า Soofi S มีคุณสมบัติตรงตาม Open Source AI Definition 1.0 จาก Open Source Initiative

ข้อเสนอที่เข้มงวดกว่าสำหรับคำจำกัดความ Open Data ของยุโรป ซึ่งกำหนดให้โทเค็นการฝึกอบรมทุกรายการต้องสามารถแจกจ่ายได้อย่างอิสระ เนื่องจาก 1.3 เปอร์เซ็นต์ของส่วนผสมมาจากคลังข้อมูล Genios ที่ได้รับอนุญาตในเชิงพาณิชย์ รายงานระบุว่าข้อมูลการฝึกอบรมประมาณร้อยละ 99 ยังคงสามารถสร้างใหม่ได้โดยอิสระ ใบอนุญาตที่แน่นอนสำหรับการเปิดตัวโมเดลยังไม่ได้รับการสรุป ณ เวลาที่เผยแพร่

ขณะนี้กลุ่มบริษัทกำลังมองหาพันธมิตรในอุตสาหกรรมในระยะต่อไปเพื่อทดสอบ Soofi S ในแอปพลิเคชันที่เกี่ยวข้องกับเอกสารทางเทคนิค การสร้างโค้ด และระบบที่ใช้ตัวแทน หากต้องการข้อมูลเพิ่มเติมเกี่ยวกับการเผยแพร่โมเดลน้ำหนักเปิด โครงสร้างพื้นฐาน AI อธิปไตย และระบบนิเวศ AI ของยุโรป โปรดติดตาม ความครอบคลุมของอุตสาหกรรม AI ที่เผยแพร่ที่นี่

ก้าวไปข้างหน้ากับ AI โอเพ่นซอร์ส

รุ่น Open-weight มาถึงเกือบทุกสัปดาห์จากห้องปฏิบัติการในสหรัฐอเมริกา จีน และปัจจุบันในยุโรป และช่องว่างระหว่างรุ่นที่เป็นกรรมสิทธิ์ที่ใหญ่ที่สุดและทางเลือกแบบเปิดที่ดีที่สุดก็แคบลงเรื่อยๆ ติดตาม ข่าวด่วน AI และการวิเคราะห์เกณฑ์มาตรฐานที่นี่เพื่อดูภาพรวมทั้งหมด

อ่านความครอบคลุมของโมเดล AI เพิ่มเติม →