Qualcomm เปิดตัว Cloud AI 100 Ultra: การ์ดอนุมาน 150W พร้อมหน่วยความจำ 128GB และ 870 TOPS

Qualcomm ได้เปิดตัว Cloud AI 100 Ultra ซึ่งเป็นตัวเร่งการอนุมานของศูนย์ข้อมูลที่มอบประสิทธิภาพ INT8 สูงถึง 870 TOPS และ 288 TFLOPS ของการประมวลผล FP16 ในขณะที่ใช้พลังงานเพียง 150 วัตต์ ซึ่งเป็นเศษเสี้ยวของพลังงานของ GPU ที่ครอบงำการอนุมาน AI แบบกำเนิดในปัจจุบัน

การ์ดดังกล่าวซึ่งแสดงอยู่ในหน้าผลิตภัณฑ์ศูนย์ข้อมูลอย่างเป็นทางการของ Qualcomm และมีรายละเอียดครอบคลุมการเปิดตัว ได้รับการออกแบบมาโดยเฉพาะสำหรับเวิร์กโหลดโมเดล AI และโมเดลภาษาขนาดใหญ่โดยเฉพาะ บริษัทวางตำแหน่งชิปมือถือยักษ์ใหญ่ในฐานะผู้ท้าชิงโดยตรงในตลาดอนุมาน ซึ่งความต้องการเพิ่มขึ้นเนื่องจากองค์กรต่างๆ ปรับใช้เอเจนต์ AI, Copilot และแอปพลิเคชันเสริมการดึงข้อมูลในวงกว้าง หากต้องการทราบบริบทเพิ่มเติมเกี่ยวกับการแข่งขันด้านฮาร์ดแวร์ AI โปรดดู การรายงานข่าว AI ของเรา

ข้อมูลจำเพาะ: SRAM ก่อน DRAM วินาที

หัวใจของ Cloud AI 100 Ultra คือ 64 คอร์ AI และ 576 MB ของ on-die SRAM การเดิมพันของ Qualcomm ก็คือการรักษาน้ำหนักของโมเดลและการเปิดใช้งานให้ใกล้กับหน่วยประมวลผล แทนที่จะปิดโทเค็นทั้งหมดไปยังหน่วยความจำภายนอก จะให้ผลตอบแทนสำหรับโมเดลที่ใช้หม้อแปลงซึ่งมีชีวิตและตายบนแบนด์วิธหน่วยความจำ

การ์ดยังคงมีหน่วยความจำ LPDDR4x ขนาด 128 GB พร้อมแบนด์วิดธ์ 548 GB/s สำหรับรุ่นขนาดใหญ่และบริบทที่ยาวขึ้น เชื่อมต่อผ่าน PCIe Gen4 พร้อม 16 เลน การรวมกันดังกล่าว — SRAM ออนไดย์ขนาดใหญ่บวกกับการใช้พลังงานเพียง 150W — คือสิ่งที่สร้างความแตกต่างให้กับการ์ด GPU สำหรับศูนย์ข้อมูลของ Nvidia โดยทั่วไปมีตั้งแต่ 300W ถึง 700W และทุกวัตต์มีความสำคัญเมื่อโทเค็นเรียกเก็บเงินการอนุมาน และพลังงานของศูนย์ข้อมูลเป็นทรัพยากรที่มีการโต้แย้งมากที่สุดในอุตสาหกรรม

“Cloud AI 100 Ultra เป็นโซลูชันการอนุมาน AI ที่เพิ่มประสิทธิภาพและคุ้มต้นทุน” บริษัทกล่าวในเอกสารผลิตภัณฑ์ โดยเน้นความสามารถในการตั้งโปรแกรมข้ามปริมาณงาน ตั้งแต่คอมพิวเตอร์วิทัศน์ไปจนถึงการประมวลผลภาษาธรรมชาติ

ซอฟต์แวร์: On-Ramp ที่เข้ากันได้กับ OpenAI

ฮาร์ดแวร์ไม่เคยเป็นปัญหาของ Qualcomm ในศูนย์ข้อมูล ซอฟต์แวร์มี บริษัทกำลังแก้ไขปัญหาดังกล่าวด้วย AI Inference Suite ซึ่งเป็นเลเยอร์ซอฟต์แวร์ที่เปิดเผย API ที่เข้ากันได้กับ OpenAI สำหรับการสร้างแชทบอท, Copilot และเอเจนต์ AI

ชุดนี้รองรับการแชท การสร้างภาพ โมเดลหลายรูปแบบ และเวิร์กโฟลว์การดึงข้อมูล-เสริม (RAG) และปรับใช้ผ่าน Kubernetes หรือคอนเทนเนอร์แบบ Bare-Metal วอลคอมม์ยังจัดส่งเครื่องมือการจัดการและการดูแลระบบผู้ใช้ ซึ่งเป็นส่วนเสริมที่ไม่น่าดึงดูดซึ่งข้อเสนอตัวเร่งแบบดิบมักขาดไป แต่เป็นสิ่งหนึ่งที่ทีมไอทีระดับองค์กรจะมีน้ำหนักมากเมื่อพวกเขาย้ายปริมาณงานภายในองค์กร

พื้นผิว API ที่เข้ากันได้กับ OpenAI นั้นมีความสำคัญในเชิงกลยุทธ์ โดยช่วยให้นักพัฒนาชี้ไปป์ไลน์ที่ผูกกับ OpenAI ที่มีอยู่ที่ฮาร์ดแวร์ Qualcomm ด้วยการเปลี่ยนแปลงการกำหนดค่าแทนที่จะเขียนใหม่ ซึ่งช่วยลดต้นทุนการสลับที่ช่วยปกป้องผู้ดำรงตำแหน่งในตลาดนี้

สนามที่อัดแน่นไปด้วยผู้นำที่ชัดเจนเพียงคนเดียว

Qualcomm เข้าสู่ตลาดการอนุมานซึ่งกลายเป็นสมรภูมิของวงจรฮาร์ดแวร์ AI L40S และ H100 ของ Nvidia มีอิทธิพลเหนือ; MI300X ของ AMD และ Gaudi 3 ของ Intel กำหนดเป้าหมายเวิร์กโหลดเดียวกัน และซิลิคอนเฉพาะทางจาก Groq และ Cerebras ได้เจาะกลุ่มความเร็วอนุมานแบบดิบ

ฝั่งอุปสงค์อธิบายถึงช่วงชิง การให้บริการเอเจนต์ AI และไปป์ไลน์ RAG จะเพิ่มจำนวนการเรียกโมเดลที่เซสชันผู้ใช้รายเดียวสร้างขึ้น และการเรียกแต่ละครั้งถือเป็นปัญหาการอนุมานที่ต้องแก้ไขด้วยต้นทุนต่อโทเค็นที่ต่ำที่สุดที่เป็นไปได้ ไฮเปอร์สเกลเลอร์ซื้อชั้นวาง GPU รุ่นเรือธงเพื่อจัดการ องค์กรที่อยู่ภายใต้องค์กรเหล่านี้กำลังมองหาฮาร์ดแวร์ที่เหมาะกับเซิร์ฟเวอร์มาตรฐาน บนวงจรไฟฟ้ามาตรฐาน โดยไม่ต้องเจรจาสัญญาไฟฟ้าใหม่

การเสนอขายของ Qualcomm คือต้นทุนรวมในการเป็นเจ้าของมากกว่าประสิทธิภาพสูงสุด สำหรับองค์กรที่ใช้การอนุมานในวงกว้าง การใช้พลังงานจะไหลเข้าสู่ต้นทุนการดำเนินงานโดยตรง และการ์ดที่ให้ปริมาณการประมวลผลที่แข่งขันได้ที่ 150W จะบั่นทอนความประหยัดของ GPU แบบ Brute-force การฝึกอบรมยังคงเป็นโดเมนของ Nvidia — Ultra ไม่ได้อ้างสิทธิ์ใดๆ แต่การอนุมานคือจุดที่เศรษฐศาสตร์หน่วยของอุตสาหกรรมได้รับการตัดสินใจจริง ๆ และเป็นภาระงานที่องค์กรส่วนใหญ่จะดำเนินการเอง ไม่ว่าจะอยู่ในคลัสเตอร์ในสถานที่หรือกรงโคโลเคชั่น

ระบบนิเวศของซอฟต์แวร์ยังคงเป็นการต่อสู้ที่ยากลำบาก แพลตฟอร์ม CUDA ของ Nvidia ยังคงเป็นตัวเลือกเริ่มต้นสำหรับนักพัฒนา AI ส่วนใหญ่ และแม้ว่า API ที่เข้ากันได้กับ OpenAI จะลดอุปสรรคในการเข้าสู่ แต่ก็ไม่ได้ขจัดการทำงานซ้ำที่จำเป็นสำหรับไปป์ไลน์การอนุมานแบบกำหนดเอง

เหมาะกับกลุ่มผลิตภัณฑ์ของ Qualcomm

Ultra อยู่ในอันดับต้นๆ ของกลุ่มผลิตภัณฑ์การอนุมานของ Qualcomm ซึ่งรวมถึง Cloud AI 80 Ultra (สูงสุด 618 TOPS ของ INT8 พร้อม SRAM ขนาด 576 MB เท่าเดิม), Cloud AI 100 Pro และ Cloud AI 100 Standard ซึ่งกำหนดเป้าหมายการใช้งาน Edge และขนาดเล็กกว่าด้วยซองพลังงาน 75W

การเปิดตัวครั้งนี้แสดงให้เห็นถึงแผนงานศูนย์ข้อมูล Dragonfly ของ Qualcomm รุ่นปัจจุบัน ซึ่งบริษัทกำลังพัฒนาสำหรับปริมาณงาน AI ในระดับคลาวด์ และขณะนี้ทำให้ Qualcomm มีข้อโต้แย้งสำหรับองค์กรที่ต้องการเรียกใช้การอนุมาน AI แบบสร้างสรรค์ในสถานที่มากกว่าในระบบคลาวด์สาธารณะ ไม่ว่าจะด้วยเหตุผลด้านต้นทุน เวลาแฝง หรือเหตุผลด้านการกำกับดูแลข้อมูล

เดิมพันในประโยคเดียว

Qualcomm กำลังเดิมพันว่าเมื่อ AI ย้ายจากไฮเปอร์สเกลเลอร์จำนวนหนึ่งไปยังองค์กรหลายพันแห่ง การ์ดการอนุมานที่ชนะนั้นไม่ใช่การ์ดที่เร็วที่สุด แต่เป็นการ์ดที่มีประสิทธิภาพมากที่สุด Cloud AI 100 Ultra เป็นข้อโต้แย้งในซิลิคอน นักพัฒนาติดตามวัตต์หรือไม่ยังคงเป็นคำถามเปิด

---

ก้าวนำหน้า AI

รับข่าวสาร AI การวิเคราะห์ และความก้าวหน้าล่าสุด ทั้งหมดในที่เดียว

อ่านข่าว AI เพิ่มเติม →