Google ได้ขยายกลุ่มผลิตภัณฑ์ TPU รุ่นที่ 8 ด้วยระบบพิเศษใหม่ 2 ระบบ ได้แก่ TPU 8i Max ซึ่งรวมชิปการอนุมานสองตัวไว้ในแพ็คเกจเดียวสำหรับปริมาณงานเอเจนต์ที่มีบริบทยาว และ TPU 8tx ที่สร้างขึ้นสำหรับการอนุมานที่เป็นความลับและแยกฮาร์ดแวร์ซึ่งมุ่งเป้าไปที่องค์กรและรัฐบาลที่ได้รับการควบคุม Tom's Hardware รายงานการเพิ่มเติมเมื่อวันพฤหัสบดี

ความเคลื่อนไหวดังกล่าวครอบคลุมตระกูลที่ Google เริ่มต้นในเดือนเมษายนด้วย TPU 8t ที่ออกแบบมาสำหรับการฝึกอบรม AI ขนาดใหญ่ และ TPU 8i ที่สร้างขึ้นสำหรับงานอนุมานวัตถุประสงค์ทั่วไป เช่น การสุ่มตัวอย่าง การให้บริการ และการใช้เหตุผล ด้วยรูปแบบใหม่ กลุ่มผลิตภัณฑ์รุ่นที่ 8 ครอบคลุมถึงการฝึกอบรม การอนุมานมาตรฐาน การอนุมานที่ปลอดภัย และการอนุมานเอเจนต์แบนด์วิธสูงสุด ซึ่งเป็นเมทริกซ์ของตัวเลือกที่สะท้อนถึงความแตกต่างที่องค์กรต่างๆ ใช้ฮาร์ดแวร์ AI ในปัจจุบัน ข่าวชิปนี้เป็นส่วนหนึ่งของการรายงานข่าว การพัฒนา AI ล่าสุด ทั่วตลาดฮาร์ดแวร์ AI

ชิปตัวใหม่ทำอะไรได้บ้าง

TPU 8i Max รวมชิป 8i สองตัวไว้ในแพ็คเกจเดียว ซึ่งเพิ่มแบนด์วิธการประมวลผล, SRAM และหน่วยความจำแบนด์วิธสูงเป็นสองเท่าของ 8i รุ่นดั้งเดิม การออกแบบมุ่งเป้าไปที่งานตัวแทนที่มีบริบทยาว — สถานการณ์ที่เจ้าหน้าที่ AI มีบริบทการทำงานขนาดใหญ่มากในงานหลายขั้นตอน

Tom's Hardware วางกรอบแบนด์วิดท์ให้เพิ่มขึ้นสองเท่าเป็นวิธีหลีกเลี่ยงสิ่งที่ Google เรียกว่าผนังหน่วยความจำ ปัญหาคอขวดของแบนด์วิดท์ที่กลายเป็นเรื่องรุนแรง "เมื่อตัวแทน AI หลายสิบคนทำงานร่วมกันทั่วทั้งโค้ดเบสของซอฟต์แวร์" หน้าต่างบริบทที่ใหญ่ขึ้น — ด้วยโมเดลที่ใหญ่กว่าซึ่งมีเป้าหมายประมาณ 1 ล้านโทเค็น — หมายถึงแคช KV ที่ใหญ่กว่า ซึ่งบางส่วนถูกเก็บไว้ใน SRAM และโทเค็นใหม่ที่สร้างขึ้นแต่ละรายการจะต้องอ่านแคชนั้นกลับจากหน่วยความจำ แบนด์วิธ HBM สองเท่าในแพ็คเกจเดียวโจมตีคอขวดนั้นอย่างแม่นยำ และสิ่งพิมพ์ระบุว่ามันเป็นเส้นทางที่แตกต่างจากแนวทางของ Nvidia ในการจับคู่ชิปประเภทที่สองสำหรับการถอดรหัสกับระดับการจัดเก็บข้อมูลสำหรับบริบท

ในขณะเดียวกัน TPU 8tx ถูกสร้างขึ้นบนซิลิคอนตัวเดียวกับ 8t ที่มุ่งเน้นการฝึกอบรมที่ประกาศไปก่อนหน้านี้ แต่มีการกำหนดค่าสำหรับการประมวลผลที่เป็นความลับ: การอนุมานแบบแยกฮาร์ดแวร์สำหรับองค์กรและหน่วยงานที่ได้รับการควบคุมซึ่งต้องการการพิสูจน์ข้อมูลและแบบจำลองของตนได้รับการคุ้มครองระหว่างการประมวลผล ระบบจะสลับซีพียูโฮสต์ Axion แบบ Arm ที่ใช้โดย 8t และ 8i สำหรับโปรเซสเซอร์ AMD EPYC รุ่นที่ 5 และใช้เครือข่าย Boardfly ของ Google

โดยเฉพาะอย่างยิ่ง Google ยังไม่ได้เปิดเผยข้อกำหนดโดยละเอียด ราคา หรือวันที่จัดส่งสำหรับระบบใหม่ ดังนั้นผู้ซื้อในปัจจุบันจึงมีการเรนเดอร์และตำแหน่งมากกว่าผลิตภัณฑ์ที่สั่งซื้อได้

ภาพเรนเดอร์ที่ Google เผยแพร่ควบคู่ไปกับการประกาศแสดงบอร์ด TPU 8tx ที่มีชิปสี่ตัว ควบคู่ไปกับบอร์ด TPU 8i Max สี่ตัว โดยแต่ละบอร์ดมีชิปสองตัวในแพ็คเกจเดียว — ภาพประกอบทางกายภาพแสดงให้เห็นว่าตระกูลรุ่นที่แปดแยกจากรุ่นเร่งความเร็วแบบชิปตัวเดียวที่เหมาะกับทุกรุ่นรุ่นก่อน ๆ ไปไกลแค่ไหน

TPU Sync: เลเยอร์ซอฟต์แวร์สำหรับหน่วยความจำตัวแทน

นอกเหนือจากซิลิคอนแล้ว Google ยังใช้ซอฟต์แวร์เพื่อแก้ปัญหาหน่วยความจำเอเจนต์ TPU Sync เป็น "เลเยอร์สถานะโมเดลสำหรับคลัสเตอร์ TPU" แบบโอเพ่นซอร์สที่จะจัดระดับแคช KV ขนาดใหญ่ออกจากชิปโดยอัตโนมัติในหน่วยมิลลิวินาที โดยย้ายแคชเหล่านั้นลงไปที่ DRAM ของโฮสต์ และพื้นที่จัดเก็บข้อมูลที่ใช้ร่วมกันในการทดลอง

จากข้อมูลของ Google สิ่งนี้สามารถลดเวลาแฝงในการถ่ายโอน KV-cache ได้มากกว่า 90% โดยได้รับตามเวลาโทเค็นแรกที่สอดคล้องกัน ซึ่งเป็นการหน่วงเวลาประสบการณ์ของผู้ใช้ก่อนที่ระบบ AI จะเริ่มตอบสนอง สำหรับปริมาณงานแบบเอเจนต์ โดยที่เซสชันเดียวอาจเกี่ยวข้องกับการเรียกใช้โมเดลตามลำดับหลายสิบรายการ ซึ่งแต่ละเซสชันจำเป็นต้องเข้าถึงบริบทที่สะสมเหมือนกัน การจัดการแคชจึงมีความสำคัญพอๆ กับการประมวลผลแบบดิบ

เหตุใดจึงสำคัญสำหรับตลาดฮาร์ดแวร์ AI

TPU กลายเป็นธุรกิจที่เติบโตอย่างรวดเร็วสำหรับ Google ซึ่งอ้างว่ามีลูกค้าเกือบ 100 รายสำหรับชิป ซึ่งรวมถึง Meta ซึ่งการนำ Google TPU มาใช้ในศูนย์ข้อมูลถือเป็นการรุกล้ำการแข่งขันที่สำคัญที่สุดอย่างหนึ่งในอาณาเขตของ Nvidia บริษัทกล่าวว่าแนวทางแบบแยกส่วนมากขึ้นที่ Google ใช้กับตระกูลรุ่นที่ 8 ช่วยให้สามารถส่งมอบระบบพิเศษ "ในเวลาไม่กี่เดือนแทนที่จะเป็นปี" ช่วยให้ลูกค้าเติบโตไปพร้อมกัน

ช่วงเวลาของการประกาศนั้นน่าทึ่ง การขยายชิปของ Google เกิดขึ้นในวันเดียวกับที่ Nvidia ประกาศว่า CEO Jensen Huang ได้ลาออกแล้ว โดย CFO Colette Kress ได้รับการแต่งตั้งเป็น CEO ชั่วคราว ซึ่งถือเป็นการหยุดชะงักของผู้นำที่ไม่ธรรมดาในบริษัทที่ GPU ครองตลาด TPU ของ Google กำลังบิ่นไป เหตุการณ์ทั้งสองไม่เกี่ยวข้องกัน แต่ทั้งสองกรณีร่วมกันเน้นย้ำถึงความสามารถในการแข่งขันและความผันผวนของตลาดโครงสร้างพื้นฐาน AI

สำหรับองค์กรที่ประเมินโครงสร้างพื้นฐาน AI สัญญาณเพิ่มเติมที่บ่งบอกว่าชุดตัวเลือกกำลังขยายออกไป ได้แก่ ซิลิคอนที่ปรับให้เหมาะสมสำหรับการฝึกอบรม การอนุมานทั่วไป การอนุมานที่ปลอดภัยสำหรับข้อมูลที่ได้รับการควบคุม และแพ็คเกจแบนด์วิธสูงสุดสำหรับกลุ่มตัวแทน กำลังกลายเป็นหมวดหมู่ผลิตภัณฑ์ที่แตกต่างกัน แทนที่จะเป็นตัวเร่งความเร็วขนาดเดียวที่เหมาะกับทุกตัว เมื่อ Google เผยแพร่รายละเอียดราคาและความพร้อมจำหน่าย คำถามเชิงปฏิบัติสำหรับผู้ซื้อก็คือว่าแบนด์วิดธ์สองเท่าของ 8i Max แปลเป็นปริมาณงานเพียงพอสำหรับกลุ่มยานพาหนะตัวแทนเพื่อพิสูจน์ความพรีเมียมเหนือการใช้งาน 8i มาตรฐานหรือไม่

ความเป็นโมดูลยังมีตรรกะด้านอุปทานอีกด้วย แทนที่จะรอหลายปีเพื่อให้การออกแบบรุ่นต่อไปหมุนเวียนไปตามสแต็กฮาร์ดแวร์เต็มรูปแบบ Google สามารถรวมซิลิคอนที่มีอยู่ใหม่ได้ เช่นเดียวกับที่ทำโดยการย้ายซิลิคอน 8t ไปไว้ในแพ็คเกจการอนุมานที่ปลอดภัยด้วยโฮสต์ CPU ที่แตกต่างกัน เพื่อให้เข้าถึงกลุ่มเฉพาะได้เร็วขึ้น ขณะเดียวกันก็รักษาสแต็กซอฟต์แวร์ทั่วไปไว้ในทุกรูปแบบ ความเร็วดังกล่าวถือเป็นอาวุธในการแข่งขันในตลาดที่ความต้องการของลูกค้ามีการเปลี่ยนแปลงทุกไตรมาส

---

ก้าวนำหน้า AI

รับข่าวสาร AI การวิเคราะห์ และความก้าวหน้าล่าสุด ทั้งหมดในที่เดียว

อ่านข่าว AI เพิ่มเติม →