Google เปิดตัว TPU 8tx และ TPU 8i Max เติมเต็มกลุ่มผลิตภัณฑ์ชิป AI รุ่นที่แปดสี่ระบบ

Google ได้ขยายกลุ่มผลิตภัณฑ์ TPU รุ่นที่ 8 ด้วยระบบใหม่ 2 ระบบ ได้แก่ TPU 8tx สำหรับการอนุมานที่ปลอดภัยและเป็นความลับ และ TPU 8i Max สำหรับหน้าต่างบริบทขนาดใหญ่ ซึ่งนับเป็นครั้งแรกที่บริษัทจัดส่งระบบ TPU สี่ระบบในปีเดียว

ในบล็อกโพสต์ที่เผยแพร่เมื่อวันจันทร์ Google กล่าวว่าส่วนเพิ่มเติมทั้งสองได้รับการออกแบบมาสำหรับโปรไฟล์ปริมาณงานที่แทบจะไม่มีอยู่เมื่อ TPU ตัวแรกเปิดตัวเมื่อทศวรรษที่แล้ว: กลุ่มตัวแทนอิสระที่ให้เหตุผลกับหน้าต่างบริบทขนาดมหึมาและการจัดการข้อมูลองค์กรที่ละเอียดอ่อน “ด้วยการประมวลผลที่ย้ายจากระดับมนุษย์ไปสู่ระดับตัวแทน ธุรกิจต่างต้องการตัวเร่งความเร็วที่สามารถให้เหตุผลผ่านหน้าต่างบริบทขนาดใหญ่ของโมเดล AI” บริษัท เขียน “นอกจากนี้ ลูกค้าที่ได้รับการควบคุมอย่างเข้มงวดบางรายยังต้องการความสามารถในการเข้ารหัสแบบพิเศษสำหรับปริมาณงานที่ไม่ซ้ำใคร” For more context on this story, see our ongoing AI industry coverage.

ระบบสำหรับทุกขั้นตอนของวงจรชีวิตเอเจนติก

รุ่นที่แปดเริ่มต้นที่ Google Cloud Next ในเดือนเมษายนด้วย TPU 8t สร้างขึ้นสำหรับการฝึกอบรมขนาดใหญ่ และ TPU 8i สร้างขึ้นเพื่อการให้เหตุผลแบบเรียลไทม์ Google อ้างถึงประสิทธิภาพการฝึกอบรมที่ดีขึ้นถึง 2.7 เท่าสำหรับ 8t และประสิทธิภาพด้านราคาในการอนุมานที่ดีขึ้น 80% สำหรับ 8i เมื่อเทียบกับรุ่นก่อนหน้า

ผู้มาใหม่ทั้งสองแบ่งดินแดนที่เหลือ ตามที่ Google กล่าวไว้ ทั้งสี่ระบบร่วมกันมอบ "ตัวเร่งความเร็วที่สร้างขึ้นตามวัตถุประสงค์สำหรับทุกขั้นตอนของวงจรชีวิตเอเจนต์" ให้กับลูกค้า ได้แก่ TPU 8t สำหรับการฝึกอบรมแบบขยายขนาด, TPU 8i สำหรับการให้เหตุผลที่มีเวลาแฝงต่ำ, TPU 8tx สำหรับการประมวลผลที่เป็นความลับ และ TPU 8i Max สำหรับหน้าต่างบริบทขนาดใหญ่และความหนาแน่นในการประมวลผลสูงสุดต่อแร็ค

TPU 8tx: ความปลอดภัยในตัวฮาร์ดแวร์

TPU 8tx ได้รับการปรับให้เหมาะสมเพื่อการอนุมานที่ปลอดภัยและเป็นความลับ และ Google Notes ยังเหมาะอย่างยิ่งกับการฝึกอบรมขนาดเล็กอีกด้วย ลูกค้าเป้าหมายมีความชัดเจน: องค์กรและรัฐบาลที่ได้รับการควบคุมซึ่งใช้โมเดลชายแดนหรือที่เป็นกรรมสิทธิ์และตัวแทนอิสระควบคู่ไปกับข้อมูลที่ละเอียดอ่อนที่สุด

แนวทางทางวิศวกรรมจัดการกับความตึงเครียดที่มีมายาวนานในการประมวลผลที่ปลอดภัย โดยปกติข้อมูลจะถูกเข้ารหัสเมื่อจัดเก็บหรือส่ง แต่จะต้องปลดล็อคในหน่วยความจำในขณะที่คอมพิวเตอร์ประมวลผล - ช่วงเวลาที่ข้อมูลถูกเปิดเผยมากที่สุด TPU 8tx สร้างขึ้นบนซิลิคอนแบบเดียวกับ TPU 8t และจับคู่กับโฮสต์ CPU AMD EPYC เจนเนอเรชั่น 5 สร้างการรักษาความปลอดภัยโดยตรงในชั้นฮาร์ดแวร์ โดยรักษาข้อมูลที่ละเอียดอ่อนและน้ำหนักโมเดลที่ได้รับการป้องกันและแยกออกแม้ในขณะที่ใช้งานอยู่

ระบบใช้เครือข่าย "Boardfly" ที่มีความหน่วงต่ำแบบเดียวกับที่ Google สร้างขึ้นเพื่อการให้เหตุผลแบบเรียลไทม์ ซึ่งหมายความว่าสามารถจัดการการประมวลผลระดับการฝึกอบรมและการอนุมานที่รวดเร็วได้พร้อมกัน Google กล่าวว่าสิ่งนี้ช่วยให้องค์กรต่างๆ ปรับแต่งโมเดลด้วยข้อมูลส่วนตัว กลั่นโมเดลขนาดใหญ่ให้เล็กลง และฝึกอบรมตัวแทนผ่านการเรียนรู้แบบเสริมกำลังบนระบบเดียว โดยไม่ต้องย้ายข้อมูลที่ละเอียดอ่อนระหว่างคลัสเตอร์ที่แยกจากกัน

TPU 8i Max: โจมตีกำแพงความทรงจำ

TPU 8i Max รับมือกับข้อจำกัดที่แตกต่างไปจากเดิมอย่างสิ้นเชิง “เมื่อตัวแทน AI หลายสิบคนทำงานร่วมกันทั่วทั้งโค้ดเบสของซอฟต์แวร์หรือวิดีโอหลายชั่วโมงพร้อมกัน แบนด์วิดธ์หน่วยความจำจะกลายเป็นปัญหาคอขวดอย่างรวดเร็ว” Google เขียน คำตอบของบริษัทคือสถาปัตยกรรม: ชิป TPU 8i ที่มีความหน่วงต่ำสองตัวรวมกันอยู่ในแพ็คเกจเดียว

ผลลัพธ์ที่ได้คือระบบที่ปรับขนาดการประมวลผลและหน่วยความจำในระดับล็อค โดยให้การประมวลผลเป็นสองเท่า SRAM เป็นสองเท่า และเพิ่มแบนด์วิดท์ HBM เป็นสองเท่าของ TPU 8i และเนื่องจาก TPU 8i Max มีขนาดพอดีกับซิลิคอนสองเท่าในชั้นวางที่มีอยู่ Google จึงกล่าวว่าศูนย์ข้อมูลสามารถปรับใช้พลังการประมวลผลต่อตารางฟุตและต่อวัตต์ได้มากขึ้นอย่างมาก ซึ่งถือเป็นการพิจารณาที่มีความหมายเมื่อพลังงานและพื้นที่พื้นเป็นข้อจำกัดที่มีผลผูกพันกับการขยายขีดความสามารถของ AI

ทำไมต้องเป็นระบบ ไม่ใช่ชิป

ความแตกต่างที่สำคัญในการประกาศเมื่อวันจันทร์ก็คือ Google กำลังจัดวางสิ่งเหล่านี้เป็นระบบใหม่แทนที่จะเป็นชิปใหม่ บริษัทอธิบายว่าการออกแบบชิปนั้นเป็นกระบวนการที่ใช้เวลานานหลายปีในการวางทรานซิสเตอร์หลายพันล้านตัวที่เชื่อมโยงกับหลักฟิสิกส์และไทม์ไลน์การผลิต ระบบ — วิธีการประมวลผล เครือข่าย การจัดเก็บ และบรรจุภัณฑ์รอบๆ ชิป — สามารถปรับได้เร็วขึ้นมาก

ความเป็นโมดูลนั้นเป็นแกนหลักของกลยุทธ์ไฮเปอร์คอมพิวเตอร์ AI ของ Google และเป็นสิ่งที่ทำให้ระบบพิเศษสี่ระบบสามารถจัดส่งได้ภายในรุ่นเดียว Google ยังเน้นย้ำว่าตอนนี้โครงสร้างพื้นฐาน AI ของตัวเองกลับไปสร้างฮาร์ดแวร์ได้มากเพียงใด: บริษัทใช้ระบบการเรียนรู้การเสริมกำลัง AlphaChip ของ DeepMind และกล่าวว่า Gemini ช่วยส่งมอบเค้าโครงชิป "ในไม่กี่ชั่วโมงแทนที่จะเป็นสัปดาห์" Google เรียกสิ่งนี้ว่า "การออกแบบร่วมที่แท้จริง" และสิ่งที่สร้างความแตกต่างอันเป็นเอกลักษณ์

บริบทการแข่งขัน

การขยายตัวเกิดขึ้นท่ามกลางการแข่งขันที่รุนแรงในตัวเร่ง AI การใช้งาน TPU ดึงดูดความสนใจจากบทบาทในการให้บริการโมเดลต่างๆ นอกขอบเขตของ Google โดยบริษัทตั้งข้อสังเกตว่าขณะนี้ TPU เพิ่มประสิทธิภาพการฝึกอบรมและการให้บริการสำหรับโมเดล Gemini ปริมาณงานเอเจนต์ การบริการลูกค้าของ Google Cloud และการปรับใช้ TPU โดยตรงล่าสุดในศูนย์ข้อมูลของลูกค้าเอง Google อธิบาย TPU ว่าเป็น "ธุรกิจที่เติบโตอย่างรวดเร็ว"

ความครอบคลุมของการประกาศ รวมถึงชิ้นส่วนจาก TechPowerUp และ Electronics Weekly กำหนดกรอบความเคลื่อนไหวในแง่การแข่งขันที่ชัดเจน - Google ขยายกลุ่มผลิตภัณฑ์ซิลิกอนแบบกำหนดเองในขณะที่พิจารณาปริมาณงาน AI ที่อาจทำงานบนฮาร์ดแวร์ NVIDIA ในส่วนของ NVIDIA ยังคงจัดส่งระบบแร็คสเกลของตัวเองอย่างต่อเนื่อง ทำให้ผู้ซื้อโครงสร้างพื้นฐาน AI มีทางเลือกที่น่าเชื่อถือมากขึ้นระหว่างผู้ค้าและซิลิคอนแบบกำหนดเอง

ความหมายสำหรับนักพัฒนาคืออะไร

สำหรับนักพัฒนา ความสำคัญเชิงปฏิบัติไม่ได้ขึ้นอยู่กับเกณฑ์มาตรฐานใดๆ แต่เกี่ยวกับความเหมาะสมมากกว่า ทีมที่สร้างผลิตภัณฑ์เอเจนต์ที่ทำงานผ่านเอกสารขนาดยาว โค้ดเบสขนาดใหญ่ หรือบริบทวิดีโอที่ขยายออกไป ประสบปัญหาเพดานแบนด์วิธหน่วยความจำที่ FLOPS ดิบไม่สามารถแก้ไขได้ — ปัญหา 8i Max ถูกสร้างขึ้นมาเพื่อ ทีมในด้านการเงิน การดูแลสุขภาพ และภาครัฐที่ไม่สามารถย้ายปริมาณงานที่มีความละเอียดอ่อนไปยังโครงสร้างพื้นฐานที่ใช้ร่วมกันได้ เนื่องจากข้อมูลต้องถูกถอดรหัสระหว่างการประมวลผล ขณะนี้มีตัวเลือกที่สนับสนุนฮาร์ดแวร์ในรูปแบบ 8tx

Google เชื่อมโยงข่าวฮาร์ดแวร์เข้ากับข้อความการเข้าถึงซอฟต์แวร์ โดยชี้ไปที่การประกาศ PyTorch ล่าสุดและเป้าหมายที่ระบุไว้เพื่อทำให้ TPU "ใช้งานง่ายเหมือนกับฮาร์ดแวร์ทั่วไป" บริษัทเป็นเจ้าภาพออกอากาศในวันจันทร์เพื่อให้รายละเอียดเกี่ยวกับระบบใหม่และกล่าวว่าลูกค้าสามารถสำรวจกลุ่มผลิตภัณฑ์โครงสร้างพื้นฐานทั้งหมดบนเว็บไซต์ Google Cloud

ก้าวนำหน้า AI

ซิลิคอนแบบกำหนดเองกำลังกลายเป็นสมรภูมิเชิงกลยุทธ์ของการสร้าง AI นำหน้า AI ด้วย AI Buzz Wire — เจาะลึกเรื่องฮาร์ดแวร์ AI โมเดล และบริษัทที่สร้างอุปกรณ์ดังกล่าว

อ่านข่าว AI เพิ่มเติม →