เศรษฐศาสตร์ของโครงสร้างพื้นฐาน AI พลิกผัน ประมาณสองในสามของปริมาณงานที่ทำงานผ่านโครงสร้างพื้นฐาน AI ในปัจจุบันเป็นการอนุมานมากกว่าการฝึกอบรม ตามที่ผู้บริหารของ Positron AI Cameron McCaskill ผู้ร่วมแบ่งปันตัวเลขในการให้สัมภาษณ์กับ CUBE Research ในการประชุมซูเปอร์คอมพิวเตอร์ SC26 เมื่อสามปีที่แล้ว การแยกทางกันแทบจะตรงกันข้ามเลย นั่นคือการฝึกอบรมประมาณ 85 เปอร์เซ็นต์ และการอนุมาน 15 เปอร์เซ็นต์

การกลับรายการดังกล่าวเป็นการวาดแผนที่ของพื้นที่ที่มีการประมวลผล AI ขึ้นมาใหม่อย่างเงียบๆ และอธิบายว่าทำไมผู้ผลิตชิปรุ่นใหม่ที่เน้นการอนุมานเป็นหลักจึงได้รับข้อตกลงเกี่ยวกับระบบคลาวด์จากบริษัทที่ใหญ่กว่าตนเองมากในทันที

ตัวเลขเบื้องหลังการพลิก

“เรามาถึงจุดที่ประมาณสองในสามของปริมาณงานที่ทำงานผ่านโครงสร้างพื้นฐาน AI เหล่านี้เป็นเพียงการอนุมาน เทียบกับหนึ่งในสามคือการฝึกอบรม” McCaskill หัวหน้าฝ่ายขายและการพัฒนาธุรกิจของ Positron กล่าวในการสัมภาษณ์กับ Rebecca Knight และ John Furrier จาก CUBE Research "ย้อนกลับไปในปี 2023 มันเหมือนกับการฝึกอบรม 85% และการอนุมาน 15% ดังนั้นตอนนี้คุณคงเข้าใจแล้วว่าทำไมการอนุมานจึงขับเคลื่อนการตัดสินใจทางเศรษฐกิจว่าพวกเขาจะสร้างโครงสร้างพื้นฐานอย่างไร"

การเปลี่ยนแปลงทำให้เข้าใจได้ง่าย การฝึกอบรมเกิดขึ้นที่ห้องปฏิบัติการชายแดนจำนวนหนึ่งซึ่งมีคลัสเตอร์มูลค่าหลายพันล้านดอลลาร์ การอนุมานเกิดขึ้นได้ทุกที่ ทุกครั้งที่ผู้ใช้แจ้งโมเดล และในขณะที่ผู้บริโภคและองค์กรเริ่มนำไปใช้มากขึ้น ความต้องการโทเค็นโดยรวมก็ล้นโครงสร้างพื้นฐานที่สร้างขึ้นสำหรับยุคการฝึกอบรม ขณะนี้การจ่ายพลังงาน การระบายความร้อน และหน่วยความจำเป็นตัวกำหนดว่าโทเค็นจะถูกสร้างขึ้นที่ไหนพอๆ กับประสิทธิภาพของชิปดิบ และนั่นจะเปลี่ยนแปลงฮาร์ดแวร์ตัวใดที่ชนะข้อตกลง

การเดิมพันของโพซิตรอนกับหน่วยความจำสินค้าโภคภัณฑ์

Positron AI ซึ่งระดมทุนได้ 875 ล้านดอลลาร์จากการประเมินมูลค่า 5 พันล้านดอลลาร์ในเดือนกันยายน ได้สร้างกลยุทธ์ทั้งหมดของบริษัทในยุคอนุมาน ตัวเลือกการออกแบบหลักของบริษัท: ข้ามหน่วยความจำแบนด์วิธสูง (HBM) ซึ่งเป็นประเภทหน่วยความจำที่หายากและมีราคาแพงซึ่งยึดตัวเร่งความเร็ว AI ส่วนใหญ่ และสร้างอุปกรณ์อนุมานรอบหน่วยความจำสินค้าโภคภัณฑ์แทน

“แทบทุกคนในอุตสาหกรรมนี้ใช้สิ่งที่เรียกว่า HBM หรือหน่วยความจำแบนด์วิธสูง ซึ่งมีอุปทานที่จำกัดมากและมีราคาแพงมาก” McCaskill กล่าว "เราไปพร้อมกับความทรงจำสินค้าโภคภัณฑ์"

การแลกเปลี่ยนเกิดขึ้นโดยเจตนา หน่วยความจำสินค้ามีราคาถูกกว่าและหาแหล่งที่มาได้ง่ายกว่ามาก และสถาปัตยกรรมของโพซิตรอนยังคงรักษาพลังงานไว้ต่ำเพียงพอสำหรับห้องระบายความร้อนด้วยอากาศ โดยไม่จำเป็นต้องมีการระบายความร้อนด้วยของเหลวแบบพิเศษ เซิร์ฟเวอร์โพซิตรอนเครื่องเดียวใช้พลังงานประมาณ 4,500 วัตต์ และเซิร์ฟเวอร์ Titan ที่กำลังจะเปิดตัวเต็มแร็คของบริษัทใช้พลังงานไม่เกิน 40 กิโลวัตต์

แผนงานกำลังดำเนินไปอย่างรวดเร็ว เซิร์ฟเวอร์ Atlas รุ่นแรกของโพซิตรอนทำงานบนชิปที่ตั้งโปรแกรมได้ และบริษัทวางแผนที่จะออกเทปซิลิกอนของตัวเองสำหรับเซิร์ฟเวอร์ Titan ในต้นปีหน้า บริษัทได้ลงพื้นที่ใช้งานปะรำแล้ว: ออราเคิลนำเซิร์ฟเวอร์ Atlas ประมาณ 340 เครื่องมาใช้งานในระบบคลาวด์ของตนในไตรมาสนี้ ตามข้อมูลของ McCaskill และผู้ให้บริการ neocloud ได้ลงนามใน Atlas ในขณะที่มุ่งมั่นที่จะสร้าง Titan ที่กำลังจะมาถึง

ศูนย์ข้อมูลแบบแยกส่วนกลายเป็นแหล่งธรรมชาติสำหรับการอนุมาน

บางทีส่วนที่เป็นผลสืบเนื่องที่สุดของการสัมภาษณ์ก็คือจุดที่ McCaskill กล่าวว่าความต้องการนั้นมาจาก: ไม่ใช่วิทยาเขตที่มีขนาดใหญ่มาก แต่มีขนาดเล็ก รวดเร็ว และมีสิ่งอำนวยความสะดวกแบบโมดูลาร์

“หนึ่งในกลุ่มบริษัทที่เราเห็นการเพิ่มขึ้นในขณะนี้และหันมาหาเราเพื่อหาผลิตภัณฑ์คือศูนย์ข้อมูลแบบโมดูลาร์เหล่านี้ ซึ่งมีศูนย์ข้อมูลแบบโมดูลาร์ครึ่งเมกะวัตต์หรือ 1 เมกะวัตต์หรือ 2.5 เมกะวัตต์ และศูนย์ข้อมูลเหล่านั้นสามารถนำไปใช้งานได้อย่างรวดเร็ว” เขากล่าว “เป้าหมายของผู้เล่นอนุมานเหล่านี้จำนวนมากคือฉันต้องการได้รับจากที่ดินและอำนาจไปสู่โทเค็นที่สร้างรายได้ภายใน 90 ถึง 120 วัน”

เส้นเวลาดังกล่าว — ประมาณหนึ่งในสี่จากจุดเริ่มต้นไปสู่รายได้ — เป็นไปไม่ได้สำหรับวิทยาเขตฝึกอบรมขนาดกิกะวัตต์ ซึ่งอาจต้องใช้เวลาหลายปีในการอนุญาต สร้าง และเปิดใช้งาน ปริมาณงานการอนุมานมีขนาดเล็กกว่า มีความยืดหยุ่นทางภูมิศาสตร์มากกว่า และทนทานต่อไซต์งานซึ่งผู้ปฏิบัติงานสามารถค้นหาพลังงานราคาถูกได้ไม่กี่เมกะวัตต์โดยไม่มีอุปสรรคด้านกฎระเบียบที่หนักหน่วง ผลลัพธ์ที่ได้คือระดับชั้นใหม่ของโครงสร้างพื้นฐานการอนุมานแบบกระจายที่อยู่ในไซต์โทรคมนาคม สิ่งอำนวยความสะดวกด้านโคโลเคชั่น และหน่วยโมดูลาร์ที่อยู่ใกล้กับจุดที่ความต้องการมีอยู่จริง

มันหมายถึงอะไรสำหรับอุตสาหกรรม

สำหรับผู้จำหน่ายชิป ข้อความก็คือตลาดฮาร์ดแวร์ AI กำลังแตกแยก การฝึกอบรมยังคงให้รางวัลแก่ผู้เร่งความเร็วที่ทันสมัยที่สุดและผู้ที่ลึกที่สุด การอนุมานให้รางวัลในด้านต่างๆ ได้แก่ ประสิทธิภาพการใช้พลังงาน ต้นทุนหน่วยความจำ ความเร็วในการปรับใช้ และความสามารถในการทำงานในอาคารระบายความร้อนด้วยอากาศทั่วไป ผู้จำหน่ายที่ได้รับการปรับให้เหมาะสมสำหรับการแข่งขันการฝึกอบรมเท่านั้นอาจพบว่ามีการตัดสินใจปรับใช้ในอนาคตในปริมาณมากที่สุด ซึ่งโทเค็นจะถูกสร้างรายได้จริง ๆ เกิดขึ้นบนฮาร์ดแวร์ที่ออกแบบมาสำหรับชุดข้อจำกัดที่แตกต่างกัน

สำหรับองค์กรและลูกค้าคลาวด์ การเปลี่ยนแปลงส่วนใหญ่มองไม่เห็นแต่เป็นผลสืบเนื่องมากขึ้น: ความสามารถในการอนุมานที่เพิ่มขึ้นทีละ 90 ถึง 120 วัน หมายถึงราคาที่แข่งขันได้มากขึ้น และตัวเลือกทางภูมิศาสตร์ที่มากขึ้นสำหรับการรันโมเดลที่ใกล้กับผู้ใช้และข้อมูล

และสำหรับการเล่าเรื่องเกี่ยวกับการสร้างอุตสาหกรรม AI ซึ่งมักถูกมองว่าเป็นการแข่งขันที่ไม่มีที่สิ้นสุดสำหรับวิทยาเขตขนาดกิกะวัตต์ การพลิกกลับของการอนุมานเป็นเครื่องเตือนใจว่าเส้นอุปสงค์กำลังขยายกว้างขึ้น ไม่ใช่แค่การปรับขนาด เหตุการณ์สำคัญสองในสามที่อ้างถึงที่ SC26 เป็นเพียงการประมาณการของผู้บริหารคนหนึ่ง แต่มันตรงกับทิศทางที่ผู้ให้บริการระบบคลาวด์รายใหญ่ทุกรายรายงาน: จุดศูนย์ถ่วงของ AI buildout กำลังเคลื่อนจากการฝึกฝนโมเดลไปสู่การให้บริการ

ก้าวนำหน้า AI

ติดตามการพัฒนา AI ล่าสุดที่เกิดขึ้นกับ AI Buzz Wire แหล่งข่าวฮาร์ดแวร์และโครงสร้างพื้นฐานของ AI

อ่านข่าว AI เพิ่มเติม →