Tính kinh tế của cơ sở hạ tầng AI đã thay đổi. Theo Cameron McCaskill, giám đốc điều hành của Positron AI, người đã chia sẻ con số này trong một cuộc phỏng vấn với CUBE Research tại hội nghị siêu máy tính SC26, khoảng 2/3 khối lượng công việc chạy qua cơ sở hạ tầng AI ngày nay là suy luận thay vì đào tạo. Ba năm trước, sự phân chia gần như hoàn toàn ngược lại: khoảng 85% đào tạo và 15% suy luận.
Sự đảo ngược đó đang âm thầm vẽ lại bản đồ về nơi hoạt động của máy tính AI — và nó giải thích tại sao một thế hệ mới các nhà sản xuất chip suy luận đầu tiên đột nhiên giành được các hợp đồng đám mây từ các công ty lớn hơn họ rất nhiều.
Những con số đằng sau cú lật
McCaskill, người đứng đầu bộ phận bán hàng và phát triển kinh doanh tại Positron, cho biết trong cuộc phỏng vấn với Rebecca Knight và John Furrier của CUBE Research: “Chúng ta đang ở thời điểm mà khoảng 2/3 khối lượng công việc được thực hiện thông qua các cơ sở hạ tầng AI này là suy luận, còn 1/3 là đào tạo”. "Trở lại năm 2023, nó giống như đào tạo 85%, suy luận 15%. Vì vậy, bây giờ bạn có thể hiểu tại sao suy luận lại thúc đẩy các quyết định kinh tế về cách họ sẽ xây dựng cơ sở hạ tầng của mình."
Sự thay đổi có ý nghĩa trực quan. Quá trình đào tạo diễn ra tại một số phòng thí nghiệm biên giới với các cụm trị giá hàng tỷ đô la. Suy luận xảy ra ở mọi nơi, mỗi khi người dùng nhắc một mô hình — và khi việc áp dụng của người tiêu dùng và doanh nghiệp bùng nổ, tổng nhu cầu về mã thông báo đã lấn át cơ sở hạ tầng được xây dựng cho kỷ nguyên đào tạo. Nguồn cung cấp năng lượng, làm mát và bộ nhớ hiện định hình nơi mã thông báo được tạo ra nhiều như hiệu suất của chip thô và điều đó sẽ thay đổi phần cứng nào giành được giao dịch.
Positron đặt cược vào bộ nhớ hàng hóa
Positron AI, công ty đã huy động được 875 triệu USD với mức định giá 5 tỷ USD vào tháng 9, đã xây dựng toàn bộ chiến lược của mình xoay quanh kỷ nguyên suy luận. Lựa chọn thiết kế trọng tâm của công ty: bỏ qua bộ nhớ băng thông cao (HBM), loại bộ nhớ khan hiếm và đắt tiền vốn hỗ trợ hầu hết các bộ tăng tốc AI và thay vào đó xây dựng các thiết bị suy luận xung quanh bộ nhớ hàng hóa.
McCaskill nói: “Hầu hết mọi người khác trong ngành đều đang sử dụng cái gọi là HBM hoặc bộ nhớ băng thông cao. Nguồn cung rất hạn chế và rất đắt tiền”. "Chúng tôi đã đi với bộ nhớ hàng hóa."
Sự đánh đổi là có chủ ý. Bộ nhớ hàng hóa rẻ hơn và dễ tìm nguồn hơn nhiều, đồng thời kiến trúc của Positron giữ mức điện năng đủ thấp cho các phòng được làm mát bằng không khí — không cần làm mát bằng chất lỏng ngoại lai. Một máy chủ Positron duy nhất tiêu thụ khoảng 4.500 watt và toàn bộ giá chứa các máy chủ Titan sắp ra mắt của công ty chỉ tiêu thụ khoảng 40 kilowatt.
Lộ trình đang tiến triển nhanh chóng. Máy chủ Atlas thế hệ đầu tiên của Positron chạy trên một con chip có thể lập trình và công ty có kế hoạch sử dụng silicon của riêng mình cho máy chủ Titan vào đầu năm tới. Theo McCaskill, công ty đã triển khai các hoạt động marquee: Oracle sẽ đưa khoảng 340 máy chủ Atlas hoạt động trên đám mây của mình trong quý này, theo McCaskill, và một nhà cung cấp neocloud đã đăng ký sử dụng Atlas đồng thời cam kết với thế hệ Titan sắp tới.
Trung tâm dữ liệu mô-đun trở thành ngôi nhà tự nhiên cho suy luận
Có lẽ phần quan trọng nhất của cuộc phỏng vấn là nơi McCaskill nói rằng nhu cầu đến từ: không phải các cơ sở siêu quy mô mà là các cơ sở mô-đun nhỏ, nhanh,.
“Một trong những nhóm công ty mà chúng tôi đang thấy sự gia tăng hiện nay và đến với chúng tôi để lấy sản phẩm là các trung tâm dữ liệu mô-đun này, nơi họ có trung tâm dữ liệu mô-đun nửa megawatt hoặc 1 megawatt hoặc 2,5 megawatt và những trung tâm này có thể được triển khai rất nhanh chóng,” ông nói. “Mục tiêu của nhiều người tham gia suy luận này là tôi muốn chuyển từ đất đai và quyền lực sang các token có thể kiếm tiền trong vòng 90 đến 120 ngày.”
Khoảng thời gian đó - khoảng một phần tư từ khi động thổ đến khi có doanh thu - là không thể đối với một cơ sở đào tạo quy mô gigawatt, có thể mất nhiều năm để cấp phép, xây dựng và cung cấp năng lượng. Khối lượng công việc suy luận nhỏ hơn, linh hoạt hơn về mặt địa lý và phù hợp với các địa điểm nơi người vận hành có thể tìm thấy một vài megawatt điện giá rẻ mà không gặp phải rào cản pháp lý nặng nề. Kết quả là một tầng cơ sở hạ tầng suy luận phân tán mới nổi nằm trong các cơ sở viễn thông, cơ sở colocation và các đơn vị mô-đun gần với nơi có nhu cầu thực sự hơn.
Ý nghĩa của nó đối với ngành
Đối với các nhà cung cấp chip, thông điệp đưa ra là thị trường phần cứng AI đang phân nhánh. Việc đào tạo tiếp tục trao thưởng cho những người tăng tốc tiên tiến nhất và những túi tiền sâu nhất. Suy luận mang lại những ưu điểm khác nhau: hiệu quả sử dụng năng lượng, chi phí bộ nhớ, tốc độ triển khai và khả năng chạy trong các tòa nhà làm mát bằng không khí thông thường. Các nhà cung cấp chỉ được tối ưu hóa cho cuộc đua đào tạo có thể nhận thấy khối lượng lớn các quyết định triển khai trong tương lai — nơi mã thông báo thực sự được kiếm tiền — diễn ra trên phần cứng được thiết kế cho một loạt ràng buộc khác.
Đối với các doanh nghiệp và khách hàng trên nền tảng đám mây, sự thay đổi hầu như vô hình nhưng ngày càng có hậu quả: khả năng suy luận đạt mức tăng dần từ 90 đến 120 ngày đồng nghĩa với việc giá cả cạnh tranh hơn và nhiều tùy chọn địa lý hơn để chạy các mô hình gần người dùng và dữ liệu.
Và đối với câu chuyện xây dựng của ngành AI - thường được coi là một cuộc chạy đua bất tận để giành lấy các cơ sở gigawatt - việc suy luận lật ngược là một lời nhắc nhở rằng đường cầu đang mở rộng chứ không chỉ mở rộng quy mô. Cột mốc 2/3 được trích dẫn tại SC26 là ước tính của một giám đốc điều hành, nhưng nó phù hợp với định hướng mà mọi nhà khai thác đám mây lớn đã báo cáo: trọng tâm của quá trình xây dựng AI đang chuyển từ đào tạo các mô hình sang phục vụ chúng.
Đi trước AITheo dõi những phát triển AI mới nhất khi chúng diễn ra với AI Buzz Wire, nguồn tin tức về cơ sở hạ tầng và phần cứng AI của bạn.
Đọc thêm tin tức về AI →