Qualcomm đã ra mắt Cloud AI 100 Ultra, một công cụ tăng tốc suy luận trung tâm dữ liệu mang lại hiệu suất lên tới 870 TOPS của INT8 và 288 TFLOPS của FP16 trong khi chỉ tiêu thụ 150 watt — một phần công suất của các GPU hiện đang thống trị suy luận AI tổng quát.
Thẻ, được liệt kê trên trang sản phẩm trung tâm dữ liệu chính thức của Qualcomm và được trình bày chi tiết trong phạm vi ra mắt, được thiết kế dành riêng cho khối lượng công việc mô hình ngôn ngữ lớn và AI tổng hợp. Nó định vị gã khổng lồ chip di động như một thách thức trực tiếp trong thị trường suy luận, nơi nhu cầu đang tăng cao khi các doanh nghiệp triển khai các tác nhân AI, phi công phụ và các ứng dụng tăng cường truy xuất trên quy mô lớn. Để biết thêm bối cảnh về cuộc đua phần cứng AI, hãy xem tin tức về AI của chúng tôi.
Thông số kỹ thuật: SRAM thứ nhất, DRAM thứ hai
Trọng tâm của Cloud AI 100 Ultra là 64 lõi AI và 576 MB SRAM khi chết. Qualcomm đặt cược rằng việc giữ trọng lượng mô hình và kích hoạt gần về mặt vật lý với các đơn vị tính toán — thay vì chuyển mọi mã thông báo ra bộ nhớ ngoài — sẽ mang lại lợi ích cho các mô hình dựa trên máy biến áp, hoạt động và không hoạt động dựa trên băng thông bộ nhớ.
Thẻ vẫn mang bộ nhớ LPDDR4x 128 GB với băng thông 548 GB/s cho các model lớn hơn và bối cảnh dài hơn, được kết nối qua PCIe Gen4 với 16 làn. Sự kết hợp đó - SRAM lớn trên khuôn cộng với mức tiêu thụ điện năng khiêm tốn 150W - là điểm khác biệt của thẻ. GPU trung tâm dữ liệu của Nvidia thường có công suất từ 300W đến 700W và mỗi watt đều quan trọng khi hoạt động suy luận được tính bằng mã thông báo và sức mạnh của trung tâm dữ liệu là nguồn tài nguyên gây tranh cãi nhất trong ngành.
“Cloud AI 100 Ultra là giải pháp suy luận AI được tối ưu hóa về hiệu suất và chi phí”, công ty cho biết trong tài liệu sản phẩm của mình, nhấn mạnh khả năng lập trình trên các khối lượng công việc khác nhau, từ thị giác máy tính đến xử lý ngôn ngữ tự nhiên.
Phần mềm: On-Ramp tương thích với OpenAI
Phần cứng chưa bao giờ là vấn đề của Qualcomm trong trung tâm dữ liệu; phần mềm có. Công ty đang giải quyết vấn đề đó bằng AI Inference Suite, một lớp phần mềm hiển thị các API tương thích với OpenAI để xây dựng chatbot, phi công phụ và tác nhân AI.
Bộ phần mềm này hỗ trợ trò chuyện, tạo hình ảnh, mô hình đa phương thức và quy trình công việc tạo tăng cường truy xuất (RAG), đồng thời triển khai thông qua Kubernetes hoặc các thùng chứa kim loại trần. Qualcomm cũng cung cấp các công cụ quản lý và quản lý người dùng – một sự bổ sung không mấy hấp dẫn mà các dịch vụ tăng tốc thô thường thiếu, nhưng lại là một công cụ khiến các nhóm CNTT của doanh nghiệp cân nhắc rất nhiều khi họ di chuyển khối lượng công việc nội bộ.
Bề mặt API tương thích với OpenAI có ý nghĩa chiến lược: nó cho phép các nhà phát triển hướng các quy trình liên quan đến OpenAI hiện có vào phần cứng Qualcomm bằng một thay đổi về cấu hình thay vì viết lại, giảm chi phí chuyển đổi đã bảo vệ vị trí hiện tại trên thị trường này.
Cánh đồng đông đúc với một người lãnh đạo rõ ràng
Qualcomm tham gia vào thị trường suy luận đã trở thành chiến trường của chu trình phần cứng AI. L40S và H100 của Nvidia chiếm ưu thế; MI300X của AMD và Gaudi 3 của Intel nhắm đến cùng một khối lượng công việc; và silicon chuyên dụng từ Groq và Cerebras đã tạo ra những điểm nhấn về tốc độ suy luận thô.
Bên cầu giải thích sự tranh giành. Việc phục vụ các tác nhân AI và đường dẫn RAG sẽ nhân số lượng lệnh gọi mô hình mà một phiên người dùng tạo ra và mỗi lệnh gọi đó là một vấn đề suy luận cần được giải quyết với chi phí thấp nhất có thể cho mỗi mã thông báo. Hyperscalers mua các GPU hàng đầu để xử lý nó; các doanh nghiệp cấp dưới đang tìm kiếm phần cứng phù hợp với một máy chủ tiêu chuẩn, trên một mạch điện tiêu chuẩn mà không cần đàm phán lại hợp đồng điện của họ.
Mục tiêu của Qualcomm là tổng chi phí sở hữu hơn là hiệu suất cao nhất. Đối với các doanh nghiệp chạy suy luận trên quy mô lớn, mức tiêu thụ điện năng sẽ trực tiếp tính vào chi phí vận hành và thẻ cung cấp thông lượng cạnh tranh ở mức 150W sẽ làm giảm tính kinh tế của các GPU mạnh mẽ. Đào tạo vẫn là lĩnh vực của Nvidia — Ultra không đưa ra yêu cầu nào về nó — nhưng suy luận là nơi mà tính kinh tế đơn vị của ngành thực sự được quyết định và đó là khối lượng công việc mà hầu hết các doanh nghiệp sẽ tự thực hiện, cho dù trong cụm tại chỗ hay lồng colocation.
Hệ sinh thái phần mềm vẫn là cuộc chiến khó khăn. Nền tảng CUDA của Nvidia vẫn là lựa chọn mặc định cho hầu hết các nhà phát triển AI và mặc dù các API tương thích với OpenAI hạ thấp rào cản gia nhập nhưng chúng không loại bỏ việc làm lại cần thiết cho các quy trình suy luận tùy chỉnh.
Vị trí phù hợp trong dòng sản phẩm của Qualcomm
Ultra nằm ở vị trí hàng đầu trong dòng sản phẩm suy luận của Qualcomm, bao gồm Cloud AI 80 Ultra (lên tới 618 TOPS của INT8 với cùng 576 MB SRAM), Cloud AI 100 Pro và Cloud AI 100 Standard, nhắm đến việc triển khai ở biên và quy mô nhỏ hơn với mức công suất 75W.
Sự ra mắt này thể hiện lộ trình trung tâm dữ liệu Dragonfly thế hệ hiện tại của Qualcomm mà công ty đang phát triển cho khối lượng công việc AI trên quy mô đám mây - và hiện mang đến cho Qualcomm một lập luận cho các doanh nghiệp muốn chạy suy luận AI tổng quát tại chỗ thay vì trên đám mây công cộng, cho dù vì lý do chi phí, độ trễ hay quản trị dữ liệu.
Vụ cá cược chỉ trong một câu
Qualcomm đang đặt cược rằng khi AI chuyển từ một số ít công ty siêu quy mô sang hàng nghìn doanh nghiệp, thẻ suy luận chiến thắng không phải là thẻ nhanh nhất mà là thẻ hiệu quả nhất. Cloud AI 100 Ultra là lý lẽ đó bằng silicon; liệu các nhà phát triển có tuân theo watt hay không vẫn là câu hỏi mở.
---
Đi trước AINhận tin tức, phân tích và đột phá mới nhất về AI — tất cả ở cùng một nơi.
Đọc thêm tin tức về AI →
