Qualcomm은 최대 870TOPS의 INT8 성능과 288TFLOPS의 FP16 컴퓨팅을 제공하는 동시에 단 150와트의 전력만 소비하는 데이터 센터 추론 가속기인 Cloud AI 100 Ultra를 출시했습니다. 이는 현재 생성 AI 추론을 지배하는 GPU 전력 엔벨로프의 일부에 불과합니다.

Qualcomm의 공식 데이터 센터 제품 페이지에 나열되어 있고 출시 범위에 자세히 설명되어 있는 이 카드는 생성 AI 및 대규모 언어 모델 워크로드를 위해 특별히 설계되었습니다. 기업이 AI 에이전트, 부조종사 및 검색 증강 애플리케이션을 대규모로 배포함에 따라 수요가 급증하는 추론 시장에서 모바일 칩 거대 기업을 직접적인 도전자로 자리매김했습니다. AI 하드웨어 경쟁에 대한 자세한 내용은 AI 뉴스 보도를 참조하세요.

사양: SRAM이 먼저, DRAM이 두 번째

Cloud AI 100 Ultra의 중심에는 64개의 AI 코어와 576MB의 온다이 SRAM이 있습니다. Qualcomm은 모든 토큰을 외부 메모리로 내보내는 대신 모델 가중치와 활성화를 컴퓨팅 장치에 물리적으로 가깝게 유지하는 것이 메모리 대역폭에 따라 살고 죽는 변환기 기반 모델에 효과가 있다고 확신합니다.

이 카드는 여전히 더 큰 모델과 더 긴 컨텍스트를 위해 548GB/s의 대역폭을 갖춘 128GB의 LPDDR4x 메모리를 탑재하고 16레인의 PCIe Gen4를 통해 연결됩니다. 대형 온다이 SRAM과 적당한 150W 전력 소모라는 조합이 카드의 차별화 요소입니다. Nvidia의 데이터 센터 GPU의 범위는 일반적으로 300W~700W이며 추론이 토큰으로 청구될 때 모든 와트가 중요하며 데이터 센터 전력은 업계에서 가장 경쟁이 치열한 리소스입니다.

회사는 제품 자료에서 "Cloud AI 100 Ultra는 성능과 비용에 최적화된 AI 추론 솔루션"이라고 밝히며 컴퓨터 비전부터 자연어 처리에 이르는 워크로드 전반에 걸친 프로그래밍 가능성을 강조했습니다.

소프트웨어: OpenAI 호환 온램프

데이터 센터에서 하드웨어는 Qualcomm의 문제가 된 적이 없습니다. 소프트웨어가 있습니다. 이 회사는 챗봇, 부조종사 및 AI 에이전트 구축을 위해 OpenAI 호환 API를 노출하는 소프트웨어 계층인 AI Inference Suite를 통해 이 문제를 해결하고 있습니다.

이 제품군은 채팅, 이미지 생성, 다중 모달 모델 및 RAG(검색 증강 생성) 워크플로를 지원하고 Kubernetes 또는 베어메탈 컨테이너를 통해 배포합니다. Qualcomm은 또한 사용자 관리 및 관리 도구도 제공합니다. 이는 원시 가속기 제품에는 부족한 추가 기능이지만 기업 IT 팀이 작업 부하를 내부로 이동할 때 크게 고려하는 도구입니다.

OpenAI 호환 API 표면은 전략적으로 중요합니다. 이를 통해 개발자는 재작성이 아닌 구성 변경을 통해 Qualcomm 하드웨어의 기존 OpenAI 바인딩 파이프라인을 지정할 수 있으므로 전환 비용이 낮아져 이 시장의 기존 기능을 보호할 수 있습니다.

한 명의 확실한 리더가 있는 혼잡한 현장

퀄컴이 AI 하드웨어 사이클의 격전지가 된 추론 시장에 뛰어든다. Nvidia의 L40S와 H100이 지배적입니다. AMD의 MI300X와 Intel의 Gaudi 3는 동일한 작업 부하를 목표로 합니다. Groq 및 Cerebras의 특수 실리콘은 원시 추론 속도에 대한 틈새 시장을 개척했습니다.

수요 측에서는 쟁탈전을 설명합니다. AI 에이전트 및 RAG 파이프라인을 제공하면 단일 사용자 세션이 생성하는 모델 호출 수가 늘어나고, 이러한 모든 호출은 토큰당 가능한 최저 비용으로 해결해야 하는 추론 문제입니다. 하이퍼스케일러는 이를 처리하기 위해 플래그십 GPU 랙을 구입합니다. 그 아래 기업은 전기 계약을 재협상하지 않고도 표준 전원 회로의 표준 서버에 맞는 하드웨어를 찾고 있습니다.

Qualcomm은 최고 성능보다는 총 소유 비용을 강조합니다. 대규모 추론을 실행하는 기업의 경우 전력 소비는 운영 비용으로 직접적으로 유입되며 150W의 경쟁력 있는 처리량을 제공하는 카드는 무차별 GPU의 경제성을 약화시킵니다. 훈련은 Nvidia의 영역으로 남아 있습니다. Ultra는 이에 대해 어떠한 주장도 하지 않습니다. 그러나 추론은 업계의 단위 경제성이 실제로 결정되는 곳이며 온프레미스 클러스터이든 코로케이션 케이지이든 대부분의 기업이 스스로 실행하는 워크로드입니다.

소프트웨어 생태계는 여전히 힘든 싸움을 벌이고 있습니다. Nvidia의 CUDA 플랫폼은 여전히 ​​대부분의 AI 개발자에게 기본 선택이며, OpenAI 호환 API는 진입 장벽을 낮추지만 사용자 지정 추론 파이프라인에 필요한 재작업을 제거하지는 않습니다.

Qualcomm 라인업에 적합한 위치

Ultra는 Cloud AI 80 Ultra(동일한 576MB SRAM을 갖춘 INT8의 최대 618 TOPS), Cloud AI 100 Pro 및 75W 전력 엔벨로프를 갖춘 에지 및 소규모 배포를 목표로 하는 Cloud AI 100 Standard를 포함하는 Qualcomm 추론 라인업의 최상위에 있습니다.

이번 출시는 Qualcomm이 클라우드 규모 AI 워크로드를 위해 개발해 온 최신 세대의 Dragonfly 데이터 센터 로드맵을 나타냅니다. 이는 이제 Qualcomm이 비용, 대기 시간 또는 데이터 거버넌스 이유로 퍼블릭 클라우드가 아닌 온프레미스에서 생성 AI 추론을 실행하려는 기업에 대한 주장을 제시합니다.

내기, 한 문장으로

Qualcomm은 AI가 소수의 하이퍼스케일러에서 수천 개의 기업으로 이동함에 따라 가장 빠른 추론 카드가 아니라 가장 효율적인 추론 카드가 승리할 것이라고 장담하고 있습니다. Cloud AI 100 Ultra는 실리콘의 주장입니다. 개발자가 와트를 따르는지 여부는 아직 공개된 질문으로 남아 있습니다.

---

AI보다 앞서 나가세요

최신 AI 뉴스, 분석, 획기적인 소식을 모두 한 곳에서 받아보세요.

AI 뉴스 자세히 보기 →