AI 인프라의 경제성이 뒤집어졌습니다. SC26 슈퍼컴퓨팅 컨퍼런스에서 CUBE Research와의 인터뷰에서 이 수치를 공유한 Positron AI 임원 Cameron McCaskill에 따르면 오늘날 AI 인프라를 통해 실행되는 워크로드의 약 3분의 2는 훈련이 아닌 추론입니다. 3년 전, 분할은 거의 정반대였습니다. 약 85%의 훈련과 15%의 추론이었습니다.

이러한 반전은 AI 컴퓨팅이 존재하는 곳의 지도를 조용히 다시 그리고 있으며, 이는 차세대 추론 우선 칩 제조업체가 갑자기 자신보다 훨씬 큰 회사로부터 클라우드 거래를 성사시키는 이유를 설명합니다.

플립 뒤에 숨겨진 숫자

Positron의 영업 및 비즈니스 개발 책임자인 McCaskill은 CUBE Research의 Rebecca Knight 및 John Furrier와의 인터뷰에서 "이러한 AI 인프라를 통해 실행되는 워크로드의 약 2/3가 추론이고 1/3은 교육인 시점에 있습니다."라고 말했습니다. "2023년에는 훈련이 85%, 추론이 15%였습니다. 이제 추론이 인프라 구축 방법에 대한 경제적 결정을 주도하는 이유를 알 수 있습니다."

변화는 직관적으로 이해됩니다. 교육은 수십억 달러 규모의 클러스터가 있는 소수의 첨단 연구실에서 이루어집니다. 추론은 사용자가 모델을 요청할 때마다 어디에서나 발생합니다. 소비자와 기업의 채택이 폭발적으로 증가함에 따라 토큰에 대한 총 수요가 교육 시대를 위해 구축된 인프라를 압도했습니다. 이제 전원, 냉각 및 메모리 공급이 원시 칩 성능만큼 토큰이 생성되는 위치를 결정하고 이에 따라 어떤 하드웨어가 거래를 성사시킬지 변경됩니다.

상용 메모리에 대한 Positron의 베팅

지난 9월 기업가치 50억 달러로 8억7500만 달러를 투자한 포지트론 AI는 추론 시대를 중심으로 전체 전략을 구축했다. 회사의 핵심 설계 선택은 대부분의 AI 가속기를 고정하는 희소하고 값비싼 메모리 유형인 고대역폭 메모리(HBM)를 건너뛰고 대신 상용 메모리를 중심으로 추론 어플라이언스를 구축하는 것입니다.

McCaskill은 "업계의 거의 모든 사람들이 소위 HBM 또는 고대역폭 메모리를 사용하고 있습니다. 공급이 매우 제한되어 있고 매우 비쌉니다"라고 말했습니다. "우리는 상품 메모리를 사용했습니다."

절충안은 의도적입니다. 상용 메모리는 더 저렴하고 조달하기가 훨씬 쉬우며 Positron의 아키텍처는 공랭식 공간에 맞게 전력을 낮게 유지하므로 이국적인 액체 냉각이 필요하지 않습니다. 단일 Positron 서버는 약 4,500와트를 소비하며 회사에서 곧 출시될 Titan 서버의 전체 랙은 40킬로와트 내에 맞습니다.

로드맵은 빠르게 진행되고 있습니다. Positron의 1세대 Atlas 서버는 프로그래밍 가능한 칩에서 실행되었으며 회사는 내년 초 Titan 서버용으로 자체 실리콘을 테이프로 테이프에 테이프로 붙일 계획입니다. 회사는 이미 대규모 배포를 시작했습니다. McCaskill에 따르면 Oracle은 이번 분기에 약 340개의 Atlas 서버를 자사 클라우드에 라이브로 도입할 예정이며, 네오클라우드 제공업체는 다가오는 Titan 세대에 전념하면서 Atlas에 서명했습니다.

모듈형 데이터 센터는 추론을 위한 자연스러운 본거지가 됩니다

아마도 인터뷰에서 가장 중요한 부분은 McCaskill이 수요가 하이퍼스케일 캠퍼스가 아니라 작고 빠른 모듈식 시설에서 나온다고 말한 부분일 것입니다.

"현재 우리가 성장하고 있는 것을 보고 제품을 위해 우리에게 오는 기업 그룹 중 하나는 모듈형 데이터 센터입니다. 이 모듈형 데이터 센터는 0.5메가와트, 1메가와트 또는 2.5메가와트 모듈형 데이터 센터를 갖추고 있으며 매우 빠르게 배포할 수 있습니다."라고 그는 말했습니다. "많은 추론 플레이어의 목표는 90일에서 120일 이내에 토지와 권력에서 수익 창출 가능한 토큰을 얻는 것입니다."

착공부터 수익까지 약 1/4에 해당하는 해당 일정은 허가, 구축 및 활성화에 수년이 걸릴 수 있는 기가와트 규모의 교육 캠퍼스에서는 불가능합니다. 추론 워크로드는 더 작고, 지리적으로 더 유연하며, 운영자가 무거운 규제 장애물 없이 몇 메가와트의 저렴한 전력을 찾을 수 있는 사이트에 허용됩니다. 그 결과 실제로 수요가 있는 곳에 더 가까운 통신사 사이트, 코로케이션 시설 및 모듈식 장치에 분산 추론 인프라의 새로운 계층이 탄생했습니다.

업계에 미치는 영향

칩 벤더들에게 메시지는 AI 하드웨어 시장이 두 갈래로 갈라지고 있다는 것입니다. 훈련은 계속해서 가장 발전된 액셀러레이터와 가장 깊은 주머니에 대한 보상을 제공합니다. 추론은 전력 효율성, 메모리 비용, 배포 속도, 일반 공냉식 건물에서의 실행 능력 등 다양한 장점을 보상합니다. 훈련 경주에만 최적화된 공급업체는 다양한 제약 조건에 맞게 설계된 하드웨어에서 발생하는 토큰이 실제로 수익을 창출하는 미래 배포 결정의 가장 큰 규모를 발견할 수 있습니다.

기업과 클라우드 고객의 경우 변화는 대부분 눈에 띄지 않지만 점점 더 중요해지고 있습니다. 90~120일 단위로 제공되는 추론 용량은 사용자와 데이터 근처에서 모델을 실행하기 위한 더 경쟁력 있는 가격과 더 많은 지리적 옵션을 의미합니다.

그리고 AI 산업의 확장 내러티브(종종 기가와트 캠퍼스를 향한 끝없는 경쟁으로 구성됨)의 경우 추론 반전은 수요 곡선이 단순히 확장하는 것이 아니라 넓어지고 있음을 상기시켜 줍니다. SC26에서 인용된 2/3 이정표는 한 임원의 추정이지만 모든 주요 클라우드 운영자가 보고한 방향과 일치합니다. 즉, AI 구축의 무게 중심이 모델 교육에서 서비스 제공으로 이동하고 있습니다.

AI보다 앞서 나가세요

AI 하드웨어 및 인프라 뉴스 소스인 AI Buzz Wire를 통해 최신 AI 개발을 추적하세요.

AI 뉴스 자세히 보기 →