Google은 긴 컨텍스트 에이전트 워크로드를 위해 단일 패키지에 두 개의 추론 칩을 결합한 TPU 8i Max와 규제 대상 기업 및 정부를 대상으로 하는 기밀 하드웨어 격리 추론을 위해 구축된 TPU 8tx라는 두 가지 새로운 전문 시스템으로 8세대 TPU 라인업을 확장했습니다. Tom's Hardware는 목요일에 추가 사항을 보고했습니다.

이번 움직임은 대규모 AI 교육을 위해 설계된 TPU 8t와 샘플링, 서빙, 추론과 같은 범용 추론 작업을 위해 구축된 TPU 8i로 Google이 4월에 시작한 제품군을 마무리합니다. 새로운 변형을 통해 8세대 라인업에는 이제 교육, 표준 추론, 보안 추론 및 최대 대역폭 에이전트 추론이 포함됩니다. 이러한 옵션 매트릭스는 현재 기업이 AI 하드웨어를 사용하는 방식을 반영하는 옵션 매트릭스입니다. 이 칩 뉴스는 AI 하드웨어 시장 전반에 걸친 최신 AI 개발 보도의 일부입니다.

새로운 칩의 기능

TPU 8i Max는 2개의 8i 칩을 하나의 패키지에 탑재하여 원래 8i의 컴퓨팅, SRAM 및 고대역폭 메모리 대역폭을 두 배로 늘립니다. 이 디자인은 AI 에이전트가 다단계 작업 전반에 걸쳐 매우 큰 작업 컨텍스트를 전달하는 시나리오인 긴 컨텍스트 에이전트 작업을 목표로 합니다.

Tom's Hardware는 Google이 메모리 벽이라고 부르는 것을 해결하는 방법으로 대역폭을 두 배로 늘렸습니다. 즉, "수십 명의 AI 에이전트가 전체 소프트웨어 코드베이스에서 함께 작업할 때" 대역폭 병목 현상이 심각해집니다. 약 100만 개의 토큰을 목표로 하는 더 큰 모델과 더 큰 컨텍스트 창은 부분적으로 SRAM에 보관되는 더 큰 KV 캐시를 의미하며 생성된 각 새 토큰은 메모리에서 해당 캐시를 다시 읽어야 합니다. 단일 패키지에서 HBM 대역폭을 두 배로 늘리면 병목 현상이 정확하게 발생하며, 출판물에서는 이것이 디코딩을 위한 두 번째 칩 유형과 상황에 맞는 스토리지 계층을 결합하는 Nvidia의 접근 방식과는 다른 경로라고 언급했습니다.

한편 TPU 8tx는 이전에 발표된 훈련 지향 8t와 동일한 실리콘을 기반으로 구축되었지만 기밀 컴퓨팅용으로 구성되었습니다. 즉, 처리 중에 데이터와 모델이 보호된다는 증거가 필요한 규제 대상 기업과 정부를 위한 하드웨어 격리 추론입니다. 이 시스템은 8t 및 8i에서 사용되는 Arm 기반 Axion 호스트 CPU를 5세대 AMD EPYC 프로세서로 교체하고 Google의 Boardfly 네트워킹을 채택합니다.

특히 Google은 아직 새 시스템에 대한 자세한 사양, 가격 또는 배송 날짜를 공유하지 않았으므로 구매자는 현재 주문 가능한 제품이 아닌 렌더링 및 포지셔닝을 갖고 있습니다.

Google이 발표와 함께 발표한 렌더링에는 4개의 칩을 탑재한 TPU 8tx 보드와 각각 단일 패키지에 2개의 칩을 탑재한 4개의 TPU 8i Max 보드가 나와 있습니다. 이는 8세대 제품군이 이전 세대의 모든 칩에 적용되는 가속기 모델에서 얼마나 멀리 떨어져 있는지를 물리적으로 보여줍니다.

TPU 동기화: 에이전트 메모리용 소프트웨어 계층

실리콘과 함께 Google은 에이전트 메모리 문제를 해결하기 위해 소프트웨어에 의존하고 있습니다. TPU Sync는 대규모 KV 캐시를 밀리초 단위로 칩에서 자동으로 계층화하여 호스트 DRAM으로 이동하고 실험적으로는 공유 스토리지로 이동시키는 오픈 소스 "TPU 클러스터용 모델 상태 레이어"입니다.

Google에 따르면 이를 통해 KV 캐시 전송 대기 시간을 90% 이상 줄일 수 있으며 그에 따라 첫 번째 토큰 획득 시간(AI 시스템이 응답하기 전에 사용자가 경험하는 지연)도 향상됩니다. 단일 세션에 각각 동일한 누적 컨텍스트에 액세스해야 하는 수십 개의 순차 모델 호출이 포함될 수 있는 에이전트 워크로드의 경우 캐시 관리가 원시 컴퓨팅만큼 중요해지고 있습니다.

AI 하드웨어 시장에서 이것이 중요한 이유

TPU는 Google의 빠르게 성장하는 비즈니스가 되었습니다. Google은 거의 100명의 칩 고객을 보유하고 있습니다. 여기에는 데이터 센터에 Google TPU를 채택한 Meta가 Nvidia 영역에 대한 가장 중요한 경쟁적 침입 중 하나였습니다. Google이 8세대 제품군에 대해 취하고 있는 보다 모듈화된 접근 방식을 통해 "몇 년이 아닌 몇 달 만에" 특수 시스템을 제공할 수 있어 고객 성장에 도움이 된다고 회사는 말합니다.

발표 시점이 충격적이다. Google의 칩 확장은 같은 날 Nvidia가 CEO Jensen Huang이 사임하고 CFO Colette Kress가 임시 CEO로 임명되었다고 발표한 날에 이루어졌습니다. 이는 Google의 TPU가 깎이고 있는 시장을 GPU가 지배하고 있는 바로 그 회사의 엄청난 리더십 혼란입니다. 두 사건은 원인 면에서는 서로 관련이 없지만, 함께 보면 AI 인프라 시장이 얼마나 경쟁적이고 변동성이 심한지 강조합니다.

AI 인프라를 평가하는 기업의 경우, 추가 사항은 선택 범위가 넓어지고 있음을 의미합니다. 학습에 최적화된 실리콘, 일반 추론, 규제 데이터에 대한 보안 추론, 에이전트 플릿을 위한 최대 대역폭 패키지는 모든 경우에 적용되는 일률적인 가속기가 아닌 고유한 제품 범주가 되고 있습니다. Google이 가격 및 가용성 세부 정보를 게시할 때 구매자의 실질적인 질문은 8i Max의 두 배로 늘어난 대역폭이 표준 8i 배포에 비해 프리미엄을 정당화할 수 있을 만큼 에이전트 플릿의 처리량으로 해석되는지 여부입니다.

모듈성에는 공급측 논리도 있습니다. 차세대 설계가 전체 하드웨어 스택을 순환할 때까지 수년을 기다리지 않고 Google은 8t 실리콘을 다른 호스트 CPU가 있는 보안 추론 패키지로 이동한 것처럼 기존 실리콘을 재결합하여 틈새 세그먼트에 더 빠르게 도달하는 동시에 모든 변형에 걸쳐 공통 소프트웨어 스택을 유지할 수 있습니다. 이러한 속도는 고객 요구 사항이 분기별로 변화하는 시장에서 그 자체로 경쟁력 있는 무기입니다.

---

AI보다 앞서 나가세요

최신 AI 뉴스, 분석, 획기적인 소식을 모두 한 곳에서 받아보세요.

AI 뉴스 자세히 보기 →