Google, TPU 8tx 및 TPU 8i Max 출시로 4시스템 8세대 AI 칩 라인업 완성

Google의 새로운 TPU 8tx는 추론에 기밀 컴퓨팅을 제공하고, 8i Max는 대규모 컨텍스트 에이전트 워크로드를 위해 메모리 대역폭을 두 배로 늘립니다.

Google은 안전한 기밀 추론을 위한 TPU 8tx와 대규모 컨텍스트 창을 위한 TPU 8i Max라는 두 가지 새로운 시스템으로 8세대 TPU 포트폴리오를 확장했습니다. 이는 회사가 1년에 처음으로 4개의 TPU 시스템을 출시한 것입니다.

월요일에 게시된 블로그 게시물에서 Google은 두 가지 추가 기능이 10년 전 첫 번째 TPU가 출시되었을 때 거의 존재하지 않았던 워크로드 프로필, 즉 엄청난 컨텍스트 창을 추론하고 민감한 기업 데이터를 처리하는 자율 에이전트 함대를 위해 설계되었다고 밝혔습니다. "컴퓨팅이 인간 규모에서 에이전트 규모로 이동함에 따라 기업은 AI 모델의 대규모 컨텍스트 창을 통해 추론할 수 있는 가속기를 요구하고 있습니다."라고 회사는 썼습니다. "또한 규제가 엄격한 일부 고객은 고유한 워크로드에 대한 전문적인 암호화 기능을 요구하고 있습니다." 이 이야기에 대한 자세한 내용은 최신 AI 동향를 참조하세요.

에이전트 수명주기의 모든 단계를 위한 시스템

8세대는 대규모 학습을 위해 구축된 TPU 8t와 실시간 추론을 위해 구축된 TPU 8i로 4월 Google Cloud Next에서 시작되었습니다. Google은 이전 세대에 비해 8t의 학습 성능이 최대 2.7배 향상되었고 8i의 추론 가격 대비 성능이 80% 향상되었다고 밝혔습니다.

새로 도착한 두 사람은 나머지 영토를 분할했습니다. Google이 표현한 것처럼 네 가지 시스템은 고객에게 "에이전트 수명주기의 모든 단계에 맞게 특별히 제작된 가속기"를 제공합니다. 즉, 확장 훈련을 위한 TPU 8t, 짧은 지연 시간 추론을 위한 TPU 8i, 기밀 컴퓨팅을 위한 TPU 8tx, 대규모 컨텍스트 창 및 랙당 최고의 컴퓨팅 밀도를 위한 TPU 8i Max입니다.

TPU 8tx: 하드웨어에 내장된 보안

TPU 8tx는 안전하고 기밀인 추론에 최적화되어 있으며 Google 노트에 따르면 소규모 교육에도 적합합니다. 대상 고객은 명백합니다. 즉, 가장 민감한 데이터와 함께 개척 또는 독점 모델과 자율 에이전트를 운영하는 규제 대상 기업 및 정부입니다.

엔지니어링 접근 방식은 보안 컴퓨팅의 오랜 긴장을 해결합니다. 데이터는 일반적으로 저장되거나 전송될 때 암호화되지만, 컴퓨터가 데이터를 처리하는 동안(데이터가 가장 많이 노출되는 순간) 메모리 잠금을 해제해야 합니다. TPU 8t와 동일한 실리콘을 기반으로 구축되고 5세대 AMD EPYC CPU 호스트와 결합된 TPU 8tx는 하드웨어 계층에 직접 보안을 구축하여 활성 사용 중에도 중요한 데이터와 모델 가중치를 보호하고 격리합니다.

이 시스템은 Google이 실시간 추론을 위해 만든 것과 동일한 지연 시간이 짧은 "Boardfly" 네트워크를 사용합니다. 즉, 교육 수준의 컴퓨팅과 빠른 추론을 동시에 처리할 수 있습니다. Google은 이를 통해 조직이 개인 데이터로 모델을 미세 조정하고, 큰 모델을 더 작은 모델로 정제하고, 별도의 클러스터 간에 민감한 데이터를 마이그레이션하지 않고도 단일 시스템에서 강화 학습을 통해 에이전트를 교육할 수 있다고 말합니다.

TPU 8i Max: 메모리 벽 공격

TPU 8i Max는 완전히 다른 제약을 해결합니다. 구글은 "수십 명의 AI 에이전트가 전체 소프트웨어 코드베이스 또는 몇 시간 분량의 비디오에서 동시에 함께 작업할 때 메모리 대역폭이 빠르게 병목 현상을 일으킨다"고 썼습니다. 회사의 대답은 아키텍처입니다. 즉, 지연 시간이 짧은 TPU 8i 칩 2개가 단일 패키지에 결합된 것입니다.

그 결과 TPU 8i의 두 배의 컴퓨팅, 두 배의 SRAM, 두 배의 HBM 대역폭을 제공하는 동시에 컴퓨팅과 메모리를 확장하는 시스템이 탄생했습니다. 그리고 TPU 8i Max는 기존 랙 설치 공간 내에서 두 배의 실리콘을 수용하기 때문에 Google은 데이터 센터가 평방 피트당 및 와트당 훨씬 더 많은 컴퓨팅 성능을 배포할 수 있다고 말합니다. 이는 전력과 바닥 공간이 AI 용량 확장에 대한 구속력이 있는 제약 조건일 때 의미 있는 고려 사항입니다.

칩이 아닌 시스템이 필요한 이유

월요일 발표에서 중요한 뉘앙스는 Google이 이를 새로운 칩이 아닌 새로운 시스템으로 구성하고 있다는 것입니다. 칩 설계는 물리학과 제조 일정에 따라 수십억 개의 트랜지스터를 배치하는 다년간의 과정이라고 회사는 설명합니다. 시스템(컴퓨팅, 네트워킹, 스토리지, 패키징이 칩 주위에 배열되는 방식)을 훨씬 빠르게 조정할 수 있습니다.

이러한 모듈성은 Google의 AI 하이퍼컴퓨터 전략의 핵심이며, 4개의 특수 시스템이 단일 세대 내에 출시될 수 있도록 했습니다. Google은 또한 자체 AI 인프라가 이제 하드웨어 구축에 얼마나 많이 사용되는지 강조했습니다. 회사는 DeepMind의 AlphaChip 강화 학습 시스템을 사용하며 Gemini는 이제 "몇 주가 아닌 몇 시간 만에" 칩 레이아웃을 제공하는 데 도움을 준다고 말합니다. Google은 이를 '진정한 공동 디자인'이자 고유한 차별화 요소라고 부릅니다.

경쟁 상황

AI 가속기 경쟁이 심화되는 가운데 확장이 이루어졌습니다. TPU 배포는 Google 외부의 모델을 제공하는 역할로 주목을 받았습니다. 이제 TPU는 Gemini 모델, 에이전트 워크로드, Google Cloud 고객 서비스에 대한 교육 및 서비스를 제공하고 가장 최근에는 TPU를 고객의 데이터 센터에 직접 배포하는 기능을 지원합니다. Google은 TPU를 '빠르게 성장하는 비즈니스'라고 설명합니다.

TechPowerUp 및 Electronics Weekly의 기사를 포함한 이번 발표 내용은 명시적으로 경쟁적인 조건으로 이러한 움직임을 구성했습니다. Google은 NVIDIA 하드웨어에서 실행될 수 있는 AI 워크로드를 수용하면서 맞춤형 실리콘 라인업을 확장했습니다. NVIDIA는 자체 랙 규모 시스템을 계속해서 여러 세대에 걸쳐 출시해 왔으며 AI 인프라 구매자에게 상용 실리콘과 맞춤형 실리콘 중에서 점점 더 신뢰할 수 있는 선택권을 제공하고 있습니다.

개발자에게 미치는 영향

개발자에게 실질적인 중요성은 단일 벤치마크보다는 적합성에 더 가깝습니다. 긴 문서, 대규모 코드베이스 또는 확장된 비디오 컨텍스트를 처리하는 에이전트 제품을 구축하는 팀은 원시 FLOPS가 해결하지 못하는 메모리 대역폭 한계에 도달했습니다. 이는 8i Max가 구축한 문제입니다. 처리 중에 데이터를 해독해야 했기 때문에 민감한 워크로드를 공유 인프라로 이동할 수 없었던 금융, 의료 및 정부 팀은 이제 8tx에서 하드웨어 지원 옵션을 갖게 되었습니다.

Google은 하드웨어 뉴스와 소프트웨어 접근성 메시지를 결합하여 최근 PyTorch 발표와 TPU를 "범용 하드웨어만큼 사용하기 쉽게" 만들겠다는 목표를 밝혔습니다. 회사는 월요일에 새로운 시스템을 자세히 설명하는 방송을 주최했으며 고객은 Google Cloud 웹사이트에서 전체 인프라 라인업을 탐색할 수 있다고 말했습니다.