AMD는 96코어 Threadripper Pro CPU와 듀얼 수냉식 Instinct MI350P 가속기를 결합한 최고 수준의 AI 워크스테이션인 Threadripper Halo Station을 공개했습니다. 이 조합은 회사가 1조 매개변수 AI 모델을 로컬에서 실행할 수 있는 세계에서 가장 강력한 워크스테이션이라고 광고하는 조합입니다. 이 기계는 IFA에서 선보였지만 AMD는 아직 가격, 출시 날짜 또는 OEM 파트너를 발표하지 않았습니다.

워크스테이션급 AI 하드웨어가 빠르게 뜨거워지면서 이 발표가 나왔습니다. 이 이야기와 경쟁사의 움직임에 대한 자세한 내용은 진행 중인 AI 하드웨어 뉴스 보도를 참조하세요.

사양: 96개의 Zen 5 코어 및 288GB의 HBM3E

Threadripper Halo 스테이션의 중심에는 최대 5.4GHz의 속도를 높이는 96코어, 192스레드 Zen 5 칩인 Threadripper Pro 9995WX가 있습니다. 384MB의 L3 캐시와 350W TDP가 함께 제공됩니다. 칩 자체는 사소한 품목이 아닙니다. 독립형 Threadripper Pro 9995WX 장치의 소매 가격은 대략 11,000~12,000달러입니다.

가속은 수냉식 AMD Instinct MI350P 가속기 한 쌍에서 비롯됩니다. 각 카드에는 TSMC의 N3 프로세스와 144GB HBM3E 메모리를 기반으로 구축된 128개의 CDNA 4 컴퓨팅 유닛이 탑재되어 시스템에 288GB의 고대역폭 메모리를 즉시 제공합니다. 각 가속기의 정격 전력 소모량은 최대 600W입니다.

AMD는 "4개 경로"가 있다고 말합니다. 이는 플랫폼이 결국 두 개의 가속기를 더 지원하여 총 GPU 메모리를 576GB로 늘릴 수 있음을 의미합니다. 그러나 IFA에서 시연된 장치에는 Threadripper 호스트 옆에 두 개의 수냉식 카드를 위한 물리적 공간만 있었습니다.

시스템 메모리는 CPU의 8채널 메모리 컨트롤러에서 지원되는 최대 용량인 2TB의 DDR5로 구성됩니다. 이는 그 자체로 놀라운 수치입니다. 현재 시장 가격으로 2TB DDR5의 가격은 약 50,000달러입니다.

비용: 숫자 6자리 숫자로 생각해 보세요

AMD는 가격을 정하지 않았지만 구성 요소 수학이 그 이유를 말해줍니다. 구성을 조사한 Tom's Hardware에 따르면 CPU, 메모리, 듀얼 GPU 등 핵심 구성 요소를 모두 합치면 시중 가격은 스토리지, 전력 및 냉각을 고려하기 전에 100,000달러를 초과해야 합니다. 더 높게 구성하면 콘센트는 워크스테이션이 "매우 쉽게 150,000달러 이상 오를 수 있다"고 추정합니다.

기계 자체는 기본적으로 타워 인클로저로 재구성된 서버 트레이로 설명됩니다. AMD는 사양 이상의 광범위한 세부 정보를 공유하지 않았으며 회사는 이 디자인이 OEM 파트너가 궁극적으로 제작하고 출시할 디자인이라고 밝혔습니다. 아직 파트너가 발표되지 않았으며 AMD는 MI350P 기반 워크스테이션 구성을 직접 판매할 계획이 없는 것으로 보입니다.

AMD의 주장: 책상 위의 수조 매개변수 모델

AMD의 헤드라인 주장은 Threadripper Halo Station이 1000조 매개변수 모델을 실행할 수 있다는 것입니다. 이것이 바로 거대한 통합 메모리 스토리의 기능입니다. 두 개의 가속기에 걸쳐 288GB의 HBM3E(4개의 GPU 구성에서 잠재적으로 576GB)를 사용하면 일반적으로 데이터 센터 서버가 필요한 모델을 이론적으로 로드하고 로컬에서 실행할 수 있습니다.

이 주장은 하드웨어 매니아들로부터 즉각적인 조사를 받았습니다. 1조 개의 매개변수가 있는 대규모 언어 모델은 일반적으로 사용 가능한 메모리에 맞추기 위해 양자화가 필요하며, 400~500GB/s 대역폭의 시스템 RAM은 GPU 메모리보다 훨씬 느리기 때문에 PCIe 전송 속도는 CPU와 가속기 간에 데이터를 섞는 작업 부하에 잠재적인 병목 현상이 됩니다. 실제로 모델은 추론 중에 GPU 메모리에 상주할 가능성이 높으며 CPU와 2TB의 DDR5는 모델 관련 개발 작업을 지원합니다.

Nvidia 및 Lenovo와의 비교

Threadripper Halo Station은 틈새 시장이지만 빠르게 성장하고 있는 데스크사이드 AI 슈퍼컴퓨터 시장에 진입했습니다. Nvidia의 GB300 기반 DGX Station 데스크탑 타워가 온라인에 거의 $100,000에 상장되었습니다. 접근 가능한 측면에서 AMD 자체는 최근 3,999달러짜리 Ryzen AI Halo를 Nvidia의 DGX Spark(1조 매개변수 워크로드가 아닌 개발자를 겨냥한 시스템)의 도전자로 선정했습니다.

이 클래스에는 훨씬 더 높은 가격표가 붙은 선례가 있습니다. Threadripper Pro CPU를 호스트로 사용하는 Lenovo ThinkStation P8은 최대 2TB의 DDR5 및 듀얼 Blackwell 가속기를 사용하여 현재 334,463달러에 판매됩니다. 이러한 배경에서 6자릿수 Halo Station은 특이점이 되지 않습니다.

중요한 이유

Halo Station은 고급 워크스테이션을 Nvidia의 DGX 라인에 양도하는 대신 3,999달러 데스크톱부터 데이터 센터 GPU까지 AI 컴퓨팅 스택의 모든 계층에 경쟁하려는 AMD의 의도를 나타냅니다. 엄격한 데이터 주권 요구 사항이 있는 연구실, 기업, 방화벽 뒤의 최전선 규모 모델이 필요한 연구원의 경우 288GB HBM3E를 갖춘 수냉식 96코어 데스크사이드 시스템이 클라우드 임대에 대한 강력한 대안이 될 수 있습니다.

공개 질문은 AMD가 답변하지 않은 질문입니다: 최종 가격, 출시 날짜, 실제로 이를 구축할 OEM. 이 기계가 파트너 없이 IFA에서 데뷔했다는 점을 감안할 때 이러한 세부 사항은 앞으로 몇 달 내에 공개될 것으로 예상됩니다. 이미 분명한 것은 "워크스테이션"과 "데이터 센터" 사이의 경계가 계속 움직이고 있으며 AMD는 이를 더욱 확대할 계획이라는 것입니다.

---

AI보다 앞서 나가세요

최신 AI 뉴스, 분석, 획기적인 소식을 모두 한 곳에서 받아보세요.

AI 뉴스 자세히 보기 →