MLCommons는 2026년 9월 16일 MLPerf Inference v6.1 벤치마크 결과를 발표했는데, 헤드라인은 NVIDIA의 차세대 플랫폼에 속했습니다. NVIDIA의 발표에 따르면 최초의 미리보기 제출에서 Vera Rubin NVL72 시스템은 NVIDIA의 현재 GB300 NVL72 플래그십보다 최대 3.7배의 처리량을 제공했습니다. 이는 Blackwell Ultra의 후속 제품이 AI 추론 경제에 어떤 의미를 갖는지에 대한 초기 신호입니다.

Vera Rubin은 암흑 물질에 대한 주요 증거를 제공한 천체 물리학자의 이름을 딴 NVIDIA의 차세대 데이터 센터 플랫폼입니다. MLPerf 미리 보기 결과는 시스템에 대해 독립적으로 구성된 최초의 공개 성능 데이터입니다. 이 이야기에 대한 자세한 내용은 인공지능 뉴스를 참조하세요.

데뷔 비하인드

NVIDIA는 v6.1 제품군에서 가장 까다로운 두 가지 워크로드인 DeepSeek-R1 추론 모델과 Qwen3-VL 비전 언어 모델에 대한 Vera Rubin NVL72 미리 보기 결과를 제출했습니다.

Qwen3-VL에서 Vera Rubin NVL72는 NVIDIA의 Dynamo 오픈 소스 추론 프레임워크로 vLLM을 실행하여 오프라인, 서버 및 대화형 시나리오에서 GB300 NVL72보다 최대 3.7배 더 높은 처리량을 제공했습니다. NVIDIA의 TensorRT-LLM 라이브러리를 사용하는 DeepSeek-R1에서는 처리량이 이전 플래그십보다 최대 2.5배 더 높아졌습니다.

두 수치 모두 NVIDIA가 MLCommons의 Closed Division에 제출한 자료에서 나온 것입니다. 즉, MLPerf의 감사 규칙에 따라 제작되었음을 의미하지만 미리 보기 결과는 아직 최적화 중인 플랫폼에 대한 명시적인 초기 측정값입니다.

이익 창출 방법

NVIDIA는 단일 구성 요소가 아닌 하드웨어와 소프트웨어 전반에 걸친 풀 스택 공동 설계 덕분에 이러한 도약이 가능하다고 생각합니다.

실리콘 측면에서 Vera Rubin은 향상된 Tensor 코어와 업데이트된 Transformer Engine을 제공하여 추론의 두 단계, 즉 컴퓨팅 집약적인 사전 채우기 단계와 메모리 바인딩된 디코드 단계를 모두 가속화합니다. 플랫폼은 모델 가중치, 주의 및 KV 캐시의 메모리 공간을 축소하는 NVFP4 정밀도에 의존하여 NVIDIA가 출력 품질 손실을 최소화한다고 설명하는 대로 처리량을 높입니다.

소프트웨어 측면에서 제출물은 DeepSeek-R1 및 Qwen3-VL과 같은 모델의 전문가 혼합 레이어를 작업으로 완전히 유지하기 위해 대규모 전문가 병렬성과 함께 사전 채우기와 디코딩을 서로 다른 작업으로 분리하는 분리된 서빙을 사용했습니다.

상호 연결은 세 번째 기둥입니다. NVL72 랙 설계는 6세대 NVLink 및 NVLink 스위치를 사용하여 72개의 GPU를 단일 확장 도메인에 연결합니다. NVIDIA는 이를 기성 이더넷보다 10배 더 높은 패킷 속도와 3배 더 낮은 대기 시간을 제공한다고 밝혔습니다. 이는 랙 규모의 분리된 서비스를 실용화하는 기반입니다.

GB300은 거의 완벽한 스케일링을 보여줍니다.

현재 주력 제품은 v6.1 라운드에 자체 뉴스가 있습니다. NVIDIA의 DeepSeek-R1 제출은 단일 GB300 NVL72 랙(72개의 GPU)에서 4개의 랙, 288개의 GPU로 확장되어 오프라인 시나리오에서 99%의 확장 효율성을 달성했으며 처리량은 추가된 하드웨어에 거의 비례하여 증가했습니다.

확장 효율성은 더 많은 하드웨어를 구입하면 실제로 그에 비례하여 더 많은 용량을 구입하는지 여부를 결정하므로 데이터 센터 운영자가 면밀히 관찰하는 지표입니다. 랙 전체에 걸쳐 선형에 가까운 확장은 이 규모의 병목 현상이 랙 간 통신이 아닌 GPU별 성능으로 남아 있음을 나타냅니다.

소프트웨어는 계속 복잡해집니다

MLPerf 라운드에서 반복되는 패턴은 다음과 같습니다. 소프트웨어 개선만으로도 v6.0에 비해 NVIDIA의 v6.1 제출에서 최대 1.6배 더 높은 성능을 제공했으며 회사에서는 v6.1 제출 마감일 이후에도 최적화가 계속 진행되어 추가 이점을 제공했다고 밝혔습니다.

구매자의 경우 특정 랙이 하드웨어 교체 없이 수명이 다할 때까지 더 빨라진다는 의미가 있습니다. 이는 NVIDIA가 소프트웨어 스택이 성숙해짐에 따라 설치된 기반이 가치가 떨어지기보다는 오히려 좋아진다고 주장하는 데 사용된 역동적인 것입니다.

에이전트 워크로드가 벤치마크를 재구성합니다

v6.1 라운드에서는 추론이 사용되는 대상의 변화도 반영되었습니다. NVIDIA는 여러 단계에 걸쳐 추론하고, 계획하고, 행동하는 AI 에이전트를 중심으로 설계된 SemiAnalytic의 AgentX 벤치마크에 대한 미리 보기 테스트를 지적했습니다. 여기서 Vera Rubin NVL72는 GB300 NVL72보다 30배 향상된 성능을 제공했다고 밝혔습니다.

MLCommons는 이러한 변화를 위한 전용 벤치마크도 준비하고 있습니다. 곧 출시될 MLPerf Endpoints 벤치마크는 기존 처리량 테스트에서 제대로 포착되지 않는 에이전트 추론 워크로드의 측정을 표준화하는 것을 목표로 합니다. 추론이 단일 프롬프트 채팅에서 긴 다단계 에이전트 세션으로 이동함에 따라 지연 시간과 대화형 일관성은 초당 원시 토큰만큼 중요하며 이에 따라 벤치마크가 재구성되고 있습니다.

네비우스와 생태계가 일찍 도착합니다

클라우드 제공업체 Nebius도 Vera Rubin NVL72 미리 보기 결과를 제출했는데, NVIDIA는 이를 강력한 초기 생태계 성능의 증거로 강조했습니다. 초기 타사 제출은 일반적으로 차세대 시스템이 실험실 샘플링에서 더 광범위한 가용성으로 이동하고 있다는 신호이지만 NVIDIA의 게시물이나 MLCommons의 릴리스는 일반 가용성 시기를 지정하지 않습니다.

AI 경제학이 중요한 이유

NVIDIA는 결과를 수익 측면에서 프레임화합니다. 각 Vera Rubin NVL72 랙은 GB300 NVL72 랙에 비해 훨씬 더 많은 토큰을 생성하고 더 많은 사용자에게 서비스를 제공하며 토큰당 비용을 낮춥니다. 단순 채팅보다 쿼리당 훨씬 더 많은 컴퓨팅을 소비하는 추론 모델 및 에이전트 워크로드에 의해 추론 수요가 주도되는 업계에서 랙당 처리량은 고정된 데이터 센터 예산으로 서비스할 수 있는 사용자 수를 결정하는 수치입니다.

일반적인 주의 사항이 적용됩니다. 이는 NVIDIA가 선택한 두 가지 모델에 대한 미리 보기 라운드에서 공급업체가 제출한 것이며 최적화는 아직 진행 중입니다. 그러나 방향은 모호하다. Vera Rubin에 대한 MLPerf의 첫 번째 견해는 2023년 이후 AI 인프라를 정의한 성능 상승에 정체 현상이 없으며 다음 랙 교체 주기가 AI를 대규모로 제공하는 경제성을 다시 재설정할 것임을 시사합니다.

---

AI 최신 소식

최신 AI 뉴스, 분석 및 혁신을 한 곳에서 확인하세요.

AI 뉴스 더 보기 →