전 OpenAI 최고 기술 책임자인 Mira Murati가 설립한 연구 회사인 Thinking Machines Lab은 대규모 언어 모델을 거의 전적으로 4비트 정밀도로 훈련하는 방법에 대한 자세한 기술 설명을 발표했습니다. 이 기술은 Nvidia의 최신 데이터 센터 하드웨어에서 속도와 메모리를 크게 절약할 수 있는 기술입니다.

11월 13일 회사 웹사이트에 게시된 "End-to-End 4-Bit Training"이라는 제목의 블로그 게시물에서는 저정밀 훈련의 수치적 장단점을 살펴보고 팀이 Inkling 2 Small 모델을 훈련하는 동안 이를 어떻게 관리했는지 설명합니다. 최신 AI 개발을 따르는 독자들을 위해 이 게시물은 최전방 규모의 훈련 실행에 실제로 드는 비용을 결정하는 엔지니어링 결정에 대한 보기 드문 공개 시각을 제공합니다.

비트 수가 적으면 훈련 속도가 빨라지는 이유

대규모 언어 모델을 훈련하려면 엄청난 양의 숫자를 계산하고 저장해야 합니다. 각 값에 더 적은 비트를 사용하면 메모리 사용량이 줄어들고 GPU가 더 빠르게 산술을 수행할 수 있습니다. 비용은 정밀도입니다. 비트가 적다는 것은 표현할 수 있는 숫자가 적다는 것을 의미하므로 값을 보다 적극적으로 반올림해야 합니다.

회사는 간단한 예를 들어 문제를 설명합니다. 형식이 숫자 3과 4만 나타낼 수 있는 경우 3.2를 저장하려면 3으로 반올림해야 하며 0.2의 양자화 오류가 발생합니다. 단일 반올림 오류는 사소하지만 교육 중에 이러한 오류는 레이어와 최적화 단계에 걸쳐 누적되어 학습 프로세스 자체를 방해할 수 있습니다.

"이것이 저정밀 훈련의 핵심 과제입니다. 학습을 방해하는 오류를 발생시키지 않고 어떻게 더 빠른 산술의 이점을 얻을 수 있습니까?" 회사는 게시물에 썼습니다.

세 가지 형식, 한 번의 훈련 실행

단일 정밀도 수준에 전념하는 대신 Thinking Machines는 다양한 훈련 단계에서 BF16, MXFP8 및 NVFP4의 세 가지 숫자 형식을 사용합니다. 각 형식은 고정된 정밀도를 갖고 있지만 속도는 이를 실행하는 하드웨어에 따라 달라집니다.

이 회사는 NVFP4에서 행렬 곱셈을 가속화하도록 특별히 설계된 Nvidia의 Grace Blackwell Ultra 플랫폼인 GB300을 교육합니다. 게시물에 따르면 NVFP4는 BF16보다 3.6배 적은 비트로 값을 저장하는 동시에 GB300 시스템에서는 최대 6배 더 빠르게 실행됩니다. 원시 처리량 측면에서 회사는 GB300 성능을 NVFP4에서 약 15PFLOPS, MXFP8에서 5PFLOPS, BF16에서 2.5PFLOPS로 표시합니다.

문제는 NVFP4의 공격적인 압축으로 인해 더 넓은 형식보다 훨씬 더 많은 양자화 오류가 발생한다는 것입니다. 이러한 오류는 교육의 일부 단계에서는 허용되지만 다른 단계에서는 허용되지 않습니다. 이것이 바로 회사가 각 단계를 별도로 처리하는 이유입니다.

다양한 단계, 다양한 규칙

블로그 게시물에서는 훈련을 사전 훈련의 정방향 및 역방향 전달, 강화 학습 샘플러, RL 트레이너의 4단계로 나누고 각 단계에 오류 최소화, 편향 최소화, 속도 증가, 메모리 사용 감소 간의 우선순위 균형을 다르게 할당합니다.

대량 단계에서는 속도가 가장 중요합니다. 즉, 수조 개가 넘는 토큰을 실행하는 사전 훈련과 대량의 롤아웃을 생성하는 RL 샘플링이 있습니다. 그러나 역방향 패스는 특별한 경우입니다. 게시물에서는 일괄 처리의 많은 토큰에 대한 역방향 전달 평균이 무작위로 분산된 반올림 오류의 영향을 희석한다고 설명합니다. 그러나 값이 한 방향으로 일관되게 반올림될 때 발생하는 체계적인 드리프트인 양자화 편향에 매우 민감합니다. 무작위 노이즈와 달리 이러한 편향은 레이어, 샘플 및 학습 단계에 걸쳐 복합적으로 나타날 수 있습니다.

이 회사는 이번 달 초 Apache 2.0 라이선스에 따라 출시한 개방형 전문가 혼합 모델인 Inkling 2 Small을 교육하면서 이러한 절충안을 관리했다고 밝혔습니다. 게시물에서는 실행의 모든 ​​부분이 4비트로 실행되었다고 주장하지 않습니다. 오히려 각 구성요소의 정밀도가 기본적으로 상속되지 않고 의도적으로 선택되는 엔드투엔드 전략을 설명합니다.

저정밀 훈련이 중요한 이유

여기의 경제학은 간단합니다. 컴퓨팅은 프론티어 모델 개발에서 지배적인 비용이며, 하드웨어 공급업체는 각각의 새로운 칩 세대에 낮은 정밀도의 가속을 추가하기 위해 경쟁해 왔습니다. Nvidia는 Blackwell Ultra 플랫폼의 NVFP4 지원을 헤드라인 기능으로 포지셔닝했으며 AMD, Google 등의 경쟁 가속기는 자체 정밀도가 낮은 형식을 광고합니다.

연구실에서 더 많은 훈련 파이프라인을 4비트 연산으로 안전하게 추진할 수 있다면 동일한 하드웨어 예산으로 더 많은 실험, 더 많은 토큰 또는 더 큰 모델을 구매할 수 있습니다. 이는 최첨단 가속기에 대한 접근성이 부족하고 비용이 많이 드는 시장에서 의미 있는 이점입니다. 이는 또한 고정 하드웨어에서 더 많은 기능을 짜내는 양자화 인식 추론 및 추론적 디코딩과 같은 효율성 기술을 향한 업계의 광범위한 추진과도 결합됩니다.

이 게시물은 연구 커뮤니티가 어디로 향하고 있는지 알려주는 신호이기도 합니다. 반올림 오류는 학습을 손상시키는 것으로 간주되기 때문에 낮은 정밀도의 훈련은 오랫동안 추론을 넘어서는 너무 위험한 것으로 간주되었습니다. Thinking Machines가 출판한 것과 같은 신중한 단계별 분석은 가정을 테스트하고 가능한 경우 뒤집는 방법입니다.

블로그 게시물에서 오픈 웨이트까지

이번 공개가 주목할만한 점은 그것이 순전히 이론적인 것이 아니라는 점입니다. 회사는 이 기술을 실제로 출시한 모델에 직접 연결했습니다. Inkling 2 Small은 11월 초에 다운로드 가능한 가중치와 함께 출시되었으며 새 게시물에서는 훈련 이면의 수치 전략을 설명합니다. 모델을 다운로드하는 실무자는 사실상 회사에서 설명하는 낮은 정밀도 방법론의 작업 결과물을 얻는 것입니다.

Thinking Machines는 모델 출시와 함께 기술 블로그 게시물을 게시하면서 개척 규모의 연구실에 이례적으로 개방적이었습니다. 이러한 투명성은 외부 연구자들에게 보기 드문 것을 제공합니다. 즉, 현대 훈련 실행이 혼합 정밀도 산술의 지저분한 수치적 현실을 어떻게 처리하는지에 대한 문서화되고 재현 가능한 설명입니다.

더 넓은 산업 분야에서는 4비트 교육이 연구 호기심에서 생산 기술로 옮겨갔다는 메시지가 있습니다. 더 많은 실험실에서 유사한 전략을 채택함에 따라 이론적 하드웨어 최고 성능과 실현된 훈련 처리량 사이의 격차가 줄어들고 훈련 가능한 모델의 비용은 계속해서 하락할 것입니다.

AI보다 앞서 나가세요

프론티어 모델의 기술은 매주 진화합니다. 해당 분야를 형성하는 연구에 대한 명확하고 근거 있는 보고를 받으려면 AI Buzz Wire를 팔로우하세요.

AI 뉴스 자세히 보기 →