인공 지능에서 가장 빠르게 증가하는 비용은 칩이 아니라 칩에 공급되는 전기일 수 있습니다. 10월 12일, 미시간 대학은 세계 최고의 AI 컴퓨팅 회사인 NVIDIA가 대규모 언어 모델 훈련을 위해 널리 사용되는 NVIDIA의 오픈 소스 플랫폼인 Megatron-LM에 2개의 U-M 에너지 절약 도구를 추가하는 방법을 평가하고 있다고 발표했습니다. 대학에 따르면 이 소프트웨어는 훈련 속도나 모델 성능에 영향을 주지 않고 AI 훈련에 필요한 에너지를 최대 50%까지 줄일 수 있습니다.
뉴스는 한 연구실의 출판 기록보다 훨씬 중요합니다. Megatron-LM은 틈새 연구 코드베이스가 아닙니다. 기업은 이를 직접 사용하거나 자체 개인 맞춤형 교육 플랫폼의 기반으로 사용할 수 있으며, 사용자가 자신의 하드웨어에 다운로드할 수 있는 NVIDIA의 주력 Nemotron 모델을 교육하는 데 사용되는 플랫폼입니다. UM 도구가 Megatron-LM에 적용된다면 학술 연구실에서 개발된 효율성 개선 사항이 전 세계 AI 교육 실행의 큰 부분으로 전파될 것입니다. AI 뒤의 인프라 경쟁에 대한 지속적인 보도를 보려면 홈페이지에서 최신 AI 개발을 팔로우하세요.
카레우스와 페르세우스가 실제로 하는 일
두 도구는 분산 교육에서 서로 다른 낭비 원인을 공격하고 절감 효과가 누적됩니다.
페르세우스: 프로세서 속도 관리
페르세우스는 과잉 프로비저닝된 컴퓨팅 문제를 해결합니다. 대규모 훈련 실행에서 모든 프로세서가 매 순간 유용한 작업을 수행하는 것은 아니지만 모두 전력을 소비합니다. UM에 따르면 페르세우스는 훈련의 각 지점에서 사용 가능한 실제 작업에 맞게 프로세서 속도를 관리함으로써 AI 훈련에 필요한 에너지를 최대 30%까지 절감합니다.
Kareus: 컴퓨팅 및 통신을 위한 더 스마트한 타이밍
Kareus는 더 미묘한 문제를 목표로 합니다. 최신 모델을 교육하려면 수백에서 수천 개의 프로세서를 조정해야 하며 작업은 계산과 칩 간 통신으로 나누어집니다. Kareus는 훈련과 의사소통 작업 사이에서 가장 효율적인 타이밍과 리소스 공유를 찾아 훈련 에너지를 추가로 15% ~ 30% 줄입니다. 즉, 어느 쪽도 다른 작업을 기다리지 않도록 각 작업을 예약합니다.
대학에서는 이 도구가 AI 훈련에 사용되는 에너지의 약 절반을 절약하면서도 동일한 훈련 속도와 최종 모델 성능을 제공할 수 있다고 말합니다. Kareus는 동료 검토 결과이기도 합니다. 이 도구는 시스템 연구를 위한 최고의 장소 중 하나인 OSDI(운영 체제 설계 및 구현에 관한 USENIX 심포지엄)에서 7월에 발표되었습니다.
NVIDIA의 관심이 실제 이야기인 이유
학문적 효율성 연구는 일반적으로 생산에 이르기까지 긴 여정에 직면해 있습니다. 이것은 착륙 위치 때문에 다를 수 있습니다. 박사 과정 학생인 Ruofan Wu는 지난 여름 NVIDIA에서 인턴십의 일환으로 U-M 소프트웨어를 Megatron-LM에 통합하는 데 시간을 보냈습니다. 이는 도구가 제안이 아니라 현재 공식적인 평가를 받고 있는 NVIDIA의 교육 스택 내에서 작동하는 코드임을 의미합니다.
UM의 컴퓨터 공학 및 공학 박사과정 학생인 우(Wu)는 대학 발표에서 "모델이 더 커지고 더 많은 사람들이 모델을 훈련하고 싶어함에 따라 AI의 전력이 제한되고 있지만 더 적은 에너지를 사용하여 동일한 훈련 속도와 성능을 달성할 수 있습니다"라고 말했습니다. "소프트웨어 및 하드웨어 수준에서 AI 에너지 사용을 최적화할 수 있는 기회가 많이 있으며, 인턴십에서 가장 보람 있는 부분 중 하나는 연구에서 얻은 아이디어를 생산 시스템에 적용할 수 있는 기회였습니다."라고 덧붙였습니다.
전력 제한이라는 단어는 업계의 새로운 표어입니다. 박사과정 학생인 Jeff Ma와 정재원, Mosharaf Chowdhury 부교수로 구성된 UM 연구팀은 통합을 위해 NVIDIA와 협력하고 있습니다. 팀의 구성은 간단합니다. 목표는 수백에서 수천 개의 프로세서에 걸쳐 훈련을 조정하는 가장 효율적인 방법을 찾아 AI가 더 적은 에너지와 비용으로 더 유용한 작업을 수행할 수 있도록 하는 것입니다.
에너지는 이제 최고의 제약입니다
프론티어 교육의 규모는 절감 비율을 전략적 수치로 바꾸는 것입니다. Meta는 이번 주에 자사의 새로운 Muse Wonder 모델이 기가와트 규모의 데이터 센터인 Prometheus에서 훈련되었다고 밝혔습니다. 단일 훈련 캠페인이 해당 규모로 실행될 때 백분율 수준의 에너지 감소는 반올림 오류가 아닙니다. 이는 전력 예산 내에서 훈련 실행을 맞추는 것과 그렇지 않은 것의 차이입니다.
경제학은 물리학을 따릅니다. 에너지는 AI 확장을 위한 주요 자원 중 하나가 되었습니다. 기존 하드웨어를 사용하여 훈련 실행 시 전기 요금을 절반으로 줄이는 소프트웨어는 자체 모델을 훈련하는 모든 회사, 특히 에너지 비용이 구속력이 있는 소규모 기업의 계산법을 변경합니다.
또한 AI를 둘러싼 환경 논쟁을 재구성합니다. 공개 토론의 대부분은 모든 챗봇 쿼리에서 소비되는 전력인 추론 에너지에 초점을 맞췄습니다. 그러나 교육은 가장 큰 단일 에너지 블록이 집중되는 곳이며, 이를 최대 절반으로 줄이는 동료 검토, 공급업체 독립적인 소프트웨어 접근 방식은 하드웨어 로드맵보다 더 희귀한 것을 제공합니다. 즉, 다음 데이터 센터 구축이 아닌 다음 오픈 소스 릴리스를 통해 얻을 수 있는 효율성 향상입니다.
다음에 무슨 일이 일어날까요?
대학에서는 NVIDIA가 오픈 소스 교육 플랫폼에 소프트웨어를 추가하는 방법을 평가하고 있다고 밝혔습니다. Megatron-LM으로 제공된다면 프레임워크가 업계와 학계 전반에 걸쳐 얼마나 광범위하게 사용되는지를 고려하여 채택이 빠르게 확산될 수 있습니다. UM 팀의 광범위한 연구 프로그램은 소프트웨어 및 하드웨어 스택 전반에 걸쳐 에너지 절약을 계속해서 모색하고 있습니다. 이는 몇 년 전에는 틈새 시장처럼 보였지만 이제는 게임의 중심처럼 보입니다.
