DeepSeek은 중국 AI 연구소가 자체 대규모 생산 서비스를 지원한다고 말하는 고성능 추론 프레임워크인 DeepInfer를 오픈 소스로 보유하고 있습니다. 이 코드는 Apache 2.0 라이센스에 따라 GitHub에 나타났으며 월요일 릴리스에 대한 Hacker News 토론이 수백 개의 찬성표를 얻은 후 며칠 만에 이미 5,500개 이상의 별을 수집했습니다.

프로젝트의 README에 따르면 이번 릴리스는 DeepSeek이 모델을 대규모로 제공하기 위해 사용하는 핵심 기능에 대한 오프라인 추론을 제공합니다. 기본 구성은 DeepSeek-V4.1-Flash를 대상으로 하며 프레임워크는 처음 실행 시 Hugging Face에서 DeepSeek-V4.1-Flash-1017 체크포인트를 자동으로 다운로드합니다. 이 이야기에 대한 자세한 내용은 AI 뉴스를 참조하세요.

DeepInfer에 실제로 포함되는 것

DeepInfer는 처음부터 다시 작성되지 않습니다. 이는 DeepSeek가 지난 2년 동안 FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect 및 사용자 정의 TileLang 커널과 같이 하나씩 출시한 특수 커널을 모델 및 샘플러 실행이 내장된 단일 런타임으로 통합합니다.

또한 프레임워크는 저장소에 자세히 문서화된 여러 제공 기술을 제공합니다.

  • 신뢰도 예약 검증: 초안 토큰과 신뢰도 추정을 사용하여 검증을 예약하는 추측적 디코딩 접근 방식이며 환경 변수를 통해 제어 가능
  • 디코더 SWA 제한된 재생, 시퀀스의 제한된 접미사만 재생하여 디코더 사전 채우기 작업을 줄입니다.
  • CPU 일괄 스케줄링과 장치 실행을 겹치는 비동기 스케줄링, 기본적으로 활성화됨
  • 다양한 배치 구성에 걸쳐 모델 결과를 동일하게 유지하는 배치 불변 추론
  • 결정적 샘플링, 동일한 입력 및 샘플링 매개변수에 대해 동일한 출력 생성
  • 구조화된 출력, 생성을 정규식, JSON 스키마 또는 EBNF 문법으로 제한

이 조합은 실험적인 장난감보다는 재현 가능하고 처리량이 높은 텍스트 생성이 필요한 운영자를 겨냥한 것입니다. 배치 불변성 및 결정론적 샘플링은 모델이 특정 출력을 생성한 이유를 감사해야 하는 기업에 특히 중요합니다.

NVIDIA와 Huawei Ascend의 나란히

가장 면밀히 관찰되는 세부 사항은 하드웨어 지원입니다. DeepInfer는 CUDA 13을 통해 NVIDIA SM100 GPU를, CANN 9.2를 통해 Huawei Ascend 950 NPU를 대상으로 하며, 두 경로 모두에 대한 전제 조건으로 Linux, GCC 13 및 Python 3.12가 나열되어 있습니다.

이러한 이중 플랫폼 입장은 DeepSeek의 최근 역사와 일치합니다. 회사는 Ascend 하드웨어용 TileLang 기반 소프트웨어를 개발하는 데 몇 달을 보냈으며 CUDA가 대체 불가능하다는 공개적인 가정에 도전했습니다. Ascend를 사후 조사가 아닌 일류 시민으로 취급하는 생산 추론 프레임워크를 출시하면 해당 전략이 확장되며, 미국 수출 통제로 인해 중국 기업이 구매할 수 있는 Nvidia 칩이 계속 제한되는 시점에 출시됩니다.

국내 실리콘을 운영하는 중국 클라우드 운영자의 경우 Ascend 950을 지원하는 유지된 추론 엔진은 Nvidia 생태계 외부에서 최첨단 개방형 모델을 제공하는 데 대한 실질적인 장벽 중 하나를 제거합니다.

릴리스에서 누락된 사항

README에는 이것이 아직 완전한 서빙 스택이 아니라는 것이 명시되어 있습니다. DeepInfer를 기반으로 구축된 프로덕션 배포에는 릴리스에 포함되지 않은 세 가지 구성 요소인 KV 캐시 시스템, 사전 채우기 및 디코딩 분리, 데이터 병렬 복제본 간의 로드 밸런싱이 여전히 필요합니다. 저장소에서는 분할에 필요한 대부분의 엔진 기능이 이미 구현되어 있지만 주변 시스템은 운영자에게 맡겨져 있다고 지적합니다.

실제로 이는 DeepInfer가 커뮤니티 서비스 프레임워크에 대한 턴키 대안이 아니라 DeepSeek 인프라의 컴퓨팅 엔진으로 가장 잘 이해된다는 것을 의미합니다. 팀은 실제 트래픽 앞에 배치하기 전에 이를 캐싱 및 라우팅 레이어와 통합해야 합니다.

그것이 중요한 이유

DeepSeek의 비즈니스는 모델을 매우 저렴하게 제공하는 데 기반을 두고 있으며, 회사가 이전의 저비용 포지셔닝에서 가격 책정이 벗어나는 방향으로 나아가면서 해당 비즈니스의 경제성은 철저한 조사의 대상이 되었습니다. 연구 코드뿐만 아니라 실제 생산 추론 경로를 열면 외부 개발자와 클라우드 제공업체가 해당 비용 뒤에 숨은 기술을 비정상적으로 직접적으로 볼 수 있습니다.

또한 의도적인 패턴을 계속합니다. FlashMLA, DeepGEMM 및 DeepEP는 연구실에서 스택을 구축하면서 모두 개별적으로 릴리스되었습니다. DeepInfer는 조각이 어떻게 결합되는지 효과적으로 문서화합니다. 연구원의 경우 이번 릴리스를 통해 DeepSeek가 발표한 성능 주장을 더 쉽게 재현할 수 있습니다. 경쟁업체의 경우 개방형 추론 스택으로 간주되는 기준을 높입니다.

Apache 2.0 라이선스는 카피레프트 의무 없이 상업적 사용을 허용합니다. 즉, 서방 클라우드 제공업체가 이를 합법적으로 배포할 수 있음을 의미합니다. 비록 해당 모델 지원이 현재 DeepSeek의 자체 V4.1-Flash 체크포인트로 제한되어 있으므로 대부분은 이를 참조 구현으로 취급할 것입니다.

볼만한 것

세 가지 질문에 따라 DeepInfer가 널리 채택될지 아니면 여전히 호기심으로 남을지 여부가 결정됩니다. 첫째, 커뮤니티가 V4.1-Flash를 넘어 다른 모델 아키텍처로 포팅하는지 여부입니다. 둘째, 저장소의 성능 표에 게시된 벤치마크 결과가 DeepSeek 자체 클러스터 외부의 하드웨어에 적용되는지 여부입니다. 셋째, 누락된 부분(KV 캐시 관리, 분리 및 로드 밸런싱)이 향후 릴리스에 도착하여 엔진을 완전한 서비스 프레임워크로 전환하는지 여부입니다.

현재 이 릴리스는 해당 모델 아래 인프라를 게시하기로 반복적으로 선택한 연구소의 주목할만한 투명성 조치입니다. 실험을 원하는 개발자는 지원되는 플랫폼의 소스에서 DeepInfer를 구축하고 단일 예제 스크립트를 사용하여 오프라인 추론을 실행할 수 있습니다.

---

AI 최신 소식

최신 AI 뉴스, 분석 및 혁신을 한 곳에서 확인하세요.

AI 뉴스 더 보기 →