중국 AI 연구소 Z.ai는 제한된 인간 개입으로 회사의 추론 인프라에서 성능 병목 현상을 찾아 해결하는 "인프라 에이전트"를 설명하면서 GLM 모델을 설정하여 서비스를 제공하는 바로 그 시스템을 개선하는 방법에 대한 자세한 기술 설명을 발표했습니다.

"재귀적 자기 개선을 향하여: GLM이 자체 추론 인프라를 구축한 방법"이라는 제목의 블로그 게시물은 수요일에 회사 사이트에 올라갔고 빠르게 Hacker News에서 가장 많이 논의된 기술 기사 중 하나가 되었으며 개발자 커뮤니티에서 200점 이상의 포인트를 얻었습니다. 이 이야기에 대한 자세한 내용은 최신 AI 동향를 참조하세요.

"우리가 GLM을 개발하면서 이 모델은 때때로 우리를 놀라게 하고 심지어 우리를 불안하게 만드는 기능을 보여줍니다."라고 회사는 게시물의 첫 줄에 썼습니다.

사이버 보안 연구부터 시스템 자체 최적화까지

이 작업은 Z.ai가 GLM의 사이버 보안 기능을 강화하는 방법을 연구하기 시작한 2025년 10월로 거슬러 올라갑니다. 회사에 따르면 그 이유는 간단했습니다. 사이버 보안은 코딩의 자연스러운 확장이며 대규모 코드베이스를 탐색할 수 있는 모델은 결국 대부분의 엔지니어가 피하는 하위 수준 시스템 코드를 탐색할 수 있기 때문입니다.

그 기반은 더욱 야심찬 것으로 발전했습니다. 단순히 코드를 작성하기 위해 모델을 사용하는 대신 Z.ai는 시스템 엔지니어링 질문에 답하기 시작했습니다. AI 에이전트가 모델 가중치를 빠르고 저렴한 응답으로 바꾸는 소프트웨어 및 하드웨어 조정 계층인 생산 추론 스택의 성능을 책임질 수 있습니까?

회사의 대답은 문제를 재구성하는 것과 관련이 있었습니다. 게시물에서는 엔드투엔드 측정항목만으로는 최적화 에이전트를 안내할 수 없다고 주장합니다. 첫 번째 토큰까지의 시간이 30% 증가했거나 출력 처리량이 20% 감소했다는 보고서는 에이전트에게 문제가 더 악화되었음을 알려주지만 책임이 있는 계층, 가설이 실패한 이유 또는 다음에 테스트할 항목은 알려주지 않습니다.

"희소한 엔드투엔드 결과를 다음 작업을 직접 안내하는 세밀하고 기여 가능한 엔지니어링 피드백으로 어떻게 전환할 수 있습니까?" 회사는 게시물에서 이 질문이 전체 노력의 핵심이라고 설명하면서 질문합니다.

상담원이 읽을 수 있는 피드백에 대한 세 가지 규칙

Z.ai의 답변은 세 가지 특성을 바탕으로 구축된 피드백 원칙입니다. 첫째, 피드백은 에이전트가 문제의 범위를 좁힐 수 있도록 특정 엔진 시작 매개변수, 코드 변경, 커널, 입력 조건, 스레드, 실행 간격 또는 코드 경로와 연결되어 충분히 지역적이어야 합니다. 둘째, 저렴하고 시기 적절하게 획득해야 합니다. 커널 테스트 또는 로컬 마이크로벤치마크를 통해 답변할 수 있는 질문에는 전체 서비스 배포가 필요하지 않습니다. 셋째, 검증은 고정된 순서를 따르기보다는 특정 질문에 답하도록 설계된 모든 실험을 통해 현재 가설과 일치해야 합니다.

이 회사는 이러한 조밀한 피드백 루프를 통해 Infra Agent가 엔지니어를 위한 자동 완성 기능이 아니라 밤새 실험을 실행할 수 있는 동료처럼 작동할 수 있다고 말합니다.

숫자에서 스레딩 버그까지 세 가지 사례 연구

이 게시물은 지난 8월 MIT 라이센스에 따라 출시된 개방형 모델 Z.ai인 GLM-5.3-Flash에 대한 회사 서빙 스택 최적화의 세 가지 구체적인 에피소드를 안내합니다.

첫 번째는 정확성과 관련이 있습니다. 추론 최적화는 계산이 병렬화되는 방식을 재편성하므로 에이전트는 분할된 조건과 분할되지 않은 조건에서 커널이 동일한 결과를 생성하는지 확인해야 했습니다. 어떤 경우에는 팀이 세 가지 TF32 Tensor Core 작업을 결합하여 더 높은 정밀도의 결과를 생성하여 Tensor Core 성능 이점을 대부분 유지하면서 누적된 수치 오류를 줄였습니다. 파티셔닝 전략 간의 비교 테스트를 통해 수정에 동기를 부여한 불일치가 드러났습니다.

두 번째는 모든 성능 엔지니어에게 친숙하게 느껴질 시스템 디버깅 이야기입니다. KV 캐시 전송을 제공 경로에 추가하면 동일한 워크로드에서 사전 채우기 성능이 5% 이상 저하되지 않아야 한다는 허용 기준이 필요합니다. 에이전트는 일부 시나리오에서 격차가 20%를 초과한다는 사실을 발견했으며 이로 인해 KV 전송 자체의 동시성 동작에 대한 조사 범위가 좁아졌습니다. 실행 타임라인을 조사한 결과 에이전트는 이상 현상을 식별했습니다. 문제 시나리오에서 Python 측 KV 전송 실행은 DeepEP 통신 라이브러리의 디스패치 및 결합 간격과 겹치지 않았습니다. 수정 사항은 관련 C++ 실행 간격 동안 Python의 전역 인터프리터 잠금을 해제하여 KV 캐시 저장소인 Mooncake를 제공하는 전송 스레드가 계산과 병렬로 진행될 수 있도록 하는 것이었습니다. 결과적으로 성능 격차는 허용 임계값 이내로 떨어졌습니다.

세 번째 에피소드에서는 반복적인 커널 조정을 보여줍니다. 컴퓨팅을 메모리로 교환하는 기술인 ReplaySSM을 도입하면 처음에 KDA 디코드 커널의 실행 시간이 늘어났습니다. 그런 다음 에이전트의 분할 최적화를 통해 커널 실행 시간이 9.6% 단축되었습니다. 계산이 주요 병목 현상으로 남아 있다는 피드백을 받은 후 에이전트는 V 차원을 따라 타일링된 원래 구현을 발견하여 동일한 FP32 정규화 및 게이팅 계산이 불필요하게 반복되도록 했습니다.

GLM-5.3 플래시 뒤에 있는 스택

최적화는 선형 주의 및 언어 모델 헤드를 위한 노드 내 텐서 병렬 처리, 메모리 거래를 위한 ReplaySSM 계산, W8A8 양자화, INT8, FP8 및 BF16 형식을 사용한 혼합 정밀도 캐시 양자화, 레이어 분할 방식, 별도의 리소스에서 서비스 단계를 실행하는 인코딩-프리필-디코드 분해 아키텍처 등 게시물에서 Z.ai가 설명하는 공격적인 서비스 아키텍처 위에 있습니다.

회사는 재귀적 자기 개선을 향한 단계로 에이전트 자체에서 주로 발견하고 검증한 이러한 기술의 축적을 프레임화합니다. AI 시스템은 인프라를 개선하여 인프라를 더 빠르고 저렴하게 만들고 결과적으로 다음 단계의 에이전트 중심 개선을 더 저렴하게 만듭니다.

중요한 이유

추론 비용은 AI 산업의 결정적인 경제성 중 하나입니다. 토큰당 더 낮은 비용으로 최첨단 모델을 제공할 수 있는 연구소는 공격적으로 가격을 책정하고, 작업당 수천 건의 호출을 수행하는 에이전트에 보조금을 지급하고, 수익 제공을 통해 추가 교육 실행에 자금을 지원할 수 있습니다. Z.ai는 세 가지 측면 모두에서 눈에 띄게 공격적이었고, 올해 초 회사의 중간 재무 공개에서는 손실이 줄어들었음에도 불구하고 매출이 급격히 증가한 것으로 나타났습니다.

이 게시물은 또한 연구실 측 엔지니어링이 어디로 향하고 있는지에 대한 신호이기도 합니다. 모델이 사용자 요청을 처리하는 동안 인간 성능 엔지니어가 커널과 스케줄러를 조정하는 전통적인 노동 분업은 Z.ai에서 모델이 변경 사항을 제안하고 값싼 실험을 통해 이를 검증하며 조밀한 피드백이 다음 시도를 지시하는 루프로 대체되고 있습니다.

완전히 자율적인 자기 개선에 대한 주장은 주의 깊게 읽어야 합니다. 게시물 자체에서는 인간 엔지니어가 테스트 시나리오를 정의하고, 승인 기준을 설정하고, 에이전트가 작동하는 피드백 환경을 구축했음을 분명히 합니다. 회사가 설명하는 것은 감독되지 않는 시스템 자체를 재설계하는 것이 아니라 잘 계측된 최적화 루프의 자동화입니다.

그럼에도 방향은 분명하다. 향후 몇 년간 AI의 경제성이 누가 지능을 가장 저렴하게 제공할 수 있는지에 따라 결정된다면 자체 인프라를 최적화하도록 모델을 가르치는 연구소가 속도를 설정할 수 있으며 Z.ai는 업계가 그 중 하나가 될 것임을 알기를 원합니다.

---

AI 최신 소식

최신 AI 뉴스, 분석 및 혁신을 한 곳에서 확인하세요.

AI 뉴스 더 보기 →