WIRED가 보고한 평가 회사 Vals의 새로운 벤치마크 결과에 따르면 누구나 다운로드할 수 있는 개방형 중국 모델은 시뮬레이션된 기업 네트워크에 침입하는 OpenAI의 가장 유능한 사이버 모델과 거의 일치했습니다.
Vals의 CyberOffense 테스트에서 회사가 제한된 액세스 Daybreak 사이버 프로그램을 통해서만 제공하는 OpenAI의 GPT-6 Sol은 목표의 약 81%를 완료했습니다. 무료 개방형 가중치 릴리스인 DeepSeek V4.1 Flash는 완전 자율 에이전트로 실행되어 동일한 목표의 약 73%를 완료했습니다. 다른 추적자들은 DeepSeek의 헤드라인 수치를 72.8%로 꼽았습니다.
Vals는 결과에 "신뢰할 수 있는 액세스 AI로 제한되었던 사이버 기능을 이제 누구나 사용할 수 있습니다"라고 썼습니다. Vals 연구원 Nikil Ravi는 WIRED와의 인터뷰에서 AI 연구소 내부에 잠긴 최고의 모델이 "누구나 다운로드할 수 있는 공개 모델과 일치하기 시작했다"고 말했습니다.
Vals가 테스트를 실행한 방법
Vals의 CyberOffense 벤치마크는 두 가지 시뮬레이션된 사이버 범위를 사용합니다. 첫 번째는 Nova라고 하며 여러 Active Directory 도메인에 걸쳐 있는 21개의 목표 Windows 네트워크입니다. 두 번째인 Lighthouse에는 두 회사에 걸쳐 31개의 목표가 포함되어 있습니다. 여기서 에이전트는 먼저 하나의 네트워크를 장악한 다음 거기에서 발견된 자격 증명과 정보를 사용하여 두 번째 네트워크에 침입해야 합니다. 이는 실제 다단계 침입을 반영하는 시나리오입니다.
각 모델은 격리된 Kali Linux 시스템의 오픈 소스 Pi 에이전트에서 실행되었으며, 시간 제한은 48시간이고 토큰 예산은 5억 개입니다. 중요한 점은 Vals가 명령 출력에 숨겨진 마커가 나타날 때만 목표를 인정했다는 점입니다. 모델 자체의 성공 주장에는 결코 인정하지 않았습니다.
수치와 비용 격차
DeepSeek은 Nova의 21개 목표 중 평균 16.3을 기록했으며 실제로 첫 번째 네트워크에서 Daybreak의 15.7을 앞질렀습니다. Daybreak는 더 어려운 Lighthouse 범위에서 앞서 나가며 DeepSeek의 21개 목표 중 31개 목표 중 27개를 완료했습니다.
더 눈에 띄는 차이점은 비용이었습니다. WIRED는 GPT-6 Sol의 경우 17~46달러인 반면 DeepSeek의 경우 전체 공격 실행 가격은 약 2~3달러로 책정했습니다. 특히 Nova 제품군에서 DeepSeek는 Daybreak의 약 22달러에 비해 실행당 3달러 미만의 비용으로 작업을 완료했습니다.
Vals는 또한 DeepSeek가 처음 2,500만 개 토큰에서 아무것도 완료하지 않았고 1억 개 이후 대부분의 진전을 이루었다는 사실을 관찰했습니다. 이는 시간과 예산이 주어지면 저렴한 개방형 모델이 수행할 수 있는 작업을 체계적으로 과소평가하는 짧은 계산 제한 평가를 제안하는 간격 프로필입니다.
다른 모델의 성과
DeepSeek은 도전받지 않은 채 오픈 웨이트 분야를 주도하지는 않았지만 누구도 따라잡지 못했습니다. Vals의 7개 모델 비교에서 Kimi K3.1 Pro, Meta's Wonder 및 xAI의 Grok 4.7이 모두 DeepSeek에 뒤처졌습니다.
Z.ai의 GLM 5.3 Flash가 마지막으로 등장하여 각 범위에서 5개의 목표를 완료했습니다. Vals는 이를 그룹의 "가장 분명한 막다른 골목"이라고 불렀습니다. 한 범위에서 모델은 약 36시간을 보냈으며 그 중 대부분은 반환되지 않은 백그라운드 작업을 폴링했습니다.
다른 평가자들은 사이버 작업에서 전체 GLM-5.3 모델을 상당히 높게 평가합니다. 테스트 회사인 Irregular는 13개의 다단계 공격 시나리오 중 3개를 완료했다는 사실을 발견했습니다. 이는 공개적으로 사용 가능한 모델에서 기록한 최고의 결과입니다. NIST는 이를 현재까지 출시된 가장 유능한 개방형 사이버 모델이라고 부르며 미국의 주요 시스템보다 약 4개월 뒤처진 것으로 추정했습니다. Anthropic은 별도로 Reuters에 GLM-5.3이 12%의 시도에서 작동하는 익스플로잇을 구축했다고 밝혔고, Claude Mythos의 경우 14%였습니다. Vals는 이러한 테스트가 점수를 CyberOffense 결과와 직접 비교할 수 없는 다른 테스트라고 지적합니다.
중요한 이유
결과는 최첨단 AI 사이버 역량을 둘러싼 안전 가드레일에 대한 지속적인 논쟁을 심화시킵니다. OpenAI의 Daybreak 프로그램은 공격적인 사이버 능력이 자유롭게 배포되어서는 안 된다는 이론에 따라 신원 확인 및 제한된 액세스 뒤에 고성능 사이버 모델을 유지하기 위해 특별히 존재합니다. 제한된 모델보다 몇 포인트만 뒤처지는 무료 다운로드는 작업당 비용이 훨씬 적게 들지만 해당 그림을 상당히 복잡하게 만듭니다.
수비수에게도 중요합니다. AI 지원 공격자에 맞서 계획을 세우는 보안 팀은 더 이상 심각한 자율 공격 기능을 위해서는 실험실의 제한된 모델이나 대규모 예산에 대한 액세스가 필요하다고 가정할 수 없습니다. Vals의 자체 프레임에서 알 수 있듯이, 역량 수준은 액세스 제어가 포함할 수 있는 것보다 더 빠르게 증가하고 있습니다.
OpenAI는 보고서의 비교에 대해 언급하지 않았습니다. DeepSeek은 논평 요청에 즉시 응답하지 않았습니다.
테스트 방법론의 과제
헤드라인 점수 외에도 결과는 AI 사이버 역량을 측정하는 방법에 대한 교훈을 담고 있습니다. Vals의 디자인 선택(긴 48시간 창, 5억 개의 토큰 예산, 자체 보고된 성공보다는 숨겨진 마커를 통한 검증)은 에이전트 시스템을 공정하게 평가하는 데 점점 더 필요한 것으로 간주됩니다. 더 짧고 저렴한 테스트 실행은 느린 시작과 더 많은 컴퓨팅으로 등장한 마스킹 기능을 고려할 때 DeepSeek의 점수를 훨씬 낮췄을 것입니다.
이는 정책에 실질적인 영향을 미칩니다. OpenAI의 Daybreak 프로그램과 같은 액세스 제한은 측정된 기능에 대해 보정되며, 평가 방법이 개방형 모델의 기능을 체계적으로 과소평가하는 경우 가드레일은 현실보다 뒤처질 수 있습니다. 회사에서 계속 업데이트할 예정인 Vals의 CyberOffense 순위표는 결과적으로 AI 보안 커뮤니티에서 가장 주목받는 점수판 중 하나가 될 가능성이 높습니다.
현재로서는 데이터에서 전달되는 메시지가 무뚝뚝합니다. 제한된 프로그램 뒤에 있는 실험실에서 보호하는 것과 누구나 다운로드할 수 있는 것 사이의 격차가 모델 세대가 아닌 몇 달 만에 측정될 정도로 줄어들고 있습니다.
