한 시간 안에 경쟁력 있는 StarCraft 봇을 작성하도록 대규모 언어 모델을 요청하는 벤치마크는 지금까지 가장 상세한 결과를 제공했으며 결과는 엇갈립니다. OpenAI의 GPT-6 Astra가 AI 분야를 지배하지만 인간이 작성한 가장 강력한 봇이 여전히 93%의 비율로 최고의 모델을 능가합니다.

개발자 Kai McPheeters가 10월 15일 게시한 StarSkirmish Bench v0.2는 각 LLM이 1시간의 벽시계 시간을 기준으로 StarCraft: Brood War 봇을 얼마나 강력하게 생성할 수 있는지 평가합니다. 각 모델은 C++로 프로토스 봇을 작성하고, 이는 경쟁 모델이 작성한 봇과 사람이 작성한 기존 경쟁업체를 상대로 플레이됩니다. 이 테스트는 모델이 창작물을 개선하기 위해 연습 게임의 교훈을 통합해야 하기 때문에 장기적인 추론과 에이전트 코딩을 조사하도록 설계되었습니다. 이 이야기에 대한 자세한 내용은 AI 뉴스를 참조하세요.

벤치마크 작동 방식

규칙은 의도적으로 간단합니다. 한 시간, 하나의 언어, 하나의 인종. 각 모델의 점수는 사람이 작성한 경쟁력 있는 봇 및 데모 봇 명단을 상대로 5번의 실행에 걸친 평균 승률입니다. 버전 0.2에는 반전이 추가되었습니다. 모든 주력 모델은 자체 연구실의 자사 CLI 코딩 하네스 내에서 실행되어 간단한 API 루프가 아닌 전체 에이전트 스택을 테스트합니다.

벤치마크 작성자가 미리 언급한 한 가지 비대칭성이 있습니다. Gemini 4 Argon은 "높음"(사용 가능한 최고 추론 노력)에서 실행되는 반면 다른 모든 모델은 최대로 실행됩니다.

GPT-6 Astra 선두, GPT-6.1 Sol의 가치 승리

그 결과 GPT-6 Astra가 리더보드 상단에 올랐으며, 글에서는 2위인 GPT-6.1 Sol보다 확실히 앞서 있는 것으로 설명했습니다. 벤치마크 관찰자에게는 마진이 중요합니다. 대부분의 에이전트 코딩 제품군에서 주력 모델은 서로 몇 지점 내에 클러스터되므로 필드를 별개의 계층으로 분리하는 리더보드는 혼잡한 상위 10개보다 더 많은 진단 작업을 수행합니다. Gemini 4 Argon, Claude Opus 5.5 및 Claude Fable 5.1은 기능적으로 두 OpenAI 모델 뒤에 있으며 모두 37~39점 사이입니다. Meta의 Muse Wonder Full이 7위를 차지했습니다.

비용 분석이 더 놀라운 결과일 수 있습니다. 1시간 실행의 평균 API 비용을 기준으로 표시한 GPT-6.1 Sol은 가장 매력적인 사분면에 단독으로 포함되었습니다. 즉, 실행당 GPT-6 Astra 비용의 10분의 1이 조금 넘는 2위입니다. 예산 대비 에이전트 성능을 평가하는 팀의 경우 두 OpenAI 모델 간의 격차가 실질적인 헤드라인입니다.

인간 봇이 훨씬 앞서 있습니다

인간이 작성한 가장 강력한 봇인 Stardust, PurpleWave 및 BananaBrain을 상대로 GPT-6 Astra는 게임에서 7%만 승리했습니다. 벤치마크 작성자는 1시간의 추론 제한이 요인이며, 실제 사람이 작성한 봇의 토너먼트 조건은 평가에 사용된 3개의 2인용 맵보다 훨씬 더 어렵다고 지적합니다.

그럼에도 불구하고, 그 격차는 소프트웨어에서 AI가 임박했다는 이야기에 대한 유용한 교정입니다. 명확한 승리 조건, 깊이 있는 전략 및 장기적인 계획 범위가 있는 작업에서 수십 년 간의 커뮤니티 엔지니어링은 여전히 ​​한 시간의 프론티어 모델 코딩이 생성할 수 있는 것보다 훨씬 높습니다.

스타크래프트는 무차별 대입에 저항한다는 점에서 오랫동안 게임 플레이 AI의 시험장 역할을 해왔습니다. 실시간 전략은 부분적인 정보 하에 경제, 정찰, 전투를 동시에 관리해야 하며, Brood War 커뮤니티는 수년간 경쟁적인 봇 토너먼트를 유지해 왔습니다. 이러한 축적된 생태계는 벤치마크의 인간 기준을 의미있게 만드는 것입니다. Stardust, PurpleWave 및 BananaBrain은 우연한 상대가 아니라 세련되고 토너먼트로 강화된 프로그램입니다.

새로운 기함이 전투에 참여합니다

버전 0.2는 새로 출시된 모델의 초기 점수판 역할도 했습니다. Google의 Gemini 4 Argon은 v0.1의 Gemini 3.8 Flash를 대체하여 데뷔 시 3위를 차지했으며, Meta의 Muse Wonder Full은 Muse Spark 1.3을 대신하여 7위를 차지했습니다. GPT-6 Astra 및 Claude Opus 5.5는 이전 버전의 적용 범위에서 이어졌습니다.

벤치마크는 각 실행에 대한 에이전트 추적을 기록하고 각 모델이 시간을 어떻게 보냈는지 기록합니다. 이 데이터 세트는 리더보드를 다양한 실험실 모델이 계획, 코딩 및 플레이 테스트 사이의 시간을 할당하는 방법에 대한 행동 연구로 전환합니다. 모델이 아키텍처 결정을 먼저 로드하는지 아니면 버그가 있는 초안을 통해 빠르게 반복하는지 여부는 정확히 집계 점수가 숨겨져 있는 일종의 프로세스 세부 사항이며, 가장 흥미로운 실험실 간 차이점이 표면화되는 곳입니다.

중요한 이유

에이전트 코딩 벤치마크는 플래그십 모델이 많은 소프트웨어 엔지니어링 제품군의 최상위에 클러스터링되면서 빠르게 포화되고 있습니다. StarSkirmish는 대안을 제공합니다. 인간 전문가가 상한선을 설정하고 진행 상황을 티켓 해결의 백분율이 아닌 승률로 측정하며 시간당 시간 예산이 상담원 작업에 대한 실제 제약 조건을 반영하는 환경입니다.

그 결과는 개발자들에게 깊은 인상을 남겼습니다. Show HN 게시물은 200개 이상의 찬성표를 얻었으며 댓글 작성자는 상담원 추적 및 비용 효율성 플롯을 자세히 조사했습니다. Hacker News의 벤치마크 토론은 방법론에 대한 논쟁과 기능 핫 테이크로 나누어지는 경향이 있습니다. 이것은 가장 면밀히 조사된 설계 선택 중 추론-노력 비대칭성과 5회 표본 크기를 모두 사용하여 도출되었습니다. 추론 노력 수준이 높아지고 활용도가 향상됨에 따라 벤치마크 작성자는 지속적인 반복을 계획하고 있으며 현재로서는 인간 스타크래프트 봇 커뮤니티가 편안한 선두를 유지하고 있습니다.

---

AI 최신 소식

최신 AI 뉴스, 분석 및 혁신을 한 곳에서 확인하세요.

AI 뉴스 더 보기 →