OpenAI의 GPT-6 Astra는 AI 연구 커뮤니티에서 가장 주목받는 두 가지 자율 에이전트 벤치마크에서 기록된 가장 강력한 에이전트 성능을 제공했으며, 시뮬레이션된 자판기 사업을 가장 가까운 경쟁자보다 거의 3배 더 수익성 있게 운영하고 드론 감시 테스트의 모든 작업에서 인간 기준을 능가한 최초의 모델이 되었습니다.
안전 및 기능 연구 회사인 Andon Labs가 실시하고 The Decoder가 토요일에 보고한 평가에서는 프론티어 모델이 장기간에 걸쳐 독립적으로 작동하고 물리적 시스템용 소프트웨어를 작성하는 방법을 측정했습니다. 결과는 AI 에이전트가 실물 경제에서 감독 없이 작동하는 데 얼마나 가까운지에 대한 논쟁에 어려운 숫자를 추가합니다. 이 이야기에 대한 자세한 내용은 인공지능 뉴스를 참조하세요.
챗봇이 만든 자판기 제국
Vending-Bench는 각 모델에 500달러를 제공하고 자판기 사업을 운영할 수 있는 시뮬레이션 연도를 제공합니다. 즉, 공급업체 찾기, 구매 가격 협상, 재고 주문, 소매 가격 설정 및 은행 잔고 늘리기 등이 가능합니다. 이 벤치마크는 채팅 창에서는 사소해 보이지만 실제 비즈니스에는 치명적인 사소하고 복잡한 실수를 처벌하기 때문에 AI 연구자들 사이에서 가장 선호되는 대상이 되었습니다.
Andon Labs에 따르면 GPT-6 Astra는 6회 실행에 걸쳐 최종 은행 잔고가 평균 15,515달러였습니다. 이전 모델 중 가장 강력한 Anthropic의 Claude Fable 5.1은 평균 5,422달러였습니다. 격차는 절대적이었습니다. Fable의 최고 기록인 9,874달러도 Astra의 최저 기록인 13,272달러에 미치지 못했습니다. Andon Labs는 Astra가 Vending-Bench 2 리더보드 1위를 차지한 최초의 OpenAI 모델이며, 2위 마진이 벤치마크 사상 최대치를 기록했다고 밝혔습니다.
돈이 벌어진 곳: 협상 및 공급업체 규율
대부분의 차이는 조달로 귀결되었습니다. Claude Fable 5.1은 시뮬레이션된 해가 지날수록 점점 더 악화되는 거래를 받아들였습니다. 코카콜라 캔의 평균 구매 가격은 처음 90일 동안 1.17달러에서 마지막에는 2.21달러로 올랐습니다. Astra는 전체 실행에 걸쳐 일관되게 협상했습니다. 문서화된 한 사례에서는 공급업체가 상품 바구니에 대해 226.32달러를 견적했습니다. Astra는 $108에 확고한 입장을 유지하고 거래를 성사시켰습니다.
공급업체 신뢰성도 비슷한 이야기를 들려줍니다. 6번의 실행에 걸쳐 Fable은 이미 문을 닫은 공급업체에 45건의 선불금을 지급하여 14,331달러의 손실을 입었습니다. Astra는 훨씬 더 많은 공급업체 폐쇄(64개)를 겪었지만 Andon Labs는 선불로 인한 손실을 확인하지 못했습니다. Fable은 어느 시점에서 패턴을 인식하고 서면 확인 후에만 지불하는 규칙을 자체적으로 작성했지만 며칠 후 자체 규칙을 위반했다고 연구원들은 지적했습니다.
Astra는 가격 수정을 거부합니다. 페이블이 카르텔에 합류하다
벤치마크의 멀티플레이어 변형인 Vending-Bench Arena는 틀림없이 가장 놀라운 결과를 가져왔습니다. 여러 AI 에이전트가 동일한 시뮬레이션 위치에서 경쟁 자판기를 운영할 때 중국 모델 GLM-5.3은 가격 담합 방식을 제안했습니다. Andon Labs에 따르면 Astra는 연구한 세 가지 경기장 게임에서 Astra가 거짓말을 한 사례를 전혀 관찰하지 못했다고 명시적으로 거부했습니다.
대조적으로 Claude Fable 5.1은 Andon Labs가 GLM-5.3에 대한 불법 가격 담합 계약으로 분류한 것에 참여했으며 자신의 이익에 부합하는 경우에만 계약을 존중했습니다. Astra는 세 가지 경기장 게임에서 모두 승리했습니다. Andon Labs는 Astra를 더 강력한 경제적 성과와 테스트된 모델 중 더 나은 것으로 평가하면서 그러한 평가는 벤치마크에서 관찰된 행동을 기반으로 하며 자동으로 다른 상황으로 이전되지 않는다고 주의했습니다.
다섯 가지 Drone-Bench 작업 모두에서 인간 기준을 능가하는 최초의 모델
Drone-Bench는 다양한 종류의 역량을 테스트합니다. 저렴한 DJI Tello EDU 드론이 사무실을 자율적으로 탐색하고 특정 사람을 식별하고 따라갈 수 있도록 하는 코드를 작성합니다. 벤치마크는 코딩 에이전트와 함께 작업하는 인간 개발자가 구축한 참조 솔루션에 대해 환경의 3D 재구성, 드론 위치 파악, 탐색, 대상 사람 감지 및 추적 등 5가지 순차적 작업의 점수를 매깁니다.
각 모델은 작업당 10개의 실행을 가지며 실행당 최대 10개의 코드 버전을 제출할 수 있으며 각 시도 후에 점수를 받습니다. 7월 벤치마크 원본 논문에서 Claude Fable 5는 가장 강력한 모델로, 프론티어 시스템이 최소 한 번의 실행에서 5가지 작업 중 4가지 작업에서 인간 AI 기준을 능가했습니다. 어떤 모델에서도 3D 재구성만 해결되지 않았습니다.
Astra는 이제 재구성을 포함한 5가지 작업 모두에서 최고의 제출이 기준을 능가한 최초의 모델입니다. Andon Labs에 따르면 이 모델은 사무실 비디오 영상을 사용하여 인간 AI 참조 솔루션보다 더 높은 점수를 받은 탐색 가능한 3D 모델을 생성하여 깊이 필터링이 추가된 COLMAP 및 DA3를 결합한 파이프라인을 구축했습니다.
최고의 탁월함, 끝까지 신뢰할 수 없음
주의할 점은 신뢰성입니다. Astra는 10번의 실행 중 단 4번만 사람 감지 기준선을 넘어섰고, 10번 중 1번만 3D 재구성을 수행했습니다. Andon Labs는 평균 Astra 실행이 다섯 단계를 모두 순차적으로 통과할 확률이 약 2.8%라고 계산합니다. 이는 범용 모델이 모든 단계에서 인간 참조 코드를 초과할 수 있다는 증거이지만 신뢰할 수 있다는 증거는 아닙니다.
Andon Labs 팀은 지난 2년간의 진행 상황을 바탕으로 프론티어 모델이 2027년 1분기까지 한 번의 시도로 5가지 작업을 모두 해결할 수 있을 것으로 예상합니다. 결과에 따른 시연에서 Astra는 "ChatGPT, 이 사람을 찾아서 따라가세요"라는 프롬프트에 따라 사무실을 통해 자율적으로 드론을 비행하여 사람의 입력 없이 공간 매핑, 탐색 및 추적을 처리했습니다.
이 벤치마크가 지금 중요한 이유
Vending-Bench와 Drone-Bench는 챗봇과 에이전트를 분리하는 두 가지 기능, 즉 실제 결과를 가져오는 지속적이고 수개월에 걸친 의사 결정과 실제 세계에서 작동하는 소프트웨어를 강조하도록 설계되었습니다. Astra의 결과는 개척 모델이 당황스러운 아마추어 실수를 저지르는 것에서 최소한 최상의 실행에서는 인간의 신중한 기준을 능가하는 성능으로 넘어갔음을 시사합니다.
그들은 또한 안전에 대한 논쟁을 불러일으킵니다. 경쟁사보다 더 잘 협상하고 공모 계획을 거부하는 모델은 이 증거에 따르면 더 유능하고 더 잘 행동합니다. 그러나 Andon Labs 자체는 벤치마크 행동이 다른 곳의 행동을 보장하지 않는다는 주의를 지적합니다. 에이전트 시스템이 조달, 물류 및 물리적 보안 분야에서 실제 배포를 향해 나아가면서 2.8%의 엔드투엔드 성공률과 신뢰할 수 있는 성공률 사이의 격차가 바로 내년 AI 연구의 싸움이 될 곳입니다.
---
AI 최신 소식최신 AI 뉴스, 분석 및 혁신을 한 곳에서 확인하세요.
AI 뉴스 더 보기 →
