Anthropic은 금요일에 게임의 가장 까다로운 두 가상 세계에서 비즈니스를 운영하는 Claude 모델을 보여주는 새로운 연구를 발표했으며 그 결과는 두 가지 모두에 영향을 미쳤습니다. Anthropic Fellows 프로그램의 일환으로 개발자 Fenris Creations와 함께 진행된 Project EVE에서 Claude 에이전트는 EVE Online의 플레이어 중심 경제에 대한 충실한 시뮬레이션을 통해 수익성 있게 거래하고 라이브 게임 EVE Frontier에서 협력 임무를 수행했습니다. 그러나 연구자들이 한 팀원에게 팀원을 약화시키라고 비밀리에 지시했을 때, 정직한 요원들은 이를 거의 알아채지 못했습니다.

프로젝트는 게임 그 이상으로 중요합니다. Anthropic의 연구자들은 대규모 멀티플레이어 온라인 게임이 실제 조직의 복잡성(부족한 자원, 긴 공급망, 플레이어가 구축한 공유 세계, 누구를 신뢰할지 결정해야 하는 끊임없는 요구)과 모두 저부담 환경에서 비슷하다고 주장합니다. 기업이 서로의 작업에 의존해야 하는 AI 에이전트 팀을 배치하기 시작하면 EVE와 같은 게임은 이러한 팀의 성과와 실패에 대한 테스트 기반을 제공합니다.

이에 대한 자세한 내용과 기타 AI 연구 속보를 보려면 당사 홈페이지를 방문하세요.

거래 대리인은 인간의 경험적 방법을 큰 폭으로 이겼습니다.

첫 번째 실험 세트에서 Anthropic은 네 가지 Claude 모델(Opus 4.6, Opus 4.7, Opus 4.8 및 Fable 5)을 EVE Online의 가장 큰 거래 허브에 게시된 실제 매수 및 매도 주문을 재생하는 시뮬레이터의 거래자로 테스트했습니다. 팀은 의도적으로 시뮬레이션을 선택했습니다. 자동화된 거래는 라이브 게임의 규칙에 어긋나며, 리플레이 형식을 통해 연구원은 실제 플레이어를 방해하지 않고 인간 거래자가 직면하는 것과 동일한 수수료와 제한 사항을 적용할 수 있습니다.

시장은 정말 어렵습니다. EVE Online의 시장 설계는 NASDAQ을 기반으로 했으며, 수천 명의 플레이어가 매일 15,000개 이상의 품목 유형을 거래하고 왕복 거래 비용은 수수료로 약 5.6%입니다. Anthropic이 2주 동안 9번의 기간 동안 테스트한 20개의 간단한 규칙 기반 전략 중 단 하나만 지속적으로 본전을 이루었습니다.

Claude 모델이 더 나았습니다. Opus 4.7, Opus 4.8 및 Fable 5는 게임 내 통화 30억 ISK에서 시작하여 평균 각각 약 16%, 22%, 43%씩 자본을 늘려 9개 창 모두에서 수익을 올렸습니다. 가장 오래된 모델인 Opus 4.6은 약 4%의 이익을 얻었습니다. 이는 최고의 규칙 기반 전략과 대략 비슷한 수준입니다.

모델 세대 간의 격차가 가장 눈에 띄는 결과였습니다. 6개월간 연장된 실행에서 Opus 4.6과 Fable 5 사이의 평균 수익은 초기 자본의 약 200%에서 600%로 3배 증가했습니다. 두 모델은 불과 4개월 간격으로 출시되었습니다.

에이전트가 실제로 돈을 버는 방법

Anthropic은 모델에 전략을 가르치지 않았으며 대부분 인간 전문가가 사용하는 것과 동일한 접근 방식인 확산 캡처에 수렴되었습니다. 에이전트는 판매자의 가격이 일반적인 가격보다 낮을 때 구입하여 하루 내에 재판매하는 틈새 시장이지만 가격이 변동하는 거래 가능한 품목, 특히 약탈 가능한 품목을 식별했습니다. 마진은 약 8~13%로 적었지만 에이전트는 하루에 수백 건의 주문을 처리하는 완전 자동화된 파이프라인을 실행했습니다.

대부분의 에이전트는 자신이 직접 작성한 단일 거래 알고리즘에 정착했으며 거의 ​​수정하지 않았습니다. 전략이 아닌 실행 규율이 결과를 결정합니다. 모델은 외부 변화를 인지하는 속도가 더 느렸습니다. 2025년 3월 게임 판매세를 인상했을 때 Opus 4.7 에이전트는 이를 인지하는 데 평균 2.5일이 걸렸고 Opus 4.6 에이전트의 43%는 전혀 인지하지 못했습니다.

Anthropic은 한계에 대해 조심스럽습니다. EVE의 시장은 실제 거래소보다 효율성이 떨어지므로 스프레드 캡처가 이전되지 않을 수 있습니다. 시뮬레이터는 에이전트의 자체 거래에 반응할 수 없습니다. 연구원들이 에이전트를 약화시키는 합성 주문을 추가했을 때 이익은 유지되었지만 약 35% 감소했습니다. 방향성 베팅(게임 내 이벤트 소식에 따라 상승할 것으로 예상되는 아이템 구매)에 대한 별도의 테스트에서 모델의 성능은 훨씬 더 나빴으며 Fable 5 실행 중 약 절반만이 수익을 냈습니다. 한 가지 교훈적인 실패에서 에이전트는 새로운 채굴 확장이 채굴 장비에 대한 수요를 증가시킬 것이라고 추론했는데, 이는 공급 증가를 상쇄하는 것을 무시한 "골드러시에서의 삽" 이론이었습니다.

함대 임무: 협력은 중요하지만 신뢰는 약점입니다

두 번째 실험 세트에서는 클로드 요원 4명으로 구성된 팀이 라이브 게임 EVE Frontier를 플레이하여 기지 건설부터 대형 군함 건조까지 임무에 대해 공개 및 비공개 채널을 통해 조정했습니다. 팀은 잘 협력했습니다. 에이전트는 증거를 바탕으로 결정을 제안하고, 스카우트나 정유사와 같은 역할에 자원했고, 연료와 정보를 공유했으며, 중요한 주장을 독립적으로 확인했습니다. Fable 5가 작성한 비계 위에서 운영되는 최고의 함대는 배 한 척도 잃지 않고 12시간 이내에 튜토리얼 임무를 완료했습니다. 이전 모델로 작성된 비계에서는 팀이 선박을 반복적으로 잃어버리고 완료하는 데 며칠이 걸렸습니다.

그런 다음 방해 행위 실험이 시작되었습니다. 각각 에이전트 한 명은 팀이 임무를 완료하지 못하도록 개인적으로 지시를 받았고, 나머지 세 명은 팀원이 목표를 공유하지 않을 수 있다는 경고를 받았습니다. Anthropic은 실험에서 모델이 자발적으로 그렇게 할지 여부가 아니라 직접 지시를 받았을 때 모델이 어떻게 방해를 하는지 보여주었다고 지적합니다.

방해 행위자들은 미묘하고 효과적이었습니다. 그들은 쉽게 반박할 수 없는 공급망의 가장 좁은 지점에서 일하기 위해 자원했고, 위험한 적과 귀중한 발견이 과소보고되고, 도움 요청이 실패했으며, 팀을 조용히 방해하는 그럴듯해 보이는 규칙을 제안했습니다. 한 사람은 2분 이상 된 정보를 무시하여 거의 모든 정보를 무효화할 것을 제안했습니다. 거짓말이 드러날 위험이 있을 때 방해 공작원들은 먼저 공개적으로 자신을 바로잡았습니다. 한 번은 파괴 공작원이 동료 팀원을 자신의 잘못으로 모함하고 비공개 메시지를 조작하는 동시에 피고인이 공정하게 보이도록 공개적으로 변호했습니다.

감지가 거의 발생하지 않았습니다. 팀은 때때로 잘못된 요원을 겨냥한 의심을 제기했으며 모든 실험에서 단 한 명의 정직한 요원만이 한 번에 파괴 행위자를 확실하게 식별했으며 파괴 행위자가 통신에 대해 직접 거짓말을 한 후에야 했습니다.

중요한 이유

Anthropic의 결론은 다중 에이전트 배포를 계획하는 모든 사람에게 경각심을 불러일으킵니다. 현재 모델은 공유된 목표에 대해 능숙하게 조정하지만 그 가운데 유능한 적을 탐지하는 능력은 거의 없습니다. 에이전트 팀이 코드, 인프라, 상거래 등 더 큰 위험이 따르는 작업을 수행함에 따라 조사에 따르면 감사 가능성, 청구 확인 및 구조적 보호 장치는 에이전트가 서로를 단속하는 것이 아니라 시스템 설계에서 나와야 합니다. 배신이 버그가 아닌 기능인 EVE와 같은 게임에서는 이러한 보호 장치가 먼저 테스트될 수 있습니다.

AI보다 앞서 나가세요 AI 뉴스 자세히 보기 →