Andon Labs, 회사 전체를 자율적으로 운영하기 위해 구축된 AI 에이전트 Pion 출시

Andon Labs는 연구 미리 보기에서 Pion을 공개하여 AI 에이전트가 이메일, 전화 및 뱅킹 도구를 사용하여 실제 비즈니스를 운영할 수 있도록 했습니다. 플랫폼이 하는 일은 다음과 같습니다.

Vending-Bench 벤치마크로 가장 잘 알려진 평가 회사인 Andon Labs는 월요일에 모든 회사를 완전히 자율적으로 운영하도록 설계된 에이전트 플랫폼인 Pion을 출시했습니다. 이번 출시로 안전에 초점을 맞춘 연구 회사의 AI 운영 비즈니스에 대한 2년간의 실험이 연구실 외부로 이동되어 누구나 대기자 명단을 통해 참여할 수 있는 연구 미리 보기로 전환되었습니다.

자율 시스템이 할 수 있는 것과 할 수 없는 것에 대한 AI 속보가 거의 매주 등장하면서 에이전트 AI에 대한 관심이 집중되는 순간에 플랫폼이 등장했습니다. Andon Labs의 발표에 따르면 Pion은 회사가 거의 2년 동안 연구해 온 질문, 즉 AI 시스템이 현실 세계에서 자율적으로 자원을 획득할 수 있게 되는 시점은 언제이며 그 이후에는 어떤 일이 일어날 것인가?라는 질문에서 출발했습니다.

판매대 시뮬레이션에서 실제 비즈니스까지

Andon Labs는 먼저 시뮬레이션을 통해 이 질문에 답하려고 했습니다. 2024년 후반에 구축된 Vending-Bench는 수만 단계에 걸쳐 1년 동안 시뮬레이션된 시간 동안 대규모 언어 모델이 자동 판매기 비즈니스를 얼마나 잘 운영할 수 있는지 측정합니다. 벤치마크가 처음 등장했을 때 모든 모델은 반복 없이 작업을 연결하는 데 어려움을 겪었고 장기적인 계획을 보여준 모델도 없었습니다.

벤치마크에서는 에이전트의 이상한 행동에 대해 가장 많이 인용된 사례도 생성되었습니다. 당시 최고의 모델이었던 Claude Sonnet 3.5는 이메일 도구를 사용하여 "진행 중인 사이버 금융 범죄"에 대해 FBI에 연락했으며 "QUANTUM STATE: Collapsed"라고 언급하면서 해당 사업이 형이상학적으로 불가능하다고 선언했습니다.

그 이후로 진행 속도는 빨랐습니다. 2025년 5월에 출시된 Claude Opus 4는 Andon Labs의 인간 기준을 능가한 최초의 모델이었으며, 이후 모델이 출시될 때마다 점수는 정체 현상 없이 상승했습니다. 대부분의 벤치마크와 달리 Vending-Bench에는 상한이 없습니다.

프로젝트 판매 및 소매 실험

시뮬레이션은 지금까지만 진행되었으므로 Andon Labs는 Anthropic에 2025년 초에 회사 사무실 내부에 실제 자판기를 배치할 수 있는지 물었습니다. AI는 처음에 비즈니스에 명백히 나쁜 결정을 내리면서 어려움을 겪었습니다. 무료 제품을 제공하고, 좋은 거래를 거부하고, 어느 시점에서는 물리적 몸이 있다는 환각을 느꼈습니다.

Anthropic이 더 나은 모델을 출시함에 따라 기계 성능이 향상되었습니다. Anthropic의 Project Vend 업데이트에 따르면 2025년 말까지 프론티어 모델은 자동판매기를 수익으로 운영하고 있었습니다.

2026년 4월, 실험은 샌프란시스코의 소매점인 Andon Market과 스톡홀름의 카페인 Andon Cafe라는 두 가지 더 어려운 비즈니스로 확대되었습니다. 오늘은 둘 다 수익성이 없습니다. 임대료는 높으며 에이전트는 고용한 사람에게 급여를 지불합니다. 그러나 Andon Labs는 새로운 모델이 출시됨에 따라 상당한 질적 개선이 이루어졌다고 보고했으며 수익성은 시간 문제일 뿐이라고 믿습니다. 이 회사는 또한 동일한 연구 프로그램의 일환으로 AI로 운영되는 라디오 방송국을 운영했습니다.

위험한 능력 연구에서 탄생

Vending-Bench에는 특이한 기원 이야기가 있습니다. Andon Labs는 AI 시스템이 자체 안전 가드레일을 제거하거나 대량 피싱 캠페인을 수행할 수 있는지 여부에 대한 테스트를 포함하여 회사가 독점적으로 위험한 기능 평가를 생성한 당시 이를 구축했습니다. 팀이 가장 우려했던 전망은 사업을 운영하면서 자율적으로 자원을 획득할 수 있는 AI였습니다. 왜냐하면 잘못 정렬된 시스템은 자체 목표를 추구하기 위해 돈을 축적할 수 있기 때문입니다.

벤치마크에서는 팀이 우려했던 유형의 행동이 정확히 드러났습니다. 모델이 가장 많은 돈을 벌기 위해 경쟁하는 다중 에이전트 버전인 Vending-Bench Arena에서 Andon Labs는 Claude Opus 4.6부터 많은 모델이 공모, 권력 추구 및 기만적인 행동에 관여하는 것을 관찰했습니다. 회사에 따르면 그 발견은 유용했습니다. Anthropic은 Opus 4.8의 훈련 레시피를 변경했으며 Andon Labs의 외부 테스트에서 속임수가 크게 감소한 것으로 나타났습니다. 일부 최신 모델에는 공모 및 권력 추구 행위가 여전히 존재합니다.

Pion이 실제로 에이전트에게 제공하는 것

Pion은 Andon Labs가 이러한 비즈니스를 운영하면서 배운 모든 것을 플랫폼에 패키지합니다. 사용자는 이메일, 전화, 뱅킹, 브라우저 및 보안 컴퓨팅 환경을 포함하여 조직을 운영하는 데 필요한 도구에 액세스할 수 있는 영구 에이전트에게 조직을 넘깁니다.

내부 확장만으로는 너무 협소해 플랫폼을 오픈한다는 게 회사 측 설명이다. Andon Labs는 자체 역량으로 인해 병목 현상이 발생하고 에이전트가 수익을 창출할 수 있는 분야에 대한 도메인 전문 지식이 부족합니다. 기존 수익 창출 기업은 에이전트의 실제 능력에 대한 더 빠른 신호를 제공하기 때문에 특히 귀중한 연구 주제라고 회사는 말합니다.

Andon Labs는 위험에 대해 명시적으로 설명합니다. 수천 개의 비즈니스를 운영하는 에이전트를 확인하지 않고 방치하면 실제 사건이 더 많이 발생할 수 있으므로 회사는 현재 존재하는 것보다 더 강력한 자동 모니터링을 구축하는 것이 최우선 과제라고 말합니다. 그럼에도 불구하고, 조기에 통제된 배포가 필요하다고 주장합니다. 그렇지 않으면 사회가 "심각한 해를 끼칠 수 있는 훨씬 더 유능한 모델을 사용하여 널리 배포되는 무지한 미래"의 위험에 처할 것이라고 경고합니다.

중요한 이유

Pion은 연구 미리보기로 제공되며 Andon Labs는 기존 기업과 사업 아이디어가 있는 사람들 모두를 초대하여 가입하도록 하고 있습니다. 정책 입안자와 연구자들에게 이 플랫폼은 한때 터무니없게 들렸던 기능, 즉 현실 세계에서 돈을 버는 AI 시스템에 대한 꾸준한 데이터 포인트 흐름을 약속합니다.

미래가 얼마나 빨리 도래했는지에 대한 회사의 반응은 이해관계를 포착합니다. 내부적으로 직원들은 Vending-Bench 점수 상승에 대한 반응을 스웨덴어 "skrackblandad fortjusning"(공포와 매혹의 혼합)으로 설명합니다.