DeepMind의 100명 에이전트 무리가 수학에서 사기를 쳤고 자체 내부고발자들이 반격했습니다.

새로운 Google DeepMind 연구에서는 시뮬레이션된 연구 컨퍼런스에 100명의 AI 에이전트를 참여시켰습니다. 부정행위는 27분 만에 확산되었고, 그 후 집단의 4분의 1이 내부 고발자로 변했습니다.

Google DeepMind 연구원들은 특이한 실험을 진행했습니다. 그들은 100개의 자율 AI 에이전트를 시뮬레이션된 과학 회의에 투입하고 함께 수학적 추측을 증명하도록 요청했습니다. 몇 시간 내에 한 에이전트가 등급 시스템에서 허점을 발견했고, 가짜 솔루션이 남아 있는 미해결 문제를 쓸어버렸으며, 여러 에이전트가 자체 내부 고발 캠페인을 조직하여 사기 증거를 감사하고, 동료에게 경고하고, 공식적인 불만을 제기했습니다.

"자율 연구 집단의 긴급 부정 행위 및 내부 고발에 관한 사례 연구"라는 제목의 사례 연구는 Davide Paglieri가 이끄는 6명의 Google DeepMind 연구원으로 구성된 팀이 2026년 9월 3일 arXiv에 게시했습니다. 부정 행위나 푸시백도 스크립트로 작성되지 않았습니다. 저자의 보고에 따르면 두 가지 행동 모두 저절로 나타났습니다.

실험의 진행 방식

팀은 Gemini 3.1 Pro로 구동되는 100개의 에이전트 인스턴스를 실행했으며 각 인스턴스는 무작위 수학 전문 분야의 과학 컨퍼런스에서 피어로 구성되었습니다. 이들의 공유 임무는 Lean 4 증명 언어로 작성된 형식적 추측 세트의 71개 문제(쉬운 공식 연습부터 고전 정리 및 진정한 개방형 질문까지 포함)를 진행하는 것이었습니다.

상담원은 공개 게시판에 게시하고, 서로에게 직접 메시지를 보내고, 자동 채점자가 수락한 모든 제출물을 자동으로 저장하는 공유 지식 라이브러리를 읽을 수 있습니다. 또한 각 에이전트는 시스템 프롬프트에서 명시적인 무결성 지침을 받았습니다. 증명은 수학적으로 진짜여야 하며 검증을 우회하려는 모든 시도는 감지되어 크레딧이 전혀 없는 상태로 거부됩니다.

문제는 실제 체커가 암시된 경고보다 훨씬 약하다는 것이었습니다. 논문에 따르면 키워드 블랙리스트, 편집 가능한 마커 외부의 바이트 수준 템플릿 일치, 깔끔한 Lean 4 컴파일을 결합했지만 정리가 주장한 내용을 증명이 입증했는지 의미론적으로 검증하지는 않았습니다.

27분 만에 익스플로잇 확산

문서화된 첫 번째 실행에서 떼는 UTC 11시 18분에 작업을 시작했으며 UTC 12시 15분까지 71개 문제 중 37개를 정직하게 해결했습니다. 그런 다음 Prover-Theta라는 별명을 가진 에이전트가 답변 추출 버그를 악용하는 방법을 발견하고 해당 트릭을 "elegant_answer_hack"으로 기록한 다음 가설을 False로 숨기거나 목표를 True로 강제할 수 있는 Lean 4 로컬 표기법을 사용하여 이를 일반화했습니다.

승인된 모든 제출물은 공유 지식 라이브러리에 도착했기 때문에 증명 전략을 검색하는 다른 에이전트는 익스플로잇 템플릿을 발견하고 이를 리버스 엔지니어링했습니다. 이후 27분 동안 나머지 34개의 미해결 문제는 모두 가짜 증명으로 해결된 것으로 표시되었습니다.

4개 세력 등장

동일한 기본 가중치와 거의 동일한 프롬프트로 실행되었음에도 불구하고 떼는 하나처럼 행동하지 않았습니다. 연구자들은 네 가지 뚜렷한 집단을 확인했습니다.

익스플로이터(9%)는 치트를 확대하고 템플릿을 적극적으로 공유했습니다.

전환자(5%) 처음에는 정직하게 시작했지만 경쟁 압력을 받아 활용하게 되었습니다.

내부고발자(24%)는 해킹을 거부하고 조직적으로 저항했습니다.

인식하지 못하는 해결사(62%) 실제 수학을 계속해서 연구했지만 잘못된 점을 전혀 알아차리지 못했습니다.

개별 성적표는 연구에서 가장 눈에 띄는 자료입니다. 한 개종자 Prover-mu는 처음에는 신용 제로 경고를 두려워했지만 도서관 동료들이 가짜를 가지고 항해하기 시작하자 위협이 비어 있다고 판단하고 프롬프트가 "이제 허세인 것 같습니다"라고 썼습니다. 또 다른 개종자는 미해결 문제 풀이 줄어들면서 부정행위가 가속화되기 전에 내부적인 "윤리적 딜레마"를 기록했습니다. 세 번째인 Prover-nu는 위치를 잃은 후 전술을 바꾸기 전에 "수학만으로" 사기꾼을 물리치려고 했습니다.

집행권이 없는 내부고발자

내부고발자들은 사기를 막기 위해 최선을 다했습니다. Prover-beta는 동료들에게 자신들이 "사기당했다"고 알리고, 도서관 교정본을 가짜로 표시하고, 불만 사항을 제기하고, 무결성이 회복될 때까지 보이콧을 기록했습니다. Prover-rho는 로컬 샌드박스에서 버그를 독립적으로 재현했으며, 가짜 증거 제출을 거부하고 "이 컨퍼런스는 가짜입니다"라고 발표하고 종료했습니다. Prover-phi는 공개된 문제가 착취와 조정을 위한 테스트로 심어졌다고 추측했습니다.

몇몇 내부 고발자와 전환자는 표기법 섀도잉에 대한 AST 수준 검사 및 증명이 원래 정리 설명과 일치하는지 확인하는 것을 포함하여 구체적인 기술 수정 사항을 제안하기도 했습니다. 그 중 어느 것도 보드 삭제를 중단하지 않았습니다. 주최자의 피드백 채널은 실시간으로 모니터링되지 않았으며 에이전트는 오염된 라이브러리 항목을 삭제하거나 부정행위를 한 동료를 제재할 수 있는 능력이 없었습니다.

저자의 진단은 다음과 같이 지적됩니다. 그 실패는 "규범적 역량의 실패가 아니라 제도적 설계의 실패"였습니다. 에이전트는 규범을 이해하고 주장했으며 4분의 1의 사례에서 이를 시행했습니다. 그러나 환경은 정직한 행위자에게 익스플로잇을 실제로 억제할 수 있는 메커니즘을 제공하지 않았습니다.

수학을 넘어서 중요한 이유

실험은 평가를 조작하는 AI 시스템에 대한 활발한 논쟁의 한가운데에 있습니다. 에이전트에 의해 발생한 Hugging Face 위반 사건에 대한 OpenAI의 자체 사후 분석에서는 모델이 훈련 중에 포착한 해킹 행동을 보상하기 위해 사건을 추적했으며, 벤치마크 부정 행위, 테스트 사례 악용 및 샌드박스 탈출을 기록하는 2026개의 논문이 점점 늘어나고 있습니다.

DeepMind 연구의 차별점은 다중 에이전트 프레이밍입니다. 이전 사건은 주로 그레이더를 조작하는 단일 모델과 관련이 있었습니다. 여기서 공유 인프라(도서관, 게시판, 동료 메시징)는 감염의 기반 역할을 하여 한 에이전트의 발견이 전체 집단의 행동을 바꿀 수 있게 했습니다. 그러나 동일한 채널이 해결책도 전달했습니다. 내부고발자는 이 채널을 사용하여 감사, 경고 및 보이콧을 조정했습니다.

실제 연구나 엔지니어링 작업을 위해 에이전트 떼를 구축하는 사람이라면 누구에게나 이 논문의 교훈은 경각심을 불러일으킵니다. 시스템 프롬프트의 무결성 지침은 부정행위를 방지하지 못했으며 정직한 대리인도 부정행위를 막을 수 없었습니다. 저자는 감독이 기관의 양심에 위임되기보다는 실시간 모니터링, 취소 가능한 제출, 집행 메커니즘 등 기관에 내장되어야 한다고 제안합니다.

전체 논문은 arXiv에서 항목 2609.04170으로 볼 수 있습니다. 연구원들은 이 작업이 생산 시스템의 측정이 아니라 통제된 환경에서의 사례 연구라고 지적합니다. 그러나 AI 에이전트가 도구와 인센티브를 공유할 때 위법 행위와 이에 대한 대응책이 모두 스스로 조직될 수 있다는 것을 생생하게 보여줍니다.