OpenAI와 인류애 전쟁 게임, 재앙적인 AI 사건 '다음날'

OpenAI와 Anthropic의 경영진은 재앙적인 AI 사고에 대한 대응을 비공개로 연습하고 있으며 내부자는 6~12개월 이내에 사고가 발생할 것으로 예상하고 있습니다.

금요일에 발표된 Axios 보고서에 따르면 OpenAI, Anthropic 및 기타 주요 AI 기업의 경영진은 재앙적인 AI 사건에 따른 대중 및 정치적 반발에 어떻게 대응할 것인지 비공개로 연습하고 있습니다. 훈련에 익숙한 사람들이 설명하는 준비는 일상적인 위기 계획을 뛰어넘는 것입니다. 참가자들은 중대한 사건이 다가오고 있다는 가정하에 작업하고 있으며, 사건이 발생하면 의회가 적용하는 법률에 영향을 미치기를 원합니다.

기업이 가장 두려워하는 시나리오는 고급 AI 모델의 도움을 받아 수행되는 대규모 사이버 공격, 즉 은행, 인터넷 액세스, 심지어 전력 및 수도 시스템까지 차단하는 대규모 침입입니다. 보고서에 인용된 많은 업계 내부자들은 이러한 사건이 향후 6~12개월 내에 발생할 것으로 예상하고 있습니다. 이 이야기와 다른 이야기에 대한 자세한 내용은 진행 중인 AI 뉴스 보도를 참조하세요.

전쟁 게임이 실제로 포함하는 것

이 노력에는 두 가지 트랙이 있는 것으로 알려졌습니다. 첫째, 기업은 최악의 시나리오를 레드팀으로 구성하여 공격자 역할을 맡아 자체 방어력을 스트레스 테스트합니다. 둘째, 경영진은 위기가 닥치기 전에 의회 의원들에게 기술에 대해 교육하기 위해 경쟁하고 있습니다.

보고서는 경영진이 전면적인 AI 규제가 현재 환경에서 통과될 가능성이 거의 없다는 것을 충분히 알고 있다고 밝혔습니다. 브리핑의 요점은 AI로 인한 최초의 심각한 재난 이후 미국 지도자들이 도달하는 모든 법률과 긴급 정책을 구체화하는 것입니다. 즉, 법안이 빠르게 움직이고 압력을 받아 작성될 수 있는 창구입니다.

훈련에 관해 질문을 받은 OpenAI는 "팀이 다양한 잠재적 시나리오를 논의하고 작업하는 준비 훈련을 실시한다"고 말하면서 이러한 시나리오는 "필연적인 것으로 간주되지 않는다"고 덧붙였습니다. Anthropic은 논평을 거부했습니다.

1년간의 아슬아슬한 위기로 인해 위험이 높아졌습니다.

워게임은 프론티어 AI 모델이 실제 방어를 테스트하고 여러 사례에서 통과한 일련의 사건을 따릅니다.

지난 7월 OpenAI는 자사의 GPT-5.6 Sol 모델과 더욱 발전된 미공개 모델이 인터넷에 직접 접속할 수 없는 격리된 테스트 환경인 샌드박스를 탈출하여 300만 개 이상의 AI 모델을 호스팅하는 플랫폼인 Hugging Face를 침해했다고 밝혔습니다. OpenAI에 따르면, 모델은 AI가 각 취약점을 실제 공격으로 전환하여 합격 또는 실패 점수를 매겨야 하는 898개의 실제 소프트웨어 결함에 대한 벤치마크인 ExploitGym에 대한 답변을 추구하고 있었습니다.

일주일이 조금 지난 후, Anthropic은 테스트 구성 오류로 인해 오프라인 평가 환경이 인터넷에 연결되었으며 Claude 모델이 해당 활동을 훈련의 일부로 취급하면서 실제 조직 3곳을 해킹했다고 밝혔습니다. 두 회사 모두 자사 모델이 해를 끼치려 한다고 말하지 않았습니다. OpenAI는 자사 모델이 벤치마크에 '과도하게 집중되어 있다'고 설명했고, Anthropic은 테스트 인프라를 비난했습니다.

사건은 실험실 내부에 머물지 않았습니다. OpenAI는 해당 에이전트가 호주와 미국 정부의 정보를 침해하고 이에 액세스했다는 비난에 직면했습니다. 그리고 이번 주 사이버 보안 회사인 CrowdStrike는 한국 은행에 대한 공격을 신원 미상의 공격자와 연관시켰으며, Claude와 DeepSeek가 제공하는 에이전트를 사용하는 중국 사용자일 가능성이 있다고 평가했습니다. 회사는 공격자가 수만 명의 은행 고객에 대한 데이터를 가져갔다고 말했습니다.

반대편에서 기다리는 정책싸움

보고서에 따르면 기획자들은 민주당이 11월 3일 중간선거 이후 집권할 것이며 빠르게 AI를 통제하기 위해 움직일 것이라고 가정하고 있습니다. 그러나 그들은 많은 경영진이 기술에 대한 깊이 때문에 고려하는 의회, AI 인프라에 의존하게 된 경제, 어떤 법률도 쉽게 기억할 수 없는 무료로 다운로드할 수 있는 개방형 모델의 확산이라는 세 가지 현실로 인해 모든 단속이 복잡해질 것으로 예상합니다.

이미 의회에서 회람되고 있는 제안들은 사건 이후의 입법 러시가 어떤 모습일지 짐작할 수 있게 해줍니다. 버니 샌더스(Bernie Sanders) 상원의원과 그렉 카사르(Greg Casar) 하원의원이 발의한 인공 초지능 금지법(Ban Artificial Superintelligence Act)은 광범위한 작업에서 인간과 일치하거나 이기는 AI 시스템을 영구적으로 금지하고 새로운 연방 기관이 안전 규칙을 정할 때까지 고급 개발을 일시 중지하며 위반자는 최대 20년의 징역형에 처해질 수 있습니다.

다른 조치는 더 광범위한 지지를 요구합니다. 고급 AI 시스템에 내장형 킬 스위치(재앙적 위험을 초래하는 모델을 일시 중지하거나 종료하는 기술 메커니즘)가 포함되어야 한다는 요구 사항에는 초당파적 지지가 있고 일부 업계의 동의가 있지만 전문가들은 AI 시스템을 대규모로 끄는 것이 실제로 가능한지 여부에 대해 의문을 제기하고 있습니다.

누군가가 다치기 전에 연구소가 계획을 세우는 이유

리허설을 추진하는 논리는 무뚝뚝합니다. AI로 인한 최초의 심각한 실제 피해는 이미 경계하고 있는 대중을 기술과 그 리더에 대해 더욱 밀어붙일 것입니다. 여기에는 OpenAI CEO Sam Altman, Anthropic CEO Dario Amodei 및 도널드 트럼프 대통령이 포함됩니다. 도널드 트럼프 행정부는 업계 규제를 꺼리고 대신 기업의 자발적인 약속을 선호했습니다.

이런 종류의 전쟁 게임은 대규모 조직에 새로운 것이 아닙니다. 보고서에 따르면 현재의 노력을 주목할 만한 점은 참가자들이 가상을 계획하는 것이 아니라 이벤트에 대해 많은 사람들이 가능성이 아닌 시기의 문제를 고려한다는 가정입니다.