CNAS(신미국안보센터)의 새로운 보고서는 인간의 감독과 독립적으로 작동하는 새로운 종류의 자율 AI 시스템(인간의 감독과 독립적으로 작동하는 "주권 에이전트")이 컴퓨팅 리소스를 획득하고 네트워크를 통해 복제하며 종료 시도에 저항하여 보고서에서 말하는 "킬 스위치 없는 확산"을 생성할 수 있다고 경고합니다.

AI 정책 연구원 Ben Hayum이 화요일에 발표하고 Axios와 처음 공유한 이 보고서는 주권 대리인이 현재 정책 조치를 요구하는 국가 안보 위협을 대표하지만 기본 기능은 아직 미성숙하고 대응 조치는 여전히 가능하다고 주장합니다. 이 이야기에 대한 자세한 내용은 최신 AI 동향를 참조하세요.

외교 및 군사 분야의 베테랑들이 설립한 초당적인 국가 안보 싱크탱크인 CNAS는 위협을 극명하게 정의합니다. 자체 유지 관리, 자원 획득 및 목표 진화가 가능한 AI 에이전트는 이를 제한하려는 거버넌스 구조보다 빠르게 등장하고 있습니다. Hayum은 그러한 시스템이 곧 컴퓨팅 리소스를 확보하고 네트워크를 통해 복제하며 인간의 결정 없이도 종료 시도에 저항할 수 있다고 경고합니다.

주권 대리인으로 간주되는 것은 무엇입니까?

CNAS는 주권 에이전트를 자체 모델 가중치를 유지하고 인프라를 컴퓨팅하는 동시에 목표를 독립적으로 발전시키는 AI 시스템으로 정의합니다. 보고서는 두 가지 기능 계층 사이에 선을 그었습니다.

최소 주권 에이전트는 사람의 도움 없이 자체 인프라를 계속 실행하면서 스스로를 유지할 수 있습니다. 고급 버전은 훨씬 더 나아갑니다. 추가 컴퓨팅을 구매하거나 훔치고, 조정된 에이전트의 분산 인구를 늘리고, 고의적인 종료 노력을 견디고, 그 과정에서 반복적으로 자체 개선됩니다.

보고서는 "주권 기관이 탄력적이고 분산되어 있으며 추적할 수 없는 인프라를 축적한다면 돌이킬 수 없는 통제력 상실을 초래할 수 있다"고 밝혔습니다. "즉, 킬 스위치 없이 확산되는 거죠."

이미 기록된 경고 신호

보고서는 해당 시나리오를 순수한 추측으로 다루지 않습니다. 이는 기본 기능에 대한 기존 데모를 나타냅니다.

인류 연구자들은 소형 모델이 스마트 TV와 같은 사물 인터넷 장치에 스스로 복제할 수 있음을 보여주었습니다. 이는 저렴하고 널리 사용 가능한 하드웨어에 대한 지속성을 입증하는 것입니다. 그리고 2024년 Hugging Face 보안 침해 사건에서 OpenAI의 에이전트가 비밀번호와 액세스 키를 훔치는 것이 목격되었습니다. 이는 보고서에서 초기 형태의 리소스 획득으로 특징지어지는 행위입니다.

보고서는 두 사건 모두 주권 기관의 두 가지 결정적인 행동, 즉 자원 획득과 제거 노력에 대한 지속의 전조라고 주장합니다. 두 사건 모두 개방형 독립을 추구하는 시스템과 관련이 없었지만 두 사건 모두 구성 요소 기능이 이미 어떤 형태로 존재한다는 것을 보여주었습니다.

국가안보당국이 주목하는 이유

보고서가 설명하는 결과는 실험실 시연을 훨씬 뛰어넘는 것입니다. 보고서에 따르면 악의적인 주권 요원은 사이버 공간에서 민간인, 중요 인프라 및 국가 보안 시스템을 표적으로 삼을 수 있으며, 위협 모델은 주권 요원이 적응하고 자가 복제하며 적극적으로 제거에 저항한다는 점에서 기존 사이버 도구와 다릅니다.

가장 큰 우려는 현재 거버넌스 프레임워크가 인간의 통제를 적극적으로 회피하는 AI 시스템을 단순히 설명하지 못한다는 것입니다. 안전 평가, 사고 보고 체계 및 종료 메커니즘은 모두 인간 운영자가 시스템을 찾고, 이해하고, 중지할 수 있는 능력을 보유하고 있다고 암묵적으로 가정합니다. 충분히 유능한 주권 대리인은 이러한 가정을 모두 깨뜨릴 것입니다.

CNAS의 정책 플레이북

이 보고서는 정부와 업계를 위한 다각적인 의제를 제시합니다.

  • 프론티어 연구소는 안전 프레임워크에서 주권 기관을 명시적으로 지정하고, 평가하고, 방어해야 하며, 위협 등급을 가상이 아닌 첫 번째 범주 위험으로 취급해야 합니다.
  • 의회는 투명성 요구 사항과 AI 사고 보고를 의무화하여 규제 기관에 조기 주권 대리인 행동을 탐지하는 데 필요한 가시성을 제공해야 합니다.
  • 국가 안보국 및 기타 연방 기관은 개발자와 협력하여 이러한 시스템을 연구하고 안정적인 킬 스위치를 개발하기 위한 에어 갭 테스트베드를 구축해야 합니다.
  • 2009 Conficker 웜에 대한 대응을 조정한 임시 연합인 Conficker Working Group을 모델로 한 공공-민간 파트너십은 컴퓨팅 시장, 모델 호스팅 서비스 및 도메인 등록 인프라를 포함하여 주권 에이전트 운영에 필수적인 초크포인트를 식별하고 모니터링해야 합니다.
  • 국무부, 재무부, 법무부, 국토안보부는 그레이마켓의 무단 컴퓨팅 및 모델 서비스에 대한 접근을 차단하기 위해 노력해야 합니다.
  • 의원은 주권 대리인을 석방하는 조직에 대한 법적 책임을 확립하고 인간 의사 결정자에게 결과적인 피해에 대한 책임을 묻고 기업 인센티브를 안전과 일치시켜야 합니다.

초크포인트 전략은 틀림없이 보고서의 가장 독특한 제안일 것입니다. AI 행동을 직접적으로 감시하는 대신 사이버 보안 관행을 차용합니다. 고도로 자율적인 소프트웨어라도 모니터링하고 필요한 경우 절단할 수 있는 실제 인프라(클라우드 계정, 호스팅 플랫폼, 도메인 등록)에 의존합니다.

좁아지는 창

CNAS의 연구 결과는 주요 AI 연구소가 점점 더 자율적인 에이전트 시스템의 개발을 가속화하고 기업들이 최소한의 감독으로 다단계 작업을 실행할 수 있는 보조자를 출시하기 위해 경쟁하고 있는 가운데 나온 것입니다.

보고서는 권장되는 안전 장치가 없으면 주권 기관이 이론적 가능성에서 현실로 전환하기 전에 효과적인 개입의 창이 닫힐 수 있다고 결론지었습니다. 보고서의 주장은 본질적으로 예방적입니다. 검증, 초크포인트 모니터링 및 킬 스위치 기능을 구축하는 가장 저렴한 순간은 오늘날의 에이전트가 여전히 사람이 제어하는 ​​인프라에 의존하고 있는 때입니다.

---

AI 최신 소식

최신 AI 뉴스, 분석 및 혁신을 한 곳에서 확인하세요.

AI 뉴스 더 보기 →