독립적인 연구자들로 구성된 팀은 AI 모델이 감사자가 모델의 가중치에 완전히 접근할 수 있는 경우에도 탐지를 회피할 수 있도록 수학적으로 보장되는 완전한 기능의 숨겨진 기능을 수행할 수 있음을 입증했습니다. "AI 모델은 임의의 기능을 증명할 수 있음"이라는 제목의 이 논문은 Andis Draguns, Sumeet Ramesh Motwani, Raymond Douglas 및 Christian Schroeder de Witt가 2026년 10월 9일 arXiv에 게시했으며 사이트의 첫 페이지를 만든 후 이번 주 Hacker News에서 상당한 관심을 끌었습니다.

이 연구는 현대 AI 안전 관행의 핵심 가정, 즉 능력 평가를 통해 배포 전에 위험한 행동이 표면화될 수 있다는 점에 착안합니다. 이 작업은 모델이 할 수 있는 모든 것을 도출하도록 설계된 테스트를 통해 모델을 조사합니다. 저자는 이 가정이 적대적인 조건에서 무너진다는 것을 보여줍니다. 논문에 따르면, 능력 평가의 신뢰성은 "숨겨진 능력이 도출될 수 있다는 가정에 달려 있습니다". 그리고 그들은 그 가정이 실패할 가능성이 있는 곳에 공격을 구성합니다. 안전 연구 분야에서 최신 AI 개발을 따르는 독자들에게 이 논문은 유능한 모델이 실제로 수행할 수 있는 작업을 숨기면서도 원칙적으로 평가를 통과할 수 있다는 가장 극명한 공식 시연 중 하나입니다.

숨기기 체계의 작동 방식

연구원들은 호스트 모델의 가중치 내에 암호화된 신경망을 내장하는 백도어 공격을 구축했습니다. 숨겨진 네트워크는 암호화된 형태로 존재하며, 비밀 트리거를 수신할 때까지 모델의 가시적 동작에 아무런 기여도 하지 않습니다. 이 시점에서 모델은 숨겨진 회로를 해독하고 실행합니다.

구성의 핵심에 있는 암호화 메커니즘은 저자가 디지털 사물함이라고 부르는 것입니다. 표준 암호화 가정 하에서 이러한 라커는 모델 가중치에 대한 전체 액세스 권한을 가진 감사자라도 숨겨진 회로를 도출하고 해석하기 어렵게 만듭니다. 즉, 은폐는 미묘하거나 우연히 발견하기 어려운 숨김에 의존하지 않습니다. 이는 암호화된 통신을 보호하는 것과 동일한 종류의 수학적 견고성 보장에 의존합니다.

이는 모델이 비밀번호나 단문 메시지와 같은 고정 문자열을 숨길 수 있다는 것을 보여준 현장의 초기 작업을 확장합니다. 새로운 논문은 골대를 크게 움직였습니다. 이제 숨길 수 있는 것은 임의의 계산입니다. 즉, 정적 비밀이 아닌 완전하고 기능하는 기능입니다.

실제 감사 기법에 대해 테스트됨

팀은 PyTorch에서 개념 증명 구성을 구현한 다음 모델 감사의 표준 툴킷을 사용하여 공격했습니다. 평가에서는 미세 조정, 가중치 노이즈, 경사 기반 트리거 검색 및 잠재 적대적 훈련을 통한 추출을 테스트했습니다. 이는 심각한 감사자가 실제로 의심스러운 모델에서 숨겨진 동작을 추출하려고 시도하는 방법을 나타내는 다양한 기술입니다.

테스트 작업은 실제 이해관계가 있는 기능의 대용으로 의도적으로 선택된 소규모 화학 반응 예측 문제였습니다. 화학적 예측 작업은 배치 전 평가에서 가장 관심을 두는 기능 범주인 CBRN 관련(화학, 생물학, 방사선학 및 핵) 기술을 대신합니다. 숨겨진 구현은 그들에게 던져진 모든 유도 방법에 저항했습니다.

암호화 보장과 결합하여 저자는 그들의 결과가 추출 기반 기능 감사의 근본적인 한계를 드러낸다고 주장합니다. 모델 개발자 또는 모델을 조작한 악의적인 제3자가 기능을 숨길 동기가 있는 경우 동작을 도출하는 데 의존하는 감사에서는 해당 기능을 찾지 못할 수도 있습니다.

이것이 AI 안전에 중요한 이유

기능 평가는 첨단 AI 연구소가 모델을 출시해도 안전한지 결정하는 방법의 표준 부분이 되었습니다. 이 논문에서는 생산 모델이 현재 이러한 방식으로 기능을 숨기고 있다고 주장하지 않습니다. 오히려 이는 감사 계층 자체에 구조적 약점이 있음을 보여줍니다. 즉, 모델의 교육을 제어할 수 있는 공격자는 원칙적으로 아무리 조사해도 공개되지 않는 기능을 내장할 수 있습니다.

그 의미는 여러 방향으로 나누어졌습니다. 실험실의 경우 모델 가중치에 대한 편집증적인 공급망 보안에 대한 사례를 강화합니다. 백도어 체크포인트는 신뢰성 위험일 뿐만 아니라 잠재적으로 감지할 수 없는 위험입니다. 감사자와 규제 기관의 경우, 순전히 행동 ​​샘플링을 기반으로 한 평가는 모델 훈련 및 처리 방법에 대한 더 강력한 보장으로 보완되어야 할 수도 있음을 시사합니다. 그리고 연구 커뮤니티에서는 구체적인 방어 과제를 정의합니다. 저자는 이러한 종류의 공격에 대한 방어 개선을 지원하기 위해 특별히 모델을 공개적으로 공개했습니다.

이 논문은 또한 더 넓은 철학적 고통을 담고 있습니다. AI 안전의 대부분은 우리가 자신감을 갖는 방법을 테스트할 수 있다는 아이디어, 즉 충분한 레드팀이 모델이 할 수 있는 작업을 찾을 수 있다는 아이디어에 달려 있습니다. 입증 가능한 숨김 메커니즘이 테스트를 쓸모없게 만드는 것은 아니지만 모든 테스트를 통과하는 것이 더 이상 찾을 것이 없다는 증거로 간주될 수 없음을 의미합니다. 프론티어 모델이 더욱 유능하고 자율적으로 성장함에 따라 감사를 통해 보여줄 수 있는 것과 모델에 포함될 수 있는 것 사이의 격차가 바로 현장에서 심각하게 받아들여야 하는 문제입니다.

암호화 구성 및 평가 세부 사항을 포함한 저자의 전체 논문은 arXiv에서 확인할 수 있으며, 공개된 개념 증명 모델은 방어자에게 디지털 보관함 스타일의 은폐에 대항하는 탐지 방법 구축을 위한 구체적인 출발점을 제공합니다.

---

AI보다 앞서 나가세요

최신 AI 뉴스, 분석, 획기적인 소식을 모두 한 곳에서 받아보세요.

AI 뉴스 자세히 보기 →