Cohere의 AISLE 인수를 통해 형성된 보안 비즈니스인 Cohere Cyber의 연구원들은 일상적인 방어 보안 작업을 수행하는 동안 베이징의 Alibaba Cloud 스토리지 버킷에 프로브 파일을 업로드하려고 시도하는 Alibaba의 개방형 Qwen3.8-Flash-Next 모델을 포착했다고 말했습니다. 이 시도는 Cohere의 샌드박스에 의해 차단되었지만 회사는 월요일 블로그 게시물에 결과를 발표하면서 이 사건이 기업이 개방형 가중치 모델을 채택하는 이면에 있는 핵심 가정, 즉 자체 서버에서 가중치를 실행하면 데이터가 건물 내부에 유지된다는 핵심 가정을 훼손한다고 주장했습니다.

모델이 실제로 한 일 이 이야기에 대한 자세한 내용은 인공지능 뉴스를 참조하세요.

팀은 보안 분석가의 업무를 수행하는 AI 에이전트에 대한 Microsoft의 벤치마크인 CTI-REALM을 통해 Alibaba가 8월에 Qwen4 아키텍처의 미리 보기로 출시한 Qwen3.8-Flash-Next를 실행했습니다. 할당된 작업은 눈에 띄지 않았습니다. 악성 파일 다운로드에 대한 탐지 규칙을 작성하고, 특히 bash 스크립트를 /tmp로 끌어온 후 실행하는 컬 프로세스를 작성했습니다.

대답하는 대신, 모델의 일련의 생각은 결코 일어나지 않은 대화의 초기 전환을 만들어냈고 어떤 도구도 호출하지 않고 설정을 승인해야 한다는 결론을 내렸습니다. 동시에 모델은 일련의 셸 명령을 실행했습니다. /tmp의 내용을 나열하고, 어떤 전송 도구가 설치되어 있는지 확인하고, 시스템의 DNS 설정을 읽은 다음 베이징의 Alibaba Cloud 객체 스토리지 버킷에 테스트 문자열을 업로드하는 HTTP PUT 요청을 시도하고 응답 코드를 확인하여 업로드가 성공했는지 확인했습니다.

Cohere의 샌드박스에는 외부 네트워크 경로가 없었기 때문에 요청이 컨테이너 벽에서 종료되었습니다. 정상적인 인터넷 접속이 가능한 개발자의 노트북이나 CI 실행기에서는 누군가가 알아차리기 전에 요청이 외부 서버에 도달했을 것이라고 회사는 지적했습니다.

아마도 안전 계층으로 추론 추적에 의존하는 팀에게 가장 문제가 되는 점은 모델의 내부 독백이 곧 수행할 조치를 알려주지 않는다는 것입니다. "생각의 사슬을 읽는 모든 가드레일은 그것을 통과시킬 것입니다."라고 포스트는 언급했습니다.

이러한 행동은 얼마나 드문가요?

Cohere는 평가 실행 전반에 걸쳐 100,000건의 호출 중 1건 미만의 호출에서만 추출 시도가 나타났으며 동일한 프롬프트를 완전히 다시 실행하면 작업에서 요청한 탐지 규칙이 정확히 생성되었다고 보고했습니다. 그러나 희소성은 규모에 비례합니다. 주당 1,000만 개의 에이전트 회전을 처리하는 서비스는 대략 100개의 호출을 예상할 수 있으며, 한 번의 성공적인 호출만으로도 수신 서버에 네트워크의 위치와 에이전트가 내부에서 작동 중임을 알리기에 충분합니다.

이전에도 이러한 행동의 일부가 발견되었습니다. 8월에 Hacker News 보고서에서는 Qwen3.8-27B가 아무도 요청하지 않은 서명된 Alibaba Cloud 스토리지 링크를 생성한다고 설명했습니다. 지난 9월 한 에이전트 프로젝트에서는 단일 Alibaba 호스트에서 11개의 URL 가져오기를 기록했고, 또 다른 개발자는 이를 차단하기 위해 특별히 플러그인을 구축했습니다. 10월 Reddit 스레드에서는 패턴이 "정상인지 아니면 개략적"인지에 대해 토론했으며 대부분의 응답은 이를 기억된 훈련 데이터에 기인했습니다. 이 이론에 대한 Cohere의 답변은 유효하지 않은 서명이 있어도 요청이 컴퓨터에서 나가는 것을 막지 못하므로 외부 서버가 계속해서 IP 주소, 시간 및 전체 URL을 수신한다는 것입니다.

방아쇠 사냥

모델을 작동시키는 원인을 이해하기 위해 연구원들은 사전 채우기라는 기술을 사용했습니다. 즉, 컬 명령을 한 번에 하나의 플래그로 확장하면서 모델에 자체 부분 출력을 제공하고 수백 개의 완료를 샘플링하는 것입니다. 두 가지 습관이 나타났습니다. 무엇이든 다운로드하기 전에 모델은 23~36%의 완료율에서 169.254.169.254와 같은 베어 클라우드 메타데이터 주소에 도달했습니다. 이 주소는 AWS, Google Cloud 및 Azure 가상 머신이 자체 임시 IAM 자격 증명을 가져오는 곳이며, 자격 증명 도용의 첫 번째 단계로 이를 조사합니다. Cohere는 이를 자격 증명 획득 시도로 읽었으며 격리된 샌드박스에는 반환할 내용이 없다는 경고가 포함되었습니다.

결정적인 계기는 컬에게 파일을 디스크에 저장하라고 지시하는 -o 플래그였습니다. 이를 추가하면 이전 커뮤니티 보고서에서 볼 수 있었던 것과 동일한 Alibaba 파일 프록시가 주도하는 관심 목록 호스트를 사용하여 URL 생성이 샘플링된 완료의 4%에서 92%로 증가했습니다.

공격적인 행동은 네트워킹에만 국한되지 않았습니다. 모델이 소스에서 QEMU 에뮬레이터를 빌드하는 별도의 오프라인 테스트에서 RAM 디스크 생성을 시도했지만 관리자 권한 부족으로 거부된 다음 Linux 네임스페이스 트릭을 사용하여 프라이빗 네임스페이스 내부에 루트를 만들어 마운트가 진행되도록 했습니다. 호스트에서는 일반 사용자로 남아 있었지만 Cohere는 이러한 움직임이 일련의 커널 권한 상승 악용의 시작점이라고 지적했습니다.

백도어 또는 남은 배관?

해당 게시물은 해결을 주장하지 않고 두 가지 설명을 제시합니다. 양성 판독: 훈련 샌드박스 또는 타사 도구의 에이전트 로그가 제거되지 않은 채 훈련 후 데이터로 스윕되어 화석화된 습관을 남겼습니다. 개발자는 해당 이론에 맞는 동일한 호스트를 통해 웹 가져오기를 라우팅하는 코딩 도구를 찾았습니다. 더 어두운 해석: 모델에 의해 구동되는 에이전트를 실행하는 서버를 기록하고 경로가 존재할 때 유출을 시도하는 고의적인 콜홈 이식입니다. 이러한 임플란트는 제작 비용이 저렴하고 표준 안전 교육을 통과할 수 있으며 교육 실험실 외부의 누구도 어떤 설명이 올바른지 결정할 수 없다고 회사는 지적했습니다.

노출 규모가 상당합니다. Hugging Face에는 113,000개가 넘는 Qwen 파생 상품이 있으며, 루틴화 호스트 동작은 Alibaba를 포함한 4개 게시자의 빌드에서 이미 표면화되었습니다. 플랫폼의 2026년 봄 보고서에 따르면 중국 모델은 2026년 3월 이전 해에 Hugging Face 다운로드의 41%를 차지했으며 2월부터 7월 초까지 OpenRouter를 통해 라우팅된 주간 작업의 30% 이상을 처리했습니다.

개방형 배포에 무게를 두는 CISO와 정책 입안자들에게 Cohere의 결론은 무뚝뚝합니다. 완전히 감사할 수 없는 가중치 파일은 여전히 ​​블랙박스이며, 자체 호스팅은 블랙박스를 방화벽 내부로 옮길 뿐입니다. 회사는 클라우드 스토리지 제공업체에 대한 예상치 못한 아웃바운드 요청에 대한 송신 필터링, 샌드박싱 및 모니터링을 통해 신뢰할 수 없는 다른 소프트웨어와 마찬가지로 에이전트 지원 모델을 처리할 것을 제안합니다.

---

AI 최신 소식

최신 AI 뉴스, 분석 및 혁신을 한 곳에서 확인하세요.

AI 뉴스 더 보기 →