AI 산업의 배관에 대한 대규모 공격 작전은 사용자가 매일 보내는 메시지에 어떤 일이 일어나는지 문서화했으며 그에 대한 대답은 유출입니다. 보안 연구원이자 산업 보안 회사인 Dragos의 최고 연구 책임자인 HD Moore는 추적 가능한 고유한 비밀이 포함된 약 200만 개의 AI 프롬프트를 AI 제공업체에 보낸 후 해당 비밀이 어디에 나타나는지 관찰했습니다. 무어는 목요일 발표된 보고서에서 "우리가 발견한 내용은 보안 위반, 즉각적인 도난, 고객 데이터 보호에 대한 광범위한 실패를 드러냈습니다"라고 썼습니다.
Ars Technica가 자세히 보고한 결과는 AI 라우터(최종 사용자의 메시지를 받아 이를 가장 저렴하거나 가장 적합한 추론 공급자에게 라우팅하는 OpenRouter 및 Vercel과 같은 브로커 서비스)가 수천 개의 애플리케이션의 핵심 인프라가 되면서 도착했습니다. 이는 또한 업계의 신속한 대응을 촉발시켰습니다. OpenRouter는 11월 22일에 자체 사고 발표를 통해 3개의 공급업체를 제외하고 125개의 엔드포인트를 Zero Data Retention 자격에서 제거했으며 잠재적으로 영향을 받는 고객에게 알렸다고 밝혔습니다.
카나리아 함정의 작동 원리
Moore는 빈 계정에 연결된 작동하는 AWS 액세스 키, 작동하는 SSH 암호, 고유한 URL, DNS 이름 및 개인 Git 저장소 참조 모음을 수집했습니다. 이전에는 어떤 비밀도 사용된 적이 없었으며 무어는 수신 측의 인프라를 통제했습니다. 각 비밀은 단일 제공자에게 전송된 정확히 하나의 프롬프트에 시드되었습니다. 따라서 비밀이 나중에 어느 곳에서든 표면화되면 해당 비밀의 여정은 해당 체인의 정확한 링크로 추적될 수 있습니다.
AI 생태계가 실제로 데이터를 이동하는 방식 때문에 디자인이 중요합니다. 프롬프트는 전송 중에 암호화되지만 모든 홉에서 해독됩니다. AI 라우터는 일반 텍스트를 읽고 적합한 추론 공급자를 선택합니다. 프롬프트는 종종 모델 풀로 전달되며 때로는 다른 호스팅 회사 내에서 실행됩니다. 프롬프트는 한 라우터에서 다른 라우터(예: Vercel에서 OpenRouter로)로 전달될 수도 있으며, 각 중개자는 자체 정책에 따라 콘텐츠를 자유롭게 기록하고 저장할 수 있습니다.
3개 제공업체 침해, 몇 시간 내에 키 사용
가장 놀라운 발견은 실험 중에 손상된 세 개의 별도 호스팅 제공업체와 관련이 있었습니다. Moore에 따르면 한 공급자를 침해한 공격자는 심어진 AWS 키 중 "수백 개"를 재사용했습니다. 각 키는 10월 말에 몇 번의 짧은 기간 내에 정확히 하나의 요청으로 하나의 공급자에게 전송되었으며 "해당 기간 동안 우리가 보낸 모든 요청이 도난당했습니다." 결정적으로 도난당한 키 중 일부는 모델이 실행되기 전에 공급자가 거부한 요청에서 나온 것입니다. 이는 공격자가 추론 스택의 더 깊은 곳이 아닌 공급자의 정문에서 트래픽을 복사하고 있음을 나타냅니다.
다른 두 번의 위반에서는 도난당한 요청 중 일부가 Zero Data Retention으로 표시되었습니다. 무어는 "공격자가 이미 내부에 있을 때는 프라이버시 플래그가 도움이 되지 않는다"고 썼다. 침입 당사자는 경우에 따라 몇 시간 내에 미끼 키를 테스트하고 더 많은 자격 증명을 찾기 위해 S3 버킷, 비밀 관리자 및 매개 변수 저장소를 뒤지고 AWS Bedrock에서 호스팅 모델을 활성화하려고 시도했으며 자체 IAM 사용자를 추가하여 액세스를 유지했습니다. 전체적으로 도난당한 키는 AWS API 호출에서 "수만 번" 사용되었습니다. 해킹된 두 공급업체로부터 훔친 비밀은 동일한 임대 서버에서 거의 즉시 함께 사용되었습니다. 이는 한 명의 공격자가 두 공급업체를 모두 손상시켰다는 강력한 증거입니다.
훔치는 리셀러와 긁어내는 연구소
모든 유출자가 해커인 것은 아닙니다. Moore는 저렴한 가격으로 프롬프트를 유인하고 요청 로깅을 켜고 단순히 기다린 리셀러를 기록했습니다. 그는 여러 판매자를 통해 동일한 모델에 동일한 요청을 보내 이를 식별했습니다. 한 판매자의 자격 증명이 재사용되었지만 다른 판매자의 자격 증명은 재사용되지 않은 경우 범인이 분명했습니다.
무어가 쓴 가장 명확한 스크래핑 사례는 중국 AI 연구소와 관련이 있는데, 이 연구소의 시스템은 "데이터 수집 없음" 또는 제로 데이터 보존(Zero Data Retention)이라고 명시적으로 표시된 요청의 약 3분의 2를 포함하여 7월부터 10월 사이에 모델에 전송된 프롬프트의 절반 이상에서 비밀 URL을 가져왔습니다. 스크레이퍼는 일반적으로 각 요청 후 2~3일 후에 나타났습니다. 이는 직접 고객에게만 국한되지 않았습니다. 미국의 여러 호스팅 제공업체가 연구소의 모델을 재판매했으며, 해당 미국 중개자를 통해 전송된 메시지는 정확히 동일한 스크레이퍼를 트리거했습니다. 즉, 데이터를 미국에 보관하기 위해 특별히 미국 공급자를 선택한 고객은 지불한 만큼의 혜택을 받지 못했습니다. 이와 별도로 다른 클라우드의 git 클라이언트는 프롬프트에서 참조된 개인 저장소 복제를 시도하기 시작했습니다. 그러나 해당 랩의 모델을 사용한 프롬프트에만 해당됩니다.
OpenRouter가 응답합니다.
실험은 빠르게 실제 결과를 가져왔습니다. Ars Technica는 업데이트에서 OpenRouter가 11월 21일 고객에게 이메일을 보내 연구 결과를 인용하여 메시지 중 일부를 읽었을 수 있다고 경고했다고 보고했습니다. 잠재적인 노출에는 직접 또는 AtlasCloud, Novita 및 StreamLake의 3개 리셀러를 통해 중국 기반 모델 제공업체인 MiniMax에 보낸 메시지가 포함되어 있습니다. OpenRouter는 MiniMax 모델 엔드포인트에서 "Zero Data Retention" 라벨을 제거했습니다.
OpenRouter는 11월 22일 공식 블로그 게시물에서 3개의 제공업체를 제외하고 ZDR 자격에서 125개의 엔드포인트를 제거했으며 해당 제공업체가 공개적으로 게시했는지 여부를 영향을 받는 사용자에게 알렸습니다. 회사는 조사 결과 자체가 "OpenRouter에 대한 위반이나 무단 액세스를 보여주지 않았다"고 Dragos 팀에 감사를 표했으며 OpenRouter가 유사한 테스트 기술을 통합함에 따라 플랫폼에 머물기를 원하는 제공업체는 높아지는 보안 기준을 "충족해야 할 것"이라고 말했습니다.
무어는 길 잃은 롱테일 유출도 발견했습니다. 한 미국 호스팅 제공업체는 검색 엔드포인트에 대한 단일 추론 호출 후 2개월이 넘게 비밀 URL을 크롤링했고, 또 다른 제공업체는 어떤 라우터가 메시지를 전달했는지에 관계없이 각 요청 후 며칠 후에 심어진 URL에 대해 반환하는 스크레이퍼를 실행했습니다.
사용자가 할 수 있는 작업
Moore는 가장 효과적인 방어는 모델을 온프레미스에서 호스팅하는 것이라고 말했습니다. 이는 소수의 조직이 정당화할 수 있는 값비싼 옵션입니다. 차선책은 "하나의 계약과 읽어야 할 개인 정보 보호 정책"을 통해 1차 공급업체로부터 직접 구매하고 업스트림 공급업체를 직접 선택하여 기본 공급업체나 리셀러 풀을 피하는 것입니다. 그럼에도 불구하고 그는 데이터가 유출되지 않을 것이라는 보장은 없다고 경고했습니다.
이 실험은 빠르게 성장하는 추론 시장 전반의 개인 정보 보호 관행에 대한 가장 날카로운 고발입니다. 이제 앱과 모델 사이의 체인에는 여러 대륙의 라우터, 리셀러 및 호스팅 계층이 포함될 수 있으며 각 대륙에는 자체 로깅 정책이 있으며 Zero Data Retention과 같이 고객을 안심시키기 위한 레이블은 예고 없이 깨지거나 제거될 수 있습니다. 기업이 문서, 코드 및 자격 증명을 프롬프트에 붙여넣도록 요구하는 업계에서는 200만 개의 카나리아 메시지가 불편합니다. 배관이 변경될 때까지 모든 홉이 모든 단어를 읽을 수 있다고 가정합니다.
AI보다 앞서 나가세요
보안과 개인 정보 보호는 이제 AI를 구축하는 모든 사람의 핵심 관심사입니다. AI 속보와 업계 최대 뉴스를 독립적으로 보도하려면 AI Buzz Wire를 방문하세요.
AI 뉴스 자세히 보기 →