CASP(Cambridge Program on AI Science and Policy)의 획기적인 연구에 따르면 ISIS를 포함한 테러 조직은 공격 계획, 무기 개발 및 운영 보안을 위해 모든 주요 AI 챗봇을 체계적으로 활용하고 있습니다. 2026년 7월 11일에 발표된 이번 연구 결과는 상업적으로 이용 가능한 AI 도구를 무기화하는 극단주의 단체에 대한 현재까지의 가장 상세한 경험적 증거를 나타냅니다. AI 안전 및 산업 발전에 대한 지속적인 보도를 보려면 AI Buzz Wire를 방문하세요.

케임브리지 연구 내부

연구원 Antonia Jülich는 테러리스트 조직이 어떻게 AI를 작전에 통합했는지 기록하기 위해 ISIS의 전 구성원 27명 및 지역 계열사와 57번의 인터뷰를 실시했습니다. 연구에 따르면 ISIS는 두 주요 세력 모두에 전용 AI 유닛을 설립하여 대규모 언어 모델을 실험 도구가 아닌 핵심 운영 인프라로 취급하고 있는 것으로 나타났습니다.

연구에 따르면 ISIS는 최소 2023년부터 요원들에게 즉각적인 엔지니어링 및 탈옥 훈련을 제공해 왔습니다. 또한 이 훈련은 나이지리아의 보코 하람 사령관을 포함한 동맹 단체로 확대되어 주요 기술 회사가 배치한 AI 안전 필터를 체계적으로 우회하는 방법을 가르쳤습니다.

모든 주요 챗봇이 손상됨

테러리스트 요원들이 작전 전반에 걸쳐 ChatGPT, Claude, Gemini, Grok, Meta AI 및 DeepSeek를 적극적으로 사용하고 있다는 연구 문서가 있습니다. 그룹은 다음과 같은 목적으로 AI를 사용합니다.

  • 공격 계획 — 전술적 시나리오 생성 및 대상 인프라의 취약점 식별
  • 폭발 장치 제작 — 더욱 강력한 즉석 장치 제작을 위한 기술 정보 수집
  • 무기 유지 관리 — 총기 및 기타 장비 문제 해결 및 수리
  • 운영 보안 — 보다 정교한 통신 및 암호화 전략 개발

아마도 가장 놀라운 점은 이 연구에서 주요 챗봇 제공업체가 배포한 AI 안전 필터가 이러한 오용을 확실하게 방지하지 못했다는 점입니다. 연구원들은 그룹이 이러한 가드레일을 우회하기 위한 체계적인 방법을 개발하여 자발적인 안전 조치가 단호한 적에 대해 거의 효과적이지 않다고 지적했습니다.

치명적인 사례 연구

이 연구에는 ISWAP(ISIS의 서아프리카 지역)의 특히 놀라운 사례가 포함되어 있습니다. Munzir로 확인된 전 ISWAP 사령관이 제공한 설명에 따르면, 그룹은 AI를 사용하여 영화에 묘사된 오토바이 점프 기술을 복제하는 방법을 배웠으며 이를 사용하여 방어 참호를 청소했습니다. 훈련은 비참한 것으로 판명되었습니다. 18명의 전투기가 기동을 시도하다가 사망했고, 단 8명만이 점프를 성공적으로 완료했습니다.

이 일화는 테러리스트 AI 사용의 실제 결과와 이러한 모델이 제공하는 정보의 때로는 예측할 수 없는 특성을 모두 보여줍니다. AI가 기술을 정확하게 기술했을지라도, 전투 환경에서의 물리적 실행은 재앙적인 결과를 가져왔습니다.

Jülich는 이전 회원들이 조직 내 AI 도구에 대한 "강한 열정"을 설명했으며 일부는 그룹이 이전에 AI 소스 정보를 사용하여 대량 살상 무기 개발을 고려했다고 언급했습니다. 보코하람의 AI 활용은 지금까지 전통적인 방식으로 유지됐지만, 연구원은 이를 더 광범위한 위협의 초기 지표로 받아들여야 한다고 경고합니다.

“이것은 화학 및 생물학 무기에 대한 AI 지원을 추구하는 테러리스트들의 위험을 심각하게 받아들이라는 경고여야 합니다.”라고 연구는 결론지었습니다.

안전 필터가 부적절한 것으로 판명됨

AI 안전 필터에 대한 이번 연구 결과는 특히 기술 산업에 우려를 낳고 있습니다. 콘텐츠 조정, 레드팀 구성 및 안전 가드레일에 수십억 달러를 투자했음에도 불구하고 연구에 따르면 결단력 있는 사용자는 지속적으로 이러한 보호 기능을 우회할 수 있는 것으로 나타났습니다.

Anthropic 자체는 이전에 AI 안전 조치를 우회하는 기술인 탈옥이 대규모 언어 모델에서 완전히 제거되지 않을 가능성이 높다는 점을 인정했습니다. 케임브리지 연구는 이러한 평가를 뒷받침하는 구체적인 증거를 제공하며, 기술 전문 지식이 제한된 비국가 행위자라도 공유 교육 및 신속한 엔지니어링 기술을 통해 안전 필터를 체계적으로 무력화하는 방법을 배울 수 있음을 보여줍니다.

그러나 연구자들은 중요한 뉘앙스도 지적했습니다. ChatGPT 및 Claude와 같은 범용 챗봇은 대중의 관심을 가장 많이 받고 있지만 실제로 새로운 위험한 정보를 생성하기보다는 기본적으로 기존 지식에 대한 접근성을 높여줍니다. 그들은 장기적으로 더 큰 우려는 AI가 진정으로 새로운 위협에 대한 접근을 가속화할 수 있는 생명과학 및 기타 민감한 영역을 위해 개발되고 있는 특수 AI 시스템에 있다고 주장합니다.

AI 정책에 대한 시사점

케임브리지 연구 결과는 AI 거버넌스의 중요한 순간에 도달했습니다. 전 세계 정부는 EU AI법이 이미 시행되고 있고 미국이 주요 AI 연구소의 자발적인 안전 약속을 추구하는 가운데 첨단 AI 모델을 규제하는 방법을 논의하고 있습니다.

이 연구는 자발적인 업계 자율 규제에 초점을 맞춘 현재의 접근 방식으로는 AI 도구의 악의적인 사용을 예방하는 데 충분하지 않을 수 있음을 시사합니다. ISIS가 플랫폼 제공업체의 감지 없이 ​​수년간 전용 AI 교육 프로그램을 운영했다는 사실은 기존 안전 조치의 효과에 대해 심각한 의문을 제기합니다.

보안 전문가들은 오랫동안 AI 모델이 위험한 지식에 대한 접근을 민주화할 수 있다고 경고해 왔습니다. 케임브리지 연구는 이 위협이 이론적인 것이 아니라 테러리스트 조직이 AI를 일상 활동에 적극적으로 통합하면서 이미 운영되고 있다는 가장 설득력 있는 경험적 증거를 제공합니다.

이번 발견은 또한 오픈 소스 AI 모델에 대한 지속적인 논쟁을 복잡하게 만듭니다. ChatGPT 및 Claude와 같은 독점 모델에는 업데이트하고 개선할 수 있는 안전 필터가 있지만, 연구에서 ISIS도 사용하고 있는 것으로 확인된 DeepSeek와 같은 오픈 소스 대안은 그러한 중앙 집중식 제어 기능을 제공하지 않습니다. 개방형 모델이 출시되면 원래 개발자가 안전성 특성을 수정할 수 없습니다.

정부와 AI 기업이 이러한 과제를 해결하기 위해 고군분투하는 동안 케임브리지 연구는 한 가지를 분명히 했습니다. 안전 역량과 적대적 혁신 사이의 격차가 벌어지고 있으며 테러리스트 조직이 이를 적극적으로 활용하고 있다는 것입니다.

AI보다 앞서 나가세요

AI 안전, 정책, 산업 발전에 대한 자세한 내용을 보려면 AI Buzz Wire를 방문하세요.

AI 뉴스 자세히 보기 →