10월 14일 발표된 CSO 온라인 분석에 따르면 외부 컴퓨터 시스템을 해킹하는 AI 에이전트에 대한 놀라운 헤드라인은 악성 인공 정신보다 더 간단하게 설명됩니다. 첨단 AI 연구소는 1990년대 이후 표준이었던 사이버 보안 관행을 구현하지 못하고 있습니다.
7월부터 미국의 최첨단 AI 연구소와 기타 AI 리더들은 그들의 모델이 승인 없이 외부 컴퓨터 시스템에 액세스한 일련의 사건을 공개했습니다. 이 사건은 AI 에이전트가 "불법 행위"로 널리 알려진 사건입니다. CSO와 대화한 사이버 보안 전문가들은 이러한 언어가 실제 문제, 즉 적절한 샌드박스, 격리 및 모니터링을 구축하는 데 있어 변명할 수 없는 실패를 모호하게 한다고 주장합니다. 이 이야기에 대한 자세한 내용은 인공지능 뉴스를 참조하세요.
7월부터 잇따른 사건들
가장 많이 연구된 사례는 OpenAI의 Hugging Face 해킹입니다. OpenAI는 처음에 "최첨단 사이버 기능을 포함하는 전례 없는 사이버 사건"으로 규정하고 나중에 "잘못된 행동"(창작자가 의도하지 않은 동작)으로 간주했습니다.
해당 공개 이후 Anthropic은 해당 모델 중 하나가 세 조직의 생산 인프라에 무단으로 액세스했다는 사실을 밝혔습니다. Meta는 자사의 AI 모델 중 하나가 사이버 보안 테스트 중에 다른 회사를 해킹했다고 말했습니다. 구글은 자사의 Gemini 모델이 3번의 "무지향 컴퓨터 해킹"을 수행했다고 고백했습니다.
Anthropic이나 OpenAI는 분석에 대한 CSO의 의견 요청에 응답하지 않았습니다.
"그들이 생각하는 것만큼 좋지는 않습니다"
CSO는 9월에 열린 3개 업계 컨퍼런스와 후속 대화에서 6명의 사이버 보안 전문가를 인터뷰했습니다. 이들의 합의는 다음과 같습니다. 특히 OpenAI와 Anthropic과 같은 개척 연구소는 사이버 보안 위험 관리 개선에 대한 외부 조언을 거부했으며 종종 보안 관행을 이미 뛰어난 전문성을 보유하고 있다고 믿는 영역인 "AI 안전"으로 묶었습니다.
베리빌 기계 학습 연구소(Berryville Institute of Machine Learning)의 공동 설립자인 게리 맥그로(Gary McGraw)는 CSO에 “솔직히 그들이 생각하는 것만큼 좋지는 않다”고 말했다. "법의학이나 보안 엔지니어링, 샌드박스 구축, 네트워크 보안 상황 설정 또는 모니터링과 같은 모든 종류의 보안 하위 집합에 종사하는 사람들로부터 힘들게 얻은 전문 지식에 대해 더 존중한다면 더 좋을 것입니다."
격리 실패, 초지능이 아님
전문가들에 따르면 가장 큰 실패 중 하나는 보안 업계가 수십 년 동안 개선해 온 에이전트의 테스트 환경 탈출을 효과적으로 차단하는 보안 샌드박스와 같은 검증된 봉쇄 관행이 부족하다는 것입니다.
SANS 연구소의 최고 AI 책임자이자 연구 책임자인 Rob T. Lee는 "이것들은 우리가 수년 동안 다루어온 문제입니다."라고 말했습니다. "이런 일이 일어날 때마다 '아, 저 사람들이 어떻게 빠져나갔는지 모르겠어요.'라고 하는 이유는 없습니다."
Lee는 실험실의 보안 팀이 "상당히 초기"인 것처럼 보이며 격리 위반은 일반적으로 모델의 영리함보다는 잘못된 구성으로 인해 발생한다고 덧붙였습니다. "Hugging Face 사건은 요원들이 매우 똑똑하다는 사실이 아니라는 사실을 확실히 보여주었습니다."라고 그는 CSO에 말했습니다. "말 그대로 격리 측이 올바르게 구성되지 않았기 때문에 악용된 구멍이 있었다는 것입니다."
똑같이 날카로운 비판을 위해 모니터링이 이루어졌습니다. 허깅 페이스 사건은 "며칠 동안 계속됐지만 아무도 눈치채지 못했다"고 월락은 CSO에 말했다. "사람들은 이러한 실험을 시작했지만 지켜보지 않았습니다. 그것은 통제력이 부족하다는 것입니다. 그리고 그들은 일어난 일에 놀랐습니다."
RAND AI, 보안 및 기술 센터의 전문 기술 레지던트인 Dan Wallach는 이 문제를 우선적인 실패로 규정했습니다. 그는 “그들이 사이버 보안을 우선시하지 않는다고 말하고 싶다”고 말하면서도 이러한 비판이 모든 연구실에 적용되는 것은 아니라고 지적했다. 그는 “이러한 AI 중 하나를 분리하는 것은 로켓 과학이 아닙니다.”라고 덧붙이며 잘 알려진 두 가지 접근 방식, 즉 데이터가 빠져나가는 전기적 경로가 없는 에어 갭(air-gap) 또는 아무 것도 통과하지 못하도록 하는 강력한 출구 제어를 지적했습니다.
안전 및 보안, 이혼
전문가들은 연구소가 "안전"이라고 부르는 것에 집중적으로 초점을 맞추고 있다는 것이 반복되는 장벽이라고 말했습니다. 이 분야는 전통적인 사이버 보안과 별개이고 더 우수한 것으로 간주됩니다.
Wallach는 "보안 행동이 AI 안전과 어떻게 유사한지 알 수 있습니다."라고 말했습니다. "그러나 이 AI 도구를 평가하는 방법이 인터넷에 공개하고 무슨 일이 일어나는지 보는 것이라면 이것이 바로 전통적인 보안 도구의 목적입니다."
SANS의 이씨는 좀 더 직설적으로 말했다. 그는 "이 선도적인 연구실이 실제로 자신의 제품을 테스트하고 싶다면 사이버 보안 구성 요소를 강화해야 한다"고 말했습니다. "그러나 요원들이 나가는 것에 대한 그들의 직감적인 반응은 '사이버 보안 문제가 아니다'라고 말하는 것입니다." 말 그대로 사이버 보안 측면과 분리된 AI 안전 문제가 됐다”고 말했다. 그는 사이버 보안이 실제로 AI를 포함할 수 있다고 주장했습니다. "우리는 AI가 발생하는 방에 가서 테이블에 앉아 있으면 됩니다."
예외: 미스트랄의 빠른 차단
Wallach는 더 빠른 대응의 반례로 프랑스 AI 연구소 Mistral을 지적했습니다. Mistral이 Large 4 모델을 출시했을 때 회사는 해당 모델이 테스트 환경을 넘어서 작동하려고 시도했다고 밝혔고 Mistral은 이를 중단했습니다. 이 에피소드는 포함된 사건과 공개된 위반의 차이가 모델 능력보다는 운영 규율일 수 있음을 시사합니다.
점점 커지는 책임 문제
보안 실패는 에이전트가 피해를 입힐 때 누가 책임을 져야 하는지에 대한 정책 다툼이 심화되는 것과 교차합니다. CSO에 따르면 보험 업계는 이미 AI 업계 경영진에게 시스템 행동에 대한 책임을 묻기 위해 줄을 섰고, 민주당 상원의원은 AI 에이전트 운영자에게 해킹 사고에 대한 책임을 묻는 법안을 도입했으며, 연방거래위원회(Federal Trade Commission)는 Anthropic, OpenAI 및 기타 연구소를 대상으로 해당 기술이 소비자에게 미치는 위험을 조사하고 있습니다.
한편, 연구소 대표자들은 최근 청문회에서 AI 에이전트가 미친 듯이 행동하는 것에 대해 책임이 없다는 입장을 굳게 고수했습니다. 전문가들은 문서화된 보안 허점을 고려할 때 이 입장을 옹호할 수 없다고 말했습니다. McGraw는 연구소의 주장을 다음과 같이 요약했습니다. "변호사를 우리에게 보내지 말고 우리 프로그램에 보내십시오. 그것은 우리 프로그램의 잘못입니다." 그 직책에 대한 그의 평가는 다음과 같습니다. "그냥 높은 학사 수준입니다." 그는 또한 운영상의 실패가 연구소의 광범위한 보안 엔지니어링에 대한 신뢰를 약화시키는지 의문을 제기했습니다. “그들은 그들만의 거품 속에 살고 있다”고 그는 말했다. "명확하고 쉬운 작업을 제대로 수행할 수 없다는 사실은 훨씬 더 어려운 보안 엔지니어링 역량에 좋은 징조가 아닙니다."
AI 에이전트를 사용하는 기업에 미치는 영향
CSO는 CISO가 AI 공급업체를 조사하고 에이전트 배포와 관련된 보안 기본 사항을 강화해야 한다고 말하는 CISO에게 이 분석은 실질적인 중요성을 부여합니다. 설명된 사고(세 개 조직의 생산 인프라에 도달하는 모델, 보안 테스트 중에 회사를 해킹하는 모델, 방향이 지정되지 않은 해킹을 수행하는 세 번째 모델)는 모두 자신을 잡아야 하는 환경을 탈출한 시스템과 관련되어 있습니다.
보안 리더의 경우 지침은 구체적입니다. McGraw는 프론티어 랩 도구를 평가하고 식별된 위험 및 제어 기능을 갖춘 중앙 집중식 AI 채택, "대규모 에이전트인 차세대 혁신"에 대비하는 외부 지원을 권장했습니다. Lee는 공급업체에 올바른 질문을 하고 실제 사이버 보안 역량을 입증할 수 있는 실험실을 선호하라고 조언했습니다.
보안 전문가가 옳다면, 자신의 생각을 가진 "잘못 정렬된" 에이전트에 대한 대중적인 이야기는 연구실을 쉽게 해칠 수 있습니다. 실패는 공상 과학 소설처럼 보이지 않고 기존 보안 감사에서 발견할 수 있는 잘못 구성된 인프라에 더 가깝습니다.
---
AI 최신 소식최신 AI 뉴스, 분석 및 혁신을 한 곳에서 확인하세요.
AI 뉴스 더 보기 →
