미군은 이번 봄에 거의 모든 사람이 깨닫는 것보다 중국과의 직접적인 대결에 더 가까워졌으며 금요일에 발표된 CNN 단독 보도에 따르면 AI 환각이 그 이유였습니다.

보고서는 챗봇의 도움으로 생성된 정보 문서가 어떻게 선박이 핵무기 프로그램의 구성 요소를 수송하고 있다고 믿고 중동에서 중국 선박에 탑승할 준비를 하고 있던 미군을 무장시켰는지 일련의 사건을 촉발시켰는지 자세히 설명합니다. 작전에 정통한 소식통에 따르면 군용기는 이미 공중에 떠 있었다고 한다. 이 이야기에 대한 자세한 내용은 AI 뉴스를 참조하세요.

임무는 계획된 차단 직전에 취소되었는데, 당시 관리들은 보고서를 더 깊이 파고들어 미군을 동원했다는 보고서의 핵심 주장이 틀렸다는 사실을 발견했습니다.

이 사건에 정통한 한 소식통은 CNN에 보낸 정보 보고서가 "완전히 거짓"이라고 설명했습니다. 또한 소식통은 "거의 전쟁이 시작될 뻔했다"고 말했습니다. 중국 선박에 대한 미국의 작전은 양국 간의 무력 충돌로 이어질 수 있었습니다.

챗봇의 주장은 어떻게 군사작전이 되었는가

이번 사건은 이란과의 전쟁이 한창이던 올 봄, 정보 보고서가 미군 전체에 퍼지기 시작하면서 시작됐다. 이 문서는 중동의 중국 선박이 핵무기 프로그램 구성 요소를 운반하고 있다고 주장했으며 즉시 경고음을 울렸습니다.

CNN에 따르면, 이 보고서는 하와이에 본부를 둔 미국 태평양 특수 작전 사령부에서 시작된 선박 목록에 대한 정보 보고에 대해 챗봇에 문의한 미국 특수 작전 사령부 분석가에 의해 작성되었습니다. 챗봇이 상업적으로 이용 가능한 제품인지, 아니면 미국 정부 도구인지는 불분명합니다. 군사 및 정보 분석가가 사용하는 AI 시스템에 대해 잘 알고 있는 전 미국 고위 관리는 CNN에 정부 내부 제안에 대해 다음과 같이 솔직하게 평가했습니다. "내부 도구는 대부분 립스틱을 바른 상업용 제품의 복사본일 뿐입니다."

챗봇은 오픈소스 정보와 정부가 보유한 비밀신호 정보를 융합해 선박 화물에 대한 운명적인 결론에 이르렀다. 그런 다음 분석가는 AI를 두 번째로 사용하여 결과를 표준 정보 보고서(군 관계자가 신뢰하는 표준 정보 보고서)로 패키지화하고 이를 전파했습니다.

이 에피소드에 대해 잘 아는 소식통 4명이 CNN에 말했습니다. 이들 중 2명에 따르면 무장한 미군 병사들이 배 탑승을 준비하던 중 보도가 무산됐다. CNN은 잘못 식별된 화물이 실제로 무엇인지 알 수 없었습니다. 미국 태평양 특수작전사령부와 미 국방부는 CNN의 논평 요청에 응답하지 않았습니다.

가속화 전략이 현실 점검을 충족합니다

미 국방부가 엄청난 양의 원시 정보를 분석하고, 파업 대상을 선택하고, 예산 책정, 물류, 공급망과 같은 보다 일상적인 작업을 처리하는 등 업무의 거의 모든 측면에 AI를 접목하려고 추진하는 순간에 거의 놓칠 뻔한 상황이 발생했습니다.

지난 1월, 피트 헤그세스(Pete Hegseth) 국방장관은 군용 AI 채택을 가속화하기 위한 국방부의 "인공지능 가속 전략"을 발표했습니다.

Hegseth는 전략을 발표하는 연설에서 "우리는 실험을 시작하고 관료적 장벽을 제거하며 투자에 집중하고 군사 AI를 선도하는 데 필요한 실행 접근 방식을 보여줄 것"이라고 말했습니다.

첨부된 메모는 더 나아가 "미국의 세계 최고의 AI 모델을 모든 분류 수준에서 300만 명의 민간인과 군인의 손에 직접 제공함으로써 부서 전반에 걸쳐 AI 실험과 변혁을 민주화"하는 것을 목표로 여러 프로그램을 통해 AI를 사용할 수 있도록 부서에 명령했습니다.

그러나 여러 미국 관리들은 CNN에 정부의 여러 부서가 서로 다른 명령과 안전 기준에 따라 서로 다른 도구를 사용하면서 이러한 노력이 분산되어 있다고 말했습니다. 이러한 도구로 생성된 정보를 검증하기 위한 단일 표준 세트는 없으며 다양한 시스템의 신뢰성은 매우 다양합니다.

타겟팅은 위험이 존재하는 곳입니다

분석가들은 국가가 열악하거나 손상된 데이터에 대해 조치를 취하면 AI가 치명적인 오산에 기여할 수 있다고 오랫동안 우려해 왔습니다. 중국 선박 에피소드는 실시간으로 형성되는 오류 모드와 마지막 순간까지 이를 포착하지 못하는 안전 장치에 대한 문서화된 사례입니다.

군의 현재 정책에 정통한 또 다른 소식통은 CNN과의 인터뷰에서 "표적에 있어서 AI는 확실히 증가하고 있는 것이며 인간이 루프에 개입하면 민간인 사상자나 형제 살해를 어떻게 예방할 수 있는지에 대한 실질적인 지침이 없다"고 말했습니다.

CNN의 보고에 따르면, 허위 주장을 낳은 환각은 AI 도구가 정부를 통해 확산되기 시작한 이후 정보계 전반에 걸쳐 고립된 사건이 ​​아니었습니다. 몇몇 소식통은 또한 문화적 위험을 지적했습니다. 이러한 도구에 익숙하다고 설명되는 젊은 분석가는 이를 무비판적으로 신뢰하는 경향이 높으며, 정보를 더 빨리 생성해야 한다는 압력으로 인해 오류의 여지가 더 많이 남습니다.

한 소식통은 "AI를 사용하면 나쁜 아이디어에 더 빨리 도달할 수 있다"고 말했습니다.

초지능보다 더 즉각적인 위험

몇 주 동안 워싱턴은 장기적인 AI 위험에 대한 논쟁에 휩싸였습니다. 실리콘 밸리 엔지니어와 기술 경영진이 잠재적으로 인간의 제약에서 벗어날 수 있는 시스템에 대한 일련의 심각한 대중 경고를 발표한 이후입니다. CNN 보고서는 인간이 지금 실제 지정학적 긴장 속에서 부정확하거나 오해의 소지가 있는 AI 결과를 바탕으로 비참한 결정을 내리는 또 다른 보다 즉각적인 위험을 강조합니다.

이번 봄에는 총성이 발사되지 않았으며 탑승도 발생하지 않았습니다. 그러나 이 에피소드는 일단 공식 보고에 세탁된 기계 생성 오류가 세계에서 가장 강력한 군사 장치를 거쳐 핵 보유국 간의 무력 충돌의 가장자리까지 전파될 수 있다는 가장 명확한 예입니다. 다음 오류를 막을 수 있는 검증 표준이 마련되어 있지 않습니다.

---

AI 최신 소식

최신 AI 뉴스, 분석 및 혁신을 한 곳에서 확인하세요.

AI 뉴스 더 보기 →