목요일 CNN 독점 보도에 따르면 미군은 AI 챗봇의 도움으로 생성된 정보 보고서를 바탕으로 완전히 거짓으로 판명된 정보 보고서를 기반으로 중국 선박을 요격할 위험에 처했습니다.

이 문제에 정통한 4명의 소식통이 CNN에 설명한 이 사건은 올 봄 초 이란과의 전쟁이 한창이던 와중에 중국 선박이 중동에서 핵무기 프로그램의 구성 요소를 수송하고 있다고 주장하는 보고서가 미군 전체에 퍼지면서 시작되었습니다. 이 보고는 즉시 경보를 울렸고 군은 선박을 요격할 계획을 세우기 시작했습니다. 이와 같은 이야기를 정기적으로 보도하려면 AI 뉴스의 진행 상황을 팔로우하세요.

공중에 떠 있는 비행기, 탑승 파티 준비 완료

CNN의 두 소식통에 따르면 미군 무장 병력이 배 탑승을 준비하고 있었다. 한 소식통은 군용기가 이미 공중에 떠 있었다고 말했습니다.

관계자들은 계획된 작전 직전에야 특수작전사령부 분석가가 작성한 보고서를 더 깊이 파고들어 보고서가 인공지능의 도움으로 생성되었으며 분석가가 사용한 챗봇이 선박에 운반된 물질을 부정확하게 식별했다는 사실을 발견했습니다. CNN은 잘못 식별된 화물이 실제로 무엇인지 알 수 없다고 보도했다.

한 소식통은 이 보고서가 "완전히 거짓"이라고 설명했습니다. 소식통은 또한 중국 선박에 대한 미국의 작전이 양국 간의 무력 충돌로 이어질 위험이 있었기 때문에 "거의 전쟁이 시작될 뻔했다"고 말했습니다.

허위 신고는 어떻게 만들어졌는가

분석가는 하와이에 기반을 둔 미국 특수작전사령부 태평양(US Special Operations Command Pacific)에서 시작된 선박 목록에 대한 정보 보고에 대해 챗봇에 문의했습니다. CNN은 챗봇이 상용 제품인지 미국 정부 도구인지 확실하지 않다고 보도했습니다.

봇은 오픈 소스 정보와 정부 소유의 비밀 신호 정보를 융합하여 선박에 실린 물질에 대한 운명적인 결론에 도달했습니다. 그런 다음 분석가는 AI를 두 번째로 사용하여 조사 결과를 군 관계자가 신뢰하는 표준 정보 보고서로 패키지화하고 이를 시스템 전체에 전파했습니다.

미국 태평양 특수작전사령부와 미 국방부는 CNN의 논평 요청에 응답하지 않았습니다.

AI 도입을 위한 군사 경쟁

미국 군대와 정보계 관계자들이 방대한 양의 원시 정보를 분석하고 공격 대상을 선택하는 것부터 예산 책정, 물류, 공급망과 같은 일상적인 애플리케이션에 이르기까지 업무의 거의 모든 측면에 AI를 접목시키려고 노력하고 있는 순간에 거의 놓칠 뻔한 일이 발생했습니다.

지난 1월 피트 헤그세스(Pete Hegseth) 국방장관은 군의 AI 채택을 가속화하기 위한 국방부의 '인공지능 가속 전략'을 발표했습니다. Hegseth는 전략을 발표하는 연설에서 "우리는 실험을 시작하고 관료적 장벽을 제거하며 투자에 집중하고 군사 AI를 선도하는 데 필요한 실행 접근 방식을 보여줄 것"이라고 말했습니다.

이 전략은 "미국의 세계 최고의 AI 모델을 모든 분류 수준에서 300만 명의 민간인과 군인의 손에 직접 제공"하도록 부서에 명령하여 액세스 민주화를 명시적으로 요구합니다.

단일 규칙 세트 없음

그러나 여러 미국 관리들은 CNN에 정부의 여러 부서가 서로 다른 명령과 안전 기준에 따라 서로 다른 도구를 사용하면서 이러한 노력이 분산되어 있다고 말했습니다. 미국이 이러한 도구로 생성된 정보를 확인하는 방법에 대한 단일 표준은 없으며 다양한 시스템의 신뢰성은 매우 다양합니다.

군사 및 정보 분석가가 사용하는 AI 시스템에 대해 잘 알고 있는 전직 미국 고위 관리는 CNN에 "내부 도구는 대부분 립스틱을 바른 상업용 물건의 복사본일 뿐이다"라고 말했습니다.

AI 타겟팅은 약간의 지침으로도 '증가'하고 있습니다.

소식통에 따르면 군대는 치명적인 실수가 발생할 수 있는 명백한 위험이 있는 영역인 표적 지정을 돕기 위해 AI로 빠르게 전환하고 있습니다. 군의 현재 정책에 정통한 또 다른 소식통은 CNN과의 인터뷰에서 "표적에 있어서 AI는 분명히 증가하고 있는 것이며 인간이 루프에 개입하면 민간인 사상자나 형제 살해를 어떻게 예방할 수 있는지에 대한 실질적인 지침이 없다"고 말했습니다.

분석가들은 국가가 열악하거나 손상된 데이터에 의존할 경우 AI가 치명적인 오산을 일으킬 수 있다고 오랫동안 경고해 왔습니다. 바로 이러한 오산이 미국이 부정확한 정보를 바탕으로 중국 선박에 사격을 가하게 만들 수 있었습니다.

CNN에 따르면 허위 선박 보고 뒤에 숨겨진 일종의 환각은 이러한 도구가 정부를 통해 확산되기 시작한 이후 정보계 전반에 걸쳐 고립된 사건이 ​​아니었습니다.

'AI를 사용하면 나쁜 아이디어를 더 빨리 얻을 수 있습니다'

AI가 인간의 제약에서 벗어날 수 있다는 가능성에 대한 실리콘 밸리의 일련의 심각한 경고 이후 몇 주 동안 워싱턴 정책 입안자들은 AI에 대해 열띤 토론을 벌였습니다. 그러나 중국 선박 사건은 좀 더 즉각적이고 다른 위험을 강조합니다. 인간은 AI 시스템이 생성한 부정확하거나 오해의 소지가 있는 정보를 바탕으로 비참한 결정을 내립니다.

몇몇 소식통은 CNN에 특히 이러한 도구를 사용하는 젊은 분석가들은 이를 무비판적으로 신뢰할 가능성이 더 높으며, AI가 분석가들에게 정보를 더 빨리 생산하고 전파하도록 압력을 강화하여 실수의 여지가 있다고 말했습니다.

한 소식통은 "AI를 사용하면 나쁜 아이디어에 더 빨리 도달할 수 있다"고 말했습니다.

이 에피소드는 미군이 AI를 가장 민감한 작업 흐름에 얼마나 빨리 포함시켜야 하는지, 그리고 AI 지원 보고가 군대, 항공기 및 무장 인력을 잠재적인 전투 작전으로 이동시키기 전에 어떤 검증 단계를 의무화해야 하는지에 대한 이미 열띤 논쟁을 불러일으킬 가능성이 높습니다. 현재 세부 사항에 따르면 존재하는 안전 장치는 패치워크이며 이 경우 일상적인 정보 보고서와 국제 사건의 차이는 우연히 다시 확인한 관리들에게 달려 있습니다.

AI보다 앞서 나가세요

AI 정책, 국가 안보, 그리고 두 가지를 모두 형성하는 모델에 대한 자세한 내용을 보려면 AI 뉴스 자세히 읽기를 참조하세요.