월요일 블룸버그가 보도하고 야후 뉴스 및 기타 매체가 요약한 검토 결과에 따르면 미 국방부 검토 결과에 따르면 지난 3월 이란의 한 학교에 대한 미사일 공격으로 약 120명의 어린이가 사망한 것으로 알려진 인공 지능에 대한 과도한 의존이 원인이었다고 결론지었습니다.
이번 발견은 미 국방부가 치명적인 전투 결과의 일부가 AI 시스템에 대한 의존 때문이라고 공식적으로 밝힌 첫 번째 사례이며, 이는 미군이 기계 판단에 어느 정도 표적화 권한을 위임해야 하는지에 대한 격렬한 논쟁의 한가운데에 있습니다. 이와 같은 더 많은 보도를 보려면 AI 윤리 보도를 참조하세요.
3월에는 무슨 일이 있었던 걸까요?
공격은 2026년 3월 초에 발생했는데, Bellingcat이 발표하고 NPR과 BBC가 확인한 비디오 분석에서 미국 토마호크 순항 미사일이 이란 도시 라메르드의 한 여학교 옆을 공격하는 모습이 나타났습니다. 며칠 만에 뉴욕 타임즈는 미국의 예비 조사 결과 이번 공격이 미국 미사일의 결과라는 사실이 밝혀졌으며 이란 소식통에 따르면 사망자 수는 수십 명에 달했으며 이들 중 대부분은 어린이였습니다.
월요일에 발표된 블룸버그 조사에 설명된 새로운 국방부 검토는 더 나아가 표적 파이프라인의 실패를 추적하고 AI에 대한 과도한 의존이 공격에 기여했다고 결론지었습니다. 야후 뉴스(Yahoo News)는 이 리뷰를 이란 어린이 120명을 살해한 공격에 AI 타겟팅 시스템을 연결한 것으로 요약했습니다. 몇몇 매체에서는 문제의 시스템이 Palantir에서 제공한 소프트웨어임을 확인했지만 국방부는 공급업체 세부 정보를 공개적으로 확인하지 않았습니다.
킬 체인 내부
월요일에 발표된 병행 조사에서 로스앤젤레스 타임즈는 학교를 파괴한 미국의 "킬 체인"이라고 불리는 일련의 데이터 수집, 기계 지원 표적 지정 및 미사일 발사로 끝난 인간 승인을 추적했습니다. 이 보고는 현대 정밀전의 불편한 현실을 강조합니다. 토마호크를 발사하는 승무원은 목표물을 전혀 볼 수 없을 수도 있습니다. 이들은 업스트림으로 수집된 대상 데이터 패키지를 실행하며, 여기서 알고리즘 도구는 후보로 지명될 대상과 지원 분석가의 자신감을 점점 더 형성합니다.
즉, 리뷰의 핵심 결과인 과잉 의존은 로봇이 방아쇠를 당기는 것에 관한 것이 아닙니다. 이는 프로세스가 요구하도록 설계된 회의론을 건너뛸 만큼 기계의 출력을 신뢰하는 인간에 관한 것입니다.
해체된 감독
실패 상황은 몇 달 전에 보고되었습니다. 폴리티코(Politico)는 지난 3월 미 국방부장이 민간인 보호 센터(Civilian Protection Centre of Excellence)를 포함하여 자신의 "치명성" 목표에 기여하지 않는 사무실을 삭감했으며 민간인 피해 완화 팀의 직원 수가 약 90% 감소하여 전체적으로 20명 미만으로 줄어들었다고 밝혔습니다. ProPublica는 중앙 사령부의 민간인 사상자 팀이 10명에서 1명으로 줄었다고 보도했습니다.
이러한 배경에서 리뷰의 결과는 소프트웨어 버그라기보다는 시스템 오류에 더 가깝습니다. 인간의 안전망이 뼈까지 절단된 표적 장치 내부에서 오류가 해결되지 않은 AI 도구입니다.
국방부가 이미 알고 있던 패턴
이란 공격은 미군 내에서 AI와 관련된 고립된 아슬아슬한 사건이 아니었습니다. 기즈모도(Gizmodo)와 미래주의(Futurism)의 별도 보고는 AI 시스템이 중국 선박에 탑재된 핵무기 물질을 환각한 후 군대가 중국 선박에 거의 승선할 뻔했고 잠재적으로 발사할 뻔한 사건을 기록했는데, 이는 강대국 확대를 촉발할 수 있는 실수였습니다. 이 경우 인간의 개입이 재난을 막았습니다. 이란에서는 그러한 개입이 발생하지 않았습니다.
AI 연구자와 군사 윤리 학자들은 중요한 결정에 주입된 기계 출력이 자동화 편향, 즉 신뢰할 수 있는 시스템을 과도하게 신뢰하는 인간의 경향을 야기한다고 수년 동안 경고해 왔습니다. 미 국방부의 자체 검토는 이제 이러한 편견이 전쟁에서 가장 치명적인 민간인 피해 중 하나에 기여했다는 공식적인 인정으로 자리 잡았습니다.
다음에 나올 내용
이번 검토는 행정부가 군사 AI 채택을 가속화하는 동시에 AI 지원 타겟팅에 대한 법적 인간 참여 요구 사항에 대한 워싱턴의 압력을 강화할 가능성이 높습니다. 이는 또한 제품이 현재 공식적인 결함 검토에 연루되어 있는 방위 기술 공급업체의 판매 홍보를 복잡하게 만들고 의회에 자율 무기 정책에 대한 청문회에서 인용할 구체적이고 문서화된 사례 연구를 제공합니다.
많은 질문에 답이 없습니다. 지금까지 발표된 리뷰 요약에는 어떤 모델 버전이 사용 중이었는지, 실패가 환각인지, 건물의 오분류인지, 업스트림 입력 데이터 손상인지 등을 명시하지 않았습니다. 이는 군대가 AI 도구를 어떻게 규제해야 하는지에 대해 매우 중요한 구별입니다. 대상 패키지가 확정되기 전에 분석가가 시스템 출력을 검토했는지 여부도 확실하지 않습니다.
여론은 이미 회의적입니다. 이번 주에 발표된 Reuters/Ipsos 여론조사에 따르면 미국인의 73%가 AI 회사가 재앙적인 결과를 예방하기 위해 충분한 조치를 취하지 않고 있다고 답했으며, 무기 시스템의 AI에 대한 우려가 소비자 AI에 대한 우려보다 지속적으로 더 높은 것으로 나타났습니다. 검토 권장 사항에 어떤 일이 발생하는지, 그리고 누군가가 책임을 지는지 여부는 결과가 관행을 변경하는지 아니면 또 다른 사고 보고서가 제출되어 잊혀지는지 여부를 알려줍니다.
---
최신 AI 뉴스, 분석, 획기적인 소식을 모두 한 곳에서 받아보세요.
AI 뉴스 자세히 보기 →
