법에 따른 시민권을 위한 변호사 위원회는 AI 총 탐지 시스템이 칩 봉지 중 하나를 총기로 착각하고 무장 경찰이 캠퍼스에서 십대들을 구금하고 수색한 후 메릴랜드 주 볼티모어 카운티에 있는 켄우드 고등학교의 현재 및 이전 흑인 학생 4명을 대신하여 2026년 11월 18일 소송을 제기했습니다.
볼티모어 카운티 순회 법원에 제출된 고소장에는 볼티모어 카운티 공립학교 전체에서 사용되는 Omnilert 총 탐지 시스템 제조업체인 Omnilert, LLC와 볼티모어 카운티 공립학교 및 직원, 볼티모어 카운티 경찰국 및 개별 경찰관이 피고로 지정되어 있습니다. 이는 학생의 연방 및 주 헌법상의 권리를 침해하는 것은 물론 과실 및 중과실을 주장합니다. 이 이야기에 대한 자세한 내용은 최신 AI 동향를 참조하세요.
2025년 10월에 무슨 일이 일어났나요?
변호사 위원회에 따르면 사건은 카운티 학교 전체에 배포된 AI 감시 시스템인 Omnilert Gun Detect가 90% 확률로 십대의 칩 봉지를 총기류로 표시하는 경보를 생성하면서 시작되었습니다. 시스템은 학생 중 한 명이 들고 있던 도리토스 가방을 총으로 착각했습니다.
허위 경보로 인해 대응은 무장한 지역 경찰이 학교 입구에서 불과 몇 걸음 떨어진 캠퍼스에 10대들을 집단으로 몰아넣는 것으로 끝났습니다. 학생들은 무릎을 꿇고 수갑을 채우고 수색을 당했다고 조직은 밝혔다. New York Times, The Guardian, NBC News, CBS News 및 Baltimore Sun은 모두 소송과 근본적인 사건에 대해 보도했으며, 이는 학교에서 AI 기반 무기 탐지에 대한 전국적인 관심을 끌었습니다.
보도 자료에 따르면, 아들 키스와 다른 학생들을 데리러 가던 중이었던 프리다 윈필드는 "경찰은 내 아들에게 이것이 진짜 문제가 될 수 있다고 말했다. 볼티모어 카운티의 어떤 어린이도 학교 밖에서 어머니의 차를 기다리면서 이런 종류의 위험에 직면해서는 안 된다"고 말했다.
인간의 실패의 사슬
소송의 핵심 주장은 기술의 오류가 기술을 받은 인간에 의해 모든 후속 단계에서 복합화되었다는 것입니다. 변호사 위원회는 Omnilert의 직원부터 학교 교장, 볼티모어 카운티 경찰에 이르기까지 모든 사람이 총이 없었다는 명확한 증거를 놓치거나 무시했다고 말했습니다.
불만 사항은 또한 학교 관계자가 사건이 발생하기 전에 Omnilert 시스템이 정기적으로 허위 경고를 생성한다는 것을 알고 있다고 주장합니다. 이 주장은 소송이 제기될 경우 카운티가 학생이 직면하는 상황에서 배포에 대한 기술의 신뢰성을 평가하는 방법의 핵심이 될 것입니다.
"이 학생들은 허위 경고가 발생하기 쉬운 기술뿐만 아니라 학교에 보낼 때 그들을 안전하게 보호하려는 바로 그 어른들 때문에도 실패했습니다."라고 민권 변호사 위원회의 데이먼 휴이트 회장은 말했습니다. "이러한 보호 대신에 그들은 총을 맞고 트라우마를 입었습니다. 그리고 더 나쁠 수도 있었습니다."
소송이 추구하는 것
피해 외에도 변호사 위원회는 이 사건을 활용하여 학교와 경찰서가 AI 위협 탐지 경고를 처리하는 방식의 구조적 변화를 추진하고 있습니다. 이 단체는 이번 소송의 목적이 공공 행위자가 대응하기 전에 AI 위협 탐지 플랫폼의 보고서를 확인하도록 요구하는 개혁을 강제하고, 그러한 AI 기술이 학교에서 사용하기에 적합한지 평가하고, 허위 경보가 무장 경찰의 대응을 촉발하지 않도록 보장하는 정책을 개발하는 것을 목표로 한다고 밝혔습니다.
이 그룹은 또한 오류와 결과에 대한 더 많은 교육, 감독 및 투명성과 기술 배포 방법에 대한 커뮤니티 의견을 요구하고 있습니다.
"규제되지 않은 AI는 특히 젊은이들이 참여할 때 심각한 결과를 초래합니다. 이 기술이 더 널리 채택됨에 따라 명확한 규제, 가드레일 및 상호 작용하는 성인에 대한 기대를 희생하면서 AI가 발생할 수는 없습니다"라고 변호사 위원회의 디지털 정의 이니셔티브 이사인 Leah Frazier는 말했습니다.
학교 AI 무기 탐지 테스트 사례
이번 사건은 미국 교육구에서 학교 총격 방지라는 명목으로 입구와 감시 피드에 컴퓨터 비전 시스템을 배치하는 AI 기반 무기 탐지를 점점 더 많이 채택하면서 발생했습니다. 변호사 위원회는 이 사건이 "생사 상황에서 정확성이 필수적인" 공공 안전 환경에서 AI 기술의 신뢰성에 대한 우려를 불러일으킨다고 주장하면서 더 넓은 이해관계를 명시적으로 구성했습니다. 그리고 그러한 시스템으로 인한 피해와 부정확성이 흑인 커뮤니티에 불균형적으로 영향을 미친다는 점을 지적했습니다.
법적 관찰자는 불만 사항이 제기하는 몇 가지 질문을 관찰할 것입니다. AI 공급업체가 탐지 모델의 성능에 대해 책임을 질 수 있는지 여부, 이를 배포하는 학군에 강화된 검증 의무가 있는지 여부, 경찰이 독립적인 확증 없이 자동화된 경보에 의존하는 것이 부당한 압수에 대한 헌법 보호를 위반하는지 여부는 모두 현재 볼티모어 카운티 순회 법원에 판단을 요청하게 됩니다.
사건의 중심에 있는 4명의 학생(경찰이 간식을 먹으며 무기를 뽑았을 때 어린이였음)에게 소송은 또한 개인적인 것입니다. 이들의 변호사는 사람의 검토를 통해 단 몇 초 만에 발견할 수 있는 허위 경보로 인해 학생이 무장 경찰에 다시 직면하지 않도록 하는 것이 목표라고 말합니다.
이 사건은 볼티모어 카운티 순회법원에서 진행될 예정이다. 이 글을 쓰는 시점에는 피고인의 공개 반응이 보고되지 않았습니다.
출처: 법에 따른 민권을 위한 변호사 위원회 보도 자료, The New York Times, The Guardian, NBC News, CBS News, Baltimore Sun.
---
AI 최신 소식최신 AI 뉴스, 분석 및 혁신을 한 곳에서 확인하세요.
AI 뉴스 더 보기 →