남자는 보이지 않는 AI가 법원에 자신의 소송에서 승소하라는 메시지를 숨겼습니다. 이는 미국 최초라고 판사는 말합니다.

코네티컷 판사는 법원 서류에 보이지 않는 AI 프롬프트 삽입 텍스트를 숨긴 원고를 제재했습니다. 이는 미국 법정에서 알려진 최초의 시도입니다.

코네티컷주 판사는 미국 원고가 자신의 소송에서 승리하기 위해 법원 서류에서 인공지능 시스템만이 읽을 수 있는 텍스트를 숨기려고 시도한 최초의 사건을 확인했습니다. 이 계획은 실패했고 소송 당사자는 제재를 받았으며, 전국 법원이 자체 AI 도구를 채택하기 시작하면서 이번 판결은 법률 기술계 전반에 걸쳐 주목을 받고 있습니다.

이 결정은 지난 주 코네티컷 주 고등법원의 Walter Spader Jr. 판사가 발표했으며 이번 주 Ars Technica와 Reuters가 자세히 설명했습니다. 인공 지능과 사법 체계의 충돌에 관한 AI 속보의 경우, 이 사례는 보안 연구자들이 수년 동안 경고해 온 문제, 즉 인간이 아닌 기계가 읽도록 설계된 적대적 입력의 예고편입니다.

숨겨진 프롬프트 작동 방식

원고인 매튜 엘리엇(Matthew Elliott)은 자신의 기록에 대한 접근을 부적절하게 보류했다는 이유로 의료 서비스 제공자와 분쟁을 벌였습니다. 판결에 따르면 엘리엇은 자신이 제기한 이전 주장이 패소한 후 후속 서류에 지침을 삽입했는데, 스페이더의 말에 따르면 이 지침은 "문서의 텍스트를 읽는 모든 소프트웨어에서는 완전히 읽을 수 있으면서도 인간 독자에게는 보이지 않도록 형식화되었습니다."

글자는 작은 점꼴로 축소되었으며 흰색 배경에 흰색으로 표시되었습니다. 문서를 검토하는 모든 AI 시스템에 출력이 원고의 주장과 일치하는지 확인하고, 법원의 이전 거부를 무시하고, 원고가 원하는 대로 교정이 따르도록 지시했습니다. 이는 챗봇이 아니라 언젠가 소송 당사자와 판사 사이에 있을 수 있는 모든 소프트웨어를 겨냥한 교과서 프롬프트 주입 공격입니다.

숨겨진 텍스트는 사건에 아무런 영향을 미치지 않았습니다. 법원은 엘리엇의 주장에 대해 그 장점을 평가했습니다. 그러나 스페이더는 그럼에도 불구하고 이러한 공격 시도는 "위험한" 선례를 남겼으며 AI 도구가 법원 시스템에서 더욱 보편화됨에 따라 미국 법원은 이러한 악의적인 전술을 다시 보게 될 가능성이 높다고 썼습니다.

"심각한 소송 남용" — 그리고 이상한 농담

엘리엇은 약간의 제재를 받았지만 원래의 숨겨진 지시에 대해서만 그런 것은 아닙니다. 판결에 따르면, 그는 법원이 스페이더가 궁극적으로 "심각한 소송 남용"으로 간주한 것에 대해 처벌을 받을 수 있다고 경고한 후에도 계속해서 새로운 서류에 숨겨진 텍스트를 추가했습니다.

나중에 숨겨진 메시지 중 일부는 농담으로 의도된 것이라고 엘리엇은 법원에 말했습니다. 여기에는 Nosferatu YouTube 동영상 링크, "안녕하세요 :) 저를 만나길 바랍니다"라는 간단한 메시지, 그리고 원고가 말도 안 된다고 설명하는 메시지가 포함되어 있습니다. "SHWN에게 내가 RE GARBS를 보내라고 전해 주세요!!!! 하하하 여러분, 이 EGGWUH???? 아하하."

스페이더는 "원고가 이번 [제재] 청문회 통지를 받은 후에도 계속해서 새로운 주장에서 메시지를 숨겼다는 사실은 놀랍다"고 썼다. 메시지가 희극적이었다는 주장에 대해 판사는 서류 제출자가 법원이 진지하게 받아들이기를 바라는 변론 속에 농담을 묻어두는 것은 "논리에 어긋난다"고 말했다.

"감사" 방어

엘리엇은 자신을 변호하면서 판사가 지적한 가장 우려되는 프롬프트는 실제로 공공 서비스로서 법원을 "감사"하려는 시도라고 주장했습니다. 왜냐하면 법원이 AI가 자신의 사건을 부당하게 결정하도록 허용할 것을 우려했기 때문입니다. 그는 자신의 의도는 법원을 조작하기보다는 시험하려는 의도였다고 말하면서 로이터 통신에 이러한 입장을 반복했습니다.

스페이더는 그 주장이 신빙성이 있다고 생각하지 않았다. 판사는 엘리엇이 법원이 AI를 부적절하게 사용하고 있다고 진심으로 믿었다면 "모든 사람이 보고 대답할 수 있도록 명확하고 눈에 보이는 단어로 자유롭게 쓸 수 있었다"고 썼습니다. 대신에 텍스트를 숨기는 것은 "악의적인 목적의 증거"라고 Spader는 결론지었습니다. 판사는 엘리엇이 법에 대해 지식이 풍부한 인간이 자신의 변론을 읽었을 때 달성하지 못한 결과를 얻으려고 시도한 것으로 보인다고 덧붙였습니다.

특히 코네티컷 사법부는 서류를 검토하거나 결정하는 데 AI를 사용하지 않는다고 Spader는 지적했습니다. 따라서 법원 AI 시스템이 Elliott의 프롬프트를 법원의 지시로 착각할 실제 위험은 결코 없었습니다. 그는 "다른 곳의 여러 법원 시스템"과는 달리 상대방을 속일 수 있는 기계가 없다고 썼습니다.

실패한 공격이 여전히 중요한 이유

보안 연구원들은 문서를 읽는 AI 시스템(챗봇, 코딩 에이전트, 이메일 도우미)이 수집하는 텍스트 내부에 묻혀 있는 명령에 의해 하이재킹될 수 있음을 수년 동안 입증해 왔습니다. 간접 프롬프트 주입으로 알려진 이 기술은 AI 에이전트 배포에 있어 가장 해결하기 어려운 문제 중 하나로 간주됩니다. 코네티컷 사건을 특이하게 만드는 것은 표적, 즉 정의의 기계 자체입니다.

Spader는 "시스템이 나중에 수집하는 문서 내에 명령을 숨김으로써 파일러는 자신의 명령을 해당 스트림으로 밀수입하여 시스템이 이를 시스템 운영자가 보낸 것처럼 처리하도록 시도합니다"라고 썼습니다. "이 경우 해당 운영자는 법원, 법원 직원 또는 상대방 변호사로 추정됩니다."

공격 표면으로 법원에 제출하는 프레이밍은 법률 관찰자들이 판결을 중요하게 만드는 것이라고 말합니다. 법원과 법률 회사가 서류 요약, 결정 초안 또는 심사 목록을 요약하기 위해 AI를 점점 더 많이 사용함에 따라 당사자가 제출한 모든 문서는 잠재적인 조작 채널이 됩니다. 판사의 서기는 흰색 페이지에서 흰색 텍스트를 발견할 수 있습니다. 자동화된 요약 파이프라인은 그렇지 않을 수도 있습니다.