법률 문서가 점점 더 큰 언어 모델을 사용하여 작성됨에 따라 위조 인용은 법원과 그 앞에 출석하는 변호사에게 실질적인 문제가 되었습니다. Georgia Tech 연구진은 위조된 참고자료가 판사에게 전달되기 전에 이를 포착할 수 있도록 설계된 오픈 소스 도구를 구축했습니다.

Mellea 법적 요구사항 검사기(Mellea-LRC)라고 불리는 이 도구는 AI가 환각한 인용에 특히 초점을 맞춰 판례법 인용을 식별하고 검증할 수 있습니다. 대학 발표에 따르면 이는 IBM의 기부금을 지원받아 조지아텍 과학 소프트웨어 엔지니어링 센터(CSSE)와 오픈소스 프로그램 오피스(OSPO)의 펠로우십 프로그램을 통해 만들어졌다. 이 이야기에 대한 자세한 내용은 인공지능 뉴스를 참조하세요.

석사 과정 학생인 Adrian Lozada와 Di Wu는 CSSE 및 OSPO의 멘토와 함께 도구를 구축하기 위한 동료로 선정되었습니다. 그들의 목표는 변호사와 법률 분야의 다른 사람들에게 법적 인용을 확인할 수 있는 간단한 방법을 제공하는 것이라고 대학은 말했습니다.

작동 방식

Mellea-LRC는 "지시, 확인, 복구" 패러다임을 중심으로 구축된 IBM의 Mellea 오픈 소스 프레임워크와 대규모 언어 모델을 결합합니다. 개발자는 LLM의 출력이 일반 코드로 충족해야 하는 규칙을 작성하고 프레임워크는 출력이 이를 충족할 때까지 모델 호출을 재시도합니다.

Wu는 발표에서 "IBM의 Mellea 프레임워크는 우리가 구축한 기반이었습니다. Mellea의 임무는 모델 호출을 예측 가능하게 만드는 것입니다. 출력이 일반 코드로 충족해야 하는 규칙을 작성하면 LLM 출력이 이를 충족할 때까지 프레임워크가 재시도합니다. 우리의 임무는 프레임워크를 활용하여 법적 애플리케이션을 처음부터 끝까지 구축하는 것이었습니다"라고 Wu는 말했습니다.

이 도구는 약 8분 안에 문서를 처리합니다. 먼저 법적 서류에서 판례법 인용을 추출한 다음 각 인용이 진짜인지, 실제로 문서의 내용을 뒷받침하는지 확인합니다. 두 번째 부분은 환각에 빠진 인용과 단순한 가짜 인용을 구별하는 것입니다. 존재하지 않는 조작된 케이스는 첫 번째 확인에 실패합니다. 두 번째 청구가 실패했다는 주장이 무엇인지 말하지 않는 실제 사례입니다.

실제 조작된 서류에 대해 테스트됨

팀은 위조된 인용이 포함된 것으로 알려진 26개의 공개 법원 제출 문서에 대해 Mellea-LRC를 평가했습니다. 이는 AI 초안 보고서가 확산되면서 법원에서 제재와 조사를 받게 된 것과 동일한 종류의 사건입니다.

Mellea-LRC가 목표로 하는 문제는 잘 문서화되어 있습니다. LLM은 실제 선례와 일치하지 않는 그럴듯해 보이는 사례 이름, 인용 및 인용문을 생성하며 변호사는 확인하지 않고 그러한 서류를 제출한 후 처벌을 받았습니다.

오픈소스 디자인

프로젝트의 핵심 요구 사항은 도구의 코드가 오픈 소스여야 한다는 것이었습니다. 도구와 함께 팀은 향후 벤치마킹 연구를 위해 Hugging Face에 대한 새로운 테스트 및 검증 데이터세트를 출시했습니다.

Lozada는 "Agentic AI는 빠르게 성장하고 있으며 누구나 작업을 읽고 사용하고 개선할 수 있는 오픈 소스 프로젝트에서 많은 성장이 이루어지고 있습니다"라고 말했습니다.

Georgia Tech의 OSPO 이사이자 수석 연구 과학자인 Jeff Young은 IBM의 Mellea 프레임워크가 "지시, 확인, 수리" 접근 방식을 통해 신뢰할 수 있는 LLM 루프를 생성할 수 있기 때문에 이 작업에 매우 중요하다고 말했습니다.

안정적인 출력을 뒷받침하는 아키텍처

Mellea 접근 방식을 주목할만한 점은 신뢰성에 대한 부담을 두는 부분입니다. 대부분의 환각 완화 전략은 프롬프트, 미세 조정 또는 검색 확대를 통해 모델 자체에 더 주의를 기울이도록 요청합니다. Mellea-LRC는 이를 뒤집습니다. 정확성 요구 사항은 모델 외부의 일반 코드에 존재하며 프레임워크는 출력이 이를 만족할 때까지 모델을 계속 호출합니다.

그 디자인은 두 가지 실질적인 결과를 가져옵니다. 첫째, 검증 논리는 감사 가능합니다. 변호사나 법원은 불투명한 모델 판결을 신뢰하는 대신 인용이 통과해야 하는 규칙을 정확히 읽을 수 있습니다. 둘째, 동일한 패턴은 법적 인용을 넘어 출력을 기계적으로 확인할 수 있는 모든 도메인으로 일반화됩니다. 이는 바로 에이전트 프레임워크를 엔터프라이즈 개발자에게 매력적으로 만든 속성입니다.

펠로우십 구조도 주목할 만하다. 폐쇄된 기업 연구실이 아닌 이 프로젝트는 좁고 잘 정의된 검증 문제를 중심으로 두 명의 석사 학생, CSSE 및 OSPO의 멘토링, IBM 자금을 함께 투입하여 작업 도구와 공개 벤치마크 데이터 세트를 생성했습니다.

법률 산업에 중요한 이유

법원은 AI 신뢰성 문제의 발화점이 되었습니다. Mellea-LRC가 자동화하는 검증 워크플로(인용이 있는지 확인하고 초안 작성자가 주장하는 내용이 맞는지 확인)는 마감일이 촉박할 때 검토자가 건너뛰는 실사 단계입니다.

문서당 8분의 처리 시간이 있기 때문에 판사가 존재하지 않는 사건에 플래그를 붙인 후 법의학 연습보다는 제출 전에 실행하는 것이 실용적입니다. 그리고 도구와 평가 데이터 세트가 모두 오픈 소스이기 때문에 다른 팀에서는 작동 방식을 감사하고 이를 추가 관할권 및 인용 형식으로 확장하고 벤치마크 개선을 수행할 수 있습니다. 이는 폐쇄형 독점 환각 검사기와 대조되는 접근 방식입니다.

이 프로젝트는 또한 엔터프라이즈 AI 도구가 어디로 향하고 있는지를 보여줍니다. Georgia Tech와 같은 팀은 모델의 환각을 덜 만들기 위해 노력하는 대신 구조화된 규칙과 자동화된 재시도를 사용하여 모델 출력을 고위험 직업에 대해 충분히 예측 가능하게 만드는 검증 계층을 구축하고 있습니다.

법률 산업의 경우 계산은 간단합니다. AI는 몇 분 안에 개요 초안을 작성할 수 있으며 Mellea-LRC와 같은 도구는 거의 동시에 인용 내용을 확인할 수 있습니다. 나머지 변수는 기업이 제재 조치 이후가 아니라 서류 제출 전에 해당 확인을 필수 단계로 만드는지 여부입니다.

---

AI 최신 소식

최신 AI 뉴스, 분석 및 혁신을 한 곳에서 확인하세요.

AI 뉴스 더 보기 →