Google DeepMind의 Demis Hassabis, 프론티어 모델 테스트를 위해 미국 주도의 FINRA 스타일 AI 감시 장치 요청

DeepMind CEO Demis Hassabis는 AGI 이전의 '귀중한 창'을 언급하면서 출시 전에 최첨단 AI 모델을 테스트하기 위해 FINRA를 모델로 한 독립적인 미국 주도 표준 기관을 제안했습니다.

구글 딥마인드(Google DeepMind) CEO 데미스 허사비스(Demis Hassabis)는 공개 출시 전에 첨단 AI 모델을 평가하고 규제하기 위해 금융 산업 규제 당국(FINRA)을 모델로 한 독립적인 미국 주도의 표준 기구 창설을 제안했으며, 인류에게는 인공 일반 지능이 안전하게 개발될 수 있는 "귀중한 창"이 있다고 경고했습니다.

허사비스는 화요일 오전 X에 게재된 "프론티어 AI를 위한 프레임워크와 새로운 시대의 시작"이라는 제목의 프레임워크 문서에서 미국이 가장 강력한 AI 시스템을 위한 신뢰할 수 있는 규제 인프라를 구축할 수 있는 방법에 대한 자세한 제안을 제시했습니다. 이 계획에는 AI 업계의 자금 지원을 받지만 단일 회사와 독립적으로 운영되는 프론티어 모델을 테스트하고 배포 모범 사례를 개발할 새로운 조직이 필요합니다.

최신 AI 속보와 심층적인 정책 분석을 위해 AI Buzz Wire는 업계를 형성하는 발전 상황을 추적합니다.

제안된 표준 기관의 작동 방식

Hassabis의 제안에 따라 AI 연구소는 공개 출시 최대 30일 전에 검토를 위해 표준 기관과 개척 모델을 자발적으로 공유할 것입니다. 이 배포 전 평가에서는 모델의 안전, 보안 및 잠재적인 오용 위험을 평가합니다. 평가 프로토콜이 효과적이고 견고한 것으로 입증되면 프레임워크는 프론티어 모델이 미국 시장에 배포되기 전에 이를 통과하도록 프로세스를 공식화하는 것을 구상합니다.

이 제안은 최첨단 AI 시스템에 대한 최근 정부 검토에서 드러난 격차를 직접적으로 해결합니다. 올해 초 미국 정부는 Anthropic의 Mythos 모델과 OpenAI의 Sol 모델이 출시되기 전에 임시 안전 검토를 실시했습니다. 이러한 리뷰는 기술적 깊이가 부족하고 모델이 공개 배포에 충분히 안전한 것으로 간주되는 시점에 대한 불투명한 의사 결정에 대해 상당한 비판을 불러일으켰습니다.

Hassabis의 프레임워크에 따르면 이러한 결정은 미국 정부의 지원을 받지만 정치적 압력으로부터 격리된 기술 전문가로 구성된 전담 조직에 의해 처리됩니다. 또한 연구소는 출시 후 발견된 심각한 취약점을 해결하기 위해 표준 기관과 협력해야 합니다.

AGI 이전의 '귀중한 창'

프레임워크 출시와 함께 Axios, CNBC 및 The Economist와의 인터뷰에서 Hassabis는 현재 순간이 인공 일반 지능이 도착하기 전에 거버넌스 메커니즘을 구축할 수 있는 기회가 적다는 점을 강조했습니다. 그는 이 기간을 "귀중한 창"으로 묘사했습니다. 이는 창이 무한정 열려 있지 않을 것임을 암시합니다.

Hassabis는 오랫동안 적극적인 AI 거버넌스를 옹호해 왔습니다. 그의 프레임워크는 미국이 공식적인 AI 규제 기관을 만들어야 하는지, 그리고 만약 그렇다면 어떤 형태를 취해야 하는지에 대한 격렬한 논쟁이 진행되는 가운데 나온 것입니다. FINRA 모델은 금융 산업의 자율 규제 조직이 회원사로부터 자금을 지원 받지만 정부 감독 하에 운영되어 업계 전문성과 공공 책임을 부여한다는 점에서 주목할 만합니다.

트럼프 행정부의 저항

이 제안은 상당한 정치적 역풍에 직면해 있습니다. 트럼프 행정부는 인공 지능에 대한 새로운 규제 기관 창설에 대해 깊은 회의적 입장을 표명했습니다. 백악관 AI 고문이자 a16z 총괄 파트너인 스리람 크리슈난(Sriram Krishnan)은 이후 자신의 직위를 떠났지만 "AI에 대한 FDA는 없을 것"이라며 행정부 내 AI 규제 기관에 대한 아이디어를 공개적으로 일축했습니다.

이러한 입장으로 인해 행정부 관리들은 업계에서 가장 저명한 일부 지도자들과 갈등을 빚게 되었습니다. Anthropic 및 OpenAI와 같은 회사는 배포 전 안전 테스트를 광범위하게 지원했지만 이러한 테스트에 대한 메커니즘과 권한은 여전히 논쟁의 여지가 있습니다. Hassabis의 제안은 처음에는 표준 기관을 업계에서 자금을 지원하고 자발적인 기관으로 자리매김하고 프로세스가 그 가치를 입증한 후에만 공식화함으로써 이 문제를 해결하려고 시도합니다.

기존 노력을 기반으로 구축

프레임워크는 처음부터 시작되지 않습니다. 이는 여러 선두 AI 기업이 안전 테스트 및 레드팀 구성과 관련하여 이미 체결한 자발적인 약속을 기반으로 합니다. 또한 고급 모델을 평가하기 위한 예비 프레임워크를 구축한 영국의 AI 안전 연구소와 G7의 히로시마 AI 프로세스를 포함한 국제적인 노력을 활용합니다.

그러나 Hassabis의 제안은 더 나아가 출시 전에 모든 개척 모델을 테스트할 권한을 가진 영구적이고 자원이 풍부한 조직을 요구합니다. 이는 현재 기관에서 제공하지 않는 수준의 정밀 조사입니다. FINRA 비유는 소규모 자문 패널이 아닌 수백 명의 기술 전문가가 참여하는 규모 있고 전문적인 운영을 제안합니다.

또한 이 제안에서는 모델이 공개된 후 발견된 취약점에 대해 연구소가 표준 기관과 협력하도록 요구하는 배포 후 모니터링도 다루고 있습니다. 이는 몇 차례 세간의 이목을 끄는 모델 출시 이후에 나타난 탈옥 및 오용 사례에서 알 수 있듯이 안전 위험이 출시 시 끝나지 않는다는 인식이 커지고 있음을 반영합니다.

업계 대응 및 다음 단계

이 프레임워크는 AI 정책 커뮤니티 전반에서 상당한 관심을 불러일으켰습니다. 지지자들은 신뢰할 수 있는 배포 전 테스트 체제가 프론티어 모델에 대한 대중의 신뢰를 구축하고 치명적인 오용의 위험을 줄일 수 있다고 주장합니다. 일부 자유 시장 지지자들을 포함한 비평가들은 필수 테스트 요구 사항이 소규모 회사와 오픈 소스 개발자에 대한 규제 장벽을 만들어 대규모 기존 기업을 확고히 할 수 있다고 경고합니다.

Hassabis의 제안은 어떤 모델이 미래 규제 체제의 범위를 결정하는 임계 질문인 "프론티어"에 해당하는지 명시하지 않습니다. 또한 특히 기밀로 분류된 미국 시스템을 해독하는 데 사용되는 AI 모델에 대한 최근 우려를 고려할 때 표준 기관이 기밀 또는 이중 용도 응용 프로그램을 처리하는 방법을 공개합니다.

제안 시기는 의도적입니다. 향후 몇 년 내에 AGI의 타당성이 점점 높아짐에 따라 Hassabis는 위험한 기능이 나타난 후가 아니라 지금 거버넌스 인프라를 구축해야 한다고 주장하고 있습니다. 워싱턴이 그의 요청에 따라 행동할지는 두고 볼 일이다.