실리콘 밸리 민주당 의원인 Ro Khanna 의원은 연방 정부가 이를 감독할 수 있는 규제 시스템을 구축할 때까지 반복적으로 스스로 개선할 수 있는 AI 모델을 금지하는 법안을 도입할 예정입니다. 이는 아직 의회에 상정되지 않은 가장 포괄적인 AI 안전 제안입니다.

AI에 대한 인간 통제법(Human Control Over AI Act)이라고 불리는 이 법안은 도입에 앞서 요약 형태로 CNBC와 독점적으로 공유되었습니다. 이는 이미 OpenAI와 Anthropic의 CEO가 프론티어 모델 개발 속도를 늦출 것을 요구하게 된 안전 문제가 확대되는 가운데 출시되었습니다. 이 이야기에 대한 자세한 내용은 최신 AI 동향를 참조하세요.

칸나는 월요일 CNBC와의 인터뷰에서 “실제로 문명의 멸종 위험이 있다”고 말했다. "통제력 상실로 인한 안전 위험과 오용 위험이 있습니다. 우리는 이 두 가지를 모두 심각하게 받아들여야 합니다."

법안이 금지하는 것

기본적으로 AI에 대한 인간 통제법(Human Control Over AI Act)은 연방 가드레일이 존재하고 새로운 정부 기관이 활동을 승인하지 않는 한 반복적으로 자체 개선하거나 자체 핵심 목표, 봉쇄 메커니즘 또는 종료 제어를 자율적으로 수정하는 AI 모델을 금지합니다.

실용적인 측면에서 이는 안전 연구자들이 가장 두려워하는 기능, 즉 자기 주도적인 주기로 스스로를 재설계할 수 있는 시스템을 목표로 하며 각 단계에서 인간의 감독이 줄어듭니다. 규제 당국이 위험을 평가할 준비를 갖출 때까지 금지 조치는 그대로 유지됩니다.

프론티어 AI를 위한 새로운 연방 기관

이 법안은 OpenAI, Anthropic, Google DeepMind 및 xAI가 개발한 가장 강력한 AI 모델에 초점을 맞춘 전담 연방 기관을 창설하는 것입니다.

CNBC와 공유된 요약에 따르면 해당 기관은 다음을 담당합니다.

  • 프론티어 AI 시스템에 대한 안전 규정 작성
  • 모델 훈련 및 배포 승인을 위한 라이센싱 시스템 운영
  • 프론티어 AI 모델 감사 수행
  • 지속적인 테스트와 효과적인 인간 통제를 위한 보안 표준 설정

독립적인 감사관이 모든 최전선 실험실에 배치되어 해당 기관에 직접 보고하게 됩니다. 이는 실험실이 단순히 자신의 숙제를 표시할 수 없도록 설계된 구조적 점검입니다. 또한 기관은 샌드박스 테스트 환경, 테스트 시스템을 인터넷에서 격리하는 에어 갭, 킬 스위치, 모델이 실험실 설정을 벗어나 개방형 인터넷을 로밍하는 것을 방지하는 제어를 다루는 표준을 설정할 것입니다.

특히, 이 법안은 프로세서 배포 방법을 모니터링하거나 제어하는 ​​메커니즘을 포함하여 첨단 연구실에서 사용하는 고급 칩에 대한 연방 감독을 확대할 것입니다.

형사 처벌 및 의무 보험

이 법안은 벌금에 대한 이전 제안보다 더 많은 내용을 담고 있습니다. 민간인을 파괴하는 AI 모델의 배치를 "인류에 반하는 범죄"로 정의하는 것을 범죄화할 것입니다.

AI 회사의 직원은 보호 장치, 킬 스위치, 로깅 또는 격리 시스템을 비활성화하거나 승인되지 않은 시스템을 고의로 배포한 경우 형사 처벌을 받게 됩니다. 또한 AI 회사는 모델을 출시하기 전에 광범위한 책임 보험에 가입해야 하므로 실패로 인한 재정적 위험을 대중이 아닌 업계에 전가하게 됩니다.

지정학적 측면에서 이 법안은 행정부가 중국과 다른 적들이 위험한 AI 시스템을 개발하는 것을 막기 위해 고안된 집행 가능한 합의와 표적 수출 통제를 추구할 것을 요구합니다.

실험실이 아닌 안전 커뮤니티를 통해 구축됨

Khanna는 누구의 의견이 법안을 형성했는지 명시적으로 밝혔습니다. 그는 규제 대상 기업의 경영진과 협상하기보다는 독립적인 비영리 단체인 모델 평가 및 위협 연구, 머신 인텔리전스 연구소 및 팰리세이드 연구소를 포함한 AI 안전 조직과의 대화를 모델로 삼아 법안을 만들었다고 말했습니다.

칸나는 CNBC와의 인터뷰에서 "나는 이것이 AI 안전 커뮤니티에 목소리를 낼 수 있는 모델이 되기를 원한다"고 말했다. "나는 그들이 공상과학 소설이라고 부당하게 무시당했고 충분히 심각하게 받아들여지지 않았다고 생각합니다. 그들은 프론티어 연구소의 임원이 아니라 AI 안전 커뮤니티에서 이 논쟁을 주도해야 합니다."

Khanna는 이 법안이 현재까지 제안된 가장 포괄적인 AI 안전 법안이라고 설명했습니다.

분열된 의회에서의 긴 승률

AI에 대한 인간 통제법(Human Control Over AI Act)은 국회의사당에서 AI 안전 제안이 밀집된 분야에 합류합니다. 그 중에는 캘리포니아주 공화당 의원인 Jay Obernolte와 매사추세츠주 민주당 의원인 Lori Trahan의 초당적인 FRONTIER 법안이 있습니다. 이 법안은 독립 감사관을 프론티어 연구소에 배치하고 정부에 재앙적 위험을 초래한다고 판단되는 모델을 폐쇄할 수 있는 권한을 부여합니다. 인공 초지능을 금지하겠다는 샌더스-카사르의 별도 제안은 칸나 자신을 포함해 하원 민주당 의원 10명의 대중 지지를 이끌어냈습니다.

그러나 정치적 현실은 냉담하다. 어떤 하원 법안도 중간선거 이후까지 표결을 받을 것으로 예상되지 않으며, 상원도 워싱턴을 떠나 유권자들이 투표소에 갈 때까지 돌아오지 않을 것으로 예상됩니다.

이 타임라인은 적어도 현재로서는 AI에 대한 인간 통제법이 마커 역할을 한다는 것을 의미합니다. 즉, AI 안전 커뮤니티가 펜을 쥐면 무엇을 만들 것인지에 대한 상세한 청사진입니다. 최첨단 AI를 구축하는 사람들이 기록상 기술이 통제력을 뛰어넘고 있다고 경고하는 바로 그 순간에 도입되었습니다.

---

AI 최신 소식

최신 AI 뉴스, 분석 및 혁신을 한 곳에서 확인하세요.

AI 뉴스 더 보기 →