Anthropic의 다리오 아모데이(Dario Amodei) 최고경영자(CEO)는 오픈 소스 인공 지능에 대한 가속화되는 추세가 신중한 보호 조치 없이 강력한 모델이 출시되면 사회를 위험한 길로 이끌 수 있다고 국회의원들에게 경고하여 AI 정책에서 가장 논쟁이 많은 논쟁 중 하나를 다시 촉발시켰습니다.

Claude 모델 제품군 뒤에 있는 회사를 설립하고 이끄는 Amodei는 누구나 고급 시스템을 무료로 다운로드, 수정 및 배포할 수 있도록 하는 오픈 소스 AI의 고유한 특성이 기존 오픈 소스 소프트웨어가 결코 제기하지 않은 위험을 초래한다고 주장했습니다. 테케디아(Tekedia)가 보도한 그의 발언은 일단 공개적으로 배포된 유능한 AI를 통제하는 것이 어렵다는 점에 중점을 두고 있습니다. 이 이야기에 대한 자세한 내용은 진행 중인 더 많은 AI 이야기를 참조하세요.

기존 소프트웨어와 달리 최첨단 AI 시스템은 설득력 있는 텍스트를 생성하고, 사실적인 이미지를 생성하고, 컴퓨터 코드를 작성하고, 사이버 보안 작업을 지원할 수 있습니다. Amodei는 잘못된 손에서 이러한 기능이 사이버 공격을 자동화하거나 정교한 허위 정보 캠페인을 시작하거나 유해한 생물학적 연구를 발전시키는 데 악용될 수 있다고 주장합니다.

영속성의 문제

Amodei가 강조한 주요 위험 중 하나는 일단 강력한 모델이 공개적으로 출시되면 사실상 회상이 불가능해진다는 것입니다. 기업이 운영하는 폐쇄형 시스템은 새로운 취약점이 나타날 때 모니터링, 패치, 제한이 가능합니다. 반면, 오픈 소스 모델은 무기한 복사하여 인터넷을 통해 재배포할 수 있으므로 개발자는 출시 후 사용을 제한할 수 있는 메커니즘이 없습니다.

Amodei는 모델이 점점 더 복잡해지는 작업에서 인간 수준의 성능에 접근함에 따라 이러한 영속성이 특히 문제가 된다고 경고했습니다. 그는 고급 AI가 공개적으로 공동으로 개선될 수 있는 일반 소프트웨어처럼 취급되기보다는 널리 접근 가능해지기 전에 강력한 안전 테스트, 제어된 배포 및 적절한 규제 감독을 받아야 한다고 주장했습니다.

그의 입장은 업계에서 점점 더 커지는 단층선을 반영합니다. 오픈 소스 AI 지지자들은 대중의 접근이 경쟁을 촉진하고 기술 진보를 민주화하며 소수 기업이 인공 지능을 독점하는 것을 방지한다고 주장합니다. 전 세계 개발자는 모델 아키텍처를 검사하고, 보안 결함을 표면화하고, 시스템을 공동으로 개선할 수 있으며, 스타트업, 연구원 및 교육 기관은 값비싼 독점 플랫폼에 의존하지 않고도 구축할 수 있습니다.

테이블에 있는 특정 위험

아모데이의 고민은 추상적인 것이 아니다. 공개적으로 출시된 모델은 이미 간단한 미세 조정 기술을 사용하여 연구원들에 의해 안전 가드레일을 제거했습니다. 이는 기본 중량이 공개되면 보호 조치를 얼마나 빨리 제거할 수 있는지를 보여주는 관행입니다. 화학, 생물학, 소프트웨어 활용과 같은 작업에서 모델의 능력이 향상됨에 따라 공개 릴리스가 책임 있는 실험실에서 고객에게 부과하는 심사를 결코 통과하지 못하는 행위자에게 강력한 기능을 제공할 수 있다는 우려가 있습니다.

허위 정보 측면에서도 면밀한 조사가 이루어졌습니다. 사실적인 텍스트, 이미지, 오디오를 대규모로 생성할 수 있는 모델은 선거 간섭, 금융 사기 또는 선전 대량 생산으로 전환될 수 있습니다. Amodei는 개방형 모델이 전적으로 공격자의 자체 하드웨어에서 작동하기 때문에 제한할 API도 없고 정지할 계정도 없으며 일단 피해가 발생하면 책임을 물을 제공업체도 없다고 Amodei는 지적했습니다.

경쟁적인 배경

Amodei의 경고는 중국 개발자들의 유능한 개방형 모델이 급증하는 가운데 나왔습니다. Zhipu의 GLM-5.2는 다른 저가형 중국 시스템과 함께 개방적이고 공개적으로 사용 가능한 모델이 Anthropic 및 OpenAI의 최첨단 독점 시스템과의 격차를 얼마나 빨리 좁히고 있는지에 대한 새로운 관심을 끌었습니다. 이러한 경쟁 압력으로 인해 공개 출시에 대한 제한이 지배적인 기업에 유리하게 작용할지 아니면 사회를 오용에 노출시킬지에 대한 정책 논쟁이 심화되었습니다.

Amodei의 입장을 비판하는 사람들은 오픈 소스 AI를 제한하면 독립적인 혁신을 제한하여 의도치 않게 대규모 기술 기업을 강화할 수 있다고 주장합니다. 그들은 또한 투명성을 통해 연구자들이 폐쇄형 개발보다 더 빠르게 취약점을 식별할 수 있다는 점에 주목합니다. 그러나 개방형 개발을 옹호하는 많은 사람들도 점점 더 강력해지는 시스템에는 이전 세대의 소프트웨어보다 더 강력한 거버넌스 프레임워크가 필요할 수 있다는 점을 인정합니다.

규제의 줄타기

전 세계 정부가 새로운 AI 규정을 검토함에 따라 논의가 시급해졌습니다. 정책입안자들은 어려운 균형에 직면해 있습니다. 과도한 제한은 경제성장과 과학적 발견을 둔화시킬 수 있고, 부족한 감독은 사회를 예측하기 어려운 위험에 노출시킬 수 있습니다. Amodei는 이러한 균형을 맞추려면 정부, 기술 기업, 학계 연구원 및 시민 사회 간의 협력이 필요하다고 제안했습니다.

그의 증언은 지난 10년간 결정적인 기술 정책 논쟁 중 하나를 강조합니다. 인공 지능의 능력이 더욱 향상됨에 따라 사회는 혁신적인 시스템에 대한 광범위한 접근과 관련된 위험을 최소화하면서 혁신을 장려하는 방법을 결정해야 합니다. 규제, 산업 표준, 국제 협력 등을 통해 오픈 소스 AI에 대해 앞으로 몇 달 안에 이루어지는 선택에 따라 앞으로 몇 년 동안 기술을 누가 제어하고 얼마나 안전하게 배포할지 결정할 수 있습니다.

Anthropic의 입장은 AI 안전 및 제어된 릴리스에 대한 회사의 오랜 강조와 일치합니다. 그러나 개방형 모델이 빠르게 발전하고 규제 당국이 여전히 따라잡기 위해 안간힘을 쓰고 있는 상황에서 Amodei의 경고와 오픈 소스 운동 속도 사이의 격차는 정책 입안자들이 좁힐 수 있는 것보다 더 빠르게 줄어들 수 있습니다.

---

AI보다 앞서 나가세요

최신 AI 뉴스, 분석, 획기적인 소식을 모두 한 곳에서 받아보세요.

AI 뉴스 자세히 보기 →