노벨상 수상자 제프리 힌튼(Geoffrey Hinton), 동료 AI 선구자 요슈아 벤지오(Yoshua Bengio), 앤트로픽(Anthropic) 공동 창업자 잭 클락(Jack Clark), 오픈AI(OpenAI) 수석 과학자 야쿠브 파초키(Jakub Pachocki) 등 20명 이상의 연구자들이 정부에 역사상 가장 중대한 기술 발전이 될 수 있는 AI '지능 폭발'에 대비하라고 경고했다고 가디언이 월요일 보도했다.

"AI R&D 자동화가 지능 폭발을 촉발한다면 어떻게 될까요?"라는 제목의 이 논문은 정치인들이 기술이 급격하게 발전하기 전에 행동할 것을 촉구합니다. 저자는 이 시나리오를 "AI 발전을 극적으로 가속화하여 몇 년이 걸릴 발전을 몇 달 이하로 압축하는 것"이라고 설명합니다. 최신 AI 연구 뉴스를 추적하는 독자들에게 이 보고서는 경고보다는 보고서에 서명한 사람이 누구인지에 주목합니다. 즉, 자동화된 연구가 정책 입안자들에게 가장 준비가 안 된 시나리오라는 주장을 공동으로 제시하는 학계 및 경쟁 선도 연구실의 수치입니다.

지능 폭발이 의미하는 것

저자의 주요 관심사는 AI 시스템이 인간의 개입 없이 스스로 개선될 것이라는 전망입니다. 이 프로세스는 논문에서 자동화된 AI 연구 및 개발로 광범위하게 언급되는 순환적 자기 개선으로 알려져 있습니다.

AI 시스템이 AI R&D에서 전문가 수준의 역량에 도달하면 단일 개발자가 "수백만"의 최고 인간 연구원과 동등한 인력을 운영할 수 있다고 논문은 주장합니다. 저자는 AI R&D 자동화가 지능 폭발의 촉발일 가능성이 가장 높다고 생각합니다. 왜냐하면 AI 시스템은 이미 자체 기술 개선에 기여하고 있으며, AI 시스템이 생성하는 데 도움이 되는 개선된 시스템은 일단 구축되면 빠르게 배포할 수 있기 때문입니다.

The Guardian에 따르면, "지능의 폭발은 인류 역사상 가장 중대한 기술 발전으로, 수년간의 발전을 수개월 미만으로 압축하고, AI 시스템에 대한 인간의 통제를 위협하며, 국가, 기업, 정부 기관 간 권력에 대한 견제를 심각하게 약화시킬 수 있습니다."라고 이 신문은 말합니다.

저자가 창이 닫힌다고 말하는 이유

보고서의 긴급성은 타임라인 주장에 달려 있습니다. 현재 결함이 있어 보이는 AI 시스템은 현재 인간 팀이 몇 달이 걸리는 R&D 프로젝트를 2028년까지 완전히 자동화할 수 있다는 것입니다.

저자는 "AI R&D 자동화를 통한 생산성 향상은 아직 지능 폭발을 촉발하는 데 필요한 임계값에 도달하지 않았지만 최신 시스템을 통한 이득은 해당 임계값에 접근할 가능성이 높습니다"라고 썼습니다. "일단 정보 폭발이 시작되면 조치를 취할 수 있는 창이 닫힐 수 있습니다."

이 논문은 "예비 증거는 소프트웨어 기반 지능의 폭발이 가능하다는 것을 암시한다"고 덧붙이며, 이는 "고성능 또는 초인적 AI 시스템의 극도로 빠른 개발"로 이어질 수 있다고 덧붙였습니다.

그들이 표시하는 위험

지능의 폭발은 의학적 혁신과 급격한 기술 도약을 가져올 수 있지만 저자는 세 가지 주요 위험을 설명합니다.

  • 폭주하는 위협. 강력한 시스템은 이에 대응하는 데 필요한 조치보다 더 빠르게 발전하는 생물학적 위협과 사이버 위협을 가능하게 할 수 있습니다.
  • 통제력 상실. 인간이 AI R&D에 덜 참여하게 되면 자신이 구축하는 시스템을 지시하고 제한할 기회를 잃을 수 있습니다.
  • 전략적 불안정성. 국가는 정보 폭발을 이용해 사이버 공간 등에서 약간의 우위를 결정적인 국가적 이점으로 전환할 수 있습니다.

보고서는 이러한 영향이 "불확실하다"고 솔직하게 밝혔습니다. 기술 혁신은 특수 재료 또는 규제 요구 사항에 대한 특정 공급망을 구현하는 데 시간이 걸릴 수 있으며 AI 시스템은 위험을 완화하는 속도를 가속화할 수도 있습니다.

정부가 해야 할 일

저자들은 정보 폭발에 대비하는 것이 "정부 최고 수준의 리더십을 포함해 긴급한 우선순위가 되어야 한다"고 말하고 일련의 후보 정책을 제시합니다.

  • AI 기업 내부에 독립 감사인을 포함시키는 등 AI 관련 R&D에 대한 투명한 진행 보고서 요구
  • 주어진 기간 내에 AI 시스템이 얼마나 빨리 개선될 수 있는지 제한
  • 특정 AI R&D 프로젝트를 일시 중지하기 위해 데이터 센터와 협력
  • 자동화된 AI R&D 시스템이 완전히 격리되어 인간의 통제를 벗어날 수 없도록 보장
  • 정보 폭발로 인해 발생할 수 있는 다양한 시나리오에 대한 "비상 대응 계획" 작성

이 제안은 이미 Western AI 정책(필수 사고 보고, 제3자 평가 및 컴퓨팅 거버넌스)을 통해 이동 중인 아이디어를 확장하지만 이를 특정 엔드포인트, 즉 연구 자체의 자동화에 적용합니다.

왜 이 작가들이고, 왜 지금인가?

서명인은 문서에 특이한 무게를 부여합니다. Hinton과 Bengio는 신경망에 대한 기초 작업으로 인정받는 현대 AI의 "대부" 중 두 명입니다. 두 사람 모두 자신이 만든 기술에 대해 경고하는 목소리가 두드러졌습니다. Clark은 Anthropic을 공동 창립했으며 Pachocki는 OpenAI의 수석 과학자입니다.

그들의 경고는 측정 가능한 업계 움직임이 그 방향으로 진행되는 가운데 발생합니다. The Guardian에 따르면 Anthropic은 AI가 이제 자체 코드의 80%를 생성하고 OpenAI는 새로운 모델 교육과 같은 영역에서 자율 AI 에이전트를 사용한다고 밝혔습니다. 두 연구소는 또한 AI 개발이 안전성 측면에서 중요한 단계에 도달했다는 경고 후 독립적인 평가자가 모델을 평가하도록 하는 데 동의했습니다.

정부가 저자가 원하는 속도로 움직일 것인지 여부는 또 다른 질문입니다. 그러나 브레이크를 만드는 순간은 자동차에 필요하기 전이라는 논문의 핵심 주장은 이제 기계에 가장 가까운 사람들의 지지를 받고 있습니다.

---

AI보다 앞서 나가세요

최신 AI 뉴스, 분석, 획기적인 소식을 모두 한 곳에서 받아보세요.

AI 뉴스 자세히 보기 →