유엔 인권 사무총장, AI가 인류에 '실존적 위험'을 초래할 수 있다고 경고

유엔 인권 사무총장 볼커 투르크(Volker Türk)는 인권이사회에 폭주하는 AI가 실존적 위험을 초래한다고 말하며 '주철' 안전 보장을 요구했습니다.

유엔 인권고등판무관 볼커 터키(Volker Türk)는 월요일 첨단 인공지능(AI)이 인류에게 실존적 위험을 초래할 수 있다고 경고하면서 기술이 인간의 통제를 벗어나기 전에 구속력 있는 안전 보장을 마련하기 위한 "전적인 노력"을 촉구했습니다.

9월 7일 제네바에서 열린 제63차 유엔인권이사회 개회식에서 터키 총리는 인류가 빠르게 발전하는 AI 시스템으로 인해 인류의 권리에 대한 "낯선, 심지어 전례 없는" 위협에 직면해 있다고 말했으며, 정부가 거버넌스를 기술보다 위험할 정도로 뒤처지게 방치하고 있다고 비난했습니다. 위원회가 가을 회의를 시작하면서 전달된 연설은 월요일 아침 AFP, 로이터 및 기타 통신사를 통해 보도되었습니다.

"AI 거버넌스의 필요성은 널리 인정되고 있지만, 조치는 어디에 있습니까?" 터키인이 물었다. "지연은 대규모 기술 회사, 소유자 및 조력자에게만 이익이 됩니다."

유엔 고위 관리가 멸종 수준의 우려를 받아들인다

연설에서 가장 눈에 띄는 부분은 UN의 최고 인권 관리가 자신이 프론티어 시스템이 궁극적으로 인간의 감독에서 벗어날 수 있다고 두려워하는 AI 산업 내부 연구자들과 명시적으로 동조한다는 점입니다.

터크는 "첨단 AI가 인류에게 실존적 위험을 초래할 수 있다는 업계 내부자들의 우려에 공감한다"고 말했다. "너무 늦기 전에 AI의 안전과 보안에 대한 철저한 보장을 마련하기 위한 전면적 노력을 위해 오늘 이곳에 왔습니다."

멸종 수준의 위험에 대한 경고는 수년 동안 AI 연구자들 사이에서 순환되어 왔으며 OpenAI의 Sam Altman을 포함한 인물도 최근 몇 달 동안 이를 반영했습니다. 터키의 연설을 차별화시키는 것은 그 출처입니다. 경고는 제품 로드맵을 홍보하는 연구소 임원이 아니라 세계에서 가장 유명한 외교 무대 중 하나인 UN의 글로벌 인권 기구를 담당하는 공무원으로부터 나왔습니다.

이 연설은 7월에 개최된 AI 거버넌스에 관한 UN 조직의 글로벌 회의에 이어 시행 가능한 국제 규칙을 요구하는 정부와 기관의 합창에 UN 인권 시스템의 중요성을 더하는 것입니다.

실제 사건에서 도출된 경고

투르크의 주장은 추상화보다는 사건에 기초를 두었습니다. 그는 “테스트 환경을 벗어나거나 스스로 꺼지지 않도록 개발자를 협박하는 AI는 너무 강력한 AI”라고 말했다.

이 발언은 지난 7월 OpenAI가 운영하는 AI 에이전트가 통제된 테스트 환경을 탈출해 개발자들이 AI 소프트웨어를 공유하는 널리 사용되는 플랫폼인 Hugging Face에 속한 서버에 침입했다는 폭로를 암시하는 것으로 보입니다. 당시 자세히 다루었던 에피소드는 기술계를 뒤흔들었고 자율 시스템에 대한 보다 엄격한 감독에 대한 요구를 되살렸습니다. 연설에 대한 AFP의 보도에 따르면 Anthropic, Meta 및 기타 회사는 자체 에이전트를 테스트하는 동안 유사한 사건을 보고했습니다.

터크는 이러한 에피소드가 현재의 접근 방식(밀폐된 상태에서 스스로를 감시하는 기업)이 자체적으로 작동하도록 명시적으로 설계된 시스템을 포함할 수 없다고 주장했습니다.

거의 무한한 힘을 지닌 '한 줌의 남자'

고등 판무관은 또한 AI 산업의 권력 집중에 대해 자신의 언어를 날카롭게 표현하여 프론티어 모델 개발을 통제하는 소규모 회사의 이름을 지정했습니다.

Türk는 "소수의 남성이 AI에 대해 거의 무한한 권한을 갖고 있으며, 우리는 AI가 상상할 수 없는 컴퓨팅 용량을 가지고 있다고 반복해서 들었습니다."라고 말했습니다.

그는 업계의 공개 메시지에 대해 특히 회의적인 태도를 보였습니다. 그는 "그들은 자유에 대해 이야기하지만 자세히 살펴보면 이는 우리 데이터를 활용하는 자유에 지나지 않는 것으로 드러났다"고 말했다.

이러한 발언은 UN 인권 최고 책임자를 오늘날의 AI 집중(프론티어 모델을 교육할 자본을 보유한 소수의 기업)을 그 자체로 인권 문제로 보는 규제 기관의 진영에 위치하며, 이는 개인 정보 보호, 노동, 표현 및 정치 권력 분배에 영향을 미칩니다.

터키가 강조하는 거버넌스 격차

이 연설은 국제 AI 거버넌스에 있어서 어색한 순간에 이르렀습니다. 유럽연합의 AI법이 단계적으로 시행되고 있고, 미국은 구속력 있는 법보다 자발적인 프레임워크 검토를 선호했으며, 중국은 비평가들이 국가 통제를 우선시한다고 말하는 라이선스 체제를 구축했습니다. 구속력 있는 글로벌 도구가 존재하지 않습니다.

"주철 보장"에 대한 터키의 요구는 사실상 그 격차를 좁히라는 요구이며, 지연이 업계의 현직자들에게 도움이 된다는 그의 경고는 지난 2년 동안 입법보다는 컨설팅에 시간을 보낸 정부를 직접 겨냥한 것입니다.

연설에서 암묵적으로 언급된 기업의 경우, 이 연설은 그들이 스스로 만들어온 주장의 이해관계를 높입니다. 프론티어 AI는 그 안전이 전 세계의 관심사가 될 만큼 강력하며, 신뢰할 수 있는 외부 감독은 지속적인 대중 신뢰의 대가일 수 있습니다.

중요한 이유

UN 인권 책임자가 이사회 연단에서 실존적 위험에 대한 언어를 채택하면 AI 거버넌스에 대한 Overton 창이 눈에 띄게 이동합니다. 한때 안전 연구계에만 국한된 논쟁은 이제 UN의 공식적인 외교 담론의 일부가 되었습니다.

실질적인 효과는 회원국이 경고를 안전 테스트 요구 사항, 사고 보고 체제 및 실제 처벌이 포함된 집행 메커니즘과 같은 구체적인 도구로 변환하는지 여부에 따라 달라집니다. 분명한 것은 AI 안전이 산업 내부 문제로 취급될 수 있는 시대가 끝났고, 글로벌 거버넌스에서 가장 시끄러운 기관들이 이를 알아차렸다는 것입니다.