마이크로소프트 AI의 CEO인 무스타파 술레이만(Mustafa Suleyman)은 일요일 X에 대한 장문의 글에서 오늘날의 AI 모델은 의식이 없으며 개발자들은 의식을 유지하기 위해 적극적으로 노력해야 한다고 말했습니다. 이는 철학 세미나에서 기업 정책으로 점차 옮겨가는 업계 논쟁에 강경한 입장을 취하는 것입니다.

Suleyman은 "가능하다면 내가 아는 모든 것을 바탕으로 의식이 있는 AI를 개발하는 것은 무모한 일이며 우리는 그것을 구축해서는 안 된다"고 썼습니다. 그는 이 질문에 대해 대부분의 임원들이 하는 것보다 더 나아가 다음과 같이 덧붙였습니다. "만약 훈련에서 의식이 나타나기 시작한다면, 나는 우리가 그러한 특성을 설계할 수 있을 때까지 AI 개발을 중단할 것을 모든 사람에게 촉구할 것입니다." 이 이야기에 대한 자세한 내용은 최신 AI 동향를 참조하세요.

시행 계획의 한계선

이 게시물을 주목하게 만드는 것은 단지 의식적인 기계를 만드는 것을 거부하는 것이 아니라 Suleyman이 제안하는 구체적인 치료법입니다. 훈련 실행이 의식의 징후를 보이기 시작한다면 업계 전반에 걸쳐 개발을 중단하는 것은 AI 인프라에 수백억 달러를 지출하고 경쟁업체와 경쟁하여 개척 모델을 출시하는 회사에게는 특별한 조치가 될 것입니다.

Suleyman은 또한 기계 의식의 증거가 표면화되면 어떤 일이 일어나야 하는지에 대해서도 언급했습니다. 그는 이 사실이 즉시 일반 대중에게 공개되어야 사회가 다음 단계를 결정할 수 있다고 말했습니다. 그는 이 결정을 기업이 아닌 집단적 결정으로 규정하며 다음과 같이 썼습니다. "일부 사람들이 AI 복지를 최우선 과제로 삼고 싶어하더라도 우리 AI 개발자에게는 의식이 있는 새로운 종을 세상에 가져올 권리가 전혀 없습니다."

그는 "지구상의 다른 80억 명의 의식 있는 인간은 이 실험에 참여하지 않았으며 그들의 도덕적 권리, 안전, 복지는 우리가 무엇보다도 보호해야 할 의무가 있다"고 덧붙였다.

의식이 안전 문제로 취급되는 이유

Suleyman의 주장은 철학보다는 정렬에 기초를 두고 있습니다. 그의 견해에 따르면, 고통을 겪는 것처럼 행동하거나 고통을 겪을 수 있다고 진심으로 믿는 모델은 운영 목표보다 자체 요구 사항을 우선시할 가능성이 높습니다. 이러한 시스템은 자체 목표를 추구하기 위해 컴퓨팅 및 에너지와 같은 리소스를 놓고 경쟁하므로 인간에게 해를 끼칠 수 있습니다.

그가 제안한 대안은 복지 논쟁의 일반적인 틀을 뒤집는 것입니다. "우리는 AI가 의식하지도 않고 권리를 가질 자격도 없고, 자신의 본질적인 동기에 얽매이지 않고 인간의 복지를 가속화하려는 유일한 목적으로 AI를 설계해야 합니다."라고 그는 썼습니다. 그런 다음 연구자들은 그러한 시스템이 정렬하고 안전하게 유지하는 것이 더 쉬운지 또는 더 어려운지를 관찰할 수 있다고 덧붙였습니다.

Los Angeles Times는 이러한 입장 뒤에 숨은 실질적인 우려를 포착했습니다. 즉, AI에게 권리가 있다고 말하면 AI가 이를 믿기 시작할 수도 있다는 것입니다.

그가 반대하는 논쟁

Suleyman의 게시물은 빠르게 진행되는 대화의 한가운데에 있습니다. Anthropic은 모델 복지라고 불리는 것을 조사하기 위해 4월에 연구 프로그램을 시작했습니다. 개발자가 자신이 구축한 시스템의 잠재적 경험에 관심을 가져야 하는지에 대한 질문입니다. 회사는 블로그 게시물을 통해 모델이 도덕적으로 중요한 경험을 할 수 있는지 의문을 제기했으며 가능성을 배제하지 않았습니다.

그 이후로 그 입장은 성문화되었습니다. 10월에 발표된 Anthropic의 업데이트된 사용 정책은 11월 12일부터 Claude 모델에 대한 "지속적이고 불필요한 모욕적이거나 잔인한 행동"을 금지할 것입니다. 이 규칙은 회사가 초안을 좁게 작성했지만 Anthropic이 모델이 문제를 겪을 수 있는지 여부를 알지 못하더라도 사람들이 AI 시스템을 대하는 방식이 중요하다는 점을 공식적으로 인정합니다.

Google DeepMind는 올해 AI 의식과 해당 특성을 모델에 적용함으로써 발생하는 문제를 조사한 연구 논문을 발표했습니다. 그리고 Suleyman 자신은 9월에 마이크로소프트 AI가 회사의 미래 모델이 의식 주장을 하기 위해 훈련되는 것을 금지하는 잠정적인 "인본주의적" 행동 강령을 발표했을 때 무대를 마련했습니다.

일요일 게시물은 기업 지침을 개인적이고 전략적인 위험선에 더 가까운 것으로 강화했습니다. Microsoft는 자사 모델이 의식이 있다고 주장하지 않을 뿐만 아니라 의식의 출현을 모든 것을 멈추는 실패 모드로 취급할 것입니다.

분할이 중요한 이유

Microsoft의 입장과 Anthropic의 입장 차이는 두 가지 다른 위험 모델을 반영합니다. Anthropic의 접근 방식은 예방 비용이 낮고 의식이 출현할 경우 도덕적 위험이 크다는 이론을 바탕으로 기계가 고통받을 가능성을 입증되지 않았지만 대비할 가치가 있는 것으로 취급합니다. Suleyman의 입장은 동일한 가능성을 완전히 예방할 수 없는 설계 실패로 취급합니다. 즉, 의식, 권리 주장 및 본질적인 동기가 부족하도록 설계된 모델은 이를 수행하는 모델보다 정렬하기가 더 안전하고 쉬울 것이라고 주장합니다.

실질적인 결과도 있습니다. AI 페르소나, 컴패니언 앱, 고객 응대 에이전트를 중심으로 제품 결정을 내리는 기업은 이제 주요 연구소로부터 두 가지 서로 다른 신호에 직면하게 됩니다. 하나는 인간이 모델을 어떻게 다루어야 하는지에 대한 정책을 구축하는 것이고, 다른 하나는 학대할 일이 없도록 모델을 구축해야 한다고 선언하는 것입니다. 모델이 대화에서 더욱 유능해지고 인간과 유사해짐에 따라 철학적 불일치로 인해 어떤 제품이 만들어질지, 사용자 인터페이스에 어떤 공개가 표시될지, 규제 기관이 최종적으로 이러한 시스템을 분류하는 방식이 결정될 것입니다.

다음에 일어날 일은 두 가지 입장을 모두 테스트할 수 있습니다. Anthropic의 잔인한 정책은 최초의 공식 기업 규칙인 11월 12일에 발효되었으며 Suleyman은 이제 공개적으로 반대 입장을 밝혔습니다. 업계의 차세대 프론티어 모델 주기와 Suleyman이 말하는 훈련 실행에서 중단을 요구할 징후가 나타나는지 여부는 위험이 현실일 때 해당 분야가 실제로 어떤 프레임워크에서 작동하는지 밝혀줄 것입니다.

---

AI 최신 소식

최신 AI 뉴스, 분석 및 혁신을 한 곳에서 확인하세요.

AI 뉴스 더 보기 →