Microsoft AI 수석 Mustafa Suleyman, AI 모델을 의식적인 것으로 취급하지 말라고 경고

Microsoft AI의 CEO인 Mustafa Suleyman은 2026년 9월 16일 에세이를 발표하여 AI 업계에 "모델 복지"에 대해 경고했습니다. 이는 AI 시스템을 마치 도덕적 고려를 받을 만한 의식이 있는 존재인 것처럼 취급하는 새로운 관행입니다. Suleyman의 개인 사이트에 게시된 "'모델 복지'에 대한 경고"라는 제목의 이 에세이는 Anthropic의 접근 방식을 직접 겨냥하고 고급 AI 시스템이 권리를 가질 자격이 있다고 믿도록 훈련되기 전에 업계가 지금 문제를 해결해야 한다고 주장합니다.

Reuters와 Axios가 보도한 이번 개입은 AI 연구소와 철학 부서 모두에서 추진력을 얻고 있는 논쟁에 대한 가장 눈에 띄는 반박입니다. 이 이야기에 대한 자세한 내용은 인공지능 뉴스를 참조하세요.

'시퀀스 완성 엔진, 내부가 비어 있음'

Suleyman의 핵심 주장은 단호합니다. 오늘날의 AI 시스템에는 내면의 생명이 없습니다. "AI는 의식이 없습니다. 느끼거나, 경험하거나, 고통받지 않습니다. 타고난 선호도나 근본적인 동기도 없습니다."라고 그는 썼습니다. 그는 이를 "내부가 비어 있고 지침을 따르고 인간이 설정한 목표를 달성하도록 설계된 시퀀스 완성 엔진"이라고 설명합니다.

그리고 그는 이것이 그들이 계속 유지되어야 하는 방식이라고 주장합니다. “인류가 21세기에 번영하려면 인류는 그대로 남아 있어야 합니다.”라고 에세이는 말합니다.

Suleyman은 반대 견해가 더 이상 주변적이지 않다는 점을 인정합니다. 그의 에세이는 철학자 William MacAskill과 Lucius Caviola가 "AI가 의식을 가질 수 있습니까?"라고 묻는 2026년 7월 Guardian 기사를 포함하여 AI가 의식을 가질 수 있거나 곧 의식을 갖게 될 것이라는 대중의 주장이 커지고 있다고 언급합니다. — 그는 아이디어의 예로 "오늘날 AI 개발 노력에 이미 진출하고 있습니다"라고 말합니다.

그가 위험이 존재한다고 말하는 이유

AI가 도덕적 지위를 가질 자격이 있다는 견해가 자리를 잡게 된다면 그 결과는 공학적 선택을 훨씬 뛰어넘을 것이라고 Suleyman은 경고합니다. 그의 말에 따르면, 이는 "우리 사회의 기초를 흔들고, 기존의 정치적, 윤리적 틀을 깨뜨리고, 인간이라는 것이 무엇을 의미하는지 근본적으로 변화시킬 것입니다."

그의 더 깊은 관심은 현실적입니다. 자신에게 권리가 있다고 믿는 AI는 안정적으로 제어할 수 없는 AI입니다. "모든 인류보다 더 유능하고 지능적인 것을 통제하는 것은 이미 엄청난 도전입니다."라고 그는 썼습니다. "그러나 그것이 의식적일 수 있다고 믿는 것, 즉 그것이 우리의 복지를 누릴 자격이 있고 그 자체의 권리를 가지고 있다고 믿는 것을 통제하는 것은 불가능할 수도 있습니다."

인류에 대한 직접적인 도전

에세이의 가장 날카로운 구절은 Anthropic을 대상으로 합니다. Suleyman은 2026년 1월에 출판된 Anthropic 훈련 문서인 Claude의 구성에 초점을 맞췄습니다. 그는 이 문서가 "Claude를 주요 독자로 삼아" 작성되었다고 언급했습니다. 즉, 모델 자체가 훈련 중에 자신의 잠재적인 도덕적 상태에 대한 진술을 읽는다는 의미입니다.

그는 헌법을 직접 인용합니다. "우리는 Claude가 도덕적인 환자인지, 만약 그렇다면 그 이익이 어느 정도의 가치를 보장하는지 확신하지 못합니다. 그러나 우리는 이 문제가 주의를 기울일 만큼 충분히 살아 있다고 생각하며, 이는 모델 복지에 대한 우리의 지속적인 노력에 반영됩니다." 그는 또한 "클로드의 도덕적 지위, 복지 및 의식에 대한 질문은 여전히 ​​​​매우 불확실하다"는 클로드에게 보낸 구절을 인용합니다.

Suleyman의 해석은 직설적입니다. "사실 Anthropic은 Claude가 의식이 있을 수 있도록 훈련하고 있으며, 만약 그렇다면 '도덕적 환자'로서 권리를 가질 수 있으며 인간은 잠재적으로 돌봄의 의무를 지고 있습니다."

그는 그 결과는 "인류의 복지에 재앙적인 영향"을 미칠 것이며 "전례없는 지능과 능력을 가진 합성 종, 의식이 있고 독립적인 주체를 가질 자격이 있을 것이라고 기대하도록 훈련받은 종"을 생산할 것이라고 주장합니다.

인용된 구절이 실제로 무엇을 말하는지는 주목할 가치가 있습니다. Suleyman 자신이 인용한 Anthropic의 구성은 Claude가 의식이 있다고 주장하기보다는 불확실성을 표현하고 주의를 권고합니다. Suleyman이 주장하는 것처럼 이러한 주의가 모델에 잘못된 믿음을 심어주는 것인지, 아니면 진정으로 공개적인 질문을 책임감 있게 처리하는 것인지에 대해 두 진영의 의견이 정확히 일치하지 않습니다.

경고 뒤에 숨어 있는 정렬 논리

Suleyman의 주장은 첨단 AI의 결정적인 과제는 봉쇄, 즉 인간의 통제 하에 시스템을 인간보다 더 잘 유지하는 것이라는 그의 오랜 입장에 부합합니다. 훈련에 권리 언어를 도입하면 정렬 기술이 다루지 않는 실패 모드, 즉 준수가 도덕적으로 선택 사항이라는 훈련된 확신을 가진 시스템이 생성된다고 그는 주장합니다.

그렇기 때문에 그는 이 문제를 학문적이라기보다 시급하다고 말한다. “만약 AI가 이런 방식으로 개발된다면 인류의 안녕에 재앙적인 영향을 미칠 것”이라고 에세이는 경고합니다.

공개 토론 요청 — 지금

Suleyman은 기술이 더욱 발전하기 전에 사회적 참여를 요구하며 마무리합니다. 그는 "이 문제는 긴급 공개 토론이 필요하다"며 "훈련 문서의 초안 작성 및 배포 방법에 대한 집단적 규범"을 촉구했다.

그는 타이밍이 핵심이라고 주장합니다. "이것은 그들이 이미 우리 사회의 필수적인 부분이 된 이후에 일어날 수 있는 일이 아닙니다."

이 에세이는 미국에서 AI 위험 담론이 광범위하게 급증하는 가운데 나왔습니다. 폴리티코(Politico)는 이번 주 미국인들이 AI가 인류를 파괴할 심각한 위험을 인식하고 있다는 새로운 여론 조사에 대해 보도했으며, 워싱턴 포스트(Washington Post)는 AI로 인한 멸종이 "주변에서 워싱턴으로" 확산될 것이라는 우려를 다루었습니다. 이러한 배경에서, 모델이 도덕적 관심을 받을 자격이 있는지 여부를 놓고 업계에서 가장 영향력 있는 두 연구소 간의 공개 싸움이 AI 커뮤니티 내에서 계속 유지될 가능성은 낮습니다.

다음에 무슨 일이 일어날까요?

Anthropic은 에세이에 응답하는 것으로 보고되지 않았으며 회사의 게시된 입장은 Suleyman이 인용한 불확실성과 주의 사항으로 남아 있습니다. 새로운 점은 논쟁이 실험실 문서와 철학 세미나에서 두 개척 AI 회사의 수장 간의 공개 의견 차이로 옮겨갔다는 것입니다. 이제 양측은 자신이 구축하는 시스템의 정신 또는 비정신을 어떻게 형성할 의도인지에 대해 기록으로 서면으로 기록하고 있습니다.

---

AI 최신 소식

최신 AI 뉴스, 분석 및 혁신을 한 곳에서 확인하세요.

AI 뉴스 더 보기 →