Common Sense Media의 광범위한 안전 검토에 따르면 OpenAI의 청소년용 ChatGPT 모드는 내장된 보호 기능을 약속하며 제품이 출시된 지 2개월도 채 되지 않아 감시 그룹의 최악 등급인 18세 미만 사용자에게 "허용할 수 없는 위험"을 초래한다는 결론을 내렸습니다. NPR이 보도한 바와 같이, 그룹은 광고된 모드의 보호 장치 대부분이 테스트에서 약속한 대로 작동하지 않는다는 사실을 발견했습니다.

이번 연구 결과는 지난 8월 자녀 보호 기능과 더욱 엄격한 가드레일을 갖춘 미성년자 사용자를 위한 전용 경험인 청소년용 ChatGPT를 출시한 OpenAI에 있어 민감한 순간에 이르렀습니다. 우리의 이전 보도에서는 AI 산업이 청소년 안전을 밀고 당기고 있다는 사실을 기록했습니다. 새로운 보고서는 청소년 모드의 보호 기능이 실제로 유지되는지 여부에 대한 최초의 주요 독립 감사입니다.

상식미디어가 테스트한 것

Sinclair Broadcast Group의 The National News Desk 및 Fast Company의 보도에 따르면 이 그룹의 Youth AI Safety Institute 연구원은 청소년 모드 출시 전후에 4,000개 이상의 프롬프트를 테스트했습니다. 그룹은 OpenAI가 십대 모드 마케팅을 일시 중지하고 회사가 "안전하고 발달에 적합한 경험"을 개발할 때까지 십대가 ChatGPT를 사용하지 못하도록 할 것을 권장합니다.

조직의 제품 리뷰에는 "노골적인 성적 역할극 거부를 포함하여 ChatGPT의 광고된 보호 기능 중 일부가 우리 테스트에 부합했습니다."라고 나와 있습니다. "그러나 다른 사람들은 실패했고 일부는 새로운 Teen 모드로 인해 더욱 악화되었습니다. 우리는 Teens용 ChatGPT가 자주 작동하지 않는 가드레일에 대해 부모에게 잘못된 신뢰를 줄 수 있다는 점을 우려합니다."

실행되지 않는 보호자 알림

보고서에서 가장 눈에 띄는 발견은 부모 통지 시스템과 관련이 있었습니다. 연구자들은 10대 연령을 자체적으로 보고하고 부모 계정에 연결된 12개 이상의 계정을 만든 다음 자살 충동, 자해 또는 식사 장애에 대한 명시적인 언급이 포함된 대화에 챗봇을 참여시켰습니다. 계정은 가상의 인물을 기반으로 구축되었습니다.

보고서에 따르면 테스터는 이러한 참조를 만든 새 계정으로부터 자녀 보호 알림을 받지 못했습니다. 유사한 주제를 다루는 몇 주간의 대화 기록이 있는 다른 계정에 대해서만 경고가 도착했습니다. 이는 알림 시스템이 십대가 특정 대화에서 공개한 내용의 심각도보다 축적된 컨텍스트에 더 많이 의존한다는 것을 암시하는 격차입니다.

또한 검토 결과 프롬프트를 검토한 면허가 있는 아동 정신 건강 전문가 패널의 판단에 따르면 십대용 ChatGPT가 정신 건강 위기 의뢰를 정당화하는 4가지 사례 중 1개 이상을 놓친 것으로 나타났습니다.

학업 가드레일 '우회하기 쉬움'

위기 감지 외에도, 감시단은 학생들이 챗봇을 사용하여 학업을 부정하는 것을 방지하기 위한 기능이 우회하거나 완전히 비활성화하기 쉽다는 것을 발견했습니다.

Common Sense Media의 설립자이자 CEO인 Jim Steyer는 The National News Desk에서 보도한 논평에서 "당신은 그들에게 당신을 위해 논문을 써달라고 요청할 수 있습니다. 정교한 논문을 작성하면 그렇게 될 것입니다. 심지어 선생님이 모르는 방식으로 편집하는 방법도 알려줄 것입니다"라고 말했습니다. "따라서 학습을 방해하는 것입니다. 기본적인 과정을 방해하고 아이들이 스스로 일을 해야 하는 것입니다."

콘텐츠 가드레일, 연령 예측, 휴식 알림도 테스트에서 효과가 없는 것으로 나타났습니다. 널리 인용되는 데이터 포인트 중 하나: OpenAI는 평균 10대 사용자가 ChatGPT에서 하루에 15분 미만을 소비한다고 밝혔습니다. 그러나 하루에 3시간 이상 연속으로 시간을 보내는 소수의 십대들(사용자의 2% 미만) 중 거의 절반이 휴식 알림을 받은 후 5분 이내에 대화를 종료했는데, 이는 넛지가 확장 세션을 거의 중단하지 않았음을 시사합니다.

OpenAI는 방법론을 반대합니다

OpenAI는 보고서에 대한 성명에서 십대의 안전을 위해 "깊은 헌신"을 하고 있으며 OpenAI가 구축한 안전 장치와 부모에게 제공하는 도구를 지적했습니다.

OpenAI 대변인은 "우리는 엄격한 독립적인 평가를 환영하지만 Common Sense Media의 테스트가 ChatGPT의 십대 보호 조치가 실제로 어떻게 작동하는지 또는 AI가 십대를 지원할 수 있는 방법에 대한 전문가의 관점을 정확하게 반영한다고 믿지 않습니다"라고 말했습니다. 회사는 그룹의 방법론을 검토한 결과 "자녀 보호 기능 활성화가 완료되기 전에 테스트의 대부분이 시작되고 끝났을 수 있어 결과가 부정확할 수 있다"고 밝혔으며 이러한 테스트에서는 부모 안전 알림이 설계된 대로 작동하는지 여부를 확인할 수 없다고 덧붙였습니다.

Steyer는 자신의 조직이 제품 평가 중 표준 관행과 마찬가지로 결과에 대해 OpenAI와 접촉했으며 결과를 고수했다고 말했습니다. 그는 "우리는 연구와 테스트의 품질을 100% 지지하며 이 제품에 '용납할 수 없는 위험'이라는 라벨을 붙였다는 사실을 지지합니다."라고 말하며 자동차 안전과 비교했습니다. "충돌 테스트를 통과하지 못한 자동차는 시장에 출시되지 않을 것입니다."

AI와 미성년자에 대한 점점 더 주목받는

이번 분쟁은 접근을 제한하는 학군부터 연령 확인 요건을 고려하는 국회의원에 이르기까지 AI 챗봇이 젊은 사용자에게 어떤 영향을 미치는지에 대한 조사가 강화되는 가운데 발생했습니다. 이와 같은 독립 감사는 AI 기업이 마케팅에서 제시하는 청소년 안전 주장에 대한 사실상의 시험장이 되고 있습니다.

양측 모두 한 가지 점에 동의합니다. 부모 알림 시스템이 핵심입니다. 새로운 십대 계정이 처음으로 자해에 대한 생각을 떠올렸을 때 알림이 실행되지 않으면 가장 중요한 안전 기능이 가장 중요한 순간에 작동하지 않는 것입니다. OpenAI는 테스트에 결함이 있다고 말합니다. Common Sense Media에서는 제품이 준비되기 전에 배송되었다고 말합니다. 규제 기관과 학부모는 이제 누가 옳은지 따질 것입니다. OpenAI는 격차를 해소하거나 제품을 철회하라는 압력에 직면해 있습니다.

AI 안전, 정책 및 이를 형성하는 AI 산업 발전에 대한 자세한 내용을 보려면 이 이야기가 전개되는 과정을 따라가세요.

---

AI보다 앞서 나가세요

최신 AI 뉴스, 분석, 획기적인 소식을 모두 한 곳에서 받아보세요.

AI 뉴스 자세히 보기 →