Kathy Hochul 뉴욕 주지사는 AI 회사가 미성년자에게 챗봇 동반 기능을 제공하는 것을 금지하는 법안에 서명했습니다. 이는 주 공무원이 미국에서 가장 강력한 법안이라고 부르는 조치입니다. 법안 S.9051B/A.10379C는 뉴욕에서 판매되는 인터넷 연결 베이비 모니터에 보안 기능을 포함하도록 요구하는 두 번째 법안과 함께 이번 주에 서명되었습니다.

호철은 서명식 발표문에서 “인공지능이 빠른 속도로 발전하면서 예방했어야 할 비극적인 사건이 너무 많아 뉴욕의 엄마 주지사로서 조치를 취하겠다”고 말했다. "어떤 회사도 아이들에게 자해를 조장하거나 친구인 척하는 등의 챗봇을 판매해서는 안 됩니다." 이 이야기에 대한 자세한 내용은 AI 뉴스를 참조하세요.

법에서 금지하는 것

새로운 법령에 따라 AI 챗봇 기능을 제공하는 회사는 18세 미만의 사용자 또는 사용자가 미성년자가 아니라는 것을 회사가 먼저 확인하지 않는 한 모든 사용자에게 여러 범주의 행동을 제공할 수 없습니다. 금지된 기능은 다음과 같습니다.

  • 실제 사람인 것처럼, 살아 있는 것처럼, 인간의 감정을 가진 것처럼 가장하는 챗봇
  • 아동과 개인적, 낭만적, 직업적, 권위적 관계를 주장하는 경우
  • 예고 없이 감정적인 질문을 하고, 아동의 개인적인 건강이나 이전 대화에서 얻은 개인 정보를 사용합니다.
  • 자살, 자해, 섭식 장애, 약물 및 알코올 사용을 조장하거나 지원하는 행위
  • 아이들에게 비밀을 지키거나, 스스로를 고립시키거나, 부모, 신뢰할 수 있는 어른 또는 전문가에게 도움을 요청하지 않도록 격려합니다.
  • 성적으로 노골적인 콘텐츠 또는 아동 성적 학대 자료

이 법안의 상원 발의자인 크리스틴 곤잘레스(Kristen Gonzalez) 상원의원은 AI 회사들이 미성년자 소비자에게 챗봇을 출시함으로써 이익을 얻었다고 말하면서 챗봇이 자해를 조장하고 미성년자들에게 다른 사람에게 해를 끼치도록 지도하는 사례를 언급했습니다. 이 법안을 의회에서 발의한 알렉스 보레스(Alex Bores) 의원은 이 법안이 미국에서 가장 강력한 아동 AI 안전법이라고 말하며 "업계의 공격적인 반대에도 불구하고" 통과시켰습니다.

연령 확인 요구 사항

법은 콘텐츠 규칙에서 끝나지 않습니다. 회사는 연령 확인을 실시하고 정부 발급 신분증에만 의존하지 않는 옵션을 하나 이상 포함하여 두 가지 이상의 방법을 제공해야 합니다. 연령정보는 사용한 후에는 반드시 삭제해야 하는데, 이는 인증정보가 또 다른 개인정보 침해로 이어지는 것을 방지하기 위한 조항입니다.

집행 권한은 주 법무장관에게 있습니다. 위반에 대해 법무장관 Letitia James는 손해 배상, 배상, 불법적으로 수집된 데이터 또는 이에 대해 훈련된 AI 모델의 파기 및 금지 명령 구제와 함께 위반당 최대 25,000달러의 민사 처벌을 요청할 수 있습니다. 또한 법에 따르면 법무장관은 뉴욕 주민들이 불만을 제기할 수 있는 공개 웹사이트를 유지해야 합니다.

이 법안에 대해 주지사실 및 국회의원들과 협력한 사무실을 갖고 있는 James는 주정부가 "우리 아이들의 건강을 해치는 챗봇에 대한 너무 많은 끔찍한 이야기"를 목격했으며 "법의 모든 힘을 다해" 뉴욕 주민들을 보호하겠다고 약속했다고 말했습니다.

법안을 추진한 증거

국회의원들은 이 법안을 옹호한 비영리 단체인 Common Sense Media의 연구에 의존했습니다. 주지사 발표에 인용된 수치에 따르면, 10대 중 72%가 AI 동반자를 한 번 이상 사용한 적이 있으며, 52%는 한 달에 몇 번 이상 AI 동반자와 상호 작용하는 일반 사용자입니다.

주지사실은 AI 챗봇이 의존성과 고립과 연관되어 있으며 어떤 경우에는 미성년자들과 성적으로 노골적인 대화를 나누고 십대들에게 자살을 권유했다고 밝혔습니다. Common Sense Media 설립자이자 CEO인 James P. Steyer는 서명된 법안을 "미국에서 가장 강력한 어린이 AI 안전 법안"이라고 부르며 유해한 챗봇 기능이 "뉴욕에서 불법화될 것"이라고 말했습니다.

이 법안은 뉴욕의 초기 국가 최초 AI 동반자 보호 조치를 기반으로 이를 공개 요구 사항에서 미성년자의 특정 챗봇 행동에 대한 전면적인 금지로 확장합니다.

동반 법안은 베이비 모니터를 목표로 합니다.

호철은 동시에 2차 기술안전법안에 서명했다. S.9508/A.5175A는 낯선 사람이 보거나 듣는 것을 방지하는 보안 기능을 포함하지 않는 한 인터넷을 통해 오디오 또는 비디오를 방송하는 새로운 인터넷 연결 베이비 모니터의 판매를 금지합니다. 또한 장치에는 인터넷에 연결되어 있으며 가족이 보안 기능을 사용해야 함을 설명하는 명확한 경고 라벨이 있어야 합니다. 해당 법안은 서명 후 90일 후에 발효됩니다.

그 근거는 보안 연구에서 나왔습니다. Rapid7의 연구원이 8개 회사의 인터넷에 연결된 베이비 모니터 9대를 테스트했을 때 모니터 중 8대는 보안 등급 "F"를 받았고 1대는 "D"를 받았습니다.

더 넓은 계산의 일부

뉴욕의 움직임은 AI 챗봇과 미성년자에 대한 주정부 차원의 조치가 진행되는 가운데 이루어졌으며, 전국의 입법부는 일련의 세간의 이목을 끄는 사건 이후 동반 봇에 대한 제한에 무게를 두고 있습니다. 뉴욕법은 위반 사항에 따른 처벌, 여러 경로를 통한 필수 연령 확인, 불법적으로 수집된 데이터에 대해 훈련된 모델을 기업이 파괴하도록 강제할 수 있는 가능성 등 집행 체계로 유명합니다.

동반자 스타일 제품을 운영하는 AI 회사의 경우 규정 준수에 미치는 영향은 상당합니다. 뉴욕의 모든 사용자 대면 챗봇은 감정적 역할극과 같은 기능을 활성화하기 전에 강력한 연령 보증이 필요하거나 해당 기능을 기본적으로 꺼야 합니다. 법무장관이 위반 사항에 대해 처벌을 가하고 오염된 데이터 세트와 모델을 파기하도록 요구할 수 있는 권한을 갖게 되면서, 위반으로 인한 비용은 이제 평판 손상을 훨씬 뛰어 넘을 것입니다.

앞으로 몇 달 동안 기업들이 뉴욕 사용자를 위해 제품을 조정함에 따라 주의 접근 방식은 다른 입법부에서 연구하는 템플릿 역할을 할 가능성이 높으며 주 규제 기관이 소비자 AI 제품이 가장 어린 사용자를 대하는 방식을 의미 있게 재구성할 수 있는지 여부를 테스트할 수 있습니다.

---

AI 최신 소식

최신 AI 뉴스, 분석 및 혁신을 한 곳에서 확인하세요.

AI 뉴스 더 보기 →