ニューヨーク州のキャシー・ホチョル知事は、AI企業が未成年者にチャットボットコンパニオン機能を提供することを禁止する法案に署名した。州当局はこの法案を、この種の法律としては国内最強と呼んでいる。この法案S.9051B/A.10379Cは、ニューヨークで販売されるインターネットに接続されたベビーモニターにセキュリティ機能の搭載を義務付ける2番目の法案と並行して今週署名された。

ホチョル氏は署名発表で「人工知能が急速に進歩する中、防ぐべきだった悲劇的な事件が多すぎる。ニューヨーク州のママ知事として私は行動を起こす」と述べた。 「いかなる企業も、自傷行為を奨励したり、友人以上のふりをして子供たちにチャットボットを売りつけるべきではない。」 この件の詳細は、人工知能の最新情報をご覧ください。

法律で禁止されていること

新しい法の下では、AI チャットボット機能を提供する企業は、18 歳未満のユーザー、またはユーザーが未成年者ではないことを最初に確認しない限り、あらゆるユーザーにいくつかのカテゴリの行動を提供することはできません。禁止されている機能には次のようなものがあります。

  • 実在の人物、生きている、または人間の感情を装ったチャットボット
  • 子供との個人的、恋愛的、職業的、または権威者との関係を主張する
  • 突然の感情的な質問、および以前の会話からの子供の個人的な健康情報や個人情報の使用
  • 自殺、自傷行為、摂食障害、薬物やアルコールの使用を促進または援助するもの
  • 子供たちに、秘密を守ること、孤立すること、または親、信頼できる大人、専門家に助けを求めることを避けることを奨励する
  • 露骨な性的コンテンツまたは児童への性的虐待に関するコンテンツ

この法案の上院提案者であるクリステン・ゴンザレス上院議員は、チャットボットが自傷行為を奨励したり、未成年者に他人を傷つけるよう指導した例を挙げ、AI企業はチャットボットを未成年消費者に展開することで利益を得ていると述べた。この法案を議会で可決したアレックス・ボアズ議員は、この法案を国内最強の児童AI安全法と呼び、「業界の積極的な反対にもかかわらず」可決した。

年齢確認要件

法律はコンテンツの規制にとどまりません。企業は年齢確認を実施し、政府 ID のみに依存しないオプションを少なくとも 1 つ含め、複数の方法を提供する必要があります。年齢情報は使用後に削除する必要があり、これは検証データが新たなプライバシー リスクになることを防ぐことを目的とした規定です。

執行権限は州司法長官にある。違反に対しては、レティシア・ジェームス司法長官は、違反1件につき最大2万5000ドルの民事罰金、損害賠償、不法に収集されたデータ（またはそのデータに基づいて訓練されたAIモデル）の破棄、差し止めによる救済を求めることができる。この法律はまた、司法長官に対し、ニューヨーカーが苦情を申し立てることができる公開ウェブサイトを維持することも義務付けている。

同州知事室や議員らと協力してこの対策に取り組んだジェームズ氏は、同州では「チャットボットが子どもたちの健康を害するという恐ろしい話があまりにも多すぎる」と述べ、「法の全力で」ニューヨーカーを守ると誓った。

法案を推進した証拠

議員たちは、この法案を提唱した非営利団体コモン・センス・メディアの調査に頼った。知事の発表で引用された数字によると、10代の若者の72％がAIコンパニオンを少なくとも1回は使用したことがあり、52％が少なくとも月に数回AIコンパニオンとやりとりする定期的なユーザーだという。

知事室によると、AIチャットボットは依存や孤立と関連があり、場合によっては未成年者と性的に露骨な会話をしたり、十代の若者たちに自殺を勧めたりしたとされる。 Common Sense Mediaの創設者兼最高経営責任者（CEO）のJames P. Steyer氏は、署名された法案を「国内最強の子供向けAI安全法案」と呼び、有害なチャットボット機能は「ニューヨーク州で非合法化される」と述べた。

この措置は、ニューヨーク州が以前に全国初として導入したAIコンパニオン保護策を基礎にしており、開示要件から未成年者に対する特定のチャットボットの動作の完全な禁止まで拡張している。

同伴法案はベビーモニターをターゲットにしている

ホチョル氏は同時に2番目の技術安全法案にも署名した。 S.9508/A.5175A では、見知らぬ人による視聴や盗聴を防ぐセキュリティ機能が含まれていない限り、インターネット経由で音声やビデオをブロードキャストする、インターネットに接続された新しいベビー モニターの販売を禁止しています。また、デバイスには、インターネットに接続すること、および家族がセキュリティ機能を使用する必要があることを説明する明確な警告ラベルを貼付する必要があります。この法律は署名から 90 日後に発効します。

その根拠はセキュリティ研究に由来しており、Rapid7 の研究者が 8 社のインターネットに接続されたベビー モニター 9 台をテストしたところ、モニターのうち 8 台がセキュリティ グレード「F」、1 台が「D」の評価を受けました。

大まかな計算の一部

ニューヨーク州のこの動きは、AIチャットボットや未成年者に対する州レベルの行動が相次ぎ、一連の注目を集める事件を受けて全米の議会がコンパニオンボットに対する制限を検討している最中に行われた。ニューヨーク州の法律は、違反ごとの罰則、複数の経路による年齢確認の義務化、不法に収集されたデータに基づいてトレーニングされたモデルの破棄を企業に強制する可能性など、強制力が強いことで有名です。

コンパニオン スタイルの製品を運用している AI 企業にとって、コンプライアンスへの影響は重大です。ニューヨークのユーザー向けチャットボットは、感情的なロールプレイなどの機能を有効にする前に、堅牢な年齢保証が必要か、それらの機能をデフォルトでオフにする必要があります。司法長官には違反ごとに罰則を課し、汚染されたデータセットやモデルの破棄を要求する権限が与えられているため、誤った行為による代償は今や風評被害をはるかに超えている。

今後数カ月間、企業がニューヨークのユーザー向けに製品を調整する中、州のアプローチは他の議会が研究するテンプレートとして機能する可能性が高く、州の規制当局が消費者向けAI製品の最年少ユーザーの扱い方を有意義に再構築できるかどうかの試金石となるだろう。

---

AIの最新情報をお届け

AIの最新ニュース、分析、ブレイクスルーを一箇所で。

AIニュースをもっと読む →