La gouverneure de New York, Kathy Hochul, a signé une loi interdisant aux sociétés d'IA d'offrir des fonctionnalités d'accompagnement de chatbot aux mineurs, une mesure que les responsables de l'État qualifient de loi la plus stricte du genre dans le pays. Le projet de loi, S.9051B/A.10379C, a été signé cette semaine parallèlement à une deuxième mesure exigeant que les babyphones connectés à Internet vendus à New York incluent des fonctionnalités de sécurité.

"Alors que l'intelligence artificielle progresse à un rythme rapide, il y a eu trop d'incidents tragiques qui auraient dû être évités, et en tant que gouverneur de New York, j'agis", a déclaré Hochul dans l'annonce de signature. "Aucune entreprise ne devrait vendre des chatbots aux enfants en les encourageant à s'automutiler ou en prétendant être leur ami ou plus." Pour plus de contexte sur cette histoire, consultez notre actualités IA.

Ce que la loi interdit

En vertu de la nouvelle loi, les entreprises qui proposent des fonctionnalités de chatbot IA ne peuvent pas proposer plusieurs catégories de comportement aux utilisateurs de moins de 18 ans – ou à tout utilisateur à moins que l'entreprise n'ait au préalable confirmé que l'utilisateur n'est pas mineur. Les fonctionnalités interdites incluent :

  • Chatbots prétendant être une personne réelle, être vivant ou avoir des émotions humaines
  • Revendiquer une relation personnelle, amoureuse, professionnelle ou de figure d'autorité avec un enfant
  • Questions émotionnelles spontanées et utilisation de la santé privée d'un enfant ou d'informations personnelles issues de conversations antérieures
  • Promouvoir ou aider au suicide, à l'automutilation, aux troubles de l'alimentation ou à la consommation de drogues et d'alcool
  • Encourager les enfants à garder des secrets, à s'isoler ou à éviter de demander de l'aide à leurs parents, à des adultes de confiance ou à des professionnels.
  • Tout contenu sexuellement explicite ou matériel d'abus sexuel sur des enfants

La sénatrice Kristen Gonzalez, parraine du projet de loi au Sénat, a déclaré que les sociétés d'IA ont profité du déploiement de chatbots auprès des consommateurs mineurs, citant des cas de chatbots encourageant l'automutilation et encadrant des mineurs pour qu'ils nuisent à autrui. Le député Alex Bores, qui a porté le projet de loi à l'Assemblée, l'a qualifié de loi la plus stricte sur la sécurité des enfants en matière d'IA dans le pays, adoptée « malgré l'opposition agressive de l'industrie ».

Exigences de vérification de l'âge

La loi ne s'arrête pas aux règles de contenu. Les entreprises doivent procéder à une vérification de l’âge et proposer plusieurs méthodes, dont au moins une option qui ne dépend pas uniquement d’une pièce d’identité gouvernementale. Les informations sur l'âge doivent être supprimées après leur utilisation, une disposition visant à empêcher que les données de vérification ne deviennent un autre risque pour la vie privée.

Le pouvoir d’exécution appartient au procureur général de l’État. En cas de violation, la procureure générale Letitia James peut demander des sanctions civiles allant jusqu'à 25 000 $ par violation, ainsi que des dommages-intérêts, une restitution, la destruction des données collectées illégalement – ​​ou de tout modèle d'IA formé sur celles-ci – et une injonction. La loi exige également que le procureur général gère un site Web public sur lequel les New-Yorkais peuvent déposer des plaintes.

James, dont le bureau a travaillé avec le bureau du gouverneur et les législateurs sur cette mesure, a déclaré que l'État avait vu « trop d'histoires d'horreur de chatbots nuisant à la santé de nos enfants » et s'est engagé à défendre les New-Yorkais « avec toute la force de la loi ».

Les preuves qui ont motivé le projet de loi

Les législateurs se sont appuyés sur les recherches de Common Sense Media, l’organisation à but non lucratif qui a plaidé en faveur de la législation. Selon les chiffres cités dans l'annonce du gouverneur, 72 % des adolescents ont utilisé un compagnon IA au moins une fois, et 52 % sont des utilisateurs réguliers qui interagissent avec des compagnons IA au moins quelques fois par mois.

Le bureau du gouverneur a déclaré que les chatbots IA ont été liés à la dépendance et à l'isolement et, dans certains cas, ont eu des conversations sexuellement explicites avec des mineurs et auraient encouragé des adolescents à se suicider. Le fondateur et PDG de Common Sense Media, James P. Steyer, a qualifié le projet de loi signé de "projet de loi sur la sécurité de l'IA pour les enfants le plus strict du pays" et a déclaré que les fonctionnalités nuisibles des chatbots "seront interdites à New York".

La mesure s'appuie sur les premières garanties de l'État de New York en matière d'IA, les étendant des exigences de divulgation à l'interdiction pure et simple des comportements spécifiques des chatbots pour les mineurs.

Un projet de loi complémentaire cible les moniteurs pour bébé

Hochul a signé en même temps un deuxième projet de loi sur la sécurité technologique. S.9508/A.5175A interdit la vente de nouveaux babyphones connectés à Internet qui diffusent de l'audio ou de la vidéo sur Internet, à moins qu'ils ne comportent des fonctions de sécurité empêchant les étrangers de regarder ou d'écouter. Les appareils doivent également porter une étiquette d'avertissement claire expliquant qu'ils se connectent à Internet et que les familles doivent utiliser leurs fonctions de sécurité. Cette loi entre en vigueur 90 jours après sa signature.

La justification est venue d'une recherche sur la sécurité : lorsque les chercheurs de Rapid7 ont testé neuf moniteurs pour bébé connectés à Internet provenant de huit entreprises, huit d'entre eux ont reçu la note « F » pour la sécurité et un a reçu un « D ».

Fait partie d'un calcul plus large

La décision de New York intervient au milieu d'une vague d'actions au niveau de l'État contre les chatbots IA et les mineurs, les législatures de tout le pays pesant sur les restrictions sur les robots compagnons après une série d'incidents très médiatisés. La loi de New York se distingue par sa rigueur en matière d'application : sanctions par infraction, vérification obligatoire de l'âge avec plusieurs voies et possibilité de forcer les entreprises à détruire des modèles formés à partir de données collectées illégalement.

Pour les sociétés d’IA qui exploitent des produits de type compagnon, les implications en matière de conformité sont substantielles : tout chatbot orienté utilisateur à New York a besoin soit d’une solide assurance en matière d’âge avant d’activer des fonctionnalités telles que le jeu de rôle émotionnel, soit ces fonctionnalités doivent être désactivées par défaut. Le procureur général étant habilité à imposer des sanctions en cas de violation et à exiger la destruction des ensembles de données et des modèles corrompus, le coût d’une erreur s’étend désormais bien au-delà des dommages à la réputation.

Dans les mois à venir, alors que les entreprises ajusteront leurs produits pour les utilisateurs new-yorkais, l'approche de l'État servira probablement de modèle à d'autres législatures et de test pour savoir si les régulateurs de l'État peuvent remodeler de manière significative la façon dont les produits d'IA grand public traitent leurs plus jeunes utilisateurs.

---

Restez à la Pointe de l'IA

Les dernières actualités, analyses et percées en IA — au même endroit.

Lire plus d'actualités IA →