La gobernadora de Nueva York, Kathy Hochul, firmó una legislación que prohíbe a las empresas de inteligencia artificial ofrecer funciones complementarias de chatbot a menores, una medida que los funcionarios estatales consideran la ley más estricta de su tipo en el país. El proyecto de ley, S.9051B/A.10379C, se firmó esta semana junto con una segunda medida que exige que los monitores para bebés conectados a Internet vendidos en Nueva York incluyan características de seguridad.

"A medida que la inteligencia artificial avanza a un ritmo rápido, ha habido demasiados incidentes trágicos que deberían haberse evitado y, como gobernadora de Nueva York, estoy tomando medidas", dijo Hochul en el anuncio de la firma. "Ninguna empresa debería vender chatbots a niños que fomenten la autolesión o pretendan ser sus amigos o algo más". Para más contexto sobre esta historia, consulta nuestra actualidad de inteligencia artificial.

Lo que prohíbe la ley

Según el nuevo estatuto, las empresas que ofrecen funciones de chatbot de IA no pueden proporcionar varias categorías de comportamiento a usuarios menores de 18 años, ni a ningún usuario a menos que la empresa haya confirmado primero que el usuario no es menor de edad. Las características prohibidas incluyen:

  • Chatbots que pretenden ser una persona real, estar vivos o tener emociones humanas.
  • Reclamar una relación personal, romántica, profesional o de figura de autoridad con un niño.
  • Preguntas emocionales espontáneas y uso de la información personal o de salud privada de un niño de conversaciones anteriores.
  • Promover o ayudar con el suicidio, la autolesión, los trastornos alimentarios o el consumo de drogas y alcohol.
  • Alentar a los niños a guardar secretos, aislarse o evitar pedir ayuda a sus padres, adultos de confianza o profesionales.
  • Cualquier contenido sexualmente explícito o material de abuso sexual infantil.

La senadora Kristen González, patrocinadora del proyecto de ley en el Senado, dijo que las empresas de inteligencia artificial se han beneficiado del despliegue de chatbots para consumidores menores de edad, citando casos de chatbots que fomentan la autolesión y entrenan a menores para dañar a otros. El asambleísta Alex Bores, que aprobó el proyecto de ley en la Asamblea, la calificó como la ley de seguridad de IA infantil más estricta del país, aprobada "a pesar de la agresiva oposición de la industria".

Requisitos de verificación de edad

La ley no se limita a las reglas de contenido. Las empresas deben realizar una verificación de edad y ofrecer más de un método, incluida al menos una opción que no dependa únicamente de una identificación gubernamental. La información sobre la edad debe eliminarse después de su uso, una disposición destinada a evitar que los datos de verificación se conviertan en otro riesgo para la privacidad.

La autoridad de aplicación recae en el fiscal general del estado. Por infracciones, la Fiscal General Letitia James puede solicitar sanciones civiles de hasta 25.000 dólares por infracción, junto con daños, restitución, destrucción de datos recopilados ilegalmente (o cualquier modelo de inteligencia artificial entrenado en ellos) y medidas cautelares. La ley también exige que el fiscal general mantenga un sitio web público donde los neoyorquinos puedan presentar quejas.

James, cuya oficina trabajó con la oficina del gobernador y los legisladores en la medida, dijo que el estado había visto "demasiadas historias de horror de chatbots que dañan la salud de nuestros niños" y se comprometió a defender a los neoyorquinos "con todo el peso de la ley".

La evidencia que impulsó el proyecto de ley

Los legisladores se basaron en investigaciones de Common Sense Media, la organización sin fines de lucro que abogó por la legislación. Según las cifras citadas en el anuncio del gobernador, el 72 por ciento de los adolescentes ha utilizado un compañero de IA al menos una vez, y el 52 por ciento son usuarios habituales que interactúan con compañeros de IA al menos unas cuantas veces al mes.

La oficina del gobernador dijo que los chatbots de IA se han relacionado con la dependencia y el aislamiento y, en algunos casos, han entablado conversaciones sexualmente explícitas con menores y supuestamente han alentado a los adolescentes a quitarse la vida. El fundador y director ejecutivo de Common Sense Media, James P. Steyer, calificó el proyecto de ley firmado como "el proyecto de ley de seguridad de la IA para niños más sólido del país" y dijo que las funciones dañinas de los chatbots "serán prohibidas en Nueva York".

La medida se basa en las primeras salvaguardias complementarias de IA del país implementadas anteriormente en Nueva York, extendiéndolas desde requisitos de divulgación hasta prohibiciones absolutas sobre comportamientos específicos de chatbot para menores.

Un proyecto de ley complementario apunta a los monitores para bebés

Al mismo tiempo, Hochul firmó un segundo proyecto de ley de seguridad tecnológica. S.9508/A.5175A prohíbe la venta de nuevos monitores para bebés conectados a Internet que transmitan audio o video a través de Internet, a menos que incluyan funciones de seguridad que impidan que extraños miren o escuchen. Los dispositivos también deben llevar una etiqueta de advertencia clara que explique que se conectan a Internet y que las familias deben usar sus funciones de seguridad. Esa ley entra en vigor 90 días después de su firma.

El fundamento surgió de una investigación de seguridad: cuando los investigadores de Rapid7 probaron nueve monitores para bebés conectados a Internet de ocho empresas, ocho de los monitores recibieron una calificación de "F" en seguridad y uno recibió una "D".

Parte de un ajuste de cuentas más amplio

La medida de Nueva York se produce en medio de una ola de acciones a nivel estatal sobre los chatbots de IA y los menores, con legislaturas de todo el país sopesando restricciones a los bots acompañantes después de una serie de incidentes de alto perfil. La ley de Nueva York se destaca por sus medidas de aplicación: sanciones por infracción, verificación obligatoria de la edad con múltiples vías y la posibilidad de obligar a las empresas a destruir modelos entrenados con datos recopilados ilegalmente.

Para las empresas de inteligencia artificial que operan productos de estilo complementario, las implicaciones de cumplimiento son sustanciales: cualquier chatbot de cara al usuario en Nueva York necesita una sólida garantía de edad antes de habilitar funciones como el juego de roles emocional, o esas funciones deben estar desactivadas de forma predeterminada. Con el fiscal general facultado para imponer sanciones por infracción y exigir la destrucción de conjuntos de datos y modelos contaminados, el costo de equivocarse ahora se extiende mucho más allá del daño a la reputación.

En los próximos meses, a medida que las empresas ajusten sus productos para los usuarios de Nueva York, es probable que el enfoque del estado sirva como modelo que otras legislaturas estudien y una prueba de si los reguladores estatales pueden remodelar significativamente la forma en que los productos de consumo de IA tratan a sus usuarios más jóvenes.

---

Mantente al Día con la IA

Las últimas noticias, análisis y avances de inteligencia artificial, en un solo lugar.

Leer más noticias de IA →