Una extensa revisión de seguridad realizada por Common Sense Media concluyó que el modo ChatGPT para adolescentes de OpenAI representa un "riesgo inaceptable" para los usuarios menores de 18 años (la peor calificación del grupo de vigilancia) menos de dos meses después del lanzamiento del producto con promesas de protecciones integradas. Como informó NPR, el grupo descubrió que la mayoría de las salvaguardas anunciadas del modo no funcionaron como se prometió en sus pruebas.

Los hallazgos llegan en un momento delicado para OpenAI, que lanzó ChatGPT para adolescentes en agosto como una experiencia dedicada para usuarios menores de edad, completa con controles parentales y barreras de seguridad más estrictas. Nuestra cobertura anterior documentó que la industria de la IA presiona y tira en torno a la seguridad de los jóvenes; El nuevo informe es la primera auditoría independiente importante sobre si las protecciones del modo adolescente se mantienen en la práctica.

Lo que probaron los medios de sentido común

Los investigadores del Instituto de Seguridad de IA para Jóvenes del grupo probaron más de 4.000 indicaciones antes y después del lanzamiento del modo adolescente, según la cobertura de The National News Desk y Fast Company de Sinclair Broadcast Group. El grupo recomienda que OpenAI detenga la comercialización del modo adolescente y evite que los adolescentes usen ChatGPT hasta que la compañía desarrolle lo que llama una "experiencia segura y apropiada para el desarrollo".

"Algunas de las protecciones anunciadas por ChatGPT resistieron nuestras pruebas, incluida su negativa a realizar juegos de roles sexuales explícitos", decía la revisión del producto de la organización. "Pero otros fallaron, y algunos empeoraron con el nuevo modo Adolescente. Nos preocupa que ChatGPT para Adolescentes pueda dar a los padres una falsa confianza en barreras de seguridad que frecuentemente no funcionan".

Alertas parentales que no se activaron

El hallazgo más sorprendente del informe tiene que ver con el sistema de notificación a los padres. Los investigadores crearon más de una docena de cuentas que informaban sobre una edad adolescente y estaban vinculadas a una cuenta de padre, luego involucraron al chatbot en conversaciones que contenían referencias explícitas a pensamientos suicidas, autolesiones o trastornos alimentarios. Las cuentas se basaron en personajes ficticios.

Según el informe, los evaluadores no recibieron alertas parentales de las nuevas cuentas que hicieron estas referencias. Las alertas solo llegaron para otras cuentas que tenían semanas de historial de conversaciones que cubrían temas similares, una brecha que sugiere que el sistema de notificación depende más del contexto acumulado que de la gravedad de lo que un adolescente revela en una conversación determinada.

La revisión también encontró que ChatGPT for Teens omitió más de uno de cada cuatro casos que justificaban una derivación por crisis de salud mental, según lo juzgó un panel de profesionales de salud mental infantil con licencia que revisaron las indicaciones.

Barandillas en el trabajo escolar 'fáciles de eludir'

Más allá de la detección de crisis, el organismo de control descubrió que la función destinada a evitar que los estudiantes usaran el chatbot para hacer trampa en las tareas escolares era fácil de eludir o desactivar por completo.

"Podrías pedirles que escriban un artículo para ti, un artículo sofisticado para ti, y lo haría, e incluso te diría cómo editar de una manera que tu maestro no sabría", dijo el fundador y director ejecutivo de Common Sense Media, Jim Steyer, en comentarios reportados por The National News Desk. "Por lo tanto, está interfiriendo con el aprendizaje. Está interfiriendo con el proceso básico y con el hecho de que los niños tienen que hacer el trabajo ellos mismos".

Las barreras de contenido, la predicción de edad y los recordatorios de descanso también resultaron ineficaces en las pruebas. Un dato ampliamente citado: OpenAI ha dicho que el usuario adolescente promedio pasa menos de 15 minutos por día en ChatGPT. Pero entre la pequeña proporción de adolescentes que pasan más de tres horas consecutivas por día (menos del 2 por ciento de los usuarios), casi la mitad terminó su conversación a los cinco minutos de recibir un recordatorio de descanso, lo que sugiere que los empujones rara vez interrumpían sesiones prolongadas.

OpenAI rechaza la metodología

OpenAI, en un comunicado en respuesta al informe, dijo que está "profundamente comprometido" con la seguridad de los adolescentes y destacó las salvaguardias que ha creado y las herramientas que brinda a los padres.

"Damos la bienvenida a una evaluación independiente rigurosa, pero no creemos que las pruebas de Common Sense Media reflejen con precisión cómo funcionan en la práctica las salvaguardas para adolescentes de ChatGPT o las perspectivas de los expertos sobre cómo la IA puede ayudar a los adolescentes", dijo un portavoz de OpenAI. La compañía dijo que su revisión de la metodología del grupo mostró que "la mayor parte de sus pruebas pueden haber comenzado y concluido antes de que se completara la activación de los controles parentales, lo que hace que sus hallazgos sean inexactos", y agregó que dichas pruebas no establecerían si las notificaciones de seguridad de los padres funcionan según lo diseñado.

Steyer dijo que su organización había estado en contacto con OpenAI sobre los hallazgos, como es su práctica estándar durante las evaluaciones de productos, y mantuvo los resultados. "Respaldamos al 100% la calidad de nuestra investigación y las pruebas y el hecho de que etiquetamos este producto como 'riesgo inaceptable'", dijo, haciendo una comparación con la seguridad del automóvil: "No sacarías un coche al mercado si no pasara la prueba de choque".

Una atención creciente sobre la IA y los menores

La disputa llega en medio de un escrutinio cada vez más intenso sobre cómo los chatbots de IA afectan a los usuarios jóvenes, desde distritos escolares que restringen el acceso hasta legisladores que sopesan los requisitos de verificación de edad. Auditorías independientes como ésta se están convirtiendo en un campo de pruebas de facto para las afirmaciones que las empresas de IA hacen en su marketing sobre la seguridad de los jóvenes.

Ambas partes coinciden en una cosa: el sistema de notificación a los padres es el quid. Si las alertas no se activan cuando una nueva cuenta de adolescente genera por primera vez pensamientos de autolesión, la característica de seguridad más importante falla en el momento más importante. OpenAI dice que las pruebas fueron defectuosas; Common Sense Media dice que el producto se envió antes de que estuviera listo. Los reguladores y los padres ahora sopesarán quién tiene razón, y OpenAI enfrenta una presión cada vez mayor para corregir las brechas o retirar el producto.

Para obtener más cobertura sobre la seguridad, las políticas y los desarrollos de la industria de la IA que les dan forma, siga el desarrollo de esta historia.

---

Manténgase a la vanguardia de la IA

Obtenga las últimas noticias, análisis y avances en IA, todo en un solo lugar.

Leer más noticias sobre IA →