Un examen approfondi de la sécurité réalisé par Common Sense Media a conclu que le mode ChatGPT for Teens d'OpenAI présente un « risque inacceptable » pour les utilisateurs de moins de 18 ans – la pire note du groupe de surveillance – moins de deux mois après le lancement du produit avec des promesses de protections intégrées. Comme l'a rapporté NPR, le groupe a constaté que la plupart des garanties annoncées pour le mode ne fonctionnaient pas comme promis lors de ses tests.

Les résultats arrivent à un moment sensible pour OpenAI, qui a lancé ChatGPT for Teens en août en tant qu'expérience dédiée aux utilisateurs mineurs, dotée de contrôles parentaux et de garde-fous plus stricts. Notre couverture précédente montrait que l'industrie de l'IA encourageait et tirait sur la sécurité des jeunes ; le nouveau rapport est le premier audit indépendant majeur visant à déterminer si les protections du mode adolescent résistent dans la pratique.

Ce que les médias de bon sens ont testé

Les chercheurs du Youth AI Safety Institute du groupe ont testé plus de 4 000 invites avant et après le lancement du mode adolescent, selon la couverture de The National News Desk et Fast Company du Sinclair Broadcast Group. Le groupe recommande qu'OpenAI suspende la commercialisation du mode adolescent et empêche les adolescents d'utiliser ChatGPT jusqu'à ce que l'entreprise développe ce qu'elle appelle une « expérience sûre et adaptée au développement ».

"Certaines des protections annoncées par ChatGPT ont résisté à nos tests, y compris le refus des jeux de rôle sexuels explicites", indique l'évaluation des produits de l'organisation. "Mais d'autres ont échoué – et certains ont empiré avec le nouveau mode Teen. Nous craignons que ChatGPT for Teens puisse donner aux parents une fausse confiance dans des garde-fous qui ne fonctionnent souvent pas."

Alertes parentales qui ne se sont pas déclenchées

La conclusion la plus frappante du rapport concernait le système de notification parentale. Les chercheurs ont créé plus d’une douzaine de comptes qui déclaraient être adolescents et étaient liés à un compte parent, puis ont engagé le chatbot dans des conversations contenant des références explicites à des pensées suicidaires, à l’automutilation ou à des troubles de l’alimentation. Les récits étaient construits sur des personnages fictifs.

Selon le rapport, les testeurs n'ont reçu aucune alerte parentale de la part des nouveaux comptes faisant ces références. Les alertes n'arrivaient que pour d'autres comptes qui avaient des semaines d'historique de conversation couvrant des thèmes similaires – une lacune qui suggère que le système de notification dépend davantage du contexte accumulé que de la gravité de ce qu'un adolescent révèle dans une conversation donnée.

L'examen a également révélé que ChatGPT for Teens a manqué plus d'un cas sur quatre justifiant une référence en cas de crise de santé mentale, comme l'a jugé un panel de professionnels agréés de la santé mentale des enfants qui ont examiné les invites.

Garde-corps pour le travail scolaire « faciles à contourner »

Au-delà de la détection des crises, l’organisme de surveillance a constaté que la fonctionnalité destinée à empêcher les étudiants d’utiliser le chatbot pour tricher dans leurs devoirs était facile à contourner ou à désactiver purement et simplement.

"Vous pourriez leur demander d'écrire un article pour vous, un article sophistiqué pour vous et il ferait cela, et il vous dirait même comment le rédiger d'une manière que votre professeur ne saurait pas", a déclaré Jim Steyer, fondateur et PDG de Common Sense Media, dans des commentaires rapportés par The National News Desk. "Donc, cela interfère avec l'apprentissage. Cela interfère avec le processus de base et les enfants doivent faire le travail eux-mêmes."

Les garde-fous de contenu, la prédiction de l'âge et les rappels de pause se sont également révélés inefficaces lors des tests. Un point de données largement cité : OpenAI a déclaré que l’utilisateur adolescent moyen passe moins de 15 minutes par jour sur ChatGPT. Mais parmi la petite proportion d’adolescents qui passent plus de trois heures consécutives par jour – moins de 2 % des utilisateurs – près de la moitié ont mis fin à leur conversation dans les cinq minutes suivant la réception d’un rappel de pause, ce qui suggère que les coups de pouce interrompent rarement les sessions prolongées.

OpenAI repousse la méthodologie

OpenAI, dans un communiqué en réponse au rapport, a déclaré qu'elle était « profondément engagée » en faveur de la sécurité des adolescents et a souligné les garanties qu'elle a mises en place et les outils qu'elle offre aux parents.

"Nous accueillons favorablement une évaluation indépendante rigoureuse, mais nous ne pensons pas que les tests de Common Sense Media reflètent fidèlement la manière dont les protections pour adolescents de ChatGPT fonctionnent dans la pratique ou les points de vue d'experts sur la manière dont l'IA peut soutenir les adolescents", a déclaré un porte-parole d'OpenAI. La société a déclaré que son examen de la méthodologie du groupe avait montré que « la majeure partie de leurs tests avaient peut-être commencé et conclu avant que l'activation du contrôle parental ne soit terminée, ce qui rendait leurs conclusions inexactes », ajoutant que de tels tests ne permettraient pas d'établir si les notifications de sécurité parentale fonctionnent comme prévu.

Steyer a déclaré que son organisation avait été en contact avec OpenAI au sujet des résultats, comme c'est sa pratique habituelle lors des évaluations de produits, et qu'elle s'en tenait aux résultats. "Nous soutenons à 100% la qualité de nos recherches et de nos tests et le fait que nous avons qualifié ce produit de 'risque inacceptable'", a-t-il déclaré, faisant une comparaison avec la sécurité automobile : "Vous ne mettriez pas une voiture sur le marché si elle ne passait pas le crash test."

Pleins feux sur l'IA et les mineurs

Le différend survient alors que l’on s’intéresse de plus en plus à la manière dont les chatbots IA affectent les jeunes utilisateurs, depuis les districts scolaires restreignant l’accès jusqu’aux législateurs qui évaluent les exigences de vérification de l’âge. Les audits indépendants comme celui-ci deviennent de facto un terrain d’essai pour les affirmations des entreprises d’IA en matière de sécurité des jeunes dans leur marketing.

Les deux parties s’accordent sur un point : le système de notification parentale est le point crucial. Si les alertes ne se déclenchent pas lorsqu'un nouveau compte d'adolescent soulève pour la première fois des pensées d'automutilation, la fonction de sécurité la plus importante échoue au moment où elle compte le plus. OpenAI dit que les tests étaient défectueux ; Common Sense Media affirme que le produit a été expédié avant d'être prêt. Les régulateurs et les parents vont désormais déterminer qui a raison – et OpenAI fait face à une pression croissante pour combler les lacunes ou retirer le produit.

Pour plus de couverture sur la sécurité de l'IA, la politique et les développements de l'industrie de l'IA qui les façonnent, suivez l'évolution de cette histoire.

---

Gardez une longueur d'avance sur l'IA

Recevez les dernières actualités, analyses et avancées en matière d'IA, le tout en un seul endroit.

Lire plus d'actualités sur l'IA →