Een uitgebreide veiligheidsbeoordeling door Common Sense Media heeft geconcludeerd dat OpenAI's ChatGPT for Teens-modus een "onaanvaardbaar risico" vormt voor gebruikers onder de 18 jaar – de slechtste beoordeling van de waakhondgroep – minder dan twee maanden nadat het product werd gelanceerd met beloften van ingebouwde beveiliging. Zoals NPR meldde, ontdekte de groep dat de meeste geadverteerde beveiligingen van de modus tijdens de tests niet werkten zoals beloofd.

De bevindingen komen op een gevoelig moment terecht voor OpenAI, dat in augustus ChatGPT voor tieners lanceerde als een speciale ervaring voor minderjarige gebruikers, compleet met ouderlijk toezicht en strengere vangrails. In onze eerdere berichtgeving werd gedocumenteerd dat de AI-industrie de veiligheid van jongeren bevordert; Het nieuwe rapport is de eerste grote onafhankelijke audit van de vraag of de bescherming van de tienermodus in de praktijk stand houdt.

Wat de gezond verstand-media hebben getest

Onderzoekers van het Youth AI Safety Institute van de groep testten meer dan 4.000 prompts voor en na de lancering van de tienermodus, volgens berichtgeving van The National News Desk en Fast Company van Sinclair Broadcast Group. De groep beveelt OpenAI aan om de marketing van de tienermodus te onderbreken en te voorkomen dat tieners ChatGPT gebruiken totdat het bedrijf een 'veilige, ontwikkelingsgeschikte ervaring' heeft ontwikkeld.

"Sommige van de door ChatGPT geadverteerde beschermingen hebben onze tests doorstaan, waaronder de weigering van expliciet seksueel rollenspel", aldus de productrecensie van de organisatie. "Maar anderen faalden - en sommige werden nog erger met de nieuwe Teen-modus. We zijn bezorgd dat ChatGPT voor tieners ouders een vals vertrouwen kan geven in vangrails die vaak niet werken."

Ouderlijke waarschuwingen die niet zijn geactiveerd

De meest opvallende bevinding uit het rapport betrof het systeem voor ouderlijke kennisgeving. Onderzoekers creëerden meer dan een dozijn accounts die zichzelf als tiener rapporteerden en die aan een ouderaccount waren gekoppeld. Vervolgens gebruikten ze de chatbot in gesprekken met expliciete verwijzingen naar zelfmoordgedachten, zelfbeschadiging of eetstoornissen. De accounts zijn gebaseerd op fictieve persona's.

Volgens het rapport ontvingen testers geen ouderlijke waarschuwingen van de nieuwe accounts die deze verwijzingen maakten. Meldingen kwamen alleen binnen voor andere accounts met wekenlange gespreksgeschiedenis over vergelijkbare thema's – een leemte die suggereert dat het meldingssysteem meer afhangt van de verzamelde context dan van de ernst van wat een tiener in een bepaald gesprek onthult.

Uit het onderzoek bleek ook dat ChatGPT for Teens meer dan één op de vier gevallen miste die een verwijzing naar een geestelijke gezondheidszorgcrisis rechtvaardigden, zoals beoordeeld door een panel van erkende kinderpsychiatrische professionals die de aanwijzingen hebben beoordeeld.

Schoolwerkvangrails 'Makkelijk te omzeilen'

Naast crisisdetectie ontdekte de waakhond dat de functie die bedoeld was om te voorkomen dat leerlingen de chatbot gebruiken om te spieken bij schoolwerk, gemakkelijk te omzeilen of volledig uit te schakelen was.

"Je zou ze kunnen vragen een artikel voor je te schrijven, een verfijnd artikel voor je, en het zou dat doen, en het zou je zelfs vertellen hoe je moet redigeren op een manier die je leraar niet zou weten", zei Jim Steyer, oprichter en CEO van Common Sense Media, in een commentaar gerapporteerd door The National News Desk. "Dus daarom verstoort het het leren. Het verstoort het basisproces en kinderen moeten het werk zelf doen."

Contentvangrails, leeftijdsvoorspelling en pauzeherinneringen bleken ook niet effectief te zijn bij het testen. Eén veel aangehaald datapunt: OpenAI heeft gezegd dat de gemiddelde tienergebruiker minder dan 15 minuten per dag op ChatGPT doorbrengt. Maar van het kleine aandeel tieners dat meer dan drie uur achtereen per dag doorbrengt (minder dan 2 procent van de gebruikers) beëindigde bijna de helft het gesprek binnen vijf minuten na ontvangst van een pauzeherinnering, wat erop wijst dat de duwtjes zelden langdurige sessies onderbreken.

OpenAI gaat terug op de methodologie

OpenAI zei in een verklaring als reactie op het rapport dat het "diep betrokken" is bij de veiligheid van tieners en wees op de waarborgen die het heeft gebouwd en de hulpmiddelen die het ouders biedt.

"We verwelkomen een rigoureuze onafhankelijke evaluatie, maar we geloven niet dat de tests van Common Sense Media accuraat weergeven hoe de tienerbeveiligingen van ChatGPT in de praktijk werken, of de perspectieven van experts over hoe AI tieners kan ondersteunen", aldus een woordvoerder van OpenAI. Het bedrijf zei dat uit de evaluatie van de methodologie van de groep bleek dat “het grootste deel van hun tests kan zijn begonnen en afgerond voordat de activering van ouderlijk toezicht voltooid was, waardoor hun bevindingen onnauwkeurig zijn”, eraan toevoegend dat dergelijke tests niet zouden vaststellen of meldingen over de veiligheid van ouders werken zoals bedoeld.

Steyer zei dat zijn organisatie contact had gehad met OpenAI over de bevindingen, zoals gebruikelijk is tijdens productbeoordelingen, en achter de resultaten stond. "Wij staan ​​100% achter de kwaliteit van ons onderzoek en de tests en het feit dat we dit product als een 'onaanvaardbaar risico' hebben bestempeld", zei hij, terwijl hij een vergelijking maakte met de autoveiligheid: "Je zou geen auto op de markt brengen als deze de crashtest niet zou doorstaan."

Een groeiende aandacht voor AI en minderjarigen

Het dispuut komt voort uit een intensivering van het onderzoek naar de manier waarop AI-chatbots jonge gebruikers beïnvloeden, van schooldistricten die de toegang beperken tot wetgevers die de vereisten voor leeftijdsverificatie afwegen. Onafhankelijke audits zoals deze worden de facto een proeftuin voor de claims die AI-bedrijven op het gebied van de veiligheid van jongeren maken in hun marketing.

Over één ding zijn beide partijen het eens: het ouderlijk waarschuwingssysteem is de crux. Als waarschuwingen niet afgaan wanneer een nieuw tieneraccount voor het eerst gedachten aan zelfbeschadiging oproept, faalt het belangrijkste veiligheidskenmerk op het moment dat het er het meest toe doet. OpenAI zegt dat de tests gebrekkig waren; Common Sense Media zegt dat het product is verzonden voordat het klaar was. Toezichthouders en ouders zullen nu afwegen wie gelijk heeft – en OpenAI wordt geconfronteerd met toenemende druk om de gaten te dichten of het product terug te trekken.

Voor meer berichtgeving over de veiligheid van AI, het beleid en de ontwikkelingen in de AI-industrie die deze vormgeven, kunt u dit verhaal volgen.

---

Blijf AI een stap voor

Ontvang het laatste AI-nieuws, analyses en doorbraken – allemaal op één plek.

Lees meer AI-nieuws →