En omfattande säkerhetsgranskning av Common Sense Media har kommit fram till att OpenAI:s ChatGPT för tonåringar-läge utgör en "oacceptabel risk" för användare under 18 – vakthundgruppens sämsta betyg – mindre än två månader efter att produkten lanserades med löften om inbyggda skydd. Som NPR rapporterade fann gruppen att de flesta av lägets annonserade skyddsåtgärder inte fungerade som utlovat i testningen.
Resultaten landar i ett känsligt ögonblick för OpenAI, som lanserade ChatGPT för tonåringar i augusti som en dedikerad upplevelse för minderåriga användare, komplett med föräldrakontroll och strängare skyddsräcken. Vår tidigare bevakning dokumenterade att AI-industrin driver och drar runt ungdomssäkerhet; den nya rapporten är den första stora oberoende granskningen av huruvida tonårslägets skydd håller i praktiken.
Vad Common Sense Media Testade
Forskare vid gruppens Youth AI Safety Institute testade mer än 4 000 uppmaningar före och efter tonårslägets lansering, enligt bevakning av Sinclair Broadcast Groups The National News Desk och Fast Company. Gruppen rekommenderar att OpenAI pausar marknadsföringen av tonårsläget och förhindrar tonåringar från att använda ChatGPT tills företaget utvecklar vad det kallar en "säker, utvecklingsmässigt lämplig upplevelse."
"Några av ChatGPT:s annonserade skydd höll upp till våra tester, inklusive dess vägran till explicita sexuella rollspel," stod det i organisationens produktrecension. "Men andra misslyckades - och vissa blev värre med det nya tonårsläget. Vi är oroliga att ChatGPT för tonåringar kan ge föräldrar falskt förtroende för skyddsräcken som ofta inte fungerar."
Föräldravarningar som inte utlöstes
Rapportens mest slående fynd gällde föräldrarnas meddelandesystem. Forskare skapade mer än ett dussin konton som självrapporterade en tonårsålder och var länkade till ett föräldrakonto, och engagerade sedan chatboten i konversationer som innehöll explicita referenser till självmordstankar, självskada eller ätstörningar. Konton byggdes på fiktiva personas.
Enligt rapporten fick testare inga föräldravarningar från de nya konton som gjorde dessa referenser. Varningar kom bara för andra konton som hade veckors konversationshistorik som täckte liknande teman - en lucka som tyder på att meddelandesystemet beror mer på ackumulerat sammanhang än på hur allvarligt vad en tonåring avslöjar i en given konversation.
Granskningen fann också att ChatGPT för tonåringar missade mer än en av fyra tillfällen som motiverade en remiss för psykisk hälsa, enligt bedömningen av en panel av licensierade psykiatriker som granskade uppmaningarna.
Skyddsräcken för skolarbete "lätt att förbigå"
Utöver krisdetektering fann vakthunden att funktionen som var avsedd att förhindra elever från att använda chatbot för att fuska på skolarbete var lätt att kringgå eller inaktivera direkt.
"Du kan be dem att skriva ett papper för dig, ett sofistikerat papper för dig och det skulle göra det, och det skulle till och med berätta hur du redigerar på ett sätt som din lärare inte skulle veta," sa Common Sense Medias grundare och vd Jim Steyer i kommentarer som rapporterats av The National News Desk. "Så därför stör det inlärningen. Det stör den grundläggande processen och barnen måste göra jobbet själva."
Innehållsskydd, åldersförutsägelser och pauspåminnelser visade sig också vara ineffektiva vid testning. En allmänt citerad datapunkt: OpenAI har sagt att den genomsnittliga tonårsanvändaren spenderar mindre än 15 minuter per dag på ChatGPT. Men bland den lilla andelen tonåringar som tillbringar mer än tre timmar i följd per dag - mindre än 2 procent av användarna - avslutade nästan hälften sitt samtal inom fem minuter efter att de fick en pauspåminnelse, vilket tyder på att knuffarna sällan avbröt förlängda sessioner.
OpenAI trycker tillbaka på metodiken
OpenAI, i ett uttalande som svar på rapporten, sa att det är "djupt engagerat" för tonåringars säkerhet och pekade på de skyddsåtgärder som det har byggt och de verktyg det ger föräldrar.
"Vi välkomnar en rigorös oberoende utvärdering, men vi tror inte att Common Sense Medias testning korrekt återspeglar hur ChatGPTs tonårsskydd fungerar i praktiken eller expertperspektiv på hur AI kan stödja tonåringar", sa en talesperson för OpenAI. Företaget sa att dess granskning av gruppens metod visade att "huvuddelen av deras testning kan ha börjat och avslutats innan aktiveringen av föräldrakontroll var klar, vilket gjorde deras resultat felaktiga", och tillade att sådana tester inte skulle fastställa om meddelanden om föräldrasäkerhet fungerar som de är designade.
Steyer sa att hans organisation hade varit i kontakt med OpenAI om resultaten, vilket är standardpraxis under produktbedömningar, och stod för resultaten. "Vi står till 100 % bakom kvaliteten på vår forskning och testerna och det faktum att vi märkt den här produkten som en "oacceptabel risk", sa han och gjorde en jämförelse med bilsäkerhet: "Du skulle inte släppa ut en bil på marknaden om den inte klarade krocktestet."
Ett växande fokus på AI och minderåriga
Tvisten anländer mitt i en intensifierad granskning av hur AI-chatbotar påverkar unga användare, från skoldistrikt som begränsar tillgången till lagstiftare som väger krav på åldersverifiering. Oberoende granskningar som denna håller på att bli en de facto testplats för ungdomssäkerhetspåståenden som AI-företag gör i sin marknadsföring.
Båda sidor är överens om en sak: systemet för föräldrameddelanden är kärnan. Om varningar misslyckas när ett nytt tonåringskonto först väckt tankar om självskada, misslyckas den viktigaste säkerhetsfunktionen i det ögonblick det är viktigast. OpenAI säger att testningen var felaktig; Common Sense Media säger att produkten skickades innan den var klar. Regulatorer och föräldrar kommer nu att väga vem som har rätt - och OpenAI möter ett ökande tryck för att fixa luckorna eller dra tillbaka produkten.
För mer täckning av AI-säkerhet, policy och AI-branschens utveckling som formar dem, följ med när den här historien utvecklas.
---
Stay ahead of AIFå de senaste AI-nyheterna, analyserna och genombrotten – allt på ett ställe.
Läs mer AI-nyheter →
