Un'approfondita analisi sulla sicurezza condotta da Common Sense Media ha concluso che la modalità ChatGPT for Teens di OpenAI rappresenta un "rischio inaccettabile" per gli utenti sotto i 18 anni - la valutazione peggiore del gruppo di controllo - meno di due mesi dopo il lancio del prodotto con la promessa di protezioni integrate. Come riportato da NPR, il gruppo ha scoperto che la maggior parte delle misure di sicurezza pubblicizzate della modalità non funzionavano come promesso durante i test.

I risultati arrivano in un momento delicato per OpenAI, che ha lanciato ChatGPT for Teens in agosto come esperienza dedicata agli utenti minorenni, completa di controllo parentale e barriere più rigide. Il nostro precedente articolo documentava che l’industria dell’intelligenza artificiale promuove e favorisce la sicurezza dei giovani; il nuovo rapporto è il primo importante audit indipendente che valuta se le protezioni della modalità adolescenti reggono nella pratica.

Cosa hanno testato i media basati sul buon senso

I ricercatori dello Youth AI Safety Institute del gruppo hanno testato più di 4.000 suggerimenti prima e dopo il lancio della modalità per adolescenti, secondo la copertura di The National News Desk e Fast Company di Sinclair Broadcast Group. Il gruppo raccomanda a OpenAI di sospendere la commercializzazione della modalità adolescenti e di impedire agli adolescenti di utilizzare ChatGPT fino a quando l'azienda non avrà sviluppato quella che definisce "un'esperienza sicura e adeguata allo sviluppo".

"Alcune delle protezioni pubblicizzate di ChatGPT hanno resistito ai nostri test, incluso il rifiuto di giochi di ruolo sessuali espliciti", afferma la revisione del prodotto dell'organizzazione. "Ma altri hanno fallito, e alcuni sono peggiorati con la nuova modalità Adolescenti. Siamo preoccupati che ChatGPT for Teens possa dare ai genitori una falsa fiducia nei guardrail che spesso non funzionano."

Avvisi dei genitori che non si sono attivati

La scoperta più sorprendente del rapporto riguarda il sistema di notifica dei genitori. I ricercatori hanno creato più di una dozzina di account che denunciavano un'età adolescenziale e erano collegati all'account di un genitore, quindi hanno coinvolto il chatbot in conversazioni contenenti riferimenti espliciti a pensieri suicidi, autolesionismo o disturbi alimentari. I resoconti erano costruiti su personaggi immaginari.

Secondo il rapporto, i tester non hanno ricevuto avvisi da parte dei genitori dai nuovi account che facevano questi riferimenti. Gli avvisi sono arrivati ​​solo per altri account che avevano settimane di cronologia delle conversazioni su temi simili: una lacuna che suggerisce che il sistema di notifica dipende più dal contesto accumulato che dalla gravità di ciò che un adolescente rivela in una determinata conversazione.

La revisione ha inoltre rilevato che ChatGPT for Teens ha mancato più di un caso su quattro che giustificava un rinvio per crisi di salute mentale, secondo il giudizio di un gruppo di professionisti autorizzati della salute mentale infantile che hanno esaminato i suggerimenti.

Guardrail per i compiti scolastici "facili da aggirare"

Oltre al rilevamento delle crisi, il watchdog ha scoperto che la funzionalità intesa a impedire agli studenti di utilizzare il chatbot per imbrogliare sui compiti scolastici era facile da aggirare o disattivare completamente.

"Potresti chiedere loro di scrivere un articolo per te, un articolo sofisticato per te e lo farebbe, e ti direbbe anche come modificarlo in un modo che il tuo insegnante non saprebbe," ha detto il fondatore e CEO di Common Sense Media Jim Steyer nei commenti riportati da The National News Desk. "Quindi, ciò interferisce con l'apprendimento. Interferisce con il processo di base e i bambini devono svolgere il lavoro da soli."

Anche i guardrail dei contenuti, la previsione dell'età e i promemoria delle pause si sono rivelati inefficaci nei test. Un dato ampiamente citato: OpenAI ha affermato che l’utente adolescente medio trascorre meno di 15 minuti al giorno su ChatGPT. Ma tra la piccola percentuale di adolescenti che trascorrono più di tre ore consecutive al giorno – meno del 2% degli utenti – quasi la metà ha terminato la conversazione entro cinque minuti dalla ricezione di un promemoria di pausa, suggerendo che i solleciti raramente interrompevano sessioni estese.

OpenAI respinge la metodologia

OpenAI, in una dichiarazione in risposta al rapporto, ha affermato di essere "profondamente impegnata" nella sicurezza degli adolescenti e ha sottolineato le tutele che ha costruito e gli strumenti che offre ai genitori.

"Accogliamo con favore una rigorosa valutazione indipendente, ma non crediamo che i test di Common Sense Media riflettano accuratamente il modo in cui le tutele per adolescenti di ChatGPT funzionano nella pratica o le prospettive degli esperti su come l'intelligenza artificiale può supportare gli adolescenti", ha affermato un portavoce di OpenAI. La società ha affermato che la revisione della metodologia del gruppo ha mostrato che "la maggior parte dei test potrebbe essere iniziata e conclusa prima che l'attivazione dei controlli parentali fosse completata, rendendo i risultati imprecisi", aggiungendo che tali test non stabilirebbero se le notifiche di sicurezza dei genitori funzionano come previsto.

Steyer ha affermato che la sua organizzazione è stata in contatto con OpenAI in merito ai risultati, come è prassi standard durante le valutazioni dei prodotti, e ha mantenuto i risultati. "Sosteniamo al 100% la qualità della nostra ricerca, dei test e del fatto che abbiamo etichettato questo prodotto come un 'rischio inaccettabile'", ha affermato, facendo un paragone con la sicurezza automobilistica: "Non metteresti un'auto sul mercato se non avesse superato il crash test."

Un'attenzione crescente su IA e minori

La disputa arriva in un contesto in cui si intensifica il controllo su come i chatbot di intelligenza artificiale influenzano i giovani utenti, dai distretti scolastici che limitano l’accesso ai legislatori che valutano i requisiti di verifica dell’età. Audit indipendenti come questo stanno diventando di fatto un banco di prova per le affermazioni sulla sicurezza dei giovani che le aziende di intelligenza artificiale fanno nel loro marketing.

Entrambe le parti concordano su una cosa: il punto cruciale è il sistema di notifica ai genitori. Se gli avvisi non si attivano quando un nuovo account per adolescenti solleva per la prima volta pensieri di autolesionismo, la funzione di sicurezza più importante fallisce nel momento in cui conta di più. OpenAI afferma che i test erano viziati; Common Sense Media afferma che il prodotto è stato spedito prima che fosse pronto. I regolatori e i genitori ora valuteranno chi ha ragione e OpenAI si trova ad affrontare una pressione crescente per colmare le lacune o ritirare il prodotto.

Per una maggiore copertura sulla sicurezza, le politiche e gli sviluppi del settore dell'IA che li modellano, segui lo sviluppo di questa storia.

---

Stai al passo con l'intelligenza artificiale

Ricevi le ultime notizie, analisi e scoperte sull'intelligenza artificiale, tutto in un unico posto.

Leggi altre notizie sull'AI →