O analiză extinsă a siguranței realizată de Common Sense Media a concluzionat că modul ChatGPT pentru adolescenți de la OpenAI prezintă un „risc inacceptabil” pentru utilizatorii sub 18 ani – cel mai prost rating al grupului de supraveghere – la mai puțin de două luni după lansarea produsului cu promisiuni de protecție încorporată. După cum a raportat NPR, grupul a constatat că cele mai multe dintre măsurile de protecție ale modului nu au funcționat așa cum s-a promis în testarea sa.
Descoperirile ajung într-un moment sensibil pentru OpenAI, care a lansat ChatGPT pentru adolescenți în august, ca o experiență dedicată utilizatorilor minori, completă cu controale parentale și balustrade mai stricte. Acoperirea noastră anterioară a documentat că industria AI împinge și trage în jurul siguranței tinerilor; noul raport este primul audit independent major pentru a stabili dacă protecțiile modului pentru adolescenți rezistă în practică.
Ce a testat Common Sense Media
Cercetătorii de la Youth AI Safety Institute al grupului au testat mai mult de 4.000 de solicitări înainte și după lansarea modului pentru adolescenți, conform acoperirii The National News Desk și Fast Company de la Sinclair Broadcast Group. Grupul recomandă ca OpenAI să întrerupă comercializarea modului pentru adolescenți și să îi împiedice pe adolescenți să folosească ChatGPT până când compania dezvoltă ceea ce numește „o experiență sigură, adecvată pentru dezvoltare”.
„Unele dintre protecțiile promovate de ChatGPT au rezistat testării noastre, inclusiv refuzul său de a juca rol sexual explicit”, se arată în recenzia organizației de produs. „Dar alții au eșuat – iar unii s-au înrăutățit cu noul mod Teen. Suntem îngrijorați de faptul că ChatGPT pentru adolescenți ar putea oferi părinților o încredere falsă în balustrade care adesea nu funcționează.”
Alerte parentale care nu au declanșat
Cea mai frapantă constatare a raportului a implicat sistemul de notificare parentală. Cercetătorii au creat mai mult de o duzină de conturi care au raportat o vârstă adolescentă și au fost conectate la un cont de părinte, apoi au implicat chatbot-ul în conversații care conțineau referiri explicite la gânduri de sinucidere, auto-vătămare sau alimentație dezordonată. Conturile au fost construite pe personaje fictive.
Potrivit raportului, testerii nu au primit alerte parentale de la noile conturi care au făcut aceste referințe. Alertele au sosit doar pentru alte conturi care aveau săptămâni de istorie a conversațiilor care acoperă teme similare - un decalaj care sugerează că sistemul de notificare depinde mai mult de contextul acumulat decât de severitatea a ceea ce dezvăluie un adolescent într-o anumită conversație.
Analiza a constatat, de asemenea, că ChatGPT pentru adolescenți a ratat mai mult de unul din patru cazuri care au justificat o trimitere pentru criza de sănătate mintală, după cum a fost judecat de un grup de profesioniști autorizați în domeniul sănătății mintale ale copiilor care au revizuit solicitările.
Balustrade pentru teme de școală „Ușor de ocolit”
Dincolo de detectarea crizelor, observatorul a descoperit că funcția menită să împiedice studenții să folosească chatbot-ul pentru a înșela temele școlare era ușor de ocolit sau dezactivat definitiv.
„Le-ai putea cere să scrie o lucrare pentru tine, o lucrare sofisticată pentru tine și ar face asta, și chiar ți-ar spune cum să editezi într-un mod pe care profesorul tău nu l-ar ști”, a spus fondatorul și CEO-ul Common Sense Media, Jim Steyer, în comentariile raportate de The National News Desk. „Deci, prin urmare, interferează cu învățarea. Interferează cu procesul de bază și copiii trebuie să facă singuri munca.”
De asemenea, s-au dovedit a fi ineficiente în testare barierele de protecție de conținut, predicția vârstei și mementourile de pauză. Un punct de date citat pe scară largă: OpenAI a spus că utilizatorul mediu adolescent petrece mai puțin de 15 minute pe zi pe ChatGPT. Dar, dintre ponderea mică a adolescenților care petrec mai mult de trei ore consecutive pe zi – mai puțin de 2% dintre utilizatori – aproape jumătate și-au încheiat conversația în cinci minute de la primirea unui memento de pauză, sugerând că ghinturile întrerupeau rareori sesiunile prelungite.
OpenAI respinge metodologia
OpenAI, într-o declarație care răspunde raportului, a spus că este „profund angajat” față de siguranța adolescenților și a subliniat garanțiile pe care le-a construit și instrumentele pe care le oferă părinților.
„Salutăm o evaluare riguroasă independentă, dar nu credem că testarea Common Sense Media reflectă cu acuratețe modul în care funcționează în practică garanțiile ChatGPT pentru adolescenți sau perspectivele experților cu privire la modul în care AI îi poate sprijini pe adolescenți”, a spus un purtător de cuvânt al OpenAI. Compania a spus că revizuirea metodologiei grupului a arătat că „cea mai mare parte a testării lor poate să fi început și să fi încheiat înainte ca activarea controalelor parentale să fie finalizată, ceea ce face ca constatările lor să fie inexacte”, adăugând că astfel de teste nu vor stabili dacă notificările privind siguranța parentală funcționează așa cum au fost concepute.
Steyer a spus că organizația sa a fost în contact cu OpenAI cu privire la constatări, așa cum este practica sa standard în timpul evaluărilor de produse, și a susținut rezultatele. „Suntem 100% în spatele calității cercetării și testării noastre și a faptului că am etichetat acest produs drept „risc inacceptabil””, a spus el, făcând o comparație cu siguranța auto: „Nu ați pune o mașină pe piață dacă nu ar trece testul de impact”.
Un reflector tot mai mare asupra AI și minorilor
Disputa apare pe fondul unui control intens al modului în care chatbot-urile AI afectează utilizatorii tineri, din districtele școlare care restricționează accesul la legislatori care cântăresc cerințele de verificare a vârstei. Auditurile independente ca acesta devin un teren de testare de facto pentru afirmațiile privind siguranța tinerilor pe care companiile de inteligență artificială le fac în marketingul lor.
Ambele părți sunt de acord asupra unui singur lucru: sistemul de notificare parentală este cheia. Dacă alertele nu se declanșează atunci când un nou cont de adolescenți trezește pentru prima dată gânduri de autovătămare, cea mai importantă funcție de siguranță eșuează în momentul în care contează cel mai mult. OpenAI spune că testarea a fost greșită; Common Sense Media spune că produsul a fost expediat înainte de a fi gata. Autoritățile de reglementare și părinții vor cântări acum cine are dreptate – iar OpenAI se confruntă cu o presiune crescândă pentru a remedia golurile sau a retrage produsul.
Pentru o acoperire mai mare a siguranței AI, a politicii și a dezvoltărilor din industria AI care le modelează, urmăriți pe măsură ce această poveste se dezvoltă.
---
Rămâneți înaintea AIObțineți cele mai recente știri, analize și descoperiri AI - toate într-un singur loc.
Citește mai multe știri AI →
