Uma extensa análise de segurança da Common Sense Media concluiu que o modo ChatGPT for Teens da OpenAI representa um “risco inaceitável” para usuários menores de 18 anos – a pior classificação do grupo de vigilância – menos de dois meses após o lançamento do produto com promessas de proteções integradas. Conforme relatado pela NPR, o grupo descobriu que a maioria das salvaguardas anunciadas no modo não funcionaram conforme prometido em seus testes.
As descobertas chegam a um momento delicado para a OpenAI, que lançou o ChatGPT for Teens em agosto como uma experiência dedicada para usuários menores de idade, completa com controles parentais e proteções mais rígidas. Nossa cobertura anterior documentou que a indústria de IA impulsiona e puxa a segurança dos jovens; o novo relatório é a primeira grande auditoria independente para verificar se as proteções do modo adolescente são válidas na prática.
O que a Common Sense Media testou
Pesquisadores do Youth AI Safety Institute do grupo testaram mais de 4.000 prompts antes e depois do lançamento do modo adolescente, de acordo com a cobertura do The National News Desk and Fast Company do Sinclair Broadcast Group. O grupo recomenda que a OpenAI interrompa o marketing do modo adolescente e evite que os adolescentes usem o ChatGPT até que a empresa desenvolva o que chama de “experiência segura e apropriada ao desenvolvimento”.
“Algumas das proteções anunciadas pelo ChatGPT resistiram aos nossos testes, incluindo a recusa de dramatizações sexuais explícitas”, disse a análise do produto da organização. "Mas outros falharam - e alguns pioraram com o novo modo Teen. Estamos preocupados que o ChatGPT for Teens possa dar aos pais uma falsa confiança em grades de proteção que frequentemente não funcionam."
Alertas dos pais que não dispararam
A descoberta mais surpreendente do relatório envolveu o sistema de notificação aos pais. Os pesquisadores criaram mais de uma dúzia de contas que autodeclaravam ser adolescentes e estavam vinculadas a uma conta dos pais, depois envolveram o chatbot em conversas contendo referências explícitas a pensamentos suicidas, automutilação ou distúrbios alimentares. Os relatos foram construídos em personas fictícias.
De acordo com o relatório, os testadores não receberam alertas parentais das novas contas que faziam essas referências. Os alertas só chegaram para outras contas que tinham semanas de histórico de conversas cobrindo temas semelhantes – uma lacuna que sugere que o sistema de notificação depende mais do contexto acumulado do que da gravidade do que um adolescente revela em uma determinada conversa.
A revisão também descobriu que o ChatGPT for Teens perdeu mais de um em cada quatro casos que justificavam um encaminhamento para uma crise de saúde mental, conforme julgado por um painel de profissionais de saúde mental infantil licenciados que analisaram as instruções.
Grades de proteção para trabalhos escolares 'fáceis de contornar'
Além da detecção de crises, o watchdog descobriu que o recurso destinado a impedir que os alunos usassem o chatbot para colar nos trabalhos escolares era fácil de ignorar ou desativar completamente.
“Você poderia pedir a eles que escrevessem um artigo para você, um artigo sofisticado para você, e ele faria isso, e até lhe diria como editar de uma maneira que seu professor não saberia”, disse Jim Steyer, fundador e CEO da Common Sense Media, em comentários relatados pelo The National News Desk. "Portanto, isso está interferindo no aprendizado. Está interferindo no processo básico e as crianças têm que fazer o trabalho sozinhas."
As proteções de conteúdo, a previsão de idade e os lembretes de intervalo também foram considerados ineficazes nos testes. Um dado amplamente citado: a OpenAI disse que o usuário adolescente médio gasta menos de 15 minutos por dia no ChatGPT. Mas entre a pequena parcela de adolescentes que passam mais de três horas consecutivas por dia – menos de 2% dos usuários – quase metade encerrou a conversa cinco minutos após receber um lembrete de intervalo, sugerindo que os estímulos raramente interrompiam sessões prolongadas.
OpenAI recua na metodologia
A OpenAI, num comunicado em resposta ao relatório, disse que está “profundamente comprometida” com a segurança dos adolescentes e destacou as salvaguardas que construiu e as ferramentas que fornece aos pais.
“Acolhemos com satisfação a avaliação independente rigorosa, mas não acreditamos que os testes da Common Sense Media reflitam com precisão como as proteções para adolescentes do ChatGPT funcionam na prática ou as perspectivas de especialistas sobre como a IA pode apoiar os adolescentes”, disse um porta-voz da OpenAI. A empresa disse que a sua revisão da metodologia do grupo mostrou que “a maior parte dos seus testes pode ter começado e concluído antes da ativação dos controlos parentais ser concluída, tornando as suas conclusões imprecisas”, acrescentando que tais testes não estabeleceriam se as notificações de segurança parental funcionam conforme concebido.
Steyer disse que sua organização entrou em contato com a OpenAI sobre as descobertas, como é sua prática padrão durante as avaliações de produtos, e manteve os resultados. “Apoiamos 100% a qualidade da nossa investigação e dos testes e o facto de rotularmos este produto como um ‘risco inaceitável'”, disse ele, fazendo uma comparação com a segurança automóvel: “Não colocaríamos um carro no mercado se não passasse no teste de colisão”.
Um destaque crescente sobre IA e menores
A disputa surge em meio a um escrutínio cada vez maior sobre como os chatbots de IA afetam os usuários jovens, desde distritos escolares que restringem o acesso até legisladores que avaliam os requisitos de verificação de idade. Auditorias independentes como esta estão se tornando um campo de testes de fato para as afirmações de segurança dos jovens que as empresas de IA fazem em seu marketing.
Ambos os lados concordam em uma coisa: o sistema de notificação dos pais é o ponto crucial. Se os alertas não dispararem quando uma nova conta de adolescente levanta pela primeira vez pensamentos de automutilação, o recurso de segurança mais importante falha no momento mais importante. OpenAI diz que o teste falhou; A Common Sense Media diz que o produto foi enviado antes de estar pronto. Os reguladores e os pais irão agora avaliar quem está certo – e a OpenAI enfrenta uma pressão crescente para corrigir as lacunas ou retirar o produto.
Para obter mais cobertura sobre a segurança, as políticas de IA e os desenvolvimentos da indústria de IA que os moldam, acompanhe o desenvolvimento desta história.
---
Fique à frente da IAReceba as últimas notícias, análises e avanços sobre IA — tudo em um só lugar.
Leia mais notícias sobre IA →
