Gastar apenas dez minutos contando com uma ferramenta de IA prejudica significativamente a capacidade de uma pessoa de se concentrar e persistir em tarefas difíceis, de acordo com um estudo revisado por pares apresentado esta semana na Conferência sobre Modelagem de Linguagem (COLM).
O artigo, intitulado "Assistência de IA reduz a persistência e prejudica o desempenho independente", foi coautor do escritor e pesquisador Brian Christian, pesquisador do Centro de IA compatível com humanos da UC Berkeley, juntamente com acadêmicos da Universidade Carnegie Mellon, do Instituto de Tecnologia de Massachusetts, da Universidade de Oxford e da UCLA. Um rascunho anterior do trabalho circulou na primavera, mas a versão atualizada e revisada por pares foi apresentada na conferência esta semana, e o escritório de pesquisa da UC Berkeley publicou um resumo detalhado em 9 de outubro. Para mais contexto sobre esta história, confira nossa notícias de IA.
O que os pesquisadores descobriram
Para medir a rapidez com que o foco e a persistência das pessoas diminuíram, a equipe realizou uma série de ensaios clínicos randomizados com 1.222 participantes recrutados online.
No primeiro experimento, 354 participantes foram convidados a resolver 15 problemas básicos de frações. Um grupo trabalhou sem ajuda, enquanto um segundo grupo tinha o ChatGPT aberto na lateral e estava livre para usá-lo para obter assistência – ou mesmo para pedir respostas imediatas. O grupo com acesso à IA começou mais preciso. Então, após 12 problemas, os pesquisadores retiraram a ferramenta. Quase imediatamente, a precisão nesse grupo entrou em colapso.
O padrão se repetiu com um segundo grupo maior de 667 participantes. Quando a assistência da IA foi retirada, os utilizadores da IA obtiveram respostas erradas ou desistiram completamente, enquanto o grupo que tinha trabalhado sem ajuda persistiu na tarefa e terminou com mais sucesso.
Um terceiro experimento com 201 participantes trocou os problemas de matemática por um prompt de compreensão de leitura do SAT. O resultado ecoou os testes anteriores: quando a ferramenta desapareceu, também desapareceram a persistência e a precisão.
“Quase não se poderia pedir uma história mais clara”, disse Christian em comentários publicados pela UC Berkeley.
O 'Custo Humano' das Respostas Instantâneas
Os pesquisadores argumentam que o problema não é a IA em si, mas o tipo de ajuda que ela oferece. Quando um sistema produz respostas em segundos, os usuários se acostumam com essa velocidade e qualquer coisa mais lenta começa a parecer ineficiente. Confiar na ferramenta também elimina o que a equipe chama de “luta produtiva” – o envolvimento esforçado que ajuda as pessoas a descobrirem seus próprios pontos fortes e interesses.
“Construímos esses sistemas para serem úteis, mas eles estão sendo úteis para nós de uma forma que realmente nos ajuda?” Christian disse. "Mostramos, ironicamente, que eles muitas vezes nos ajudam de maneiras que são um tanto inúteis."
Christian, cujo livro de 2020 “The Alignment Problem” é amplamente considerado como um dos principais trabalhos acessíveis sobre segurança de IA, disse que a descoberta fornece evidências de uma intuição que muitas pessoas têm. “É uma descoberta impressionante, mas de certa forma fornece munição para uma história que muitos de nós sentimos em nossas entranhas”, disse ele. "Eu também experimento isso."
Por que é importante além das frações
O estudo surge em meio a uma preocupação crescente com a transferência cognitiva na educação. As próprias empresas de Frontier AI reconheceram que transferir tarefas para chatbots pode reduzir a compreensão básica do usuário sobre um assunto, de acordo com o relatório de Berkeley. Christian sugere uma possível solução: as respostas da IA poderiam ser mais instrutivas – comportando-se como um tutor que orienta, em vez de uma secretária eletrônica que substitui.
“Precisamos trabalhar para um futuro em que as capacidades humanas sejam, tanto quanto possível, aumentadas em vez de suplantadas”, disse ele.
Sua preocupação se estende à pesquisa profissional. Christian teme que a dependência excessiva de ferramentas de IA na ciência possa corroer exatamente os hábitos que fazem um bom cientista: ficar próximo dos dados, mergulhar no material e trabalhar em estreita colaboração com uma equipe. Um grupo de pesquisa de dez pessoas que gera as ideias por trás de uma inovação, observou ele, pode se reduzir a dois ou três pesquisadores e um chatbot.
“Esta não é uma história sobre frações e problemas de SAT”, disse Christian. “Isso é algo que está acontecendo com o conhecimento humano e com a experiência humana, de cima a baixo, e desde os alunos do ensino fundamental até os maiores especialistas do mundo”.
Um estudo que entrou no mainstream
As primeiras descobertas atraíram cobertura da WIRED e da Psychology Today quando o rascunho preliminar apareceu na primavera, e o The New York Times publicou uma matéria sobre o artigo e pesquisas semelhantes na semana passada, de acordo com a UC Berkeley. A apresentação revisada por pares no COLM – um dos principais locais de pesquisa em modelagem de linguagem na área – agora dá ao resultado um selo formal.
Para educadores e empregadores, a mensagem é desconfortável, mas concreta: mesmo uma curta exposição a respostas instantâneas de IA muda de forma mensurável a forma como as pessoas se comportam quando as respostas já não estão disponíveis. E para as empresas de IA, o estudo aumenta a pressão para projetar sistemas que ensinem com a mesma frequência que resolvem.
Christian, por sua vez, mantém um caderno em sua mesa e escreve nele todos os dias. A prática, disse ele a Berkeley, o mantém com os pés no chão – e evita que sua própria vantagem acadêmica se entorpeça.
---
Fique à Frente da IAAs últimas notícias, análises e avanços em inteligência artificial — tudo em um só lugar.
Ler mais notícias de IA →
