Um novo estudo que rastreou cerca de 27.000 estudantes na China produziu algumas das evidências mais preocupantes até agora sobre a IA generativa na educação: os alunos que usaram ferramentas de IA viram as suas notas nos trabalhos de casa aumentarem 18 por cento e terminaram as tarefas em muito menos tempo – depois pontuaram 20 por cento abaixo dos seus colegas em exames realizados sem assistência de IA. A investigação, liderada por David Strömberg, da Universidade de Estocolmo, juntamente com Victor Lei e Wu Yanhui, da Universidade de Hong Kong, foi destacada pelo The Economist em 18 de agosto e está a circular como um documento de trabalho sobre SSRN. Para os leitores que acompanham as notícias de última hora sobre IA, é um ponto de dados que educadores e pais não descartarão facilmente.

A configuração e o choque

Os pesquisadores decidiram responder a uma pergunta que a maioria das escolas tem adivinhado: a IA ajuda os alunos a aprender ou os ajuda a terminar? Ao acompanhar dezenas de milhares de alunos em todas as disciplinas durante seis meses, a equipe pôde comparar o desempenho do dever de casa com os resultados dos exames subsequentes, tanto para usuários de IA quanto para não usuários.

As principais conclusões, resumidas pelo The Economist: após seis meses, os alunos que utilizavam a IA viram a sua pontuação média nos trabalhos de casa aumentar 18 por cento em todas as disciplinas, enquanto o tempo gasto em cada tarefa caiu de uma média de 64 minutos para 45. Mas quando chegou a hora do exame, os mesmos alunos obtiveram pontuações 20 por cento abaixo dos colegas que nunca tinham utilizado a IA nos seus trabalhos de casa.

A descoberta mais profunda é mais sutil e mais preocupante. “As pontuações dos trabalhos de casa outrora previam o desempenho nos exames; agora aqueles que obtêm as pontuações mais altas têm, perversamente, maior probabilidade de ter um desempenho pior nos exames”, observou a análise do Economist. Por outras palavras, o sinal tradicional em que os professores confiam – as notas dos trabalhos de casa como indicador da compreensão – foi silenciosamente quebrado. Os alunos cujas tarefas parecem melhores podem ser aqueles que menos entendem o material.

Terceirização, não aprendizado

Por que as notas dos deveres de casa dispararam enquanto as notas dos exames despencaram? Os dados apontam para o que os pesquisadores descrevem como terceirização: os próprios alunos entregam o trabalho ao modelo, em vez de usá-lo como tutor. Os números do artigo citado na discussão pública sugerem que cerca de 81 por cento dos utilizadores de IA no estudo estavam efetivamente delegando os seus trabalhos de casa aos modelos de linguagem – e que a taxa de terceirização aumentou à medida que os alunos ficavam expostos às ferramentas.

O padrão surgiu gradualmente. No início do estudo, alguns alunos que usavam IA ainda gastavam mais de 65 minutos por tarefa – aproximadamente o mesmo tempo que os não usuários – e seus trabalhos de casa e resultados de exames pareciam semelhantes aos de colegas que evitavam a IA. Os pesquisadores inferiram que esses estudantes quase não usavam os modelos. Mas seis meses após a adoção, nenhum aluno exposto à IA ainda gastava mais de 65 minutos nos trabalhos de casa. O que começa como assistência ocasional parece se transformar, tarefa após tarefa, em delegação completa.

Essa escalada é o que torna as descobertas tão difíceis de descartar. Não é que a tutoria de IA não possa funcionar – usada deliberadamente, como um parceiro socrático que explica e questiona, a tecnologia pode comprovadamente ajudar as pessoas a aprender. É que em condições naturalistas, com adolescentes e tarefas atrasadas, o caminho de menor resistência passa direto pela resposta.

Por que a China faz um caso de teste limpo

O cenário do estudo fortalece suas conclusões. Na China, a admissão à universidade é feita através de exames padronizados de alto nível, e as notas dos trabalhos de casa não aumentam os resultados dos cursos como acontece noutros países. Os exames são avaliados externamente e têm consequências brutais, o que torna a diferença de 20% mais difícil de explicar com notas fáceis ou clemência dos professores. O estudo isolou efetivamente o canal com o qual os pesquisadores se preocupavam: a IA mudou a forma como os trabalhos de casa eram produzidos e os exames mediram o que realmente foi aprendido.

A discussão do artigo no Hacker News, onde reuniu centenas de pontos, lutou com a óbvia questão de acompanhamento – se a IA é um “amplificador” que melhora os alunos diligentes e piora os alunos desinteressados. A própria análise do artigo contraria esse quadro reconfortante: os dados sobre a utilização do tempo sugerem que mesmo os alunos que começaram a utilizar a IA de forma responsável passaram a optar pela delegação ao longo dos meses, o que implica que o risco não se limita àqueles que nunca tiveram a intenção de aprender.

O dilema político para as escolas

As descobertas chegam em um momento estranho. Os governos e as empresas de tecnologia educativa estão a correr para colocar tutores de IA à frente dos alunos, apostando que a assistência personalizada de IA irá colmatar as lacunas de desempenho. Este estudo sugere que o resultado oposto é possível em grande escala: os trabalhos de casa tornam-se fáceis, as notas melhoram e a aprendizagem medida abaixo deles sofre uma erosão silenciosa – descoberta apenas quando é tarde demais para ser corrigida.

Para as escolas, as implicações são concretas. Se o dever de casa não puder mais servir como prova de aprendizagem, a avaliação deverá ser realizada em sala de aula e supervisionada. Se o uso da IA ​​for inevitável, as tarefas podem precisar ser redesenhadas em torno da tecnologia – defesas orais, sessões de problemas em sala de aula e notas baseadas em processos que recompensem a luta que o estudo descobriu que os alunos pularam. E se a terceirização se intensifica com a exposição, o atraso não é neutro: cada mês de acesso não estruturado à IA parece aprofundar o hábito.

A contribuição dos pesquisadores é substituir o pânico anedótico da era ChatGPT-na-sala de aula por números longitudinais, e os números são desanimadores. Uma melhoria de 18% no dever de casa adquirida ao custo de uma recusa de 20% no exame não é um ganho de aprendizagem – é uma transferência de trabalho do aluno para a máquina, com juros devidos no dia do exame.

Fique à frente da IA

Para avanços em pesquisas, consequências políticas e análises honestas da IA na educação, marque AI Buzz Wire.

Leia mais notícias sobre IA →