Un nuevo estudio que siguió a aproximadamente 27.000 estudiantes en China ha producido algunas de las pruebas más aleccionadoras hasta el momento sobre la IA generativa en la educación: los alumnos que utilizaron herramientas de IA vieron sus puntuaciones en sus tareas aumentar un 18 por ciento y terminaron las tareas en mucho menos tiempo; luego obtuvieron puntuaciones un 20 por ciento por debajo de sus compañeros de clase en exámenes realizados sin ayuda de la IA. La investigación, dirigida por David Strömberg de la Universidad de Estocolmo junto con Victor Lei y Wu Yanhui de la Universidad de Hong Kong, fue destacada por The Economist el 18 de agosto y está circulando como documento de trabajo en SSRN. Para los lectores que siguen [las últimas noticias sobre IA] (https://aibuzzwire.news), se trata de un dato que los educadores y los padres no descartarán fácilmente.
La preparación y el shock
Los investigadores se propusieron responder una pregunta que la mayoría de las escuelas han estado adivinando: ¿la IA ayuda a los estudiantes a aprender o les ayuda a terminar? Al seguir a decenas de miles de alumnos de todas las materias durante seis meses, el equipo pudo comparar el desempeño de las tareas con los resultados de exámenes posteriores tanto para usuarios como para no usuarios de IA.
Los principales hallazgos, resumidos por The Economist: después de seis meses, los alumnos que usaban IA vieron su puntaje promedio en las tareas aumentar en un 18 por ciento en todas las materias, mientras que el tiempo dedicado a cada tarea cayó de un promedio de 64 minutos a 45. Pero cuando llegó el momento del examen, los mismos estudiantes obtuvieron puntajes un 20 por ciento por debajo de sus compañeros que nunca habían usado IA para sus tareas.
El hallazgo más profundo es más sutil y más preocupante. "Las puntuaciones de las tareas alguna vez predijeron el rendimiento en los exámenes; ahora, aquellos que obtienen las puntuaciones más altas tienen, perversamente, más probabilidades de obtener peores resultados en los exámenes", señaló el análisis de The Economist. En otras palabras, la señal tradicional en la que confían los profesores (las calificaciones de las tareas como indicador de la comprensión) se ha roto silenciosamente. Los estudiantes cuyas tareas se ven mejor pueden ser los que menos entienden el material.
Subcontratación, no aprendizaje
¿Por qué las puntuaciones de las tareas se dispararon mientras que las de los exámenes colapsaron? Los datos apuntan a lo que los investigadores describen como subcontratación: los estudiantes entregan el trabajo al modelo en lugar de utilizarlo como tutor. Las cifras del artículo citado en la discusión pública sugieren que alrededor del 81 por ciento de los usuarios de IA en el estudio delegaban efectivamente sus tareas a los modelos de lenguaje, y que la tasa de subcontratación aumentaba cuanto más tiempo los estudiantes habían estado expuestos a las herramientas.
El patrón surgió gradualmente. Al principio del estudio, algunos estudiantes que usaban IA todavía dedicaban más de 65 minutos a cada tarea (aproximadamente el mismo tiempo que los no usuarios) y los resultados de sus tareas y exámenes eran similares a los de sus compañeros que evitaban la IA. Los investigadores dedujeron que estos estudiantes apenas utilizaban los modelos. Pero seis meses después de la adopción, ningún estudiante expuesto a la IA dedicaba más de 65 minutos a la tarea. Lo que comienza como una asistencia ocasional parece deslizarse, tarea tras tarea, hasta convertirse en una delegación total.
Esa escalada es lo que hace que los hallazgos sean tan difíciles de descartar. No es que la tutoría de IA no pueda funcionar: si se usa deliberadamente, como un socio socrático que explica y cuestiona, la tecnología puede demostrar que puede ayudar a las personas a aprender. Es que en condiciones naturalistas, con adolescentes y tareas atrasadas, el camino de menor resistencia pasa por la respuesta.
Por qué China presenta un caso de prueba limpio
El entorno del estudio refuerza sus conclusiones. En China, la admisión a la universidad se realiza mediante exámenes estandarizados de alto riesgo, y las calificaciones de las tareas no inflan los resultados de los cursos como ocurre en otros lugares. Los exámenes son evaluados externamente y tienen consecuencias brutales, lo que hace que la brecha del 20 por ciento sea más difícil de explicar con calificaciones fáciles o con la indulgencia de los maestros. El estudio aisló efectivamente el canal que interesa a los investigadores: la IA cambió la forma en que se hacían las tareas y los exámenes midieron lo que realmente se había aprendido.
La discusión del artículo en Hacker News, donde reunió cientos de puntos, luchó con la siguiente pregunta obvia: si la IA es un "amplificador" que mejora a los estudiantes diligentes y empeora a los estudiantes no comprometidos. El propio análisis del artículo rechaza ese reconfortante marco: los datos sobre el uso del tiempo sugieren que incluso los estudiantes que comenzaron a usar la IA de manera responsable se inclinaron hacia la delegación con el paso de los meses, lo que implica que el riesgo no se limita a aquellos que nunca tuvieron la intención de aprender en primer lugar.
El dilema político para las escuelas
Los hallazgos llegan en un momento incómodo. Los gobiernos y las empresas de tecnología educativa están compitiendo para poner tutores de IA frente a los estudiantes, apostando a que la asistencia personalizada de IA cerrará las brechas de rendimiento. Este estudio sugiere que el resultado opuesto es posible a escala: las tareas se vuelven fluidas, las calificaciones mejoran y el aprendizaje medido que se encuentra debajo de ellas se erosiona silenciosamente, lo que se descubre solo cuando ya es demasiado tarde para arreglarlo.
Para las escuelas, las implicaciones son concretas. Si las tareas ya no pueden servir como prueba del aprendizaje, la evaluación debe realizarse en clase y ser supervisada. Si el uso de la IA es inevitable, es posible que sea necesario rediseñar las tareas en torno a la tecnología: defensas orales, sesiones de problemas en clase y calificaciones basadas en procesos que recompensen las dificultades que, según el estudio, los estudiantes se saltan. Y si la subcontratación se intensifica con la exposición, la demora no es neutral: cada mes de acceso no estructurado a la IA parece profundizar el hábito.
La contribución de los investigadores es reemplazar el pánico anecdótico de la era ChatGPT en el aula con números longitudinales, y los números son sombríos. Una mejora del 18 por ciento en la tarea adquirida a costa de una disminución del 20 por ciento en el examen no es una ganancia de aprendizaje: es una transferencia de trabajo del estudiante a la máquina, con intereses adeudados el día del examen.
Manténgase por delante de la IA
Para conocer avances en investigaciones, consecuencias políticas y análisis honestos de la IA en la educación, marque AI Buzz Wire.
Leer más noticias sobre IA →
