Μελέτη τεχνητής νοημοσύνης για το σπίτι: βαθμολογίες 18 τοις εκατό, επιδόσεις εξετάσεων μειωμένες κατά 20 τοις εκατό

Μια νέα μελέτη που παρακολουθεί περίπου 27.000 μαθητές στην Κίνα έχει δημιουργήσει μερικά από τα πιο αποθαρρυντικά στοιχεία μέχρι στιγμής σχετικά με τη γενετική τεχνητή νοημοσύνη στην εκπαίδευση: οι μαθητές που χρησιμοποίησαν εργαλεία τεχνητής νοημοσύνης είδαν τις βαθμολογίες των μαθημάτων τους να αυξάνονται κατά 18% και ολοκλήρωσαν τις εργασίες σε πολύ λιγότερο χρόνο – στη συνέχεια σημείωσαν 20% κάτω από τους συμμαθητές τους σε εξετάσεις που δόθηκαν χωρίς βοήθεια. Η έρευνα, με επικεφαλής τον David Strömberg του Πανεπιστημίου της Στοκχόλμης μαζί με τους Victor Lei και Wu Yanhui από το Πανεπιστήμιο του Χονγκ Κονγκ, επισημάνθηκε από το The Economist στις 18 Αυγούστου και κυκλοφορεί ως έγγραφο εργασίας για το SSRN. Για τους αναγνώστες που ακολουθούν έκτακτες ειδήσεις AI, είναι ένα σημείο δεδομένων που οι εκπαιδευτικοί και οι γονείς δεν θα το απορρίψουν εύκολα.

Το στήσιμο και το σοκ

Οι ερευνητές ξεκίνησαν να απαντήσουν σε μια ερώτηση που μαντεύουν τα περισσότερα σχολεία: η τεχνητή νοημοσύνη βοηθά τους μαθητές να μάθουν ή τους βοηθά να τελειώσουν; Παρακολουθώντας δεκάδες χιλιάδες μαθητές σε όλα τα μαθήματα για έξι μήνες, η ομάδα θα μπορούσε να συγκρίνει την απόδοση των εργασιών στο σπίτι με τα αποτελέσματα των επόμενων εξετάσεων τόσο για χρήστες τεχνητής νοημοσύνης όσο και για μη χρήστες.

Τα ευρήματα της επικεφαλίδας, όπως συνοψίζονται από το The Economist: μετά από έξι μήνες, οι μαθητές που χρησιμοποιούσαν τεχνητή νοημοσύνη είδαν τη μέση βαθμολογία των μαθημάτων για το σπίτι τους να αυξάνεται κατά 18 τοις εκατό σε όλα τα μαθήματα, ενώ ο χρόνος που αφιερώθηκε σε κάθε εργασία μειώθηκε από 64 λεπτά κατά μέσο όρο σε 45. Αλλά όταν έφτασε η ώρα των εξετάσεων, οι ίδιοι μαθητές σημείωσαν 20 τοις εκατό χαμηλότερες από τους συμμαθητές τους που δεν είχαν χρησιμοποιήσει ποτέ την AI.

Το βαθύτερο εύρημα είναι πιο λεπτό και πιο ανησυχητικό. «Οι βαθμολογίες των εργασιών για το σπίτι προέβλεπαν κάποτε την απόδοση στις εξετάσεις· τώρα όσοι βαθμολογούν υψηλότερα είναι, στραβά, πιο πιθανό να τα καταφέρουν χειρότερα στις εξετάσεις», σημειώνει η ανάλυση του Economist. Με άλλα λόγια, το παραδοσιακό σήμα στο οποίο βασίζονται οι δάσκαλοι - οι βαθμοί εργασίας στο σπίτι ως πληρεξούσιος για την κατανόηση - έχει σπάσει αθόρυβα. Οι μαθητές των οποίων οι εργασίες φαίνονται καλύτερα μπορεί να είναι αυτοί που καταλαβαίνουν λιγότερο την ύλη.

Εξωτερική ανάθεση, όχι μάθηση

Γιατί οι βαθμολογίες των εργασιών για το σπίτι αυξήθηκαν ενώ οι βαθμολογίες των εξετάσεων κατέρρευσαν; Τα δεδομένα δείχνουν αυτό που οι ερευνητές περιγράφουν ως εξωτερική ανάθεση: οι μαθητές παραδίδουν την ίδια την εργασία στο μοντέλο αντί να τη χρησιμοποιούν ως δάσκαλο. Τα στοιχεία από το έγγραφο που αναφέρθηκε στη δημόσια συζήτηση υποδηλώνουν ότι περίπου το 81 τοις εκατό των χρηστών τεχνητής νοημοσύνης στη μελέτη ανέθεταν αποτελεσματικά την εργασία τους στα γλωσσικά μοντέλα - και ότι το ποσοστό εξωτερικής ανάθεσης αυξανόταν όσο περισσότερο οι μαθητές είχαν εκτεθεί στα εργαλεία.

Το μοτίβο προέκυψε σταδιακά. Στην αρχή της μελέτης, ορισμένοι μαθητές που χρησιμοποιούν AI εξακολουθούσαν να ξοδεύουν περισσότερα από 65 λεπτά ανά εργασία - περίπου τον ίδιο χρόνο με τους μη χρήστες - και τα αποτελέσματα των εργασιών και των εξετάσεών τους έμοιαζαν παρόμοια με τους συνομηλίκους που απέφευγαν την τεχνητή νοημοσύνη. Οι ερευνητές συμπέραναν ότι αυτοί οι μαθητές δεν χρησιμοποιούσαν σχεδόν καθόλου τα μοντέλα. Ωστόσο, έξι μήνες μετά την υιοθεσία, κανένας μαθητής που εκτέθηκε σε τεχνητή νοημοσύνη δεν ξόδεψε περισσότερα από 65 λεπτά στην εργασία για το σπίτι. Αυτό που ξεκινά ως περιστασιακή βοήθεια φαίνεται να ολισθαίνει, ανάθεση ανά εργασία, σε πλήρη ανάθεση.

Αυτή η κλιμάκωση είναι που κάνει τα ευρήματα τόσο δύσκολο να απορριφθούν. Δεν είναι ότι η διδασκαλία της τεχνητής νοημοσύνης δεν μπορεί να λειτουργήσει – η τεχνολογία που χρησιμοποιείται σκόπιμα, ως συνεργάτης Socratic που εξηγεί και κάνει κουίζ, η τεχνολογία μπορεί αποδεδειγμένα να βοηθήσει τους ανθρώπους να μάθουν. Είναι ότι σε νατουραλιστικές συνθήκες, με εφήβους και καθυστερημένες εργασίες, ο δρόμος της ελάχιστης αντίστασης διατρέχει ευθεία την απάντηση.

Γιατί η Κίνα κάνει μια καθαρή δοκιμαστική περίπτωση

Το περιβάλλον της μελέτης ενισχύει τα συμπεράσματά της. Στην Κίνα, η εισαγωγή στο πανεπιστήμιο διενεργείται μέσω τυποποιημένων εξετάσεων υψηλού στοιχήματος και οι βαθμοί των εργασιών για το σπίτι δεν διογκώνουν τα αποτελέσματα των μαθημάτων με τον τρόπο που μπορούν αλλού. Οι εξετάσεις είναι εξωτερικά συγκριτικές και βάναυσες συνέπειες, γεγονός που καθιστά το χάσμα του 20 τοις εκατό πιο δύσκολο να εξηγηθεί με την εύκολη βαθμολόγηση ή την επιείκεια των δασκάλων. Η μελέτη απομόνωσε αποτελεσματικά το ενδιαφέρον των ερευνητών του καναλιού: η τεχνητή νοημοσύνη άλλαξε τον τρόπο με τον οποίο παρήχθησαν οι εργασίες για το σπίτι και οι εξετάσεις μέτρησαν αυτά που είχαν πραγματικά μάθει.

Η συζήτηση της εφημερίδας στο Hacker News, όπου συγκέντρωσε εκατοντάδες σημεία, τσακώθηκε με το προφανές επόμενο ερώτημα - εάν η τεχνητή νοημοσύνη είναι ένας «ενισχυτής» που κάνει τους επιμελείς μαθητές καλύτερους και τους αποδεσμευμένους μαθητές χειρότερους. Η ανάλυση της ίδιας της εφημερίδας ωθεί πίσω σε αυτό το παρήγορο πλαίσιο: τα δεδομένα χρήσης του χρόνου υποδηλώνουν ότι ακόμη και οι μαθητές που άρχισαν να χρησιμοποιούν τεχνητή νοημοσύνη υπεύθυνα κατευθύνθηκαν προς την ανάθεση αρμοδιοτήτων επί μήνες, υπονοώντας ότι ο κίνδυνος δεν περιορίζεται σε εκείνους που δεν σκόπευαν ποτέ να μάθουν εξαρχής.

Το δίλημμα πολιτικής για τα σχολεία

Τα ευρήματα προσγειώνονται σε μια άβολη στιγμή. Οι κυβερνήσεις και οι εταιρείες edtech αγωνίζονται να βάλουν καθηγητές τεχνητής νοημοσύνης μπροστά στους μαθητές, στοιχηματίζοντας ότι η εξατομικευμένη βοήθεια τεχνητής νοημοσύνης θα κλείσει τα κενά επιδόσεων. Αυτή η μελέτη προτείνει ότι το αντίθετο αποτέλεσμα είναι δυνατό σε κλίμακα: οι εργασίες για το σπίτι γίνονται χωρίς τριβές, οι βαθμοί βελτιώνονται και η μετρημένη μάθηση κάτω από αυτές διαβρώνεται ήσυχα - ανακαλύπτεται μόνο όταν είναι πολύ αργά για να διορθωθεί.

Για τα σχολεία, οι επιπτώσεις είναι συγκεκριμένες. Εάν η εργασία για το σπίτι δεν μπορεί πλέον να χρησιμεύσει ως απόδειξη μάθησης, η αξιολόγηση πρέπει να κινείται εντός της τάξης και να προστατεύεται. Εάν η χρήση της τεχνητής νοημοσύνης είναι αναπόφευκτη, οι εργασίες μπορεί να χρειαστεί να επανασχεδιαστούν γύρω από την τεχνολογία - προφορικές άμυνες, συνεδρίες προβλημάτων στην τάξη και βαθμολόγηση βάσει διαδικασίας που ανταμείβει τον αγώνα που η μελέτη βρήκε ότι οι μαθητές παρακάμπτουν. Και αν η εξωτερική ανάθεση εντατικοποιείται με την έκθεση, η καθυστέρηση δεν είναι ουδέτερη: κάθε μήνας αδόμητης πρόσβασης σε τεχνητή νοημοσύνη φαίνεται να εμβαθύνει τη συνήθεια.

Η συμβολή των ερευνητών είναι να αντικαταστήσουν τον ανέκδοτο πανικό της εποχής του ChatGPT-στην τάξη με διαμήκεις αριθμούς, και οι αριθμοί είναι σκοτεινοί. Μια βελτίωση της εργασίας κατά 18 τοις εκατό που αγοράστηκε με το κόστος μιας πτώσης 20 τοις εκατό στις εξετάσεις δεν είναι μαθησιακό κέρδος - είναι μια μεταφορά εργασίας από μαθητή σε μηχανή, με τόκους οφειλόμενους την ημέρα των εξετάσεων.

Μείνετε μπροστά από την τεχνητή νοημοσύνη

Για ερευνητικές ανακαλύψεις, αποτελέσματα πολιτικής και ειλικρινή ανάλυση της τεχνητής νοημοσύνης στην εκπαίδευση, προσθέστε σελιδοδείκτη AI Buzz Wire.

Διαβάστε περισσότερα νέα AI →