Ένα από τα πιο φιλόδοξα τεστ του πραγματικού κόσμου για τη διδασκαλία της τεχνητής νοημοσύνης έδωσε μια απογοητευτική ετυμηγορία. Μια διετής τυχαιοποιημένη δοκιμή του καθηγητή Khanmigo της Ακαδημίας Khan σε 18 γυμνάσια του Τενεσί διαπίστωσε ότι η πρόσβαση στον δάσκαλο τεχνητής νοημοσύνης παρήγαγε μετρήσιμα αλλά μέτρια κέρδη στα μαθηματικά και ότι τα αποτελέσματα συγκρατήθηκαν από ένα πρόβλημα που σπάνια διαφημίζουν οι τεχνολόγοι: οι περισσότεροι μαθητές μετά βίας το χρησιμοποιούσαν. Η μελέτη, με τίτλο "One Click Away: AI Tutoring with Khanmigo in a Two-Year School Experiment", διεξήχθη από τους Philip Oreopoulos και Nina Low και δημοσιεύτηκε μέσω του Ινστιτούτου Annenberg στη σειρά EdWorkingPapers του Πανεπιστημίου Brown.

Τα ευρήματα έχουν σημασία πολύ πέρα ​​από ένα μόνο προϊόν, επειδή ο Khanmigo είναι ένας από τους πιο ευρέως διαδεδομένους δασκάλους τεχνητής νοημοσύνης στα αμερικανικά σχολεία και η μελέτη είναι μεταξύ των πρώτων μεγάλης κλίμακας πειραματικές αξιολογήσεις της παραγωγικής διδασκαλίας τεχνητής νοημοσύνης σε κανονικές συνθήκες τάξης. Για όποιον παρακολουθεί [ερευνητικές ειδήσεις AI] (https://aibuzzwire.news) και τη σύγκρουσή τους με ινστιτούτα του πραγματικού κόσμου, η εφημερίδα είναι ένα σπάνιο κομμάτι σκληρής απόδειξης σε μια συζήτηση που κυριαρχείται από ισχυρισμούς μάρκετινγκ και βρέθηκε στην πρώτη σελίδα του Hacker News αυτήν την εβδομάδα καθώς εκπαιδευτικοί και τεχνολόγοι ανέλυσαν τις επιπτώσεις της.

Τι βρήκε η μελέτη

Η δοκιμή ανέθεσε τυχαία σε μαθητές 18 γυμνασίων του Τενεσί να χρησιμοποιήσουν την Ακαδημία Khan με τον δάσκαλό της στην τεχνητή νοημοσύνη Khanmigo κατά τη διάρκεια των υπαρχουσών καθημερινών διορθωτικών συνεδριών μαθηματικών. Το σημαντικότερο ήταν ότι ο δάσκαλος είχε διαμορφωθεί για να προπονεί αντί να δίνει απαντήσεις, αντανακλώντας τη δηλωμένη παιδαγωγική της Ακαδημίας Khan. Το πείραμα διήρκεσε δύο σχολικά χρόνια, καθιστώντας το ένα από τα μεγαλύτερα πειράματα πεδίου σε μαθήματα τεχνητής νοημοσύνης μέχρι σήμερα.

Τα αποτελέσματα της επικεφαλίδας: η ανάθεση στη συνθήκη διδασκαλίας τεχνητής νοημοσύνης αύξησε το επίτευγμα των μαθηματικών κατά 1,3 εθνικές βαθμίδες εκατοστημόριου ανά τρίμηνο, τις οποίες οι συγγραφείς υπολογίζουν ως περίπου 0,06 έως 0,08 τυπικές αποκλίσεις κατά τη διάρκεια ενός σχολικού έτους. Το τεκμαρτό αποτέλεσμα ενός πλήρους έτους ενεργού συμμετοχής φτάνει τις 0,14 τυπικές αποκλίσεις. Αυτά είναι πραγματικά, στατιστικά ανιχνεύσιμα κέρδη, και για μια παρέμβαση λογισμικού χαμηλού κόστους είναι αξιοσέβαστα.

Αλλά η σύγκριση που ξεφουσκώνει τη διαφημιστική εκστρατεία είναι η εξής: τα κέρδη μοιάζουν με αυτά από την πρακτική της Ακαδημίας Khan χωρίς τη βοήθεια AI. Οι μαθητές που χρησιμοποίησαν τα υπάρχοντα εργαλεία εξάσκησης της πλατφόρμας, χωρίς συνδεδεμένο δάσκαλο τεχνητής νοημοσύνης, φαίνεται να τα κατάφεραν όπως και οι μαθητές που είχαν πρόσβαση στο Khanmigo.

Το πρόβλημα εμπλοκής στα δεδομένα

Το πιο αποκαλυπτικό τμήμα της εφημερίδας είναι η ιατροδικαστική περιγραφή της χρήσης της. Επιφανειακά, η υιοθεσία φαίνεται ισχυρή: το 96 τοις εκατό των μαθητών δοκίμασαν το Khanmigo τουλάχιστον μία φορά. Από κάτω, ο αρραβώνας καταρρέει. Ο διάμεσος μαθητής έστειλε μήνυμα στον δάσκαλο μόνο το ένα τρίτο περίπου των ημερών που εξασκούνταν στα μαθηματικά και μόνο στο 17 τοις εκατό των συνεδριών άσκησης στις οποίες έκανε λάθος. Όταν οι μαθητές έστειλαν μήνυμα στον δάσκαλο, οι συγγραφείς διαπίστωσαν ότι τα μηνύματα ήταν ως επί το πλείστον απλές απαντήσεις ή κλικ σε προτεινόμενα μηνύματα, αντί για ουσιαστικούς μαθηματικούς διαλόγους.

Με άλλα λόγια, ο δάσκαλος διαμορφώθηκε ώστε να προπονεί τους μαθητές Socratically μέσω λαθών, αλλά οι μαθητές κυρίως απέφευγαν εντελώς την προπονητική συνομιλία. Οι συγγραφείς καταλήγουν στο συμπέρασμα ότι ο δεσμευτικός περιορισμός φαίνεται να είναι η δέσμευση: η υλοποίηση της υπόσχεσης της διδασκαλίας τεχνητής νοημοσύνης θα απαιτήσει να πειστούν οι μαθητές να το χρησιμοποιήσουν, όχι απλώς να τους δοθεί πρόσβαση.

Γιατί έχει σημασία για τα σχολεία που αγοράζουν AI

Οι περιοχές σε όλες τις Ηνωμένες Πολιτείες βρίσκονται υπό πίεση να υιοθετήσουν εργαλεία τεχνητής νοημοσύνης και η διδασκαλία είναι η κορυφαία περίπτωση χρήσης σχεδόν σε κάθε γήπεδο. Το Generative AI έχει προωθηθεί ως η τεχνολογία που θα μπορούσε τελικά να προσφέρει αυτό που οι ερευνητές της εκπαίδευσης αποκαλούν όνειρο δύο σίγμα: ένας προσωπικός δάσκαλος για κάθε μαθητή. Το πλαίσιο δύο σίγμα του Bloom προέρχεται από παλαιότερη έρευνα για την ανθρώπινη διδασκαλία και είναι ακριβώς η υπόσχεση ενάντια στην οποία οι εκπαιδευτές τεχνητής νοημοσύνης διαφημίζονται.

Αυτή η μελέτη υποδηλώνει ότι το σημείο συμφόρησης δεν είναι η ποιότητα του μοντέλου ή η πρόσβαση. Κάθε μαθητής στην ομάδα θεραπείας είχε έναν υπερσύγχρονο καθηγητή LLM ένα κλικ μακριά, χωρίς κόστος, μέσα στο καθημερινό μπλοκ μαθηματικών. Ο περιορισμός ήταν εάν οι έφηβοι θα συνέχιζαν οικειοθελώς έναν διάλογο για τη διδασκαλία, μέρα με τη μέρα, σε μια ενισχυτική τάξη. Η ανθρώπινη διδασκαλία λειτουργεί εν μέρει επειδή ένα άτομο παρατηρεί πότε αποδεσμεύεστε. Το λογισμικό, μέχρι στιγμής, δεν αναπαράγει αξιόπιστα αυτό το τράβηγμα.

Προειδοποιήσεις που αξίζει να έχετε κατά νου

Η εργασία είναι ένα EdWorking Paper, που διανέμεται μέσω του Ινστιτούτου Annenberg του Πανεπιστημίου Μπράουν και οι αναγνώστες θα πρέπει να το αντιμετωπίζουν ως έρευνα εργασίας και όχι ως ευρήματα με κριτές από ομοτίμους. Η μελέτη καλύπτει τα διορθωτικά μαθηματικά του γυμνασίου σε μια κατάσταση, επομένως η γενίκευση σε άλλα μαθήματα, επίπεδα βαθμών ή μοντέλα εφαρμογής είναι εικαστική. Το πλαίσιο των συγγραφέων μετριέται: αναφέρουν τι συνέβη όταν ένας ευρέως διαθέσιμος δάσκαλος τεχνητής νοημοσύνης τοποθετήθηκε σε υπάρχουσες συνεδρίες πρακτικής, όχι τι μπορεί να συμβεί κάτω από διαφορετικά προγράμματα σπουδών ή ισχυρότερα κίνητρα συμμετοχής.

Αξίζει επίσης να σημειωθεί τι δεν λέει η μελέτη. Δεν διαπιστώνει ότι η διδασκαλία της τεχνητής νοημοσύνης είναι άχρηστη. ένα αποτέλεσμα τυπικής απόκλισης 0,14 από ένα πλήρες έτος ενεργού συμμετοχής θα ήταν σημαντικό εάν η δέσμευση μπορούσε να διατηρηθεί. Το εύρημα είναι πιο κοντά σε αυτό: η τεχνολογία λειτούργησε καθώς και τα εργαλεία πρακτικής που δεν ήταν τεχνητή νοημοσύνη στα οποία ήταν βιδωμένα, επειδή οι μαθητές δεν χρησιμοποιούσαν την τεχνητή νοημοσύνη διαφορετικά από τα κουμπιά που ήδη αγνοούσαν.

Το Takeaway

Ο τομέας της τεχνολογίας της εκπαίδευσης έχει αφιερώσει δύο χρόνια υποσχόμενος ότι οι παραγωγοί καθηγητές τεχνητής νοημοσύνης θα μεταμορφώσουν τις τάξεις. Αυτή η δοκιμή, μια από τις πρώτες που ακολούθησε πραγματικούς μαθητές για δύο ολόκληρα χρόνια, υποδηλώνει ότι η μεταμόρφωση περιορίζεται από ένα αρχαίο πρόβλημα: να κάνει τα παιδιά να θέλουν να κάνουν τη δουλειά. Για τους ηγέτες των σχολείων, το μάθημα είναι να ζητούν δεδομένα αφοσίωσης, όχι μόνο μετρήσεις αδειών, από προμηθευτές τεχνητής νοημοσύνης. Για τον κλάδο της τεχνητής νοημοσύνης, είναι μια υπενθύμιση ότι τα πιο δύσκολα προβλήματα στην ανάπτυξη της τεχνητής νοημοσύνης σπάνια αφορούν το μοντέλο.

Συνεχίστε με την Έρευνα AI

Πειράματα πεδίου όπως αυτό μειώνουν τον κύκλο της διαφημιστικής εκστρατείας γρηγορότερα από οποιοδήποτε σημείο αναφοράς. Για συνεχή κάλυψη της έρευνας της τεχνητής νοημοσύνης με συνέπειες στον πραγματικό κόσμο, ακολουθήστε τις ειδήσεις της τεχνητής νοημοσύνης στο aibuzzwire.news.

Διαβάστε περισσότερα νέα AI →