Ερευνητές εκπαίδευσαν ένα LLM μόνο σε υλικό πέμπτης τάξης — και βρήκαν το ανώτατο όριο των δυνατοτήτων του

Τι συμβαίνει όταν ένα μεγάλο γλωσσικό μοντέλο δεν βλέπει ποτέ υλικό πέρα ​​από την πέμπτη δημοτικού; Μια ομάδα επτά ερευνητών απάντησε κυριολεκτικά σε αυτή την ερώτηση: κατασκεύασαν το LittleLearner, ένα LLM 5 δισεκατομμυρίων παραμέτρων που εκπαιδεύτηκε από την αρχή σε ένα σώμα φιλτραρισμένο στο πρόγραμμα σπουδών του δημοτικού σχολείου των Η.Π.Α. και στη συνέχεια δοκίμασαν αν οτιδήποτε - περισσότερες παράμετροι, περισσότερες μετά την εκπαίδευση, πιο έξυπνα δεδομένα - θα μπορούσε να ωθήσει στο παρελθόν τα δεδομένα του. Η απάντηση, αναφέρουν, είναι όχι.

Η εργασία, "LittleLearner: Language Models Under Pedagogically-Controlled Knowledge Exposure", υποβλήθηκε στο arXiv στις 13 Αυγούστου από τους Fanfei Li, Jana Zeller, Manuel Prada-Corral, Thaddäus Wiedemer, Prasanna Mayilvahanan, Ryan Cotterell και Wieland Brendel. Μέχρι τις 16 Αυγούστου, ήταν το αντικείμενο μιας γρήγορης συζήτησης για το Hacker News με περισσότερες από 200 θετικές ψήφους, καθώς ερευνητές και επαγγελματίες συζήτησαν τι σημαίνει για την αγαπημένη υπόθεση του κλάδου - ότι η μετα-εκπαίδευση μπορεί να δημιουργήσει ικανότητες από τον αέρα. Είναι ακριβώς το είδος του προσεκτικού, αντίθετου πειράματος που παρακολουθούμε στην [ερευνητική κάλυψη AI] (https://aibuzzwire.news).

Ένα Sandbox με ένα όριο γνώσης

Τα σύγχρονα LLM εκπαιδεύονται ουσιαστικά σε όλα, γεγονός που καθιστά σχεδόν αδύνατο να πει κανείς εάν μια αποδεδειγμένη δεξιότητα διδάχτηκε πραγματικά κατά τη διάρκεια της εκπαίδευσης ή απλώς προκλήθηκε από τη σωστή προτροπή. Η λύση της ομάδας ήταν να περιορίσει την ίδια την κατανομή της προπόνησης. Ξεκινώντας από το FineWeb-Edu, απόσταξαν ένα σώμα 88 δισεκατομμυρίων συμβολαίων — με το όνομα LittleCurriculum — μέσω ενός αγωγού φιλτραρίσματος πέντε σταδίων που ευθυγραμμίστηκε με τα πρότυπα του κοινού πυρήνα για το νηπιαγωγείο έως την 5η τάξη. Οι έννοιες, τα γεγονότα και το λεξιλόγιο που διδάσκονταν πάνω από την 5η τάξη εξαιρέθηκαν ρητά.

Σε αυτό το σώμα εκπαίδευσαν μοντέλα σε τρεις κλίμακες (παραμέτρους 0,6B, 1,3B και 5B) από την αρχή, το καθένα αποστέλλεται μαζί με ένα αντίστοιχο μοντέλο ελέγχου εκπαιδευμένο σε αφιλτράριστα δεδομένα με την ίδια αρχιτεκτονική και τον ίδιο προϋπολογισμό. Το αποτέλεσμα είναι ένα μοντέλο που είναι αρκετά άπταιστα για αξιολόγηση ανοιχτού τύπου - μπορείτε να συνομιλήσετε με μια φιλοξενούμενη έκδοση 5B σε ένα πρόγραμμα περιήγησης - αλλά έχει ένα ευκρινές, ερμηνεύσιμο όριο γνώσης: αν δεν ήταν στο στοιχειώδες πρόγραμμα σπουδών, το μοντέλο δεν το είδε ποτέ.

Εκκίνηση, όχι απόκτηση

Το βασικό εύρημα είναι αμβλύ: η τυπική εργαλειοθήκη για να κάνει τα μοντέλα πιο έξυπνα ενίσχυσε αυτό που γνώριζε ήδη ο LittleLearner, αλλά κανένα από αυτά δεν βελτίωσε ουσιαστικά την απόδοση εκτός πεδίου εφαρμογής.

Η κλιμάκωση βελτίωσε την ακρίβεια εντός των ελεγχόμενων γνώσεων του μοντέλου και επεκτάθηκε ελαφρώς κατά μήκος της ίδιας μαθησιακής τροχιάς, αλλά έκανε ελάχιστα για προβλήματα που απαιτούσαν δυνατότητες πέρα ​​από το υλικό του βαθμού 5. Η μετεκπαίδευση με το GRPO - τη μέθοδο ενίσχυσης μάθησης πίσω από ένα μεγάλο μέρος της έκρηξης των μοντέλων συλλογιστικής - ενίσχυσε σημαντικά τις ικανότητες του K-5, αλλά απέτυχε να ανακτήσει τις δυνατότητες πέρα ​​από το K-5, ακόμη και όταν εκπαιδεύτηκε με δεδομένα εκτός πεδίου εφαρμογής. Και η in-context learning, η καθημερινή μαγεία της πλήρωσης της γνώσης σε μια προτροπή, βοήθησε το μοντέλο να χρησιμοποιήσει ό,τι είχε, αλλά δεν ξεκλείδωσε νέους συλλογισμούς πέρα ​​από τα όρια.

Το φίλτρο προεκπαίδευσης, με λίγα λόγια, θέτει το ανώτατο όριο αποτελεσματικής ικανότητας. Οι συγγραφείς πλαισιώνουν το αποτέλεσμα ως αποδεικτικό στοιχείο για μια διάκριση που το πεδίο θολώνει συνεχώς: μετά την εκπαίδευση και την παροχή προτροπής. αποκτά η προκατάρτιση.

Καθαρισμός στοιχείων ελέγχου, δημόσια σημεία ελέγχου

Η μεθοδολογία είναι αυτή που δίνει στους ισχυρισμούς τη δύναμή τους. Επειδή κάθε μοντέλο LittleLearner αποστέλλεται με ένα ταιριαστό αφιλτράριστο στοιχείο ελέγχου — ίδια αρχιτεκτονική, ίδιο πλήθος διακριτικών, ίδια συνταγή εκπαίδευσης — η ομάδα μπορεί να αποδώσει οποιαδήποτε διαφορά συμπεριφοράς μόνο στο φίλτρο του προγράμματος σπουδών. Οι ειδικοί στα μαθηματικά που έχουν μετεκπαιδευτεί στο σημείο αναφοράς MathCAMPS επιτρέπουν στους ερευνητές να βαθμολογήσουν την απόδοση ανά σχολική τάξη, εντοπίζοντας ακριβώς πού τελειώνει η ικανότητα εντός πεδίου. Και σε αντίθεση με τα περισσότερα συνοριακά έγγραφα, τα πάντα είναι δημόσια: το σώμα, η βάση και τα μετεκπαιδευμένα σημεία ελέγχου και στις τρεις κλίμακες στο HuggingFace και μια φιλοξενούμενη επίδειξη συνομιλίας, ώστε οι ανεξάρτητες ομάδες να μπορούν να διερευνήσουν οι ίδιες τα όρια.

Αυτή η διαφάνεια τροφοδοτεί τη συζήτηση των Hacker News. Οι σχολιαστές δοκίμασαν τη συμπεριφορά του φιλοξενούμενου μοντέλου στο όριο της γνώσης του —είτε απέχει, εικάζεται ή έχει ψευδαισθήσεις όταν περάσει την 5η τάξη— και διαφωνούν για τις συνέπειες: ορισμένοι διαβάζουν τα αποτελέσματα ως κακά νέα για τη διαφημιστική εκστρατεία συλλογισμού, άλλοι επισημαίνουν ότι τα δεδομένα προεκπαίδευσης κλίμακας ιστού περιέχουν πολύ περισσότερα από τις έννοιες του στοιχειώδους σχολείου. Οι ίδιοι οι συγγραφείς της εργασίας είναι προσεκτικοί σε αυτό το σημείο: ο ισχυρισμός τους αφορά το τι δεν θα μπορούσαν να κάνουν οι τυπικές παρεμβάσεις για ένα μοντέλο με γνωστή, ελεγχόμενη εκπαίδευση, όχι μια άμεση πρόβλεψη για τα συνοριακά εργαστήρια.

Γιατί έχει σημασία πέρα από την τάξη

Το πείραμα μιλάει απευθείας για ζωντανές συζητήσεις στο AI. Τα εργαστήρια τεχνητής νοημοσύνης ξοδεύουν δισεκατομμύρια σε σχήματα μετά την εκπαίδευση που βασίζονται στην ιδέα ότι η ενισχυτική μάθηση μπορεί να ωθήσει ένα βασικό μοντέλο πολύ πέρα ​​από τις ακατέργαστες ικανότητές του. Ο LittleLearner προτείνει ότι αυτά τα κέρδη μπορεί να ζουν σε μεγάλο βαθμό - και να περιορίζονται από - αυτά που υποστηρίζουν τα δεδομένα προεκπαίδευσης. Αυτό είναι ένα επιχείρημα για να νοιαζόμαστε πολύ περισσότερο για την επιμέλεια δεδομένων και για να αντιμετωπίζουμε με σκεπτικισμό τους ισχυρισμούς περί «αναδυόμενων» ικανοτήτων μετά την εκπαίδευση.

Η έκδοση είναι επίσης ένα γνήσιο ερευνητικό όργανο, όχι απλώς ένα έγγραφο. Η ομάδα κυκλοφόρησε ανοιχτά το LittleCurriculum και όλα τα σημεία ελέγχου μοντέλων και η σελίδα του έργου σκιαγραφεί τα πειράματα που επιτρέπει το sandbox: αν το RL μπορεί πραγματικά να δημιουργήσει ικανότητα αντί να το ανταμείψει, πόσο αποτελεσματικά ως δείγμα μαθαίνει ένα μοντέλο μια πραγματικά νέα έννοια, όπως αρνητικούς αριθμούς όταν παρουσιάζεται και αν οι μηχανές και τα παιδιά χρειάζονται παρόμοια έκθεση — ή κάνουν παρόμοια λάθη.

Για έναν τομέα που σπάνια έχει καθαρούς ελέγχους, ένα μοντέλο με ρητά καθορισμένη εκπαίδευση είναι ένα σπάνιο δώρο. Και για όλους τους άλλους, είναι μια υπενθύμιση που αξίζει να καρφωθεί πάνω από το γραφείο: κανένα μοντέλο — ή άτομο — δεν μπορεί να αιτιολογήσει την έξοδο από αυτό που δεν του διδάχτηκαν ποτέ.

Μείνετε μπροστά από την τεχνητή νοημοσύνη

Κάλυψη βαθμού από ομοτίμους της έρευνας που αναδιαμορφώνει την τεχνητή νοημοσύνη, που παρέχεται καθημερινά. Προσθέστε σελιδοδείκτη στο κέντρο μας για τις πιο πρόσφατες εξελίξεις AI.

Διαβάστε περισσότερα νέα AI →