Λεπτομέρειες Thinking Machines Εκπαίδευση 4-bit από άκρο σε άκρο σε υλικό Nvidia GB300

Η Thinking Machines Lab, η ερευνητική εταιρεία που ιδρύθηκε από την πρώην διευθύντρια τεχνολογίας OpenAI, Mira Murati, δημοσίευσε μια λεπτομερή τεχνική εξήγηση για το πώς εκπαιδεύει μεγάλα μοντέλα γλώσσας σχεδόν εξ ολοκλήρου με ακρίβεια 4-bit - μια τεχνική που η εταιρεία λέει ότι ξεκλειδώνει σημαντική εξοικονόμηση ταχύτητας και μνήμης στο πιο πρόσφατο υλικό του κέντρου δεδομένων της Nvidia.

Η ανάρτηση ιστολογίου, με τίτλο "End-to-End 4-Bit Training" και δημοσιεύτηκε στον ιστότοπο της εταιρείας στις 13 Νοεμβρίου, περιγράφει τις αριθμητικές ανταλλαγές πίσω από την προπόνηση χαμηλής ακρίβειας και περιγράφει τον τρόπο με τον οποίο η ομάδα τις διαχειρίστηκε ενώ εκπαιδεύει το μοντέλο Inkling 2 Small. Για τους αναγνώστες που παρακολουθούν τις τελευταίες εξελίξεις της τεχνητής νοημοσύνης, η ανάρτηση προσφέρει μια σπάνια δημόσια ματιά στις αποφάσεις μηχανικής που καθορίζουν πόσο πραγματικά κοστίζει μια εκπαίδευση αιχμής.

Γιατί λιγότερα κομμάτια σημαίνει ταχύτερη προπόνηση

Η εκπαίδευση ενός μεγάλου γλωσσικού μοντέλου περιλαμβάνει τον υπολογισμό και την αποθήκευση τεράστιων ποσοτήτων αριθμών. Η χρήση λιγότερων bit για κάθε τιμή μειώνει τη χρήση της μνήμης και επιτρέπει στις GPU να εκτελούν αριθμητικά γρηγορότερα. Το κόστος είναι η ακρίβεια: λιγότερα bit σημαίνουν λιγότερους αναπαραστάσιμους αριθμούς, επομένως οι τιμές πρέπει να στρογγυλοποιούνται πιο επιθετικά.

Η εταιρεία επεξηγεί το πρόβλημα με ένα απλό παράδειγμα. Εάν μια μορφή μπορεί να αντιπροσωπεύει μόνο τους αριθμούς 3 και 4, η αποθήκευση του 3.2 απαιτεί στρογγυλοποίηση στο 3, εισάγοντας ένα σφάλμα κβαντισμού 0.2. Ένα μόνο σφάλμα στρογγυλοποίησης είναι ασήμαντο, αλλά κατά τη διάρκεια της εκπαίδευσης αυτά τα σφάλματα συσσωρεύονται σε επίπεδα και βήματα βελτιστοποίησης και μπορούν να επηρεάσουν την ίδια τη διαδικασία εκμάθησης.

"Αυτή είναι η κεντρική πρόκληση της προπόνησης χαμηλής ακρίβειας: πώς μπορούμε να επωφεληθούμε από την ταχύτερη αριθμητική χωρίς να εισάγουμε λάθη που παρεμβαίνουν στη μάθηση;" έγραψε η εταιρεία στην ανάρτηση.

Τρεις μορφές, μία διαδρομή προπόνησης

Αντί να δεσμεύεται σε ένα μόνο επίπεδο ακριβείας, το Thinking Machines χρησιμοποιεί τρεις αριθμητικές μορφές σε διαφορετικά στάδια εκπαίδευσης: BF16, MXFP8 και NVFP4. Κάθε μορφή έχει σταθερή ακρίβεια, αλλά η ταχύτητά της εξαρτάται από το υλικό που την εκτελεί.

Η εταιρεία εκπαιδεύεται στην πλατφόρμα Grace Blackwell Ultra της Nvidia, την GB300, η ​​οποία έχει σχεδιαστεί ειδικά για να επιταχύνει τους πολλαπλασιασμούς μήτρας στο NVFP4. Σύμφωνα με την ανάρτηση, το NVFP4 αποθηκεύει τιμές με 3,6 φορές λιγότερα bit από το BF16 ενώ εκτελείται έως και 6 φορές πιο γρήγορα σε συστήματα GB300. Σε όρους πρωτογενούς απόδοσης, η εταιρεία καταγράφει την απόδοση GB300 σε περίπου 15 PFLOPS στο NVFP4, 5 PFLOPS στο MXFP8 και 2,5 PFLOPS στο BF16.

Το πρόβλημά είναι ότι η επιθετική συμπίεση του NVFP4 εισάγει πολύ περισσότερα σφάλματα κβαντισμού από τις ευρύτερες μορφές. Αυτό το σφάλμα είναι αποδεκτό σε ορισμένα στάδια εκπαίδευσης και απαράδεκτο σε άλλα, γι' αυτό η εταιρεία αντιμετωπίζει κάθε στάδιο ξεχωριστά.

Διαφορετικά στάδια, διαφορετικοί κανόνες

Η ανάρτηση ιστολογίου χωρίζει την προπόνηση σε τέσσερα στάδια - τα περάσματα προς τα εμπρός και προς τα πίσω της προ-προπόνησης, το δειγματοληπτικό ενισχυτή εκμάθησης και τον εκπαιδευτή RL - και εκχωρεί στο καθένα διαφορετική ισορροπία προτεραιοτήτων μεταξύ ελαχιστοποίησης σφαλμάτων, ελαχιστοποίησης προκατάληψης, αύξησης της ταχύτητας και μείωσης της χρήσης μνήμης.

Η ταχύτητα έχει τη μεγαλύτερη σημασία στα βήματα μεγάλου όγκου: προ-εκπαίδευση, η οποία ξεπερνά τα τρισεκατομμύρια μάρκες, και δειγματοληψία RL, η οποία δημιουργεί μεγάλους όγκους κυκλωμάτων. Οι προς τα πίσω πάσες, ωστόσο, είναι μια ιδιαίτερη περίπτωση. Η ανάρτηση εξηγεί ότι ο μέσος όρος των περασμάτων προς τα πίσω σε πολλά διακριτικά σε μια παρτίδα, που μειώνει τον αντίκτυπο των τυχαία κατανεμημένων σφαλμάτων στρογγυλοποίησης — αλλά είναι πολύ ευαίσθητα στην κβαντική μεροληψία, τη συστηματική μετατόπιση που συμβαίνει όταν οι τιμές στρογγυλοποιούνται σταθερά προς μία κατεύθυνση. Σε αντίθεση με τον τυχαίο θόρυβο, αυτή η μεροληψία μπορεί να ενταθεί σε επίπεδα, δείγματα και βήματα εκπαίδευσης.

Η εταιρεία λέει ότι διαχειρίστηκε αυτές τις ανταλλαγές κατά την εκπαίδευση του Inkling 2 Small, του ανοιχτού βάρους μοντέλου μείγματος ειδικών που κυκλοφόρησε νωρίτερα αυτό το μήνα με άδεια Apache 2.0. Η ανάρτηση δεν ισχυρίζεται ότι κάθε μέρος της εκτέλεσης έτρεξε σε 4 bit. Μάλλον, περιγράφει μια στρατηγική από άκρο σε άκρο στην οποία η ακρίβεια κάθε στοιχείου επιλέγεται σκόπιμα αντί να κληρονομείται από προεπιλογή.

Γιατί έχει σημασία η προπόνηση χαμηλής ακρίβειας

Τα οικονομικά εδώ είναι ξεκάθαρα. Ο υπολογισμός είναι το κυρίαρχο κόστος στην ανάπτυξη μοντέλων αιχμής και οι πωλητές υλικού αγωνίζονται για να προσθέσουν επιτάχυνση χαμηλής ακρίβειας σε κάθε νέα γενιά τσιπ. Η Nvidia έχει τοποθετήσει την υποστήριξη NVFP4 στην πλατφόρμα Blackwell Ultra της ως βασικό χαρακτηριστικό και οι ανταγωνιστές επιταχυντές από την AMD, την Google και άλλες διαφημίζουν τις δικές τους μορφές μειωμένης ακρίβειας.

Εάν τα ερευνητικά εργαστήρια μπορούν με ασφάλεια να ωθήσουν περισσότερο από τη γραμμή εκπαίδευσης σε αριθμητική 4-bit, ο ίδιος προϋπολογισμός υλικού αγοράζει περισσότερα πειράματα, περισσότερα διακριτικά ή μεγαλύτερα μοντέλα. Αυτό είναι ένα σημαντικό πλεονέκτημα σε μια αγορά όπου η πρόσβαση σε επιταχυντές αιχμής είναι σπάνια και δαπανηρή. Συνδυάζεται επίσης με την ευρύτερη ώθηση της βιομηχανίας προς τις τεχνικές αποδοτικότητας, όπως η εξαγωγή συμπερασμάτων με επίγνωση της κβαντοποίησης και η κερδοσκοπική αποκωδικοποίηση, τα οποία αποσπούν περισσότερες δυνατότητες από σταθερό υλικό.

Η ανάρτηση είναι επίσης ένα μήνυμα για το πού οδεύει η ερευνητική κοινότητα. Η προπόνηση χαμηλής ακρίβειας εθεωρείτο από καιρό ως πολύ επικίνδυνη για οτιδήποτε πέρα ​​από συμπεράσματα, επειδή τα σφάλματα στρογγυλοποίησης θεωρήθηκε ότι καταστρέφουν τη μάθηση. Η προσεκτική σταδιακή ανάλυση —όπως αυτή που δημοσίευσε η Thinking Machines— είναι το πώς αυτή η υπόθεση δοκιμάζεται και, όπου είναι δυνατόν, ανατρέπεται.

Από την ανάρτηση ιστολογίου στο Open Weights

Αυτό που κάνει την αποκάλυψη αξιοσημείωτη είναι ότι δεν είναι καθαρά θεωρητική. Η εταιρεία συνέδεσε την τεχνική απευθείας με ένα μοντέλο που πραγματικά έχει αποστείλει. Το Inkling 2 Small κυκλοφόρησε με βάρη με δυνατότητα λήψης στις αρχές Νοεμβρίου και η νέα ανάρτηση εξηγεί την αριθμητική στρατηγική πίσω από την εκπαίδευσή του. Οι επαγγελματίες που κατεβάζουν το μοντέλο, στην πραγματικότητα, αποκτούν ένα τεχνούργημα της μεθοδολογίας χαμηλής ακρίβειας που περιγράφει η εταιρεία.

Η Thinking Machines ήταν ασυνήθιστα ανοιχτή για ένα εργαστήριο συνοριακής κλίμακας, δημοσιεύοντας τεχνικές αναρτήσεις ιστολογίου μαζί με τις εκδόσεις μοντέλων της. Αυτή η διαφάνεια δίνει στους εξωτερικούς ερευνητές κάτι σπάνιο: μια τεκμηριωμένη, αναπαραγώγιμη περιγραφή του τρόπου με τον οποίο ένα σύγχρονο εκπαιδευτικό πρόγραμμα χειρίζεται τις ακατάστατες αριθμητικές πραγματικότητες της αριθμητικής μικτής ακρίβειας.

Για τον ευρύτερο κλάδο, το μήνυμα είναι ότι η εκπαίδευση 4-bit έχει περάσει από την ερευνητική περιέργεια στην τεχνική παραγωγής. Καθώς περισσότερα εργαστήρια υιοθετούν παρόμοιες στρατηγικές, το χάσμα μεταξύ της θεωρητικής κορυφαίας απόδοσης υλικού και της πραγματοποιημένης απόδοσης εκπαίδευσης θα μειωθεί — και το κόστος των ικανών μοντέλων εκπαίδευσης θα συνεχίσει να μειώνεται.

Μείνετε μπροστά από την τεχνητή νοημοσύνη

Οι τεχνικές πίσω από τα συνοριακά μοντέλα εξελίσσονται κάθε εβδομάδα. Ακολουθήστε το AI Buzz Wire για σαφείς, πηγές αναφοράς σχετικά με την έρευνα που διαμορφώνει το πεδίο.

Διαβάστε περισσότερα νέα AI →