Η Cerebras δημοσίευσε μια λεπτομερή μηχανική ανάλυση του τρόπου με τον οποίο αναπτύσσει μοντέλα τεχνητής νοημοσύνης τρισεκατομμυρίων παραμέτρων στο υλικό της σε κλίμακα wafer - μια σπάνια δημόσια ματιά στα υδραυλικά που κρύβονται πίσω από το εξαιρετικά γρήγορο συμπέρασμα για μοντέλα των οποίων τα βάρη απαιτούν μόνο terabytes μνήμης.
Η ανάρτηση, που γράφτηκε από τη Sarah Chieng και δημοσιεύτηκε στο ιστολόγιο Cerebras στις 22 Οκτωβρίου 2026, τράβηξε εκ νέου την προσοχή το Σαββατοκύριακο αφού έφτασε στην πρώτη σελίδα του Hacker News. Το κεντρικό ερώτημά του είναι απλό: μια γκοφρέτα Cerebras WSE-3T έχει 44 GB μνήμης στο chip, αλλά τα μοντέλα συνόρων τρισεκατομμυρίων παραμέτρων χρειάζονται terabyte μόνο για να αποθηκεύσουν τα βάρη τους. Πώς γεφυρώνετε αυτό το χάσμα; For more context on this story, see our ongoing AI news.
Γιατί τα μοντέλα τρισεκατομμυρίων παραμέτρων σπάζουν το κανονικό υλικό
Η απάντηση ξεκινά με μια άβολη αλήθεια για τους συμβατικούς επιταχυντές: με πλήρη ακρίβεια, ένα μοντέλο με τρία τρισεκατομμύρια παραμέτρους δεν μπορεί να χωρέσει στη μνήμη κανενός μεμονωμένου τσιπ στην αγορά. Τα συμπλέγματα GPU το λύνουν αυτό διαχωρίζοντας μοντέλα σε πολλές συσκευές και στέλνοντας συνεχώς βάρη και ενεργοποιήσεις μέσω διασυνδέσεων υψηλής ταχύτητας - ένα μεγάλο μέρος του γιατί η εξαγωγή συμπερασμάτων σε τεράστια μοντέλα είναι ακριβή και αργή.
Το Cerebras ακολουθεί μια διαφορετική προσέγγιση. Τα τσιπ κλίμακας γκοφρέτας συσκευάζουν τεράστιες ποσότητες on-chip SRAM — 44 GB ανά γκοφρέτα WSE-3T — που σημαίνει ότι ο στόχος της εταιρείας είναι να διατηρήσει τα βάρη στο chip, όπου η πρόσβαση στη μνήμη είναι δραματικά ταχύτερη από οποιαδήποτε σύνδεση εκτός τσιπ.
Η εταιρεία λέει ότι αυτή η αρχιτεκτονική της επιτρέπει να τρέχει μοντέλα πολλών τρισεκατομμυρίων παραμέτρων με 1.000 έως 2.000+ tokens ανά δευτερόλεπτο.
Kimi K3 ως το παράδειγμα εργασίας
Για να γίνει η εξήγηση συγκεκριμένη, η Cerebras προχωρά στην ανάπτυξη του Kimi K3, ενός μοντέλου ανοιχτού κώδικα με περίπου 3 τρισεκατομμύρια παραμέτρους. Το μοντέλο χρησιμοποιεί μια υβριδική αρχιτεκτονική: 69 στρώματα γραμμικής προσοχής και 24 πυκνά στρώματα.
Παραθέτοντας αποτελέσματα αναφοράς, το ιστολόγιο λέει ότι το Kimi K3 σημειώνει 88,3% στο Terminal-Bench 2.1 — ακριβώς πίσω από το 88,8% της GPT-5.6 Sol — και 91,2% στο BrowseComp, μπροστά από το 90,4% της GPT-5.6 Sol. Αυτοί οι αριθμοί, υποστηρίζει ο Cerebras, δείχνουν κωδικοποίηση και αντιπροσωπευτική ικανότητα σε επίπεδο συνόρων σε ένα μοντέλο ανοιχτών βαρών, γεγονός που το καθιστά έναν καλό στόχο επίδειξης.
Το παράδειγμα εργασίας προϋποθέτει ένα μέσο μέγεθος αιτήματος 256.000 τόνων, κβαντισμό βάρους 4 bit (που ταιριάζει με την υλοποίηση Hugging Face) και μια κρυφή μνήμη KV 8 bit.
Κόψτε ένα μοντέλο 3Τ σε κομμάτια 44 GB
Η αριθμητική είναι το πιο διαφωτιστικό μέρος της ανάρτησης. Με 4 bit ανά παράμετρο, οι 3 τρισεκατομμύρια παράμετροι του Kimi K3 ανέρχονται σε περίπου 1,5 TB ακατέργαστων βαρών. Χωρισμένο στα 93 επίπεδα του μοντέλου, κάθε επίπεδο χρειάζεται περίπου 16 GB.
Αυτό ταιριάζει απόλυτα στα 44 GB που είναι διαθέσιμα σε κάθε γκοφρέτα, αλλά οι δύο τύποι στρώσεων χωρίζονται διαφορετικά:
- Τα πυκνά επίπεδα χρειάζονται χώρο για μια κρυφή μνήμη KV, επειδή η πλήρης προσοχή αποθηκεύει κλειδιά και τιμές για κάθε διακριτικό σε κάθε ενεργό αίτημα. Το Cerebras τοποθετεί ένα πυκνό στρώμα ανά γκοφρέτα, αφήνοντας το υπόλοιπο SRAM για αυτήν την κρυφή μνήμη.
- Τα επίπεδα γραμμικής προσοχής διατηρούν μόνο μια μικρή, σταθερού μεγέθους κατάσταση ανά αίτημα, ανεξάρτητα από το μήκος περιβάλλοντος, επομένως δεν απαιτείται κρυφή μνήμη KV. Αυτό αφήνει χώρο για δύο γραμμικά στρώματα ανά γκοφρέτα.
Με 69 γραμμικά στρώματα και 24 πυκνά στρώματα, το μοντέλο αντιστοιχίζεται σε 35 γκοφρέτες για γραμμικά στρώματα συν 24 γκοφρέτες για πυκνά στρώματα — 59 γκοφρέτες συνολικά για ένα μόνο αντίγραφο του Kimi K3.
Τα βάρη δεν μετακινούνται ποτέ — Κάνουν μόνο οι ενεργοποιήσεις
Η δεύτερη βασική ιδέα είναι τι κάνει - και δεν στέλνει - το Cerebra ανάμεσα σε αυτές τις 59 γκοφρέτες. Η εταιρεία εκτελεί μοντέλα ως διοχέτευση: αφού ο μεταγλωττιστής χαρτογραφήσει τα επίπεδα σε περιοχές πλακιδίων, ο χρόνος εκτέλεσης γραφίζει τη διαδρομή που ακολουθούν τα διακριτικά διαδρομής από το wafer σε ένα wafer.
Είναι πολύ σημαντικό, επειδή κάθε στρώμα εφαρμόζει εξ ολοκλήρου σε μία γκοφρέτα (ή δύο, για γραμμικά στρώματα), τα βάρη του μοντέλου δεν χρειάζεται ποτέ να μετακινηθούν. Τα στρώματα δεν χωρίζονται σε γκοφρέτες. Μόνο οι ενεργοποιήσεις περνούν από το ένα wafer στο άλλο, μεταφέρονται μέσω RDMA σε τυπικό Ethernet με χρόνο μετάβασης περίπου 2 μικροδευτερόλεπτα.
Αυτό το σχεδιαστικό σημείο εξηγεί πολλά για τους ισχυρισμούς απόδοσης της Cerebras. Στις αναπτύξεις GPU, η μετακίνηση βαρών ή η κατάσταση κοινής χρήσης μεταξύ συσκευών είναι συχνά το σημείο συμφόρησης. στο υλικό Cerebras, η διασύνδεση φέρει μόνο τους πολύ μικρότερους τανυστές ενεργοποίησης.
Γιατί έχει σημασία για την αγορά συμπερασμάτων
Η ανάρτηση είναι εν μέρει μια τεχνική επεξήγηση και εν μέρει ένα επιχείρημα: ότι το SRAM σε κλίμακα wafer είναι ένας αξιόπιστος τρόπος εξυπηρέτησης των ολοένα και πιο τεράστιων μοντέλων που στέλνει η βιομηχανία. Καθώς οι εκδόσεις ανοιχτού βάρους όπως το Kimi K3 πλησιάζουν τα τρία τρισεκατομμύρια παραμέτρους, το τείχος μνήμης γίνεται ο καθοριστικός περιορισμός των οικονομικών συμπερασμάτων και οι προσεγγίσεις που διατηρούν τα βάρη ακίνητα έχουν δομικό πλεονέκτημα στην ταχύτητα ανά διακριτικό.
Υπογραμμίζει επίσης πόσο εξαρτάται από την κβαντοποίηση. Ολόκληρη η ανάπτυξη εξαρτάται από τα βάρη 4-bit και μια κρυφή μνήμη KV 8-bit — τεχνικές που μειώνουν τα αποτυπώματα της μνήμης κατά περίπου 75% ή περισσότερο σε σύγκριση με τις βασικές γραμμές 16-bit, διατηρώντας παράλληλα την απόδοση του σημείου αναφοράς. Χωρίς αυτά, ούτε 59 γκοφρέτες δεν θα ήταν αρκετές.
Οι αντισταθμίσεις είναι επίσης πραγματικές. Ένα σύστημα 59-wafer είναι ένα μεγάλο, εξειδικευμένο μηχάνημα και η προσέγγιση αγωγών προϋποθέτει ότι τα αιτήματα μπορούν να ομαδοποιηθούν σε όλο το σύστημα αποτελεσματικά. Το ιστολόγιο της Cerebras αντιμετωπίζει τη συγχρονικότητα ως ένα από τα βασικά του θέματα, σημειώνοντας ότι η αρχιτεκτονική έχει σχεδιαστεί για να χειρίζεται μεγάλο αριθμό ταυτόχρονων αιτημάτων.
Προς το παρόν, η ανάρτηση αποτελεί μια από τις πιο ξεκάθαρες δημόσιες εξηγήσεις για το τι πραγματικά χρειάζεται για να εξυπηρετήσει ένα ανοιχτό μοντέλο συνοριακής κλίμακας σε τετραψήφιες ταχύτητες συμβολικών — και ένα σημάδι ότι η συζήτηση για το υλικό συμπερασμάτων μετατοπίζεται από τα τσιπ σε συστήματα πλήρους πλακέτας.
Πηγή: Ιστολόγιο Cerebras, "How we Deploy Trillion-parameter frontier models on Cerebras" (22 Οκτωβρίου 2026).---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
