Το κινεζικό εργαστήριο τεχνητής νοημοσύνης Z.ai δημοσίευσε έναν λεπτομερή τεχνικό απολογισμό για το πώς έθεσε τα μοντέλα GLM να λειτουργούν βελτιώνοντας τα ίδια τα συστήματα που τα εξυπηρετούν, περιγράφοντας έναν «Πράκτορα Υπέρυθρων» που βρίσκει και διορθώνει σημεία συμφόρησης στην υποδομή συμπερασμάτων της εταιρείας με περιορισμένη ανθρώπινη παρέμβαση.
Η ανάρτηση ιστολογίου, με τίτλο "Toward Recursive Self-Improvement: How GLM Built Its Own Inference Infrastructure", ανέβηκε στον ιστότοπο της εταιρείας την Τετάρτη και γρήγορα έγινε μια από τις πιο πολυσυζητημένες ιστορίες τεχνολογίας στο Hacker News, όπου συγκέντρωσε περισσότερους από 200 πόντους από την κοινότητα προγραμματιστών. For more context on this story, see our ongoing AI trends.
«Καθώς αναπτύσσουμε το GLM, το μοντέλο μερικές φορές παρουσιάζει ικανότητες που μας εκπλήσσουν και μάλιστα μας αναστατώνουν», έγραψε η εταιρεία στις πρώτες γραμμές της ανάρτησης.
Από την έρευνα για την ασφάλεια στον κυβερνοχώρο στα συστήματα αυτο-βελτιστοποίησης
Η εργασία ξεκινά από τον Οκτώβριο του 2025, όταν η Z.ai άρχισε να ερευνά πώς να ενισχύσει τις δυνατότητες της GLM στον κυβερνοχώρο. Το σκεπτικό, λέει η εταιρεία, ήταν ξεκάθαρο: η κυβερνοασφάλεια είναι μια φυσική επέκταση της κωδικοποίησης και τα μοντέλα που μπορούν να πλοηγηθούν σε μεγάλες βάσεις κωδικών μπορούν τελικά να πλοηγηθούν στον κώδικα συστημάτων χαμηλού επιπέδου που αποφεύγουν οι περισσότεροι μηχανικοί.
Αυτό το ίδρυμα εξελίχθηκε σε κάτι πιο φιλόδοξο. Αντί να χρησιμοποιεί μοντέλα απλώς για να γράψει κώδικα, ο Z.ai ξεκίνησε να απαντήσει σε μια ερώτηση μηχανικής συστημάτων: μπορεί ένας πράκτορας AI να αναλάβει την ευθύνη για την απόδοση μιας στοίβας συμπερασμάτων παραγωγής, του επιπέδου συντονισμού λογισμικού και υλικού που μετατρέπει τα βάρη των μοντέλων σε γρήγορες, φθηνές αποκρίσεις;
Η απάντηση της εταιρείας περιλάμβανε την αναδιαμόρφωση του προβλήματος. Οι μετρήσεις από άκρο σε άκρο από μόνες τους, υποστηρίζει η ανάρτηση, δεν μπορούν να καθοδηγήσουν έναν παράγοντα βελτιστοποίησης. Μια αναφορά ότι ο χρόνος έως το πρώτο διακριτικό αυξήθηκε κατά 30 τοις εκατό ή ότι η απόδοση εξόδου μειώθηκε κατά 20 τοις εκατό λέει σε έναν πράκτορα ότι κάτι χειροτέρεψε, αλλά όχι ποιο επίπεδο είναι υπεύθυνο, γιατί απέτυχε η υπόθεσή του ή τι να δοκιμάσει στη συνέχεια.
"Πώς μετατρέπουμε τα αραιά αποτελέσματα από άκρο σε άκρο σε λεπτομερή, αποδοτέα ανατροφοδότηση μηχανικής που καθοδηγεί άμεσα την επόμενη ενέργεια;" ρωτά η εταιρεία στην ανάρτηση, χαρακτηρίζοντας την ερώτηση ως κλειδί για την όλη προσπάθεια.
Τρεις κανόνες για ανατροφοδότηση με δυνατότητα ανάγνωσης από τους πράκτορες
Η απάντηση του Z.ai είναι μια πειθαρχία ανατροφοδότησης που βασίζεται σε τρία χαρακτηριστικά. Πρώτον, η ανατροφοδότηση πρέπει να είναι επαρκώς τοπική, να συνδέεται με συγκεκριμένες παραμέτρους εκκίνησης του κινητήρα, αλλαγές κώδικα, πυρήνες, συνθήκες εισαγωγής, νήματα, διαστήματα εκτέλεσης ή διαδρομές κώδικα, ώστε ο πράκτορας να μπορεί να περιορίσει το εύρος οποιουδήποτε προβλήματος. Δεύτερον, πρέπει να είναι φθηνό και έγκαιρο για να το αποκτήσετε: μια ερώτηση που να απαντάται με δοκιμή πυρήνα ή τοπικό microbenchmark δεν πρέπει να απαιτεί πλήρη ανάπτυξη υπηρεσίας. Τρίτον, η επικύρωση θα πρέπει να ταιριάζει με την τρέχουσα υπόθεση, με κάθε πείραμα σχεδιασμένο να απαντά σε μια συγκεκριμένη ερώτηση αντί να ακολουθεί μια σταθερή ακολουθία.
Η εταιρεία λέει ότι αυτός ο πυκνός βρόχος ανάδρασης είναι που επιτρέπει στον Infra Agent να συμπεριφέρεται λιγότερο σαν αυτόματη συμπλήρωση για μηχανικούς και περισσότερο σαν συνάδελφος που μπορεί να εκτελέσει πειράματα εν μία νυκτί.
Τρεις Μελέτες Περιπτώσεων, Από τους Αριθμητικούς σε ένα Σφάλμα Νηματοποίησης
Η ανάρτηση περιγράφει τρία συγκεκριμένα επεισόδια από τη βελτιστοποίηση της στοίβας σερβιρίσματος της εταιρείας για το GLM-5.3-Flash, το ανοιχτού βάρους μοντέλο Z.ai που κυκλοφόρησε με άδεια MIT τον Αύγουστο.
Το πρώτο περιλαμβάνει την ορθότητα. Επειδή οι βελτιστοποιήσεις συμπερασμάτων αναδιαρθρώνουν τον τρόπο με τον οποίο παραλληλίζονται οι υπολογισμοί, ο παράγοντας χρειάζεται για να επαληθεύσει ότι οι πυρήνες παράγουν τα ίδια αποτελέσματα υπό συνθήκες διαχωρισμού και μη διαμερισμάτων. Σε μία περίπτωση, η ομάδα συνδύασε τρεις λειτουργίες TF32 Tensor Core για να παράγει ένα αποτέλεσμα υψηλότερης ακρίβειας, μειώνοντας το συσσωρευμένο αριθμητικό σφάλμα διατηρώντας παράλληλα το μεγαλύτερο μέρος του πλεονεκτήματος απόδοσης του Tensor Core. Η συγκριτική δοκιμή μεταξύ των στρατηγικών διαμερισμάτων αποκάλυψε τις αποκλίσεις που οδήγησαν την επιδιόρθωση.
Το δεύτερο είναι μια ιστορία εντοπισμού σφαλμάτων συστημάτων που θα είναι οικεία σε κάθε μηχανικό επιδόσεων. Τα κριτήρια αποδοχής απαιτούν ότι η προσθήκη μεταφοράς κρυφής μνήμης KV στη διαδρομή εξυπηρέτησης δεν θα πρέπει να υποβαθμίζει την απόδοση προπλήρωσης κατά περισσότερο από 5 τοις εκατό υπό πανομοιότυπο φόρτο εργασίας. Ο πράκτορας διαπίστωσε ότι το χάσμα ξεπέρασε το 20 τοις εκατό σε ορισμένα σενάρια, γεγονός που περιόρισε την έρευνα στη συμπεριφορά ταυτόχρονης μεταφοράς KV καθεαυτής. Εξετάζοντας τα χρονοδιαγράμματα εκτέλεσης, ο πράκτορας εντόπισε μια ανωμαλία: στα σενάρια προβλημάτων, η εκτέλεση μεταφοράς KV από την πλευρά της Python δεν επικαλύπτεται ποτέ με τα διαστήματα αποστολής και συνδυασμού της βιβλιοθήκης επικοινωνίας DeepEP. Η επιδιόρθωση ήταν η απελευθέρωση του καθολικού κλειδώματος διερμηνέα της Python κατά τη διάρκεια των σχετικών διαστημάτων εκτέλεσης της C++, επιτρέποντας στο νήμα μεταφοράς που εξυπηρετούσε το Mooncake, το χώρο αποθήκευσης κρυφής μνήμης KV, να προχωρήσει παράλληλα με τον υπολογισμό. Το χάσμα απόδοσης στη συνέχεια έπεσε εντός του ορίου αποδοχής.
Το τρίτο επεισόδιο δείχνει επαναληπτικό συντονισμό πυρήνα. Παρουσιάζοντας το ReplaySSM, μια τεχνική που ανταλλάσσει τον υπολογισμό με τη μνήμη, αρχικά αύξησε τον χρόνο εκτέλεσης ενός πυρήνα αποκωδικοποίησης KDA. Στη συνέχεια, η βελτιστοποίηση διαίρεσης του πράκτορα μείωσε τον χρόνο εκτέλεσης του πυρήνα κατά 9,6 τοις εκατό. Αφού έλαβε ανατροφοδότηση ότι ο υπολογισμός παρέμεινε το κύριο σημείο συμφόρησης, ο πράκτορας ανακάλυψε την αρχική υλοποίηση με παράθεση κατά μήκος της διάστασης V, προκαλώντας την άσκοπη επανάληψη των πανομοιότυπων υπολογισμών κανονικοποίησης και πύλης FP32.
Η στοίβα πίσω από το GLM-5.3-Flash
Οι βελτιστοποιήσεις βρίσκονται στην κορυφή μιας επιθετικής αρχιτεκτονικής εξυπηρέτησης που περιγράφει ο Z.ai στην ανάρτηση: παραλληλισμός τανυστή εντός κόμβου για γραμμική προσοχή και η κεφαλή του μοντέλου γλώσσας, το εμπόριο υπολογισμού για μνήμη ReplaySSM, κβαντισμός W8A8, κβαντισμός κρυφής μνήμης μικτής ακρίβειας με χρήση INT8, FP8 και μορφής BF16 Encode-Prefill-Decode αποκωδικοποιημένη αρχιτεκτονική που εκτελεί τα στάδια εξυπηρέτησης σε ξεχωριστούς πόρους.
Η εταιρεία πλαισιώνει τη συσσώρευση αυτών των τεχνικών, που ανακαλύφθηκαν και επικυρώθηκαν σε μεγάλο βαθμό από τον ίδιο τον πράκτορα, ως ένα βήμα προς την επαναλαμβανόμενη αυτοβελτίωση: συστήματα τεχνητής νοημοσύνης βελτιώνουν την υποδομή που τα καθιστά ταχύτερα και φθηνότερα στη λειτουργία τους, γεγονός που με τη σειρά του κάνει τον επόμενο γύρο βελτίωσης με γνώμονα τους πράκτορες πιο προσιτό.
Γιατί έχει σημασία
Το κόστος συμπερασμάτων είναι ένα από τα καθοριστικά οικονομικά στοιχεία του κλάδου της τεχνητής νοημοσύνης. Τα εργαστήρια που μπορούν να εξυπηρετούν μοντέλα προχωρημένης κατηγορίας με χαμηλότερο κόστος ανά διακριτικό μπορούν να τιμολογήσουν επιθετικά, να επιδοτούν πράκτορες που πραγματοποιούν χιλιάδες κλήσεις ανά εργασία και να χρηματοδοτήσουν προγράμματα περαιτέρω εκπαίδευσης από την εξυπηρέτηση των εσόδων. Η Z.ai ήταν ιδιαίτερα επιθετική και στα τρία μέτωπα, και οι ενδιάμεσες οικονομικές γνωστοποιήσεις της εταιρείας νωρίτερα φέτος έδειξαν ότι τα έσοδα αυξήθηκαν απότομα, ακόμη και όταν οι απώλειες μειώθηκαν.
Η ανάρτηση είναι επίσης ένα μήνυμα για το πού κατευθύνεται η μηχανική από την πλευρά του εργαστηρίου. Ο παραδοσιακός καταμερισμός εργασίας, με τους μηχανικούς ανθρώπινης απόδοσης να συντονίζουν πυρήνες και χρονοπρογραμματιστές ενώ τα μοντέλα χειρίζονται αιτήματα χρηστών, αντικαθίσταται στο Z.ai από έναν βρόχο στον οποίο το μοντέλο προτείνει αλλαγές, φθηνά πειράματα τις επικυρώνουν και η πυκνή ανατροφοδότηση κατευθύνει την επόμενη προσπάθεια.
Οι ισχυρισμοί για πλήρως αυτόνομη αυτοβελτίωση θα πρέπει να διαβάζονται με προσοχή. Η ίδια η ανάρτηση καθιστά σαφές ότι οι ανθρώπινοι μηχανικοί καθόρισαν τα σενάρια δοκιμών, έθεσαν τα κριτήρια αποδοχής και δημιούργησαν τα περιβάλλοντα ανατροφοδότησης στα οποία λειτουργεί ο πράκτορας. Αυτό που περιγράφει η εταιρεία είναι η αυτοματοποίηση ενός καλά οργανωμένου βρόχου βελτιστοποίησης, όχι ενός συστήματος χωρίς επίβλεψη που επανασχεδιάζεται.
Ακόμα κι έτσι, η κατεύθυνση είναι ξεκάθαρη. Εάν τα οικονομικά της τεχνητής νοημοσύνης τα επόμενα χρόνια αποφασιστούν από το ποιος μπορεί να εξυπηρετήσει τη νοημοσύνη φθηνότερα, τα εργαστήρια που διδάσκουν τα μοντέλα τους να βελτιστοποιούν τη δική τους υποδομή μπορεί να καθορίσουν τον ρυθμό και η Z.ai θέλει η βιομηχανία να γνωρίζει ότι σκοπεύει να γίνει ένα από αυτά.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
