Η Google έχει επεκτείνει τη σειρά TPU όγδοης γενιάς με δύο νέα εξειδικευμένα συστήματα: το TPU 8i Max, το οποίο συνδυάζει δύο τσιπ συμπερασμάτων σε ένα ενιαίο πακέτο για φόρτους εργασίας μεγάλου περιβάλλοντος και το TPU 8tx, που έχει σχεδιαστεί για εμπιστευτικά, απομονωμένα από υλικό συμπεράσματα που απευθύνονται σε ελεγχόμενες επιχειρήσεις και κυβερνήσεις. Η Tom's Hardware ανέφερε τις προσθήκες την Πέμπτη.
Η κίνηση ολοκληρώνει μια οικογένεια που ξεκίνησε η Google τον Απρίλιο με το TPU 8t, σχεδιασμένο για εκπαίδευση τεχνητής νοημοσύνης μεγάλης κλίμακας, και το TPU 8i, κατασκευασμένο για εργασίες συμπερασμάτων γενικού σκοπού, όπως δειγματοληψία, προβολή και συλλογιστική. Με τις νέες παραλλαγές, η σειρά όγδοης γενιάς καλύπτει πλέον την εκπαίδευση, την τυπική εξαγωγή συμπερασμάτων, την ασφαλή εξαγωγή συμπερασμάτων και το μέγιστο εύρος ζώνης - μια μήτρα επιλογών που αντικατοπτρίζει τον τρόπο με τον οποίο οι επιχειρήσεις χρησιμοποιούν πλέον το υλικό τεχνητής νοημοσύνης. Αυτά τα νέα σχετικά με τα τσιπ αποτελούν μέρος της κάλυψης [τελευταίες εξελίξεις AI] (https://aibuzzwire.news) σε όλη την αγορά υλικού τεχνητής νοημοσύνης.
Τι κάνουν οι νέες μάρκες
Το TPU 8i Max τοποθετεί δύο τσιπ 8i σε ένα πακέτο, διπλασιάζοντας το εύρος ζώνης υπολογιστών, SRAM και μνήμης υψηλού εύρους ζώνης του αρχικού 8i. Η σχεδίαση στοχεύει μακροχρόνια εργασία με πράκτορες — σενάρια στα οποία οι πράκτορες τεχνητής νοημοσύνης μεταφέρουν πολύ μεγάλα περιβάλλοντα εργασίας σε εργασίες πολλαπλών βημάτων.
Το Tom's Hardware πλαισίωσε τον διπλασιασμό του εύρους ζώνης ως έναν τρόπο να ξεπεράσει αυτό που η Google αποκαλεί το τείχος μνήμης, τη συμφόρηση εύρους ζώνης που γίνεται οξύ «όταν δεκάδες πράκτορες τεχνητής νοημοσύνης συνεργάζονται σε μια ολόκληρη βάση κώδικα λογισμικού». Μεγαλύτερα παράθυρα περιβάλλοντος - με μεγαλύτερα μοντέλα που στοχεύουν περίπου 1 εκατομμύριο μάρκες - σημαίνουν μεγαλύτερες κρυφές μνήμες KV, που διατηρούνται εν μέρει στη SRAM και κάθε νέο διακριτικό που δημιουργείται πρέπει να διαβάζει αυτήν την κρυφή μνήμη από τη μνήμη. Ο διπλασιασμός του εύρους ζώνης HBM σε ένα μόνο πακέτο επιτίθεται ακριβώς σε αυτό το σημείο συμφόρησης και η δημοσίευση σημείωσε ότι είναι μια διαφορετική διαδρομή από την προσέγγιση της Nvidia για σύζευξη ενός δεύτερου τύπου τσιπ για αποκωδικοποίηση με ένα επίπεδο αποθήκευσης για το περιβάλλον.
Το TPU 8tx, εν τω μεταξύ, είναι χτισμένο στο ίδιο πυρίτιο με το προηγουμένως ανακοινωμένο εκπαιδευτικό 8t, αλλά έχει διαμορφωθεί για εμπιστευτικούς υπολογισμούς: συμπέρασμα απομονωμένου υλικού για ελεγχόμενες επιχειρήσεις και κυβερνήσεις που χρειάζονται απόδειξη ότι τα δεδομένα και τα μοντέλα τους προστατεύονται κατά την επεξεργασία. Το σύστημα ανταλλάσσει τους επεξεργαστές κεντρικού υπολογιστή Axion που βασίζονται σε Arm που χρησιμοποιούνται από τις 8t και 8i με επεξεργαστή AMD EPYC 5ης γενιάς και υιοθετεί τη δικτύωση Boardfly της Google.
Συγκεκριμένα, η Google δεν έχει ακόμη κοινοποιήσει λεπτομερείς προδιαγραφές, τιμές ή ημερομηνίες αποστολής για οποιοδήποτε νέο σύστημα, επομένως οι αγοραστές έχουν επί του παρόντος αποδόσεις και τοποθέτηση και όχι προϊόντα με δυνατότητα παραγγελίας.
Οι αποδόσεις που δημοσίευσε η Google μαζί με την ανακοίνωση δείχνουν μια πλακέτα TPU 8tx που φέρει τέσσερα τσιπ, μαζί με τέσσερις πλακέτες TPU 8i Max, καθεμία από τις οποίες φέρει δύο τσιπ σε ένα μόνο πακέτο - μια φυσική απεικόνιση του πόσο έχει αποκλίνει η οικογένεια της όγδοης γενιάς από το μοντέλο επιταχυντή ενός τσιπ που ταιριάζει σε όλες τις προηγούμενες γενιές.
TPU Sync: το επίπεδο λογισμικού για τη μνήμη agent
Παράλληλα με το πυρίτιο, η Google βασίζεται στο λογισμικό για να λύσει το πρόβλημα της μνήμης του παράγοντα. Το TPU Sync είναι ένα ανοιχτού κώδικα "επίπεδο κατάστασης μοντέλου για συστάδες TPU" που χωρίζει αυτόματα τεράστιες κρυφές μνήμες KV από το τσιπ σε χιλιοστά του δευτερολέπτου, μετακινώντας τις σε κεντρικές DRAM και, πειραματικά, κοινόχρηστο χώρο αποθήκευσης.
Σύμφωνα με την Google, αυτό μπορεί να μειώσει τον λανθάνοντα χρόνο μεταφοράς της κρυφής μνήμης KV κατά περισσότερο από 90%, με αντίστοιχα κέρδη στο time-to-first-token - την καθυστέρηση που βιώνει ένας χρήστης πριν αρχίσει να ανταποκρίνεται ένα σύστημα AI. Για φόρτους εργασίας agent, όπου μια μεμονωμένη συνεδρία μπορεί να περιλαμβάνει δεκάδες διαδοχικές κλήσεις μοντέλων που η καθεμία χρειάζεται πρόσβαση στο ίδιο συσσωρευμένο περιβάλλον, η διαχείριση της κρυφής μνήμης γίνεται εξίσου σημαντική με τον ακατέργαστο υπολογισμό.
Γιατί έχει σημασία για την αγορά υλικού τεχνητής νοημοσύνης
Τα TPU έχουν γίνει μια ταχέως αναπτυσσόμενη επιχείρηση για την Google, η οποία διεκδικεί σχεδόν 100 πελάτες για τα τσιπ — συμπεριλαμβανομένης της Meta, της οποίας η υιοθέτηση των TPU της Google στα κέντρα δεδομένων της σηματοδότησε μία από τις πιο σημαντικές ανταγωνιστικές εισβολές στην επικράτεια της Nvidia. Η πιο σπονδυλωτή προσέγγιση που ακολουθεί η Google με την οικογένεια της όγδοης γενιάς, λέει η εταιρεία, της επιτρέπει να παρέχει εξειδικευμένα συστήματα «σε λίγους μήνες και όχι χρόνια», βοηθώντας την ανάπτυξη των πελατών.
Η χρονική στιγμή της ανακοίνωσης είναι εντυπωσιακή. Η επέκταση τσιπ της Google προσγειώθηκε την ίδια ημέρα που η Nvidia ανακοίνωσε ότι ο Διευθύνων Σύμβουλος Jensen Huang παραιτήθηκε, με την CFO Colette Kress να διορίζεται ως προσωρινός Διευθύνων Σύμβουλος — μια εξαιρετική διαταραχή στην ηγετική θέση στην ίδια την εταιρεία της οποίας οι GPU κυριαρχούν στην αγορά στην οποία οι TPU της Google καταργούνται. Τα δύο γεγονότα δεν σχετίζονται ως προς την αιτία, αλλά μαζί υπογραμμίζουν πόσο ανταγωνιστική και πόσο ασταθής έχει γίνει η αγορά υποδομής τεχνητής νοημοσύνης.
Για τις επιχειρήσεις που αξιολογούν την υποδομή τεχνητής νοημοσύνης, οι προσθήκες σηματοδοτούν ότι το σύνολο επιλογών διευρύνεται: πυρίτιο βελτιστοποιημένο για εκπαίδευση, γενικά συμπεράσματα, ασφαλή συμπεράσματα για ρυθμιζόμενα δεδομένα και πακέτα μέγιστου εύρους ζώνης για στόλους πρακτόρων γίνονται ξεχωριστές κατηγορίες προϊόντων και όχι επιταχυντές που ταιριάζουν σε όλους. Όταν η Google δημοσιεύει λεπτομέρειες τιμολόγησης και διαθεσιμότητας, το πρακτικό ερώτημα για τους αγοραστές θα είναι εάν το διπλασιασμένο εύρος ζώνης του 8i Max μεταφράζεται σε αρκετή απόδοση για στόλους αντιπροσώπων ώστε να δικαιολογείται ένα premium σε σχέση με τις τυπικές αναπτύξεις 8i.
Το modularity έχει επίσης μια λογική από την πλευρά της προσφοράς. Αντί να περιμένει χρόνια για μια σχεδίαση επόμενης γενιάς να περάσει στην πλήρη στοίβα υλικού, η Google μπορεί να ανασυνδυάσει το υπάρχον πυρίτιο —όπως έκανε μεταφέροντας πυρίτιο 8t σε ένα πακέτο ασφαλών συμπερασμάτων με διαφορετικό κεντρικό επεξεργαστή— για να φτάσει πιο γρήγορα σε εξειδικευμένα τμήματα, διατηρώντας παράλληλα μια κοινή στοίβα λογισμικού σε όλες τις παραλλαγές. Αυτή η ταχύτητα είναι από μόνη της ένα ανταγωνιστικό όπλο σε μια αγορά όπου οι απαιτήσεις των πελατών μεταβάλλονται ανά τρίμηνο.
---
Μείνετε μπροστά από την τεχνητή νοημοσύνηΛάβετε τα πιο πρόσφατα νέα, αναλύσεις και ανακαλύψεις για την τεχνητή νοημοσύνη — όλα σε ένα μέρος.
Διαβάστε περισσότερα νέα AI →
