Τα οικονομικά της υποδομής AI έχουν ανατραπεί. Περίπου τα δύο τρίτα του φόρτου εργασίας που τρέχει μέσω της υποδομής AI σήμερα είναι συμπεράσματα και όχι εκπαίδευση, σύμφωνα με το στέλεχος της Positron AI, Cameron McCaskill, ο οποίος μοιράστηκε τον αριθμό σε μια συνέντευξη με την theCUBE Research στο συνέδριο υπερυπολογιστών SC26. Πριν από τρία χρόνια, η διάσπαση ήταν σχεδόν το ακριβώς αντίθετο: περίπου 85 τοις εκατό εκπαίδευση και 15 τοις εκατό συμπεράσματα.
Αυτή η αντιστροφή επανασχεδιάζει αθόρυβα τον χάρτη του τόπου ζωής της υπολογιστικής τεχνητής νοημοσύνης - και εξηγεί γιατί μια νέα γενιά κατασκευαστών chip που βασίζονται στην αρχή των συμπερασμάτων κερδίζει ξαφνικά συμφωνίες cloud από εταιρείες πολύ μεγαλύτερες από αυτές.
Οι αριθμοί πίσω από την ανατροπή
«Βρισκόμαστε σε ένα σημείο όπου περίπου τα δύο τρίτα του φόρτου εργασίας που εκτελούνται μέσω αυτών των υποδομών τεχνητής νοημοσύνης είναι συμπεράσματα έναντι του 1/3 της εκπαίδευσης», δήλωσε ο McCaskill, επικεφαλής πωλήσεων και επιχειρηματικής ανάπτυξης στο Positron, σε συνέντευξη με την Rebecca Knight και τον John Furrier της theCUBE Research. "Πίσω στο 2023, ήταν σαν 85% εκπαίδευση, 15% συμπέρασμα. Έτσι τώρα μπορείτε να δείτε γιατί το συμπέρασμα οδηγεί τις οικονομικές αποφάσεις για το πώς θα χτίσουν την υποδομή τους."
Η αλλαγή έχει διαισθητική λογική. Η εκπαίδευση πραγματοποιείται σε μια χούφτα συνοριακά εργαστήρια με συστάδες δισεκατομμυρίων δολαρίων. Το συμπέρασμα συμβαίνει παντού, κάθε φορά που ένας χρήστης ζητά ένα μοντέλο — και καθώς η υιοθέτηση από τους καταναλωτές και τις επιχειρήσεις έχει εκραγεί, η συνολική ζήτηση για μάρκες έχει κατακλύσει την υποδομή που έχει δημιουργηθεί για την εποχή της εκπαίδευσης. Η ισχύς, η ψύξη και η παροχή μνήμης διαμορφώνουν πλέον το σημείο που παράγονται τα tokens, όπως και η απόδοση του ακατέργαστου chip, και αυτό αλλάζει ποιο υλικό κερδίζει προσφορές.
Το στοίχημα του Ποζιτρόν στη μνήμη εμπορευμάτων
Το Positron AI, το οποίο συγκέντρωσε 875 εκατομμύρια δολάρια σε αποτίμηση 5 δισεκατομμυρίων δολαρίων τον Σεπτέμβριο, έχει χτίσει ολόκληρη τη στρατηγική του γύρω από την εποχή των συμπερασμάτων. Η κεντρική επιλογή σχεδίασης της εταιρείας: παραλείψτε τη μνήμη υψηλού εύρους ζώνης (HBM), τον σπάνιο και ακριβό τύπο μνήμης που αγκυροβολεί τους περισσότερους επιταχυντές τεχνητής νοημοσύνης και αντ' αυτού, δημιουργήστε συσκευές εξαγωγής συμπερασμάτων γύρω από τη μνήμη εμπορευμάτων.
"Όλοι οι άλλοι λίγο πολύ στον κλάδο χρησιμοποιούν αυτό που ονομάζεται HBM ή μνήμη υψηλού εύρους ζώνης. Είναι πολύ περιορισμένη σε προσφορά, πολύ ακριβό", είπε ο McCaskill. «Πήγαμε με εμπορευματική μνήμη».
Οι αντισταθμίσεις είναι σκόπιμες. Η μνήμη εμπορευμάτων είναι φθηνότερη και πολύ πιο εύκολη στην πηγή, και η αρχιτεκτονική του Positron διατηρεί την ισχύ αρκετά χαμηλή για αερόψυκτα δωμάτια — δεν απαιτείται εξωτική υγρή ψύξη. Ένας μεμονωμένος διακομιστής Positron αντλεί περίπου 4.500 Watt και ένα πλήρες rack των επερχόμενων διακομιστών Titan της εταιρείας χωράει σε 40 κιλοβάτ.
Ο οδικός χάρτης προχωρά γρήγορα. Ο διακομιστής Atlas πρώτης γενιάς του Positron λειτουργούσε με ένα προγραμματιζόμενο τσιπ και η εταιρεία σχεδιάζει να βγάλει το δικό της πυρίτιο στις αρχές του επόμενου έτους για τον διακομιστή Titan. Η εταιρεία έχει ήδη αναπτύξει μαρκίζες: η Oracle φέρνει περίπου 340 διακομιστές Atlas ζωντανά στο cloud αυτό το τρίμηνο, σύμφωνα με τον McCaskill, και ένας πάροχος neocloud έχει υπογράψει για την Atlas ενώ δεσμεύεται για την επερχόμενη γενιά του Titan.
Τα αρθρωτά κέντρα δεδομένων γίνονται το φυσικό σπίτι για τα συμπεράσματα
Ίσως το πιο σημαντικό μέρος της συνέντευξης είναι από όπου ο McCaskill λέει ότι η ζήτηση προέρχεται από: όχι πανεπιστημιουπόλεις υπερκλίμακας, αλλά μικρές, γρήγορες, αρθρωτές εγκαταστάσεις.
"Μία από τις ομάδες εταιρειών στις οποίες βλέπουμε μια άνοδο αυτή τη στιγμή και έρχονται σε εμάς για προϊόντα είναι αυτά τα αρθρωτά κέντρα δεδομένων, όπου έχουν αρθρωτό κέντρο δεδομένων μισού μεγαβάτ ή 1 μεγαβάτ ή 2,5 μεγαβάτ, και αυτά μπορούν να αναπτυχθούν πολύ γρήγορα", είπε. "Ο στόχος πολλών από αυτούς τους παίκτες συμπερασμάτων είναι ότι θέλω να φτάσω από το land and power σε tokens με δυνατότητα δημιουργίας εσόδων μέσα σε 90 έως 120 ημέρες."
Αυτό το χρονοδιάγραμμα - περίπου ένα τέταρτο από το ξεκίνημα έως τα έσοδα - είναι αδύνατο για μια πανεπιστημιούπολη εκπαίδευσης κλίμακας γιγαβάτ, η οποία μπορεί να πάρει χρόνια για να επιτρέψει, να κατασκευαστεί και να ενεργοποιηθεί. Ο φόρτος εργασίας εξαγωγής συμπερασμάτων είναι μικρότερος, γεωγραφικά πιο ευέλικτος και ανεκτικός σε τοποθεσίες όπου οι χειριστές μπορούν να βρουν μερικά μεγαβάτ φθηνής ισχύος χωρίς σοβαρά ρυθμιστικά εμπόδια. Το αποτέλεσμα είναι μια αναδυόμενη βαθμίδα κατανεμημένης υποδομής συμπερασμάτων που βρίσκεται σε τοποθεσίες τηλεπικοινωνιών, εγκαταστάσεις συντοπισμού και αρθρωτές μονάδες πιο κοντά στο σημείο όπου είναι πραγματικά η ζήτηση.
Τι σημαίνει για τη βιομηχανία
Για τους προμηθευτές τσιπ, το μήνυμα είναι ότι η αγορά υλικού τεχνητής νοημοσύνης διχάζει. Η εκπαίδευση συνεχίζει να επιβραβεύει τους πιο προηγμένους επιταχυντές και τις βαθύτερες τσέπες. Το συμπέρασμα ανταμείβει διαφορετικές αρετές: αποδοτικότητα ισχύος, κόστος μνήμης, ταχύτητα ανάπτυξης και δυνατότητα λειτουργίας σε συνηθισμένα κτίρια με ψύξη αέρα. Οι προμηθευτές που έχουν βελτιστοποιηθεί μόνο για τον αγώνα εκπαίδευσης μπορεί να βρουν ότι ο μεγαλύτερος όγκος μελλοντικών αποφάσεων εγκατάστασης — όπου τα tokens όντως δημιουργούν έσοδα — συμβαίνει σε υλικό που έχει σχεδιαστεί για διαφορετικό σύνολο περιορισμών.
Για τις επιχειρήσεις και τους πελάτες του cloud, η μετατόπιση είναι ως επί το πλείστον αόρατη αλλά ολοένα και πιο συνεπής: η χωρητικότητα συμπερασμάτων που φθάνει σε προσαυξήσεις 90 έως 120 ημερών σημαίνει πιο ανταγωνιστική τιμολόγηση και περισσότερες γεωγραφικές επιλογές για την εκτέλεση μοντέλων κοντά σε χρήστες και δεδομένα.
Και για την αφήγηση δημιουργίας του κλάδου της τεχνητής νοημοσύνης - που συχνά πλαισιώνεται ως ένας ατελείωτος αγώνας για πανεπιστημιουπόλεις γιγαβάτ - η ανατροπή συμπεράσματος είναι μια υπενθύμιση ότι η καμπύλη ζήτησης διευρύνεται, όχι απλώς κλιμακώνεται. Το ορόσημο των δύο τρίτων που αναφέρεται στο SC26 είναι η εκτίμηση ενός στελέχους, αλλά ταιριάζει με την κατεύθυνση που έχει αναφέρει κάθε μεγάλος χειριστής cloud: το κέντρο βάρους της δημιουργίας AI μετακινείται από την εκπαίδευση των μοντέλων στην εξυπηρέτησή τους.
Μείνετε μπροστά από την τεχνητή νοημοσύνηΠαρακολουθήστε τις πιο πρόσφατες εξελίξεις AI όπως συμβαίνουν με το AI Buzz Wire, την πηγή σας για ειδήσεις υλικού και υποδομής AI.
Διαβάστε περισσότερα νέα AI →