Το ταχύτερα αυξανόμενο κόστος στην τεχνητή νοημοσύνη μπορεί να μην είναι τα τσιπ – μπορεί να είναι η ηλεκτρική ενέργεια που τα τροφοδοτεί. Στις 12 Οκτωβρίου, το Πανεπιστήμιο του Μίσιγκαν ανακοίνωσε ότι η NVIDIA, η κυρίαρχη εταιρεία υπολογιστών τεχνητής νοημοσύνης στον κόσμο, αξιολογεί πώς να προσθέσει δύο εργαλεία εξοικονόμησης ενέργειας U-M στο Megatron-LM, την ευρέως χρησιμοποιούμενη πλατφόρμα ανοιχτού κώδικα της NVIDIA για την εκπαίδευση μεγάλων γλωσσικών μοντέλων. Σύμφωνα με το πανεπιστήμιο, το λογισμικό μπορεί να μειώσει την ενέργεια που απαιτείται για την εκπαίδευση της τεχνητής νοημοσύνης έως και 50% — χωρίς να επηρεάσει την ταχύτητα προπόνησης ή την απόδοση του μοντέλου.
Οι ειδήσεις έχουν σημασία πολύ πέρα από το ρεκόρ δημοσίευσης ενός εργαστηρίου. Το Megatron-LM δεν είναι μια εξειδικευμένη βάση κώδικα έρευνας: οι εταιρείες μπορούν να το χρησιμοποιήσουν απευθείας ή ως βάση για τις δικές τους ιδιωτικές, προσαρμοσμένες πλατφόρμες εκπαίδευσης και είναι η πλατφόρμα που χρησιμοποιείται για την εκπαίδευση των κορυφαίων μοντέλων Nemotron της NVIDIA, τα οποία οι χρήστες μπορούν να κατεβάσουν στο δικό τους υλικό. Εάν τα εργαλεία U-M καταλήξουν στο Megatron-LM, οι βελτιώσεις απόδοσης που αναπτύχθηκαν σε ένα ακαδημαϊκό εργαστήριο θα διαδοθούν σε μεγάλο μερίδιο των προγραμμάτων εκπαίδευσης AI στον κόσμο. Για συνεχή κάλυψη του αγώνα υποδομής πίσω από την τεχνητή νοημοσύνη, ακολουθήστε τις τελευταίες εξελίξεις της τεχνητής νοημοσύνης στην αρχική μας σελίδα.
Τι κάνουν πραγματικά ο Καρεύς και ο Περσέας
Τα δύο εργαλεία επιτίθενται σε διαφορετικές πηγές απορριμμάτων στην κατανεμημένη εκπαίδευση και στη στοίβα αποταμίευσης.
Perseus: Διαχείριση Ταχύτητας Επεξεργαστή
Ο Perseus απευθύνεται στον υπολογισμό με υπερβολική παροχή. Σε μια μεγάλη εκτέλεση εκπαίδευσης, δεν κάνει κάθε επεξεργαστής χρήσιμη δουλειά κάθε στιγμή, ωστόσο όλοι αντλούν ισχύ. Με τη διαχείριση της ταχύτητας του επεξεργαστή ώστε να ταιριάζει με την πραγματική εργασία που είναι διαθέσιμη σε κάθε σημείο της προπόνησης, ο Perseus μειώνει την ενέργεια που απαιτείται για την εκπαίδευση της τεχνητής νοημοσύνης έως και 30%, σύμφωνα με την U-M.
Kareus: Εξυπνότερος Χρόνος για Υπολογισμό και Επικοινωνία
Ο Kareus στοχεύει σε ένα πιο λεπτό πρόβλημα. Η εκπαίδευση σύγχρονων μοντέλων απαιτεί τον συντονισμό εκατοντάδων έως χιλιάδων επεξεργαστών και η εργασία χωρίζεται μεταξύ υπολογισμού και επικοινωνίας από chip-to-chip. Το Kareus μειώνει την ενέργεια της προπόνησης κατά ένα επιπλέον 15% έως 30% βρίσκοντας τον πιο αποτελεσματικό χρόνο και την κατανομή πόρων μεταξύ αυτών των εργασιών εκπαίδευσης και επικοινωνίας — προγραμματίζοντας το καθένα έτσι ώστε κανένας να μην κάθεται αδρανής περιμένοντας τον άλλο.
Μαζί, λέει το πανεπιστήμιο, τα εργαλεία μπορούν να εξοικονομήσουν περίπου τη μισή ενέργεια που χρησιμοποιείται για την εκπαίδευση της τεχνητής νοημοσύνης, ενώ προσφέρουν την ίδια ταχύτητα εκπαίδευσης και την ίδια απόδοση του τελικού μοντέλου. Το Kareus είναι επίσης ένα αποτέλεσμα αξιολογημένο από ομοτίμους: το εργαλείο παρουσιάστηκε στο USENIX Symposium on Operating Systems Design and Implementation (OSDI) τον Ιούλιο, έναν από τους κορυφαίους χώρους για έρευνα συστημάτων.
Γιατί το ενδιαφέρον της NVIDIA είναι η πραγματική ιστορία
Η έρευνα για την ακαδημαϊκή απόδοση συνήθως αντιμετωπίζει μακρύ δρόμο προς την παραγωγή. Αυτό μπορεί να είναι διαφορετικό, λόγω του σημείου που προσγειώθηκε. Ένας διδακτορικός φοιτητής, ο Ruofan Wu, πέρασε το περασμένο καλοκαίρι στη NVIDIA ενσωματώνοντας το λογισμικό U-M στη Megatron-LM ως μέρος μιας πρακτικής άσκησης — που σημαίνει ότι τα εργαλεία δεν είναι πρόταση αλλά λειτουργικός κώδικας μέσα στην εκπαιδευτική στοίβα της NVIDIA, τώρα υπό επίσημη αξιολόγηση.
«Η τεχνητή νοημοσύνη περιορίζεται στην ισχύ καθώς τα μοντέλα γίνονται μεγαλύτερα και περισσότεροι άνθρωποι θέλουν να εκπαιδεύσουν μοντέλα, αλλά μπορούμε να επιτύχουμε την ίδια ταχύτητα και απόδοση εκπαίδευσης χρησιμοποιώντας λιγότερη ενέργεια», δήλωσε ο Wu, διδακτορικός φοιτητής στην επιστήμη των υπολογιστών και μηχανική στο U-M, στην ανακοίνωση του πανεπιστημίου. «Υπάρχουν πολλές ευκαιρίες για βελτιστοποίηση της χρήσης ενέργειας AI σε επίπεδο λογισμικού και υλικού, και ένα από τα πιο ικανοποιητικά μέρη της πρακτικής άσκησης ήταν η ευκαιρία να φέρω ιδέες από την έρευνά μου σε συστήματα παραγωγής», πρόσθεσε.
Αυτή η λέξη - περιορισμένη στην εξουσία - είναι το νέο σύνθημα της βιομηχανίας. Η ερευνητική ομάδα U-M, η οποία περιλαμβάνει επίσης διδακτορικούς φοιτητές Jeff Ma και Jae-Won Chung μαζί με τον αναπληρωτή καθηγητή Mosharaf Chowdhury, συνεργάζεται με την NVIDIA για την ενοποίηση. Το πλαίσιο της ομάδας είναι απλό: ο στόχος είναι να αφήσουμε την τεχνητή νοημοσύνη να κάνει πιο χρήσιμη δουλειά με λιγότερη ενέργεια και κόστος, βρίσκοντας τον πιο αποτελεσματικό τρόπο συντονισμού της εκπαίδευσης σε εκατοντάδες έως χιλιάδες επεξεργαστές.
Η ενέργεια είναι πλέον περιορισμός πρώτης κατηγορίας
Η κλίμακα της συνοριακής εκπαίδευσης είναι αυτή που μετατρέπει την ποσοστιαία εξοικονόμηση σε στρατηγικούς αριθμούς. Η Meta είπε αυτή την εβδομάδα ότι τα νέα της μοντέλα Muse Wonder εκπαιδεύτηκαν στον Προμηθέα, τον οποίο περιγράφει ως κέντρο δεδομένων κλίμακας γιγαβάτ. Όταν μια μεμονωμένη εκστρατεία εκπαίδευσης εκτελείται σε αυτήν την κλίμακα, μια ποσοστιαία μείωση ενέργειας δεν αποτελεί σφάλμα στρογγυλοποίησης. είναι η διαφορά μεταξύ της τοποθέτησης μιας προπόνησης μέσα σε έναν προϋπολογισμό ισχύος ή όχι.
Τα οικονομικά ακολουθούν τη φυσική. Η ενέργεια έχει γίνει ένας από τους πόρους πύλης για την επέκταση της τεχνητής νοημοσύνης. Λογισμικό που μειώνει στο μισό τον λογαριασμό ηλεκτρικού ρεύματος μιας προπόνησης — χρησιμοποιώντας υπάρχον υλικό — αλλάζει τον λογισμό για κάθε εταιρεία που εκπαιδεύει τα δικά της μοντέλα, και ιδιαίτερα για μικρότερους παίκτες για τους οποίους το ενεργειακό κόστος είναι ο δεσμευτικός περιορισμός.
Αναπλαισιώνει επίσης την περιβαλλοντική συζήτηση γύρω από την τεχνητή νοημοσύνη. Μεγάλο μέρος της δημόσιας συζήτησης έχει επικεντρωθεί στην ενέργεια συμπερασμάτων — την ισχύ που καταναλώνεται από κάθε ερώτημα chatbot. Ωστόσο, η εκπαίδευση είναι εκεί όπου συγκεντρώνονται τα μεγαλύτερα μεμονωμένα μπλοκ ενέργειας και μια προσέγγιση λογισμικού με αξιολόγηση από ομοτίμους, αγνωστική από τους πωλητές που το μειώνει στο μισό προσφέρει κάτι πιο σπάνιο από έναν οδικό χάρτη υλικού: κέρδη απόδοσης που μπορούν να φτάσουν με την επόμενη έκδοση ανοιχτού κώδικα και όχι με την επόμενη κατασκευή κέντρου δεδομένων.
Τι θα συμβεί στη συνέχεια
Το πανεπιστήμιο λέει ότι η NVIDIA αξιολογεί πώς να προσθέσει το λογισμικό στην εκπαιδευτική πλατφόρμα ανοιχτού κώδικα. Εάν αποσταλεί στη Megatron-LM, η υιοθέτηση θα μπορούσε να εξαπλωθεί γρήγορα, δεδομένου του πόσο ευρέως χρησιμοποιείται το πλαίσιο στον κλάδο και στον ακαδημαϊκό κόσμο. Το ευρύτερο ερευνητικό πρόγραμμα της ομάδας U-M συνεχίζει να αναζητά εξοικονόμηση ενέργειας σε όλη τη στοίβα λογισμικού και υλικού - μια ατζέντα που φαινόταν εξειδικευμένη πριν από μερικά χρόνια και τώρα μοιάζει με το κέντρο του παιχνιδιού.
