Η Amazon ανακοίνωσε το TorchNeuron, ένα εγγενές backend PyTorch ανοιχτού κώδικα για την οικογένεια τσιπ τεχνητής νοημοσύνης Trainium, σε μια κίνηση που αφαιρεί ένα από τα μεγαλύτερα πρακτικά εμπόδια στην υιοθέτηση προσαρμοσμένου πυριτίου για φόρτους εργασίας μηχανικής μάθησης. Σύμφωνα με μια επίσημη ανάρτηση στο ιστολόγιο PyTorch που δημοσιεύτηκε πριν από το Συνέδριο PyTorch στη Βόρεια Αμερική στις 20 Οκτωβρίου, οι προγραμματιστές μπορούν τώρα να εκτελούν τον υπάρχοντα κώδικα μοντέλου PyTorch στο Trainium με μια αλλαγή μιας γραμμής, αντί να ξαναγράψουν τις ροές εργασίας τους γύρω από ιδιόκτητα εργαλεία.
Η ανακοίνωση τράβηξε αμέσως την προσοχή γιατί στοχεύει σε αυτό που οι αναλυτές έχουν εδώ και καιρό περιγράψει ως το πιο ανθεκτικό πλεονέκτημα της Nvidia: όχι την απόδοση ακατέργαστου chip, αλλά το οικοσύστημα λογισμικού CUDA που δεσμεύει τους προγραμματιστές με τις GPU της. Το Reuters πλαισίωσε την κυκλοφορία καθώς η Amazon είπε ότι τα τσιπ τεχνητής νοημοσύνης της θα λειτουργούν με το πιο δημοφιλές πλαίσιο ανάπτυξης στην τεχνητή νοημοσύνη, ενώ το TechCrunch χαρακτήρισε το TorchNeuron τη μεγαλύτερη επιτυχία της εταιρείας στη Nvidia μέχρι σήμερα. Για μια ευρύτερη εικόνα του τρόπου με τον οποίο αλλάζει η αγορά επιταχυντών, η συνεχής κάλυψη ειδήσεων υλικού AI παρακολουθεί αυτές τις εξελίξεις καθώς εξελίσσονται.
Τι αλλάζει στην πραγματικότητα το TorchNeuron
Η βασική υπόσχεση του TorchNeuron είναι η απλότητα. Στο παράδειγμα που δημοσιεύτηκε στο ιστολόγιο PyTorch, ένας υπάρχων βρόχος εκπαίδευσης εκτελείται στο Trainium μετά από τη μετακίνηση του μοντέλου στη νέα συσκευή με «.to('neuron')». Σύμφωνα με την ανάρτηση, ο κώδικας που είναι γραμμένος ενάντια στο «torch.accelerator», το συνιστώμενο API αγνωστικοποίησης της συσκευής της PyTorch, εκτελείται χωρίς τροποποίηση. Για μεταγλωττισμένους φόρτους εργασίας, οι προγραμματιστές ορίζουν το προεπιλεγμένο backend μία φορά με το `torch.compiler.set_default_backend("neuron")` και στη συνέχεια επικαλούνται το "model.compile()" χωρίς περαιτέρω αλλαγές.
Κάτω από την κουκούλα, το TorchNeuron καταχωρεί το Trainium μέσω του PrivateUse1, του επίσημου σημείου επέκτασης της PyTorch για προσαρμοσμένα backends υλικού, πράγμα που σημαίνει ότι το τσιπ συμπεριφέρεται ως τυπική συσκευή PyTorch και όχι ως εξάρτημα που βιδώνεται στο πλαίσιο. Το AWS περιγράφει την ενοποίηση ως εκτείνεται σε διάφορους τρόπους εκτέλεσης:
- Ευθυμική εκτέλεση για έρευνα και εντοπισμό σφαλμάτων, με μια πειραματική "προσαρμοστική λειτουργία ανυπομονησίας" που μειώνει τα έξοδα εκκίνησης
- torch.compile για απόδοση παραγωγής, αποτύπωση μοντέλων σε γραφήματα που βελτιστοποιεί ο μεταγλωττιστής Neuron, με εγγενή υποστήριξη για το FlexAttention
- The Neuron Kernel Interface (NKI) για ερευνητές που χρειάζονται προσαρμοσμένους πυρήνες χαμηλού επιπέδου
Το backend λειτουργεί τόσο στο Trainium2 όσο και στα νεότερα τσιπ Trainium3, σύμφωνα με την ανακοίνωση.
Άμεση απεργία στο Software Moat της Nvidia
Η λαβή της Nvidia στον υπολογισμό τεχνητής νοημοσύνης δεν στηρίχτηκε ποτέ αποκλειστικά σε ταχύτερο υλικό. Το CUDA, η πλατφόρμα λογισμικού της εταιρείας δύο δεκαετιών, είναι όπου γράφεται, συντονίζεται και αναπτύσσεται ο περισσότερος ερευνητικός κώδικας AI, και κάθε τσιπ αμφισβητίας - από τη σειρά Instinct της AMD έως τα TPU της Google και το Trainium της Amazon - χρειάστηκε να αντιμετωπίσει το κόστος του να ζητήσει από τους προγραμματιστές να το αφήσουν. Η κάλυψη της εκτόξευσης του TorchNeuron στα GeekWire, Benzinga και GuruFocus πλαισίωσε ομοιόμορφα την ανακοίνωση ως επίθεση σε αυτήν την τάφρο.
Η Amazon δεν προσπαθεί να τραβήξει τους προγραμματιστές από το PyTorch για να τους κερδίσει. Αντίθετα, φέρνει το Trainium στο PyTorch, έτσι η τεράστια βάση χρηστών του πλαισίου μπορεί να υιοθετήσει το τσιπ χωρίς να αλλάξει συνήθειες. Η ανάρτηση ιστολογίου του PyTorch περιελάμβανε μια έγκριση από τη Meta, η οποία διατηρεί το πλαίσιο: "Η εγγενής υποστήριξη για το AWS Trainium επεκτείνει αυτήν την επιλογή, επιτρέποντας σε ερευνητές και μηχανικούς να πειραματιστούν και να επαναλάβουν χρησιμοποιώντας την πρόθυμη εκτέλεση και τα διανεμημένα API που ήδη γνωρίζουν", δήλωσε η Jana van Greunen, Διευθύντρια PyTorch Engineering στο Meta, στην ανάρτηση.
Αυτό το πλαίσιο έχει σημασία για την επιχείρηση cloud της AWS. Τα στιγμιότυπα Trainium έχουν διατεθεί στο εμπόριο ως εναλλακτική λύση χαμηλότερου κόστους σε σχέση με τις GPU της Nvidia για εκπαίδευση και εξαγωγή συμπερασμάτων, και τα τσιπ έχουν ήδη προσελκύσει πελάτες τεχνητής νοημοσύνης. Το να κάνουν τα τσιπ να αισθάνονται εγγενή στο PyTorch αντιμετωπίζει άμεσα την αντίρρηση που έχει επιβραδύνει την ευρύτερη υιοθέτηση: την προσπάθεια μεταφοράς.
Τεχνικό Πεδίο, Από Σημειωματάρια έως Εκπαίδευση Κλίμακας Συστάδων
Οι δυνατότητες που αναφέρονται στο ιστολόγιο PyTorch υποδηλώνουν ότι η Amazon στοχεύει πολύ πέρα από τα πειράματα χομπίστων. Το TorchNeuron καλύπτει τα σύνολα χειριστή που εμφανίζονται σε μοντέλα κειμένου, πολυτροπικών και οπτικοακουστικών μοντέλων, καθώς και δημιουργία εικόνων και βίντεο, μοντέλα διαστήματος κατάστασης και παγκόσμια μοντέλα, με ακρίβεια BF16, FP32 και FP16. Η υποστήριξη TorchAO και FP8 είναι σε ιδιωτική beta πριν από τη γενική διαθεσιμότητα στην επόμενη έκδοση.
Η κατανεμημένη εκπαίδευση, η πειθαρχία που μετατρέπει τον κώδικα μίας GPU σε εκτελέσεις κλίμακας συμπλέγματος, υποστηρίζεται μέσω των τυπικών API της PyTorch — DDP, FSDP2, SimpleFSDP, παραλληλισμός τανυστών και αγωγών και διαμοιρασμός τύπου ZeRO, μαζί με DTensor και DeviceMesh για ομάδες πολυδιάστατων διαδικασιών. Οι ροές και τα συμβάντα αντιστοιχίζουν τη σημασιολογία του PyTorch στις ουρές υλικού του Trainium, ανέφερε η ανάρτηση.
Συμπερασματικά, οι στοίβες Neuron της Amazon βασίζονται στην ίδια βάση: το vLLM Neuron εξυπηρετεί μεγάλα μοντέλα γλώσσας, ενώ το vLLM Omni Neuron εξυπηρετεί μοντέλα διάχυσης για δημιουργία εικόνων και βίντεο. Το Neuron Kernel Interface επιτρέπει στους ερευνητές να γράφουν προσαρμοσμένους τελεστές τόσο για ανυπόμονη όσο και για μεταγλωττισμένη εκτέλεση, και το AWS είναι ανοιχτού κώδικα NKI-lib, ένα σύνολο πυρήνων βελτιστοποιημένων για Trainium που καλύπτουν φραγμούς FlashAttention και MoE για mainstream LLM και πολυτροπικά σενάρια.
Περιλαμβάνεται επίσης το εργαλείο απόδοσης. Ο Neuron Explorer επεκτείνει το τυπικό «torch.profiler» για να ανιχνεύσει την εκτέλεση από το πλαίσιο στο υλικό, συνδέοντας κάθε συμβάν πίσω στη γραμμή πηγής του και μπορεί να εξάγει μετρήσεις με μορφοποίηση παρκέ που οι σημειώσεις ανάρτησης μπορούν να καταναλωθούν από πράκτορες για αυτοματοποιημένη ανάλυση συμφόρησης.
Διαθεσιμότητα και τι ακολουθεί
Το TorchNeuron έχει προγραμματιστεί για την κυκλοφορία του ανοιχτού κώδικα στο PyTorch Conference στη Βόρεια Αμερική στις 20 Οκτωβρίου, σύμφωνα με την ανάρτηση ιστολογίου, με συμβατότητα που επεκτείνεται στο Hugging Face Transformers v5. Η AWS περιγράφει το Trainium ως ένα χαρτοφυλάκιο τσιπ που έχει σχεδιαστεί από την αρχή για εκπαίδευση και εξαγωγή συμπερασμάτων τεχνητής νοημοσύνης σε κλίμακα cloud.
Το στρατηγικό πλαίσιο είναι μια αγορά στην οποία κάθε μεγάλος πάροχος cloud είναι ταυτόχρονα ο μεγαλύτερος αγοραστής επιταχυντών Nvidia και ένας επίδοξος ανταγωνιστής. Η Microsoft, η Google και η Meta αναπτύσσουν όλες προσαρμοσμένο πυρίτιο και οι κινεζικές εταιρείες, συμπεριλαμβανομένης της Huawei, χτίζουν τις δικές τους στοίβες λογισμικού για να ξεφύγουν από τη βαρύτητα του CUDA. Συναντώντας προγραμματιστές μέσα στο PyTorch αντί να τους ζητήσει να μετεγκατασταθούν, η Amazon επέλεξε τη λιγότερο ενοχλητική διαδρομή σε αυτόν τον διαγωνισμό - και αυτή που είναι πιο πιθανό, εάν η εμπειρία του προγραμματιστή αντέξει, να μετακινήσει τους πραγματικούς φόρτους εργασίας εκπαίδευσης από το υλικό Nvidia.
Το εάν το TorchNeuron διαβρώνει πραγματικά το πλεονέκτημα του CUDA θα εξαρτηθεί από την απόδοση σε κλίμακα και τη μακριά ουρά των μοντέλων του πραγματικού κόσμου, ερωτήματα που τα υλικά εκτόξευσης δεν απαντούν. Αλλά το εμπόδιο που εμπόδισε τους περισσότερους προγραμματιστές του PyTorch να μην δοκιμάσουν ακόμη και το Trainium - μια επανεγγραφή - έχει πλέον μειωθεί σε μια γραμμή κώδικα.
---
Μείνετε μπροστά από την τεχνητή νοημοσύνηΛάβετε τα τελευταία νέα, αναλύσεις και ανακαλύψεις AI — όλα σε ένα μέρος.
Διαβάστε περισσότερα νέα AI →
