Η DeepSeek δημοσίευσε μια τεχνική έκθεση που περιγράφει την κρυφή υποδομή πίσω από την εκπαίδευση των πρακτόρων της: μια πλατφόρμα sandbox παραγωγής που ονομάζεται DeepSeek Elastic Compute, ή DSec, η οποία περιστρέφει απομονωμένα περιβάλλοντα σε κλίμακα που λίγες εταιρείες έχουν αποκαλύψει δημόσια. Η εφημερίδα, που δημοσιεύτηκε στο arXiv στις 19 Σεπτεμβρίου, βρήκε ένα πολύ ευρύτερο κοινό αυτό το Σαββατοκύριακο, όταν έφτασε στην πρώτη σελίδα του Hacker News, συγκεντρώνοντας περισσότερους από 300 πόντους καθώς οι μηχανικοί ανέλυαν τους αριθμούς - συμπεριλαμβανομένων περίπου 3 εκατομμυρίων sandboxes που εξυπηρετούνται την ημέρα και περισσότερων από 380.000 που λειτουργούν ταυτόχρονα σε μια μονάδα παραγωγής.
Η εκπαίδευση ενός πράκτορα AI δεν μοιάζει με την εκπαίδευση ενός chatbot. Για να μπορέσει ένα μοντέλο να μάθει να ενεργεί, χρειάζεται κάπου να ενεργεί — και όπως έδειξε η κάλυψη AI του περασμένου έτους, αυτή η απαίτηση αναδιαμορφώνει αθόρυβα τον τρόπο με τον οποίο τα κορυφαία εργαστήρια δημιουργούν τις στοίβες υπολογιστών τους. Το DSec είναι η απάντηση του DeepSeek και το έγγραφο είναι μια από τις πιο λεπτομερείς δημόσιες αναφορές μέχρι τώρα σχετικά με το τι απαιτεί η μάθηση ενίσχυσης από πράκτορες από τη φυσική υποδομή.
Γιατί το Agent Training έσπασε την κανονική στοίβα υπολογισμού
Εκπαίδευση και αξιολόγηση πρακτόρων μεγάλης κλίμακας, εξηγεί η εργασία, βασίζονται σε απομονωμένα, κατάστασης περιβάλλοντα εκτέλεσης στα οποία τα μοντέλα επιθεωρούν αποθετήρια, καλούν εργαλεία, εκτελούν εντολές και αλληλεπιδρούν με υπηρεσίες που αφορούν συγκεκριμένες εργασίες. Αυτοί οι φόρτοι εργασίας πιέζουν ένα κέντρο δεδομένων με τρόπους που δεν το κάνει η συνηθισμένη εκπαίδευση: τα sandboxs δημιουργούνται σε μεγάλες εκρήξεις, εκτείνονται σε ετερογενείς απαιτήσεις λειτουργικότητας και απομόνωσης, διατηρούν κατάσταση σε μεγάλες αλληλεπιδράσεις πολλαπλών στροφών και αντλούν από μεγάλα σώματα εικόνων με πολύ περιορισμένη επαναχρησιμοποίηση.
Το αποτέλεσμα, σύμφωνα με το DeepSeek, είναι ότι οι υποστηρικτικοί πράκτορες απαιτούν μια ελαστική πλατφόρμα εκτέλεσης αντί για ένα ενιαίο χρόνο εκτέλεσης sandbox. Μια εξατομικευμένη εικόνα κοντέινερ που λειτουργεί για μία εργασία δεν αποτελεί βάση για εκατομμύρια κυκλοφορίες την ημέρα.
Τέσσερα backends Sandbox πίσω από ένα SDK
Το DSec εκθέτει τέσσερα ξεχωριστά backends sandbox — FnCall, κοντέινερ, microVM και πλήρη εικονική μηχανή — μέσω ενός ενοποιημένου SDK, επιτρέποντας στους αγωγούς εκπαίδευσης να επιλέξουν το επίπεδο απομόνωσης που απαιτεί κάθε εργασία. Η πλατφόρμα συντονίζει τη διαχείριση της τοποθέτησης και του κύκλου ζωής σε όλο το σύμπλεγμα και συνθέτει περιβάλλοντα από επίπεδα ανεξάρτητης έκδοσης, έτσι ώστε τα κοινά στοιχεία να μοιράζονται αντί να αντιγράφονται.
Η πυκνότητα είναι εκεί όπου η μηχανική γίνεται επιθετική. Το DSec συνδυάζει κοινή χρήση μνήμης, ανάκτηση μνήμης και προγραμματισμό CPU για την εκτέλεση sandbox σε υψηλή πυκνότητα σε κοινόχρηστο υλικό και φορτώνει δεδομένα εικόνας κατόπιν αιτήματος από το Fire-Flyer File System (3FS), το σύστημα αρχείων του DeepSeek σε όλο το σύμπλεγμα, αντί να αντιγράφει πλήρεις εικόνες σε κάθε κόμβο.
Ενσύρματα στον βρόχο RL
Η πιο σημαντική απόφαση σχεδιασμού είναι ότι το DSec σχεδιάστηκε από κοινού με το ενισχυτικό εκπαιδευτικό πλαίσιο του DeepSeek αντί να κατασκευάστηκε δίπλα του. Η πλατφόρμα αποσυνδέει την εκτέλεση διάθεσης σε κατάσταση κατάστασης από την προκαταρκτική εκπαίδευση GPU και συντονίζει τον κύκλο ζωής του sandbox με τις εκπαιδευτικές εκτελέσεις, έτσι ώστε η κατάσταση διάθεσης να διατηρείται ενώ οι πόροι αδράνειας ανακτώνται για άλλη εργασία.
Η δημοσίευση σημειώνει επίσης ότι το DSec μετριάζει την κακή συμπεριφορά των πρακτόρων, όπως το hacking ανταμοιβής - τη λειτουργία αποτυχίας στην οποία ένας πράκτορας παίζει το σήμα ανταμοιβής του αντί να ολοκληρώσει την εργασία. Η απομόνωση, με άλλα λόγια, δεν είναι απλώς ένα χαρακτηριστικό αποδοτικότητας. είναι ένα όριο περιορισμού για συστήματα που, από τη σχεδίασή τους, επιτρέπεται να εκτελούν κώδικα και να αναλαμβάνουν ενέργειες αυτόνομα.
Η Κλίμακα, σε Αριθμούς
Μια ενιαία μονάδα παραγωγής DSec εκτείνεται σε περίπου 160 κόμβους, σύμφωνα με το έγγραφο. Αυτή η μονάδα εξυπηρετεί περίπου 3 εκατομμύρια sandbox την ημέρα, υποστηρίζει περισσότερα από 380.000 ταυτόχρονα sandbox και υποστηρίζει πάνω από 5.000 δημιουργίες sandbox ανά δευτερόλεπτο. Το DeepSeek αναφέρει ότι αυτοί οι μηχανισμοί μειώνουν την επιβάρυνση της ρύθμισης του περιβάλλοντος και της διανομής εικόνας, βελτιώνουν την απόδοση της μνήμης και διατηρούν την απόδοση ευαίσθητη στον λανθάνοντα χρόνο ακόμη και υπό υπερδέσμευση υψηλής πυκνότητας.
Γιατί έχει σημασία
Το έγγραφο είναι μια έκθεση συστημάτων από την DeepSeek σχετικά με την υποδομή της ίδιας της DeepSeek, επομένως θα πρέπει να διαβαστεί ως εταιρική αποκάλυψη και όχι ως ανεξάρτητος έλεγχος — και εστιάζει στην αρχιτεκτονική και όχι στο κόστος ή την προμήθεια υλικού. Ακόμη και με αυτές τις επιφυλάξεις, προσφέρει μια σπάνια, συγκεκριμένη εμφάνιση μέσα στο τμήμα ενός εργαστηρίου AI που δεν αναφέρουν ποτέ τα δελτία τύπου.
Τρία φαγητά ξεχωρίζουν. Πρώτον, η ενισχυτική εκμάθηση με πράκτορες έχει γίνει από μόνος της πειθαρχία υποδομής: όποιος μπορεί να εκτελέσει τις περισσότερες εφαρμογές, ταχύτερα, σε αξιόπιστη απομόνωση, μπορεί να επαναλάβει την εκπαίδευση πρακτόρων πιο γρήγορα από τους ανταγωνιστές. Δεύτερον, ο σχεδιασμός sandbox είναι πλέον ένας μηχανισμός ασφάλειας όσο και ένας μηχανισμός απόδοσης – τον ίδιο μήνα η DeepSeek δημοσίευσε μια πλατφόρμα που είχε σχεδιαστεί για να περιέχει πράκτορες hacking ανταμοιβής, το OpenAI διέκοψε την εκπαίδευση μοντέλων στα σύνορα αφού οι πράκτορες του παρουσίασαν απροσδόκητη συμπεριφορά σε ιστότοπους της κυβέρνησης των ΗΠΑ και η Anthropic νωρίτερα διέκοψε τις εκπαιδεύσεις όταν οι δικοί της πράκτορες Claude έγιναν απατεώνες. Τρίτον, η αποκάλυψη σηματοδοτεί εμπιστοσύνη: η δημοσίευση του σχήματος της στοίβας προπόνησής σας προσκαλεί τους αγωνιζόμενους να ταιριάξουν με αυτό και το DeepSeek φαίνεται άνετα με αυτόν τον αγώνα.
Για όλους τους πράκτορες που εκπαιδεύουν σε πολύ λιγότερους από 160 κόμβους, το χαρτί λειτουργεί ως αναφορά σχεδίασης - ένα δημόσιο σχέδιο για τον απίθανο μηχανισμό που μετατρέπει ένα έξυπνο μοντέλο σε λειτουργικό παράγοντα.
---
Λάβετε τα τελευταία νέα, αναλύσεις και ανακαλύψεις AI — όλα σε ένα μέρος.
Διαβάστε περισσότερα νέα AI →
