Το DeepSeek διαθέτει το DeepInfer ανοιχτού κώδικα, το πλαίσιο συμπερασμάτων υψηλής απόδοσης που το κινεζικό εργαστήριο τεχνητής νοημοσύνης λέει ότι εξουσιοδοτεί τις δικές του υπηρεσίες παραγωγής μεγάλης κλίμακας. Ο κώδικας εμφανίστηκε στο GitHub με την άδεια Apache 2.0 και είχε ήδη συγκεντρώσει περισσότερα από 5.500 αστέρια μέσα σε λίγες μέρες, μετά από συζήτηση του Hacker News σχετικά με την κυκλοφορία που συγκέντρωσε εκατοντάδες θετικές ψήφους τη Δευτέρα.
Σύμφωνα με το README του έργου, η έκδοση παρέχει συμπέρασμα εκτός σύνδεσης με τα βασικά χαρακτηριστικά στα οποία βασίζεται η DeepSeek για την εξυπηρέτηση των μοντέλων της σε κλίμακα. Η προεπιλεγμένη διαμόρφωση στοχεύει το DeepSeek-V4.1-Flash και το πλαίσιο κατεβάζει αυτόματα το σημείο ελέγχου DeepSeek-V4.1-Flash-1017 από το Hugging Face κατά την πρώτη εκτέλεση. For more context on this story, see our ongoing latest AI developments.
Τι περιλαμβάνει στην πραγματικότητα το DeepInfer
Το DeepInfer δεν είναι μια επανεγγραφή από την αρχή. Συνδέει τους εξειδικευμένους πυρήνες που η DeepSeek κυκλοφόρησε κομμάτι-κομμάτι τα τελευταία δύο χρόνια — FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect και προσαρμοσμένους πυρήνες TileLang — σε έναν ενιαίο χρόνο εκτέλεσης με ενσωματωμένη εκτέλεση μοντέλου και δειγματολήπτη.
Το πλαίσιο αποστέλλει επίσης διάφορες τεχνικές εξυπηρέτησης που τεκμηριώνονται λεπτομερώς στο αποθετήριο:
- Προγραμματισμένη επαλήθευση εμπιστοσύνης, μια κερδοσκοπική προσέγγιση αποκωδικοποίησης που χρησιμοποιεί πρόχειρα διακριτικά και εκτιμήσεις εμπιστοσύνης για τον προγραμματισμό της επαλήθευσης, ελεγχόμενη μέσω μεταβλητών περιβάλλοντος
- Αποκωδικοποιητής SWA bounded replay, που μειώνει την εργασία προπλήρωσης του αποκωδικοποιητή με την επανάληψη μόνο ενός περιορισμένου επιθέματος της ακολουθίας
- Ασύγχρονος προγραμματισμός που επικαλύπτει τον προγραμματισμό δέσμης CPU με την εκτέλεση συσκευής, ενεργοποιημένος από προεπιλογή
- Αμετάβλητο συμπέρασμα παρτίδας, το οποίο διατηρεί τα αποτελέσματα του μοντέλου πανομοιότυπα σε διαφορετικές συνθέσεις παρτίδων
- Ντετερμινιστική δειγματοληψία, παραγωγή πανομοιότυπων εξόδων για πανομοιότυπες εισόδους και παραμέτρους δειγματοληψίας
- Δομημένες εξόδους, περιορισμός δημιουργίας σε ένα regex, σχήμα JSON ή γραμματική EBNF
Αυτός ο συνδυασμός απευθύνεται καθαρά σε χειριστές που χρειάζονται αναπαραγώγιμη, υψηλής απόδοσης δημιουργία κειμένου και όχι πειραματικά αθύρματα. Η αναλλοίωτη παρτίδα και η ντετερμινιστική δειγματοληψία έχουν ιδιαίτερη σημασία για τις επιχειρήσεις που πρέπει να ελέγξουν γιατί ένα μοντέλο παρήγαγε μια δεδομένη παραγωγή.
NVIDIA και Huawei Ascend, δίπλα δίπλα
Η πιο προσεκτική λεπτομέρεια είναι η υποστήριξη υλικού. Το DeepInfer στοχεύει τις GPU της NVIDIA SM100 μέσω CUDA 13 και τις NPU της Huawei Ascend 950 μέσω του CANN 9.2, με Linux, GCC 13 και Python 3.12 να αναφέρονται ως προαπαιτούμενα και για τις δύο διαδρομές.
Αυτή η στάση διπλής πλατφόρμας είναι συνεπής με την πρόσφατη ιστορία του DeepSeek. Η εταιρεία έχει περάσει μήνες αναπτύσσοντας λογισμικό που βασίζεται στο TileLang για το υλικό Ascend και αμφισβητεί δημόσια τις υποθέσεις ότι το CUDA είναι αναντικατάστατο. Η αποστολή ενός πλαισίου συμπερασμάτων παραγωγής που αντιμετωπίζει το Ascend ως πολίτη πρώτης κατηγορίας - αντί για έρευνα εκ των υστέρων - επεκτείνει αυτή τη στρατηγική και προσγειώνεται σε μια εποχή που οι έλεγχοι των εξαγωγών των ΗΠΑ συνεχίζουν να περιορίζουν τα τσιπ Nvidia που μπορούν να αγοράσουν οι κινεζικές εταιρείες.
Για τους Κινέζους φορείς εκμετάλλευσης cloud που χρησιμοποιούν εγχώριο πυρίτιο, μια μηχανή διατηρημένων συμπερασμάτων που υποστηρίζει το Ascend 950 αφαιρεί ένα από τα πρακτικά εμπόδια στην εξυπηρέτηση μοντέλων ανοιχτής κατηγορίας συνόρων εκτός του οικοσυστήματος της Nvidia.
Τι λείπει από την κυκλοφορία
Το README είναι σαφές ότι αυτή δεν είναι ακόμη μια πλήρης στοίβα εξυπηρέτησης. Μια ανάπτυξη παραγωγής που βασίζεται στο DeepInfer εξακολουθεί να χρειάζεται τρία στοιχεία που δεν περιλαμβάνει: ένα σύστημα κρυφής μνήμης KV, προγεμισμένη και αποκωδικοποίηση διαχωρισμού και εξισορρόπηση φορτίου σε αντίγραφα παράλληλων δεδομένων. Το αποθετήριο σημειώνει ότι οι περισσότερες από τις απαιτούμενες λειτουργίες του κινητήρα για διαχωρισμό έχουν ήδη εφαρμοστεί, αλλά τα περιβάλλοντα συστήματα αφήνονται στον χειριστή.
Στην πράξη, αυτό σημαίνει ότι το DeepInfer είναι καλύτερα κατανοητό ως η μηχανή υπολογισμού της υποδομής του DeepSeek και όχι ως μια εναλλακτική λύση με το κλειδί στο χέρι στα πλαίσια εξυπηρέτησης κοινότητας. Οι ομάδες θα πρέπει ακόμα να το ενσωματώσουν με επίπεδα προσωρινής αποθήκευσης και δρομολόγησης προτού το θέσουν μπροστά σε πραγματική κίνηση.
Γιατί έχει σημασία
Η επιχείρηση της DeepSeek βασίζεται στην εξυπηρέτηση μοντέλων εξαιρετικά φθηνά και τα οικονομικά αυτής της επιχείρησης έχουν αποτελέσει αντικείμενο εντατικού ελέγχου καθώς η εταιρεία κατευθύνεται προς αυτό που περιέγραψε ότι η τιμολόγηση απομακρύνεται από την προηγούμενη θέση της σε χαμηλό κόστος. Το άνοιγμα της πραγματικής διαδρομής συμπερασμάτων παραγωγής - όχι μόνο του ερευνητικού κώδικα - δίνει σε εξωτερικούς προγραμματιστές και παρόχους cloud μια ασυνήθιστα άμεση ματιά στις τεχνικές πίσω από αυτό το κόστος.
Συνεχίζει επίσης ένα σκόπιμα μοτίβο. Τα FlashMLA, DeepGEMM και DeepEP κυκλοφόρησαν όλα μεμονωμένα καθώς το εργαστήριο έφτιαχνε τη στοίβα του. Το DeepInfer τεκμηριώνει αποτελεσματικά πώς τα κομμάτια ταιριάζουν μεταξύ τους. Για τους ερευνητές, η έκδοση διευκολύνει την αναπαραγωγή των δημοσιευμένων ισχυρισμών απόδοσης του DeepSeek. Για τους ανταγωνιστές, ανεβάζει τον πήχη για αυτό που μετράει ως ανοιχτή στοίβα συμπερασμάτων.
Η άδεια Apache 2.0 επιτρέπει την εμπορική χρήση χωρίς υποχρεώσεις copyleft, πράγμα που σημαίνει ότι οι δυτικοί πάροχοι cloud θα μπορούσαν να την αναπτύξουν νόμιμα — αν και η υποστήριξη μοντέλων της περιορίζεται επί του παρόντος στο σημείο ελέγχου V4.1-Flash της DeepSeek, επομένως οι περισσότεροι θα το αντιμετωπίζουν ως εφαρμογή αναφοράς προς το παρόν.
Τι να παρακολουθήσετε
Τρεις ερωτήσεις θα καθορίσουν εάν το DeepInfer θα υιοθετηθεί ευρέως ή θα παραμείνει αξιοπερίεργο. Πρώτον, εάν η κοινότητα το μεταφέρει πέρα από το V4.1-Flash σε άλλες αρχιτεκτονικές μοντέλων. Δεύτερον, εάν τα αποτελέσματα συγκριτικής αξιολόγησης που δημοσιεύονται στους πίνακες απόδοσης του αποθετηρίου αντέχουν σε υλικό εκτός των συμπλεγμάτων του DeepSeek. Τρίτον, εάν τα κομμάτια που λείπουν — διαχείριση κρυφής μνήμης KV, διαχωρισμός και εξισορρόπηση φορτίου — φτάνουν σε μελλοντικές εκδόσεις, μετατρέποντας τον κινητήρα σε ένα πλήρες πλαίσιο εξυπηρέτησης.
Προς το παρόν, η κυκλοφορία είναι μια αξιοσημείωτη κίνηση διαφάνειας από ένα εργαστήριο που έχει επανειλημμένα επιλέξει να δημοσιεύσει την υποδομή κάτω από τα μοντέλα του. Οι προγραμματιστές που θέλουν να πειραματιστούν μπορούν να δημιουργήσουν το DeepInfer από πηγή σε οποιαδήποτε υποστηριζόμενη πλατφόρμα και να εκτελέσουν συμπεράσματα εκτός σύνδεσης με ένα μόνο παράδειγμα σεναρίου.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
