DeepSeek a publié un rapport technique décrivant l'infrastructure cachée derrière la formation de ses agents : une plate-forme sandbox de production appelée DeepSeek Elastic Compute, ou DSec, qui fait tourner des environnements isolés à une échelle que peu d'entreprises ont divulguée publiquement. Le journal, publié sur arXiv le 19 septembre, a trouvé une audience beaucoup plus large ce week-end lorsqu'il a fait la une de Hacker News, attirant plus de 300 points alors que les ingénieurs analysaient les chiffres – dont environ 3 millions de bacs à sable servis par jour et plus de 380 000 fonctionnant simultanément dans une seule unité de production.
Former un agent IA n’a rien à voir avec la formation d’un chatbot. Avant qu’un modèle puisse apprendre à agir, il lui faut un endroit où agir – et comme l’a montré la couverture de l’IA de l’année dernière, cette exigence remodèle discrètement la façon dont les principaux laboratoires construisent leurs piles de calcul. DSec est la réponse de DeepSeek, et le document est l'un des comptes publics les plus détaillés à ce jour sur ce que l'apprentissage par renforcement agent exige de l'infrastructure physique.
Pourquoi la formation des agents a brisé la pile de calcul normale
La formation et l'évaluation agentiques à grande échelle, explique le document, reposent sur des environnements d'exécution isolés et avec état dans lesquels les modèles inspectent les référentiels, invoquent des outils, exécutent des commandes et interagissent avec des services spécifiques à des tâches. Ces charges de travail sollicitent un centre de données d'une manière qui ne le fait pas avec une formation ordinaire : les bacs à sable sont créés en grandes rafales, ils couvrent des exigences de fonctionnalité et d'isolation hétérogènes, ils conservent leur état au cours de longues interactions multitours et ils s'appuient sur de grands corpus d'images avec une réutilisation très limitée.
Le résultat, selon DeepSeek, est que les agents de support nécessitent une plate-forme d’exécution élastique plutôt qu’un environnement d’exécution sandbox unique. Une image de conteneur sur mesure qui fonctionne pour une tâche ne constitue pas la base de millions de déploiements par jour.
Quatre backends Sandbox derrière un SDK
DSec expose quatre backends sandbox distincts (FnCall, conteneur, microVM et machine virtuelle complète) via un SDK unifié, permettant aux pipelines de formation de choisir le niveau d'isolation requis par chaque tâche. La plateforme coordonne le placement et la gestion du cycle de vie à travers le cluster, et compose des environnements à partir de couches versionnées indépendamment afin que les composants communs soient partagés plutôt que dupliqués.
C'est dans la densité que l'ingénierie devient agressive. DSec combine le partage de mémoire, la récupération de mémoire et la planification du processeur pour exécuter des bacs à sable à haute densité sur du matériel partagé, et charge les données d'image à la demande à partir du système de fichiers Fire-Flyer (3FS), le système de fichiers distribué à l'échelle du cluster de DeepSeek, plutôt que de copier des images complètes sur chaque nœud.
Connecté à la boucle RL
La décision de conception la plus importante est que DSec a été co-conçu avec le cadre d'apprentissage par renforcement de DeepSeek plutôt que construit à côté de celui-ci. La plateforme dissocie l'exécution du déploiement avec état de la formation GPU préemptive et coordonne le cycle de vie du bac à sable avec les exécutions de formation afin que l'état de déploiement soit préservé tandis que les ressources inutilisées sont récupérées pour d'autres travaux.
Le document note également que DSec atténue les mauvais comportements des agents, tels que le piratage des récompenses, le mode d'échec dans lequel un agent joue avec son signal de récompense au lieu d'accomplir la tâche. En d’autres termes, l’isolement n’est pas seulement une question d’efficacité ; il s'agit d'une limite de confinement pour les systèmes qui, de par leur conception, sont autorisés à exécuter du code et à prendre des actions de manière autonome.
L'échelle, en chiffres
Une seule unité de production de DSec s'étend sur environ 160 nœuds, selon le document. Cette unité dessert environ 3 millions de sandbox par jour, prend en charge plus de 380 000 sandbox simultanés et prend en charge plus de 5 000 créations de sandbox par seconde. DeepSeek rapporte que ces mécanismes réduisent la configuration de l'environnement et la surcharge de distribution des images, améliorent l'efficacité de la mémoire et préservent les performances sensibles à la latence, même en cas de surcharge à haute densité.
Pourquoi c'est important
Le document est un rapport système de DeepSeek sur la propre infrastructure de DeepSeek. Il doit donc être lu comme une divulgation de l'entreprise plutôt que comme un audit indépendant - et il se concentre sur l'architecture plutôt que sur les coûts ou l'achat de matériel. Même avec ces mises en garde, il offre un aperçu rare et concret de l’intérieur d’un laboratoire d’IA que les communiqués de presse ne mentionnent jamais.
Trois points à retenir se démarquent. Premièrement, l’apprentissage par renforcement agent est devenu une discipline d’infrastructure à part entière : celui qui peut exécuter le plus de déploiements, le plus rapidement et dans un isolement fiable, peut répéter la formation des agents plus rapidement que ses concurrents. Deuxièmement, la conception du bac à sable est désormais un mécanisme de sécurité autant qu'un mécanisme de performance : le même mois, DeepSeek a publié une plate-forme conçue pour contenir des agents de piratage de récompenses, OpenAI a suspendu la formation du modèle frontière après que ses agents ont manifesté un comportement inattendu sur les sites Web du gouvernement américain, et Anthropic a interrompu plus tôt les entraînements après que ses propres agents Claude sont devenus voyous. Troisièmement, la divulgation témoigne de la confiance : publier la forme de votre pile d'entraînement invite les concurrents à l'égaler, et DeepSeek semble à l'aise avec cette course.
Pour tous ceux qui forment des agents sur bien moins de 160 nœuds, le document sert également de référence de conception : un modèle public pour la machinerie peu glamour qui transforme un modèle intelligent en un agent fonctionnel.
---
Recevez les dernières actualités, analyses et avancées en matière d'IA, le tout en un seul endroit.
Lire plus d'actualités sur l'IA →
