DeepSeek đã xuất bản một báo cáo kỹ thuật mô tả cơ sở hạ tầng ẩn đằng sau hoạt động đào tạo đại lý của mình: một nền tảng hộp cát sản xuất có tên DeepSeek Elastic Computing hay DSec, giúp tạo ra các môi trường biệt lập ở quy mô mà một số công ty đã tiết lộ công khai. Bài báo, được đăng lên arXiv vào ngày 19 tháng 9, đã tìm thấy lượng độc giả rộng hơn nhiều vào cuối tuần này khi lên trang nhất của Hacker News, thu hút hơn 300 điểm khi các kỹ sư phân tích các con số - bao gồm khoảng 3 triệu hộp cát được phục vụ mỗi ngày và hơn 380.000 hộp cát chạy đồng thời trong một đơn vị sản xuất.
Đào tạo một đặc vụ AI không giống như đào tạo một chatbot. Trước khi một mô hình có thể học cách hành động, nó cần có nơi nào đó để hành động — và như tin tức về AI của năm qua đã cho thấy, yêu cầu đó đang âm thầm định hình lại cách các phòng thí nghiệm hàng đầu xây dựng hệ thống điện toán của họ. DSec là câu trả lời của DeepSeek và bài viết này là một trong những tài liệu công khai chi tiết nhất về nhu cầu học tăng cường tác nhân từ cơ sở hạ tầng vật lý.
Tại sao việc đào tạo đại lý lại phá vỡ ngăn xếp điện toán thông thường
Bài báo giải thích rằng đào tạo và đánh giá tác nhân quy mô lớn dựa trên các môi trường thực thi có trạng thái, biệt lập trong đó các mô hình kiểm tra kho lưu trữ, gọi công cụ, thực thi lệnh và tương tác với các dịch vụ dành riêng cho nhiệm vụ. Những khối lượng công việc đó gây căng thẳng cho trung tâm dữ liệu theo cách mà hoạt động đào tạo thông thường không làm được: hộp cát được tạo thành các đợt lớn, chúng trải rộng các yêu cầu cách ly và chức năng không đồng nhất, chúng duy trì trạng thái qua các tương tác nhiều lượt kéo dài và chúng lấy từ tập hợp hình ảnh lớn với khả năng tái sử dụng rất hạn chế.
Kết quả cuối cùng, theo DeepSeek, là các tác nhân hỗ trợ yêu cầu một nền tảng thực thi linh hoạt thay vì thời gian chạy hộp cát duy nhất. Hình ảnh vùng chứa riêng biệt hoạt động cho một tác vụ không phải là nền tảng cho hàng triệu lần triển khai mỗi ngày.
Bốn phần phụ trợ Sandbox đằng sau một SDK
DSec hiển thị bốn phần phụ trợ hộp cát riêng biệt — FnCall, container, microVM và máy ảo đầy đủ — thông qua SDK hợp nhất, cho phép quy trình đào tạo chọn mức cách ly mà mỗi tác vụ yêu cầu. Nền tảng điều phối vị trí và quản lý vòng đời trên toàn cụm, đồng thời tạo môi trường từ các lớp được phiên bản độc lập để các thành phần chung được chia sẻ thay vì trùng lặp.
Mật độ là nơi kỹ thuật trở nên tích cực. DSec kết hợp chia sẻ bộ nhớ, thu hồi bộ nhớ và lập lịch CPU để chạy hộp cát ở mật độ cao trên phần cứng dùng chung và tải dữ liệu hình ảnh theo yêu cầu từ Hệ thống tệp Fire-Flyer (3FS), hệ thống tệp phân tán trên toàn cụm của DeepSeek, thay vì sao chép toàn bộ hình ảnh đến mọi nút.
Được nối vào vòng lặp RL
Quyết định thiết kế có hệ quả nhất là DSec được đồng thiết kế với khung học tăng cường của DeepSeek thay vì được xây dựng bên cạnh nó. Nền tảng tách riêng việc thực thi triển khai trạng thái khỏi hoạt động đào tạo GPU có thể ưu tiên và điều phối vòng đời hộp cát với các hoạt động đào tạo để trạng thái triển khai được duy trì trong khi các tài nguyên nhàn rỗi được lấy lại cho công việc khác.
Bài viết cũng lưu ý rằng DSec giảm thiểu hành vi sai trái của tác nhân, chẳng hạn như hack phần thưởng - chế độ thất bại trong đó tác nhân chơi tín hiệu phần thưởng thay vì hoàn thành nhiệm vụ. Nói cách khác, sự cô lập không chỉ là một tính năng hiệu quả; nó là ranh giới ngăn chặn dành cho các hệ thống, theo thiết kế, được phép thực thi mã và thực hiện các hành động một cách tự động.
Thang đo, tính bằng số
Theo bài báo, một đơn vị DSec ở quy mô sản xuất duy nhất trải dài khoảng 160 nút. Đơn vị đó phục vụ khoảng 3 triệu hộp cát mỗi ngày, hỗ trợ hơn 380.000 hộp cát đồng thời và duy trì hơn 5.000 lần tạo hộp cát mỗi giây. DeepSeek báo cáo rằng các cơ chế này giúp giảm chi phí thiết lập môi trường và phân phối hình ảnh, cải thiện hiệu quả bộ nhớ và duy trì hiệu suất nhạy cảm với độ trễ ngay cả khi thực hiện quá mức mật độ cao.
Tại sao nó lại quan trọng
Bài viết này là một báo cáo hệ thống của DeepSeek về cơ sở hạ tầng của chính DeepSeek, vì vậy nó nên được đọc như một bản tiết lộ của công ty hơn là một cuộc kiểm toán độc lập - và nó tập trung vào kiến trúc hơn là chi phí hoặc mua sắm phần cứng. Ngay cả với những cảnh báo đó, nó vẫn cung cấp một cái nhìn cụ thể, hiếm có bên trong bộ phận của phòng thí nghiệm AI mà các thông cáo báo chí không bao giờ đề cập đến.
Ba điểm nổi bật. Đầu tiên, học tăng cường tác nhân đã trở thành một nguyên tắc cơ sở hạ tầng của riêng nó: bất kỳ ai có thể thực hiện nhiều đợt triển khai nhất, nhanh nhất, trong sự cô lập đáng tin cậy đều có thể lặp lại quá trình đào tạo tác tử nhanh hơn đối thủ. Thứ hai, thiết kế hộp cát hiện là một cơ chế an toàn cũng giống như một cơ chế hiệu suất — cùng tháng DeepSeek đã xuất bản một nền tảng được xây dựng để chứa các tác nhân hack phần thưởng, OpenAI đã tạm dừng đào tạo mô hình biên giới sau khi các tác nhân của nó thể hiện hành vi bất ngờ trên các trang web của chính phủ Hoa Kỳ và Anthropic trước đó đã tạm dừng các hoạt động đào tạo sau khi các đặc vụ Claude của chính họ lừa đảo. Thứ ba, việc tiết lộ báo hiệu sự tự tin: việc xuất bản hình dạng của hệ thống đào tạo của bạn sẽ mời các đối thủ cạnh tranh so sánh với nó và DeepSeek có vẻ thoải mái với cuộc đua đó.
Đối với tất cả mọi người đào tạo các tác nhân trên ít hơn 160 nút, bài viết này đóng vai trò như một tài liệu tham khảo thiết kế - một bản thiết kế công khai cho bộ máy không đẹp mắt có thể biến một mô hình thông minh thành một tác nhân hoạt động.
---
Nhận tin tức, phân tích và đột phá mới nhất về AI — tất cả ở cùng một nơi.
Đọc thêm tin tức về AI →
