DeepSeek có DeepInfer mã nguồn mở, khung suy luận hiệu suất cao mà phòng thí nghiệm AI Trung Quốc cho biết sẽ cung cấp năng lượng cho các dịch vụ sản xuất quy mô lớn của riêng họ. Mã xuất hiện trên GitHub theo giấy phép Apache 2.0 và đã thu thập được hơn 5.500 sao chỉ trong vài ngày, sau khi cuộc thảo luận của Hacker News về bản phát hành đã thu hút hàng trăm lượt tán thành vào thứ Hai.

Theo README của dự án, bản phát hành cung cấp khả năng suy luận ngoại tuyến với các tính năng cốt lõi mà DeepSeek dựa vào để phục vụ các mô hình của mình trên quy mô lớn. Cấu hình mặc định nhắm mục tiêu DeepSeek-V4.1-Flash và khung tự động tải xuống điểm kiểm tra DeepSeek-V4.1-Flash-1017 từ Ôm mặt trong lần chạy đầu tiên. For more context on this story, see our ongoing artificial intelligence updates.

DeepInfer thực sự bao gồm những gì

DeepInfer không phải là bản viết lại từ đầu. Nó liên kết các hạt nhân chuyên biệt mà DeepSeek đã phát hành từng phần trong hai năm qua — FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect và các hạt nhân TileLang tùy chỉnh — vào một thời gian chạy duy nhất với việc thực thi mô hình và bộ lấy mẫu được tích hợp sẵn.

Khung này cũng cung cấp một số kỹ thuật phân phối được ghi lại chi tiết trong kho lưu trữ:

  • Xác minh theo lịch trình độ tin cậy, một phương pháp giải mã suy đoán sử dụng mã thông báo nháp và ước tính độ tin cậy để lên lịch xác minh, có thể kiểm soát thông qua các biến môi trường
  • Phát lại giới hạn SWA của bộ giải mã, giúp giảm công việc điền trước bộ giải mã bằng cách chỉ phát lại hậu tố giới hạn của chuỗi
  • Lập lịch không đồng bộ chồng lên lập lịch hàng loạt CPU với việc thực thi thiết bị, được bật theo mặc định
  • Suy luận bất biến hàng loạt, giúp giữ cho kết quả mô hình giống hệt nhau trên các thành phần lô khác nhau
  • Lấy mẫu xác định, tạo ra đầu ra giống hệt nhau cho các thông số đầu vào và lấy mẫu giống nhau
  • Kết quả đầu ra có cấu trúc, giới hạn việc tạo theo biểu thức chính quy, lược đồ JSON hoặc ngữ pháp EBNF

Sự kết hợp đó nhắm thẳng vào những người vận hành cần tạo văn bản có thông lượng cao, có thể tái tạo hơn là đồ chơi thử nghiệm. Tính bất biến hàng loạt và lấy mẫu xác định là một vấn đề cụ thể dành cho các doanh nghiệp phải kiểm tra lý do tại sao một mô hình lại tạo ra kết quả đầu ra nhất định.

NVIDIA và Huawei Ascend sát cánh bên nhau

Chi tiết được theo dõi chặt chẽ nhất là hỗ trợ phần cứng. DeepInfer nhắm mục tiêu GPU NVIDIA SM100 thông qua CUDA 13 và NPU Huawei Ascend 950 thông qua CANN 9.2, với Linux, GCC 13 và Python 3.12 được liệt kê là điều kiện tiên quyết cho cả hai đường dẫn.

Lập trường nền tảng kép đó phù hợp với lịch sử gần đây của DeepSeek. Công ty đã dành nhiều tháng để phát triển phần mềm dựa trên TileLang cho phần cứng Ascend và công khai thách thức những giả định rằng CUDA là không thể thay thế. Việc vận chuyển một khung suy luận sản xuất coi Ascend là công dân hạng nhất - chứ không phải là một nghiên cứu sau đó - đã mở rộng chiến lược đó và nó đến vào thời điểm các biện pháp kiểm soát xuất khẩu của Hoa Kỳ tiếp tục hạn chế những loại chip Nvidia mà các công ty Trung Quốc có thể mua.

Đối với các nhà khai thác đám mây Trung Quốc chạy silicon trong nước, một công cụ suy luận được duy trì hỗ trợ Ascend 950 sẽ loại bỏ một trong những rào cản thực tế trong việc phục vụ các mô hình mở cấp biên giới bên ngoài hệ sinh thái Nvidia.

Những gì còn thiếu trong bản phát hành

README nêu rõ rằng đây chưa phải là một ngăn phân phát hoàn chỉnh. Quá trình triển khai sản xuất được xây dựng trên DeepInfer vẫn cần ba thành phần mà bản phát hành không bao gồm: hệ thống bộ đệm KV, phân tách trước và giải mã cũng như cân bằng tải trên các bản sao song song dữ liệu. Kho lưu trữ lưu ý rằng hầu hết chức năng công cụ cần thiết để phân chia đã được triển khai nhưng các hệ thống xung quanh được giao lại cho người vận hành.

Trong thực tế, điều đó có nghĩa là DeepInfer được hiểu rõ nhất là công cụ tính toán của cơ sở hạ tầng của DeepSeek chứ không phải là giải pháp thay thế chìa khóa trao tay cho các khung phục vụ cộng đồng. Các nhóm vẫn cần tích hợp nó với các lớp bộ nhớ đệm và định tuyến trước khi đưa nó ra trước lưu lượng truy cập thực.

Tại sao nó lại quan trọng

Hoạt động kinh doanh của DeepSeek dựa trên việc cung cấp các mô hình với giá cực kỳ rẻ và tính kinh tế của hoạt động kinh doanh đó là chủ đề được xem xét kỹ lưỡng khi công ty hướng tới những gì họ mô tả là định giá không còn định vị chi phí thấp trước đó. Việc mở ra đường dẫn suy luận sản xuất thực tế — không chỉ mã nghiên cứu — mang lại cho các nhà phát triển bên ngoài và nhà cung cấp đám mây cái nhìn trực tiếp khác thường về các kỹ thuật đằng sau những chi phí đó.

Nó cũng tiếp tục một mô hình có chủ ý. FlashMLA, DeepGEMM và DeepEP đều được phát hành riêng lẻ khi phòng thí nghiệm xây dựng ngăn xếp của mình; DeepInfer ghi lại một cách hiệu quả cách các phần khớp với nhau. Đối với các nhà nghiên cứu, bản phát hành này giúp việc tái tạo các tuyên bố về hiệu suất đã được công bố của DeepSeek trở nên dễ dàng hơn. Đối với các đối thủ cạnh tranh, nó nâng cao tiêu chuẩn cho những gì được coi là ngăn xếp suy luận mở.

Giấy phép Apache 2.0 cho phép sử dụng thương mại mà không có nghĩa vụ copyleft, có nghĩa là các nhà cung cấp đám mây phương Tây có thể triển khai nó một cách hợp pháp - mặc dù sự hỗ trợ mô hình của nó hiện bị giới hạn ở điểm kiểm tra V4.1-Flash của DeepSeek, vì vậy hiện tại hầu hết sẽ coi nó như một triển khai tham chiếu.

Xem gì

Ba câu hỏi sẽ xác định liệu DeepInfer có được áp dụng rộng rãi hay vẫn còn là một điều gây tò mò. Đầu tiên, liệu cộng đồng có chuyển nó vượt quá V4.1-Flash sang các kiến ​​trúc mô hình khác hay không. Thứ hai, liệu kết quả điểm chuẩn được xuất bản trong bảng hiệu suất của kho lưu trữ có phù hợp với phần cứng bên ngoài cụm riêng của DeepSeek hay không. Thứ ba, liệu các phần còn thiếu — quản lý bộ nhớ đệm KV, phân tổ và cân bằng tải — có xuất hiện trong các bản phát hành trong tương lai hay không, biến công cụ này thành một khung phân phối hoàn chỉnh.

Hiện tại, việc phát hành này là một động thái minh bạch đáng chú ý từ một phòng thí nghiệm đã nhiều lần chọn xuất bản cơ sở hạ tầng bên dưới các mô hình của mình. Các nhà phát triển muốn thử nghiệm có thể xây dựng DeepInfer từ nguồn trên nền tảng được hỗ trợ và chạy suy luận ngoại tuyến bằng một tập lệnh mẫu duy nhất.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →