Phòng thí nghiệm AI Trung Quốc Z.ai đã xuất bản một tài khoản kỹ thuật chi tiết về cách thiết lập các mô hình GLM để cải thiện chính các hệ thống phục vụ chúng, mô tả một "Tác nhân cơ sở hạ tầng" có thể tìm và khắc phục các tắc nghẽn về hiệu suất trong cơ sở hạ tầng suy luận của công ty với sự can thiệp hạn chế của con người.

Bài đăng trên blog có tiêu đề “Hướng tới khả năng tự cải thiện đệ quy: Cách GLM xây dựng cơ sở hạ tầng suy luận của riêng mình” đã xuất hiện trên trang web của công ty vào thứ Tư và nhanh chóng trở thành một trong những câu chuyện công nghệ được thảo luận nhiều nhất trên Hacker News, nơi nó đã thu hút hơn 200 điểm từ cộng đồng nhà phát triển. For more context on this story, see our ongoing breaking AI news.

Công ty viết trong dòng mở đầu bài đăng: “Khi chúng tôi phát triển GLM, mô hình này đôi khi thể hiện những khả năng khiến chúng tôi ngạc nhiên và thậm chí khiến chúng tôi lo lắng”.

Từ nghiên cứu an ninh mạng đến hệ thống tự tối ưu hóa

Công việc bắt đầu từ tháng 10 năm 2025, khi Z.ai bắt đầu nghiên cứu cách tăng cường khả năng an ninh mạng của GLM. Công ty cho biết lý do rất đơn giản: an ninh mạng là một phần mở rộng tự nhiên của mã hóa và các mô hình có thể điều hướng các cơ sở mã lớn cuối cùng có thể điều hướng mã hệ thống cấp thấp mà hầu hết các kỹ sư đều tránh.

Nền tảng đó đã phát triển thành một thứ gì đó đầy tham vọng hơn. Thay vì chỉ sử dụng các mô hình để viết mã, Z.ai bắt đầu trả lời một câu hỏi về kỹ thuật hệ thống: liệu tác nhân AI có thể chịu trách nhiệm về hiệu suất của ngăn xếp suy luận sản xuất, lớp phối hợp phần mềm và phần cứng để biến trọng lượng mô hình thành phản hồi nhanh, rẻ không?

Câu trả lời của công ty liên quan đến việc tái cấu trúc vấn đề. Bài đăng lập luận rằng chỉ riêng các số liệu từ đầu đến cuối không thể hướng dẫn một tác nhân tối ưu hóa. Một báo cáo cho biết thời gian tạo mã thông báo đầu tiên tăng 30% hoặc thông lượng đầu ra giảm 20% cho tác nhân biết rằng có điều gì đó tồi tệ hơn, nhưng không cho biết lớp nào chịu trách nhiệm, tại sao giả thuyết của nó thất bại hoặc cần kiểm tra điều gì tiếp theo.

"Làm cách nào để chúng tôi biến các kết quả từ đầu đến cuối thưa thớt thành phản hồi kỹ thuật chi tiết, có thể quy kết trực tiếp hướng dẫn hành động tiếp theo?" công ty hỏi trong bài đăng, mô tả câu hỏi này là chìa khóa cho toàn bộ nỗ lực.

Ba quy tắc cho phản hồi có thể đọc được của tác nhân

Câu trả lời của Z.ai là một nguyên tắc phản hồi được xây dựng dựa trên ba đặc điểm. Đầu tiên, phản hồi phải đủ cục bộ, gắn với các tham số khởi chạy công cụ cụ thể, thay đổi mã, hạt nhân, điều kiện đầu vào, luồng, khoảng thời gian thực hiện hoặc đường dẫn mã, để tác nhân có thể thu hẹp phạm vi của bất kỳ vấn đề nào. Thứ hai, việc thu thập phải không tốn kém và kịp thời: một câu hỏi có thể trả lời được bằng kiểm tra nhân hoặc điểm chuẩn vi mô cục bộ không yêu cầu triển khai dịch vụ đầy đủ. Thứ ba, việc xác nhận phải phù hợp với giả thuyết hiện tại, với mọi thử nghiệm được thiết kế để trả lời một câu hỏi cụ thể thay vì tuân theo một trình tự cố định.

Công ty cho biết vòng phản hồi dày đặc này là thứ cho phép Tác nhân Infra hoạt động ít giống một quá trình tự động hoàn thành dành cho các kỹ sư mà giống một đồng nghiệp có thể chạy thử nghiệm qua đêm hơn.

Ba nghiên cứu điển hình, từ số đến lỗi phân luồng

Bài đăng trình bày ba giai đoạn cụ thể từ việc tối ưu hóa ngăn xếp phân phát của công ty cho GLM-5.3-Flash, mẫu Z.ai trọng lượng mở được phát hành theo giấy phép MIT vào tháng 8.

Việc đầu tiên liên quan đến tính đúng đắn. Bởi vì tối ưu hóa suy luận sẽ cải tiến cách tính toán song song, nên tác nhân cần xác minh rằng các hạt nhân tạo ra kết quả giống nhau trong các điều kiện được phân vùng và không phân vùng. Trong một trường hợp, nhóm đã kết hợp ba thao tác TF32 Tensor Core để tạo ra kết quả có độ chính xác cao hơn, giảm lỗi số tích lũy trong khi vẫn duy trì hầu hết lợi thế về hiệu suất của Tensor Core. Thử nghiệm so sánh giữa các chiến lược phân vùng đã cho thấy sự khác biệt đã thúc đẩy việc khắc phục.

Câu chuyện thứ hai là câu chuyện gỡ lỗi hệ thống mà bất kỳ kỹ sư hiệu suất nào cũng cảm thấy quen thuộc. Tiêu chí chấp nhận yêu cầu rằng việc thêm tính năng truyền bộ nhớ đệm KV vào đường dẫn phân phát không được làm giảm hiệu suất điền trước quá 5% trong các khối lượng công việc giống hệt nhau. Tác nhân nhận thấy khoảng cách vượt quá 20% trong một số trường hợp, điều này đã thu hẹp cuộc điều tra đối với hành vi đồng thời của chính quá trình truyền KV. Khi kiểm tra các mốc thời gian thực thi, tác nhân đã xác định được điểm bất thường: trong các tình huống có sự cố, quá trình thực thi truyền KV phía Python không bao giờ trùng lặp với các khoảng thời gian gửi và kết hợp của thư viện liên lạc DeepEP. Cách khắc phục là giải phóng khóa trình thông dịch toàn cầu của Python trong khoảng thời gian thực thi C++ có liên quan, cho phép luồng truyền phục vụ Mooncake, kho lưu trữ bộ đệm KV, tiến hành song song với tính toán. Khoảng cách hiệu suất sau đó đã giảm xuống trong ngưỡng chấp nhận.

Tập thứ ba cho thấy việc điều chỉnh hạt nhân lặp đi lặp lại. Giới thiệu ReplaySSM, một kỹ thuật trao đổi tính toán để lấy bộ nhớ, ban đầu đã tăng thời gian thực thi của hạt nhân giải mã KDA. Việc tối ưu hóa phân chia của tác nhân sau đó đã giảm 9,6% thời gian thực thi của hạt nhân. Sau khi nhận được phản hồi rằng quá trình tính toán vẫn là nút thắt cổ chai chính, nhân viên đã phát hiện ra cách triển khai ban đầu xếp chồng lên nhau dọc theo chiều V, khiến cho việc chuẩn hóa và tính toán cổng FP32 giống hệt nhau được lặp lại một cách không cần thiết.

Ngăn xếp đằng sau GLM-5.3-Flash

Các hoạt động tối ưu hóa dựa trên kiến trúc phân phối tích cực mà Z.ai mô tả trong bài viết: song song tensor nội nút cho sự chú ý tuyến tính và đầu mô hình ngôn ngữ, giao dịch tính toán lấy bộ nhớ ReplaySSM, lượng tử hóa W8A8, lượng tử hóa bộ đệm có độ chính xác hỗn hợp bằng cách sử dụng các định dạng INT8, FP8 và BF16, sơ đồ Phân chia lớp và kiến trúc phân tách Encode-Prefill-Decode chạy các giai đoạn phân phát trên các tài nguyên riêng biệt.

Công ty coi việc tích lũy các kỹ thuật này, phần lớn do chính tác nhân phát hiện và xác nhận, như một bước tiến tới tự cải tiến đệ quy: các hệ thống AI cải thiện cơ sở hạ tầng giúp chúng chạy nhanh hơn và rẻ hơn, từ đó làm cho vòng cải tiến dựa trên tác nhân tiếp theo có giá cả phải chăng hơn.

Tại sao nó lại quan trọng

Chi phí suy luận là một trong những yếu tố kinh tế mang tính quyết định của ngành AI. Các phòng thí nghiệm có thể phục vụ các mô hình cấp cao với chi phí trên mỗi mã thông báo thấp hơn có thể định giá mạnh mẽ, trợ cấp cho các đại lý thực hiện hàng nghìn cuộc gọi cho mỗi nhiệm vụ và tài trợ cho các hoạt động đào tạo bổ sung từ việc phục vụ doanh thu. Z.ai đã tỏ ra rất tích cực trên cả ba mặt trận và các tiết lộ tài chính tạm thời của công ty vào đầu năm nay cho thấy doanh thu tăng mạnh ngay cả khi khoản lỗ được thu hẹp.

Bài đăng cũng là một tín hiệu về hướng mà kỹ thuật phía phòng thí nghiệm đang hướng tới. Sự phân công lao động truyền thống, với các kỹ sư hiệu suất con người điều chỉnh hạt nhân và bộ lập lịch trong khi các mô hình xử lý các yêu cầu của người dùng, đang được thay thế tại Z.ai bằng một vòng lặp trong đó mô hình đề xuất các thay đổi, các thử nghiệm rẻ tiền xác thực chúng và phản hồi dày đặc chỉ đạo nỗ lực tiếp theo.

Cần phải đọc kỹ các tuyên bố về khả năng tự cải thiện hoàn toàn tự chủ. Bản thân bài đăng đã nêu rõ rằng các kỹ sư con người đã xác định các kịch bản thử nghiệm, đặt ra tiêu chí chấp nhận và xây dựng môi trường phản hồi mà tác nhân vận hành bên trong. Những gì công ty mô tả là tự động hóa vòng lặp tối ưu hóa được trang bị tốt, chứ không phải là hệ thống không được giám sát tự thiết kế lại.

Mặc dù vậy, hướng đi vẫn rõ ràng. Nếu tính kinh tế của AI trong vài năm tới được quyết định bởi ai có thể phục vụ thông tin tình báo với giá rẻ nhất, thì các phòng thí nghiệm dạy mô hình của họ cách tối ưu hóa cơ sở hạ tầng của riêng họ có thể quyết định tốc độ và Z.ai muốn ngành công nghiệp biết rằng họ dự định trở thành một trong số đó.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →