Khi bạn nói chuyện trực tiếp với một người bạn, bạn có thể nhìn thấy họ, nghe thấy họ, bắt tay họ. Khi bạn nói chuyện với một mô hình AI, bạn hầu như không có được sự đảm bảo nào cả. Nghiên cứu mới của Anthropic nhắm chính xác vào khoảng trống đó: công ty đã công bố tiến bộ về bằng chứng suy luận bằng mật mã, bao gồm một hệ thống có tên FlashProve có thể chứng minh - về mặt toán học chứ không phải theo hợp đồng - rằng phản hồi thực sự đến từ mô hình mà nó tuyên bố.

Vấn đề mà FlashProve giải quyết có tính chất cấu trúc. Ngày nay, người dùng truy vấn một mô hình không thể kiểm tra xem các phản hồi có đến từ mô hình cụ thể mà nhà phát triển tuyên bố đang phản hồi hay không, trái ngược với mô hình được thay thế bí mật bằng dịch vụ định tuyến vì lý do chi phí hoặc thậm chí bởi kẻ tấn công đã giả mạo luồng mã thông báo. Chỉ đánh giá dựa trên kết quả đầu ra là không đáng tin cậy, ngay cả khi câu trả lời có vẻ xuất sắc. Trong một ngành mà cùng một cửa sổ trò chuyện có thể âm thầm định tuyến đến một mô hình rẻ hơn đang tải, đó không phải là mối lo ngại giả định - đó là mô hình tin cậy mặc định. Để biết thêm thông tin về công việc như thế này, hãy xem tin tức nghiên cứu AI của chúng tôi.

Tại sao suy luận có thể chứng minh được lại khó

Mục tiêu của suy luận có thể chứng minh là cho phép người dùng có tài nguyên tính toán hạn chế - và không có quyền truy cập vào trọng số riêng của mô hình - xác minh rằng phản hồi nhất định có thực sự được tạo ra bởi mô hình đó hay không. Cách tiếp cận rõ ràng, tự mình chạy lại mô hình, là một cách không bắt đầu: trọng số của các mô hình biên giới được giữ kín và việc kiểm tra phản hồi đối với chúng sẽ yêu cầu tính toán vượt xa những gì mà một người dùng thông thường hoặc thậm chí là một người đánh giá được tài trợ tốt có thể thực hiện được.

Cách tiếp cận của Anthropic dựa trên zkSNARK, một nhóm các bằng chứng không có kiến ​​thức với các đặc tính hiệu quả và ẩn giấu mạnh mẽ khiến chúng phù hợp duy nhất cho nhiệm vụ. Nhà cung cấp cam kết với một mô hình một lần, sau đó tạo bằng chứng nhỏ gọn cho mỗi phản hồi rằng câu trả lời được tính toán bởi mô hình đã cam kết - trong khi bản thân các bằng chứng đó che giấu trọng số của mô hình. Ẩn kiến ​​trúc không phải là mục tiêu của hệ thống; ẩn các trọng lượng là.

Những con số

Các số liệu về hiệu quả trong bài viết là cốt lõi kỹ thuật của câu chuyện, bởi vì việc tạo bằng chứng cho các mô hình lớn trong lịch sử thường là các cấp độ lớn quá chậm để có thể quan trọng. Đối với Llama 4 Maverick, một mô hình gồm 400 tỷ tham số gồm các chuyên gia, một GPU NVIDIA H100 duy nhất tạo ra bằng chứng với tốc độ khoảng 110 mã thông báo mỗi giây, với kích thước bằng chứng khoảng 19 MB cho mỗi yêu cầu 1.024 mã thông báo, sử dụng trọng số lượng tử hóa 4 bit và số học số nguyên trong quá trình điền trước.

Tốc độ đó phải trả giá: việc tạo bằng chứng mất khoảng 70 đến 95 lần thời gian GPU khi chỉ chạy mô hình trên vLLM, một thư viện suy luận nguồn mở được sử dụng rộng rãi. Nói cách khác, đắt tiền - nhưng lần đầu tiên có cùng mức độ như thứ đang được chứng minh, và theo Anthropic, nhanh hơn đáng kể so với các hệ thống nguồn mở trước đây, vốn bị tụt hậu theo các bậc độ lớn.

Claude đã xây dựng nó - và Lean kiểm tra các tuyên bố

Có một câu chuyện thứ hai được gấp bên trong câu chuyện đầu tiên. Theo bài đăng, chính Claude đã tạo ra các cải tiến trên zkSNARK để suy luận, tìm ra những cách mới để áp dụng các công cụ tiên tiến từ tài liệu về mật mã và bảo mật trong khi dựa vào các nguyên tắc thiết kế đã được thiết lập tốt cho các hệ thống chứng minh mật mã.

Anthropic thẳng thắn về rủi ro đi kèm với quy trình làm việc đó: Claude rất giỏi tối ưu hóa nhưng thường đưa ra những quyết định khó đánh giá, đặc biệt là trong các hệ thống lớn phức tạp. Biện pháp đối phó là xác minh chính thức. Công ty cung cấp các tuyên bố có thể kiểm tra cấp cao nhất bằng Lean, một ngôn ngữ xác minh chính thức, để đảm bảo an ninh đã được tuyên bố — toán học được kiểm tra bằng máy đứng giữa khả năng tối ưu hóa thông minh của AI và những người dùng phải tin tưởng chúng.

Toàn bộ ngăn xếp đang được phát hành theo giấy phép Apache 2.0: bài đăng trên blog, một báo cáo kỹ thuật giải thích các chi tiết của hệ thống, mô tả giao thức, mã thực thi bao gồm một trình xác minh và hai trình xác minh — một trình xác minh nhanh trong C++ và một trình xác minh có thể chứng minh là chính xác trong Lean — cùng với chính các bằng chứng Lean và một trình hiển thị tương tác để hỗ trợ kiểm tra.

Từ việc tuân thủ đến các hiệp ước về nhịp độ AI

Các trường hợp sử dụng phác họa nhân học trải dài từ thông thường đến địa chính trị. Những người đánh giá độc lập kiểm tra các mô hình AI trước và sau khi phát hành cần biết mô hình mà họ đang đánh giá có phải là mô hình đang được phục vụ hay không. Khách hàng truy cập vào mô hình thông qua dịch vụ định tuyến của bên thứ ba muốn đảm bảo rằng mã thông báo đến từ mô hình mà họ đã trả tiền. Và trong kịch bản bảo mật, kẻ tấn công mạng sửa đổi luồng mã thông báo trong khi mạo danh một mô hình nhất định sẽ có thể bị phát hiện theo cách mà chỉ kiểm tra đầu ra không bao giờ có thể đạt được.

Ứng dụng tham vọng nhất có tên trong bài đăng là xác minh việc tuân thủ các yêu cầu về nhịp độ AI - một loại thỏa thuận mới nổi, tự nguyện và chính phủ, nhằm quản lý tốc độ phát triển của các khả năng biên giới. Ngày nay những cam kết như vậy dựa trên sự tin cậy và giấy tờ. Bằng chứng suy luận bằng mật mã cung cấp một cái gì đó gần hơn với việc kiểm tra: một cách để chứng minh, thay vì khẳng định, mô hình nào đang phục vụ một khối lượng công việc nhất định.

Các nhà nghiên cứu nói rõ rằng đây là tiến trình trung gian, không phải là một chương trình nghiên cứu đã hoàn chỉnh và họ xuất bản với mục tiêu đã nêu là những người khác sẽ tiếp nhận công việc và cải thiện nó. Bản thân khuôn khổ đó đã là một tín hiệu: suy luận có thể chứng minh được đã chuyển từ thử nghiệm tư duy hội thảo về mật mã sang một vấn đề kỹ thuật mà một phòng thí nghiệm ở biên giới hiện đang công khai chạy đua để tạo ra đủ rẻ để triển khai.

---

Đi trước AI

Nhận tin tức, phân tích và đột phá mới nhất về AI — tất cả ở cùng một nơi.

Đọc thêm tin tức về AI →