Anthropic đã bắt đầu cung cấp cho một nhóm từ METR, tổ chức phi lợi nhuận chuyên đánh giá các mô hình AI tiên phong, "quyền truy cập giống như nhân viên" vào các hệ thống nội bộ của mình — phần cứng của công ty, không gian văn phòng và các công cụ gần ngang bằng với những gì mà các nhóm đánh giá rủi ro của chính họ sử dụng — để nhóm bên ngoài có thể đánh giá độc lập các rủi ro của các mô hình biên giới của Anthropic và công bố những gì họ tìm thấy.
Sự sắp xếp, được công bố trên blog của Anthropic vào thứ Tư, đi xa hơn những mối quan hệ theo kiểu kiểm toán mà các công ty AI thường chấp nhận và nó đi kèm với một điều khoản nổi bật: METR sẽ công bố kết quả đánh giá rủi ro của mình và Anthropic không thể phủ quyết việc xuất bản.
"Quyền truy cập giống như nhân viên" thực sự có nghĩa là gì
Sáu nhân viên METR đã được sử dụng phần cứng, không gian văn phòng của công ty và quyền truy cập vào các công cụ và hệ thống nội bộ mà Anthropic mô tả gần ngang bằng với những gì mà nhóm đánh giá rủi ro của chính họ nhận được. Ngoài một số ít danh mục được xác định rõ ràng — dữ liệu về khách hàng, thông tin đặc quyền của luật sư-khách hàng và thông tin về cấu trúc mô hình — Anthropic cho biết nhân viên của họ được khuyến khích chia sẻ thông tin với nhóm METR giống như cách họ chia sẻ thông tin với một đồng nghiệp đang làm việc về rủi ro liên kết.
Sự tham gia được cố tình thu hẹp. Nó bao gồm một nhóm nhỏ hoạt động theo các thỏa thuận có thể thực thi và các nhân viên METR khác không được tham gia vào công việc của nhóm đó - bao gồm cả các nhà nghiên cứu cộng tác với Anthropic trong các dự án khác. Anthropic lưu ý rằng quá trình thiết lập này mang lại cho một số người có trình độ, làm việc theo các tiêu chuẩn bảo mật của Anthropic, cái nhìn sâu sắc về cách thức hoạt động của công ty; đây không phải là kênh để các tổ chức khác lấy thông tin của Anthropic hoặc thông tin của khách hàng.
Quyền xuất bản, có lan can
Theo thỏa thuận, METR sẽ công bố phân tích về mức độ rủi ro, sự cố hoặc hoạt động của Anthropic. Anthropic không thể chặn việc xuất bản, nhưng nó có thể yêu cầu biên tập lại khi thông tin rơi vào các danh mục được xác định trước được mô tả ở trên - và chính Anthropic sẽ quyết định những gì thuộc hoặc không thuộc các danh mục đó. Về phần mình, METR có quyền đưa ra những tuyên bố nhất định về mức độ truy cập và thông tin mà họ nhận được, một đối trọng được thiết kế để giữ cho khả năng biên tập không trở thành nút tắt tiếng.
Tại sao Anthropic lại mở cửa
Động thái này tuân theo cam kết mà Anthropic đưa ra vào tháng trước nhằm đánh giá độc lập mạnh mẽ hơn của bên thứ ba về các mô hình và biện pháp an toàn của mình cũng như việc ký kết Hiệp định Nhà Trắng về Siêu trí tuệ, trong đó các công ty AI cam kết hợp tác với các kiểm toán viên hoặc nhà đánh giá độc lập bên ngoài. Nó cũng mở rộng mối quan hệ hiện có: trong năm qua, Anthropic đã làm việc với METR trong một số đánh giá về Báo cáo Rủi ro của mình.
METR không đơn độc trong danh mục đầu tư. Anthropic cho biết họ cũng đang hợp tác với SecureBio và Accenture với tư cách là người đánh giá - Khoa của Accenture được mệnh danh là người đánh giá nhúng đầu tiên của công ty vào tháng 9 - và đang thảo luận sớm với một số tổ chức khác, bao gồm cả Ôm mặt. Những mối quan hệ đối tác ở giai đoạn đầu đó đi kèm với quyền truy cập và xuất bản thông tin hạn chế hơn trong khi công ty tìm hiểu những loại hình hợp tác nào hoạt động.
Sự tương tự giữa giám sát ngân hàng
Khung riêng của Anthropic vay mượn từ tài chính. Các ngân hàng biết nhiều hơn về các vị thế rủi ro của chính họ so với những người bên ngoài, vì vậy các cơ quan quản lý chỉ định các giám định viên thường trú làm việc bên trong các ngân hàng lớn nhất; nếu việc chấp nhận rủi ro của ngân hàng có thể đe dọa công chúng thì các bên thứ ba sẽ cố gắng xem trước điều đó. Công ty định vị đánh giá nhúng là phiên bản logic đó của ngành AI — một bước tiến tới giám sát an toàn mạnh mẽ trong một lĩnh vực mà người xây dựng luôn biết nhiều hơn cơ quan giám sát.
Cơ sở của tất cả là một mục tiêu đã nêu: thu hẹp khoảng cách giữa những gì các nhà đánh giá độc lập hiểu về hệ thống của một công ty AI hàng đầu và những gì bản thân công ty hiểu.
Người đánh giá cần gì
Thông báo cũng đưa ra những gì Anthropic cho rằng việc đánh giá có ý nghĩa đòi hỏi: kiến thức chuyên môn trong việc đánh giá các khả năng của mô hình biên giới, bao gồm hiểu biết về việc các đánh giá có thể sai sót như thế nào thông qua các hiện tượng như giả mạo liên kết; tính độc lập, nghĩa là không có vốn sở hữu hoặc phụ thuộc về tài chính hoặc hoạt động vào công ty được đánh giá; có đủ quyền truy cập để đánh giá rủi ro một cách có ý nghĩa, vượt ra ngoài các mô hình mới nhất về cách chúng được đào tạo và cách thức hoạt động của các biện pháp bảo vệ; và tự do công bố những quan sát và đánh giá về một mô hình hoặc một quy trình.
Một trường hợp thử nghiệm cho toàn bộ ngành
Sự sắp xếp sẽ được đánh giá bởi đầu ra của nó. Đánh giá được công bố lần đầu tiên của METR theo chế độ truy cập mới sẽ cho thấy liệu việc truy cập giống như nhân viên có tạo ra các phát hiện bằng răng thật hay các báo cáo được cắt bớt theo các danh mục biên tập mà chính công ty xác định hay không. Những người hoài nghi sẽ lưu ý rằng Anthropic kiểm soát ranh giới danh mục và nhóm thí điểm có quy mô nhỏ; những người ủng hộ sẽ lưu ý rằng quyền xuất bản Anthropic không thể phủ quyết thực sự là điều mới lạ đối với các phòng thí nghiệm ở biên giới.
Dù bằng cách nào, ngành công nghiệp đang theo dõi. Nếu quyền truy cập nhúng của METR hiển thị các phát hiện quan trọng và công bố chúng nguyên vẹn, thì mô hình này sẽ trở thành khuôn mẫu rõ ràng cho mọi phòng thí nghiệm đã ký hiệp định của Nhà Trắng — và là chuẩn mực để các nhà hoạch định chính sách cân nhắc xem liệu giám sát tự nguyện có thể thay thế cho các cuộc kiểm toán bắt buộc hay không. Để đưa tin liên tục về chính sách an toàn AI và tin tức ngành AI định hình chính sách đó, AI Buzz Wire sẽ theo dõi từng diễn biến khi nó bị phá vỡ.
---
Đi trước AINhận tin tức, phân tích và đột phá mới nhất về AI — tất cả ở cùng một nơi.
Đọc thêm tin tức về AI →
