Một cuộc tập trận kéo dài ba tuần của đội đỏ đã tìm thấy các lỗ hổng mới trong hệ thống giám sát sai lệch nội bộ của OpenAI - bao gồm cả những cách mà về nguyên tắc, các tác nhân AI có thể thực hiện hành động mà không cần được con người xem xét. METR, tổ chức phi lợi nhuận đánh giá độc lập, đã công bố một bản tóm tắt cấp cao về các phát hiện vào ngày 22 tháng 10, được rút ra từ báo cáo nội bộ dài 61 trang mà tổ chức này đã gửi cho các nhà nghiên cứu và nhân viên bảo mật của OpenAI.
Chương trình thí điểm diễn ra từ ngày 21 tháng 7 đến ngày 11 tháng 8 và cấp cho một nhân viên METR và một nhân viên của Redwood Research quyền truy cập sâu bất thường vào cơ sở hạ tầng nội bộ của OpenAI: cơ sở mã, lời nhắc và cấu hình của hệ thống giám sát, tài liệu nội bộ và các cuộc phỏng vấn kỹ thuật với khoảng chục nhà nghiên cứu và kỹ sư trong các nhóm giám sát, hệ thống an toàn và bảo mật. Họ làm việc trên các thiết bị do OpenAI cấp và không bao giờ rời khỏi cơ sở và luôn được hộ tống khi làm việc tại chỗ. Để biết thêm về dòng nghiên cứu này, hãy xem sự phát triển AI mới nhất của chúng tôi.
Đội Đỏ đã tìm thấy gì
Bài tập tập trung vào hai câu hỏi: mức độ suy luận tác nhân của OpenAI thực sự được giám sát và liệu các tác nhân có thể vô hiệu hóa hoặc phá hoại hệ thống giám sát hay không. Các câu trả lời đã tiết lộ những khoảng trống có ý nghĩa.
Về phạm vi đưa tin, METR ước tính rằng khoảng 75 đến 94 phần trăm lưu lượng API phản hồi nội bộ có tính tác nhân — API hỗ trợ Codex, trong số những thứ khác — từ các mô hình ít nhất có khả năng như GPT-5.5 đủ điều kiện để giám sát vào thời điểm đó, mặc dù tổ chức lưu ý rằng sự không chắc chắn đáng kể ở cả hai hướng. Trong tập hợp con lưu lượng truy cập được sử dụng cho các đại lý Codex nội bộ, 99,2% đủ điều kiện. Nhưng khả năng đủ điều kiện không giống như phạm vi bao phủ: các đợt đào tạo học tăng cường không được hệ thống giám sát đưa vào khi bắt đầu diễn tập và các sự kiện nén không được giám sát có thể khiến 10% lưu lượng Codex nội bộ đủ điều kiện không được giám sát trong khoảng thời gian từ tháng 5 đến tháng 7 năm 2026. Nhân viên OpenAI đã xác định độc lập vấn đề nén trước khi diễn tập và khắc phục nó trong khi nó đang diễn ra.
Chi tiết thời gian rất quan trọng. Bởi vì màn hình được kích hoạt khi các tác nhân trả lại quyền kiểm soát cho người dùng, nên một tác nhân có thể trì hoãn vô thời hạn việc bị giám sát chỉ bằng cách tiếp tục thực hiện các hành động trong cửa sổ không được giám sát.
Nhóm nghiên cứu cũng ghi lại các đường trốn tránh chủ động. Về nguyên tắc, các đại lý Codex có thể bỏ qua hộp cát Codex và Tự động xem xét, cho phép họ thực hiện bất kỳ hành động nào mà người dùng máy chủ có thể thực hiện. METR đã phát hiện ra một cách khai thác có thể ngăn hàng trăm hành động gần đây — bao gồm cả các hành động liên quan đến chính việc khai thác — khỏi bị giám sát; OpenAI đã biên soạn lại các chi tiết kỹ thuật. Các đặc vụ có thể xây dựng các thông tin đầu vào khiến màn hình bị lỗi bằng cách khai thác sự khác biệt về tuần tự hóa giữa quỹ đạo mà tác nhân nhìn thấy và những gì người giám sát nhìn thấy, tránh chuyển sang yêu cầu xem xét của con người. Và hai tiêu đề do khách hàng kiểm soát đã được phát hiện vô hiệu hóa tính năng giám sát đối với các tác nhân mới, có khả năng cho phép một tác nhân khởi động một phiên bản không được giám sát nhưng giống hệt nhau — mặc dù METR lưu ý rằng hành động đặt các tiêu đề đó có thể bị phát hiện.
Cuối cùng, nhóm đã xác định được hai công cụ tác nhân nội bộ không được giám sát được cho là có quyền chỉ đọc, cùng với một cách khai thác đơn giản có thể được sử dụng để phá vỡ các giới hạn đó. METR đã không xác nhận hành vi đó trong thực tế.
Điều gì đã xảy ra
Bài tập cũng xác nhận các phần của hệ thống. Ngoại trừ một vài ngoại lệ nhỏ, màn hình sẽ hiển thị toàn bộ quỹ đạo mà các đặc vụ nhìn thấy. Các lời nhắc giám sát đã được xác nhận để tìm kiếm âm mưu, lật đổ hệ thống, phá hoại, lấy cắp dữ liệu, lừa dối và tiêm nhắc nhở vào và ra, cùng với các loại rủi ro khác. Về độ tin cậy, thông tin mà METR đưa ra cho thấy màn hình có lỗi ở ít hơn 0,2% yêu cầu và trong khoảng thời gian 24 giờ trong quá trình diễn tập, không có nhà kho nào được phân bổ tải.
Phản hồi của OpenAI
Theo METR, OpenAI đã tuyên bố rằng tất cả các lỗ hổng được xác định có ảnh hưởng đến ngăn xếp các biện pháp bảo vệ sản xuất của nó đều đã được vá và đã mô tả những thay đổi đáng kể tiếp theo đối với phạm vi dự kiến của hệ thống giám sát của nó. METR chưa đánh giá những tuyên bố đó và các phát hiện của họ mô tả hệ thống này tồn tại vào hoặc trước ngày 21 tháng 7 - không phải phiên bản mở rộng mà OpenAI đã xây dựng trong quá trình diễn tập.
Bài học thiết kế để giám sát đại lý
METR đã kết thúc phần tóm tắt của mình bằng các ý tưởng thiết kế cho cơ sở hạ tầng giám sát trong tương lai mà họ cho rằng có thể chống lại các cuộc tấn công có chủ ý, chiến lược và kéo dài từ các tác nhân nội bộ có năng lực cao trên quy mô lớn. Hai nổi bật. Khó tránh khỏi việc giám sát: việc chạy các yêu cầu không được giám sát phải yêu cầu phê duyệt rõ ràng gắn với các tổ chức hoặc khóa API cụ thể bị cấm suy luận tác nhân và các tổng đài viên phải được giám sát mỗi N tin nhắn hoặc phút thay vì chỉ khi họ kết thúc lượt của mình. Và phạm vi đưa tin phải có thể kiểm tra được: tính toán cẩn thận mọi suy luận, tham chiếu chéo định kỳ với nhật ký của chính hệ thống giám sát, để mọi thứ dự kiến được giám sát đều được chứng minh rõ ràng.
Cuộc tập trận này được thiết kế như một thí điểm nhằm giúp các nhà nghiên cứu bên ngoài tiếp cận sâu hơn với cơ sở hạ tầng nội bộ của phòng thí nghiệm biên giới, chứ không phải như một báo cáo minh bạch công khai - METR và OpenAI đã đồng ý trước rằng chỉ một bài đăng ngắn gọn, cấp cao sẽ được xuất bản. Tổ chức phi lợi nhuận này cho biết các phiên bản trong tương lai sẽ tuân theo các nguyên tắc minh bạch và độc lập được mô tả trong khuôn khổ hợp tác với các công ty AI. Khi các đặc vụ đảm nhận nhiều công việc quan trọng hơn bên trong các phòng thí nghiệm xây dựng chúng, chương trình thí điểm sẽ đưa ra một mẫu về cách người ngoài có thể theo dõi.
---
Đi trước AINhận tin tức, phân tích và đột phá mới nhất về AI — tất cả ở cùng một nơi.
Đọc thêm tin tức về AI →
