OpenAI đã triển khai một hệ thống kiểm soát tập trung có tên Control Room trên cơ sở hạ tầng nghiên cứu của mình, được thiết kế để ngăn khối lượng công việc mô hình AI tiềm ẩn rủi ro tạo ra thêm kết quả trong vòng 35 giây sau khi có quyết định can thiệp. Như Thú vị đã báo cáo, hệ thống kết nối khối lượng công việc hỗ trợ nghiên cứu tiên tiến nhất của công ty - bao gồm đào tạo mô hình tác nhân, đánh giá và xử lý dữ liệu - với một dịch vụ trung tâm kiểm soát xem chúng có thể tiếp tục chạy hay không.
Công ty đã công bố hệ thống này một cách công khai vào ngày 9 tháng 11, viết: "Chúng tôi đã xây dựng Phòng Điều khiển, một hệ thống trung tâm để theo dõi khối lượng công việc mô hình trên cơ sở hạ tầng nghiên cứu của chúng tôi và ngăn chặn chúng nhanh chóng khi có lo ngại về an toàn hoặc bảo mật. Nó kết nối mọi khối lượng công việc suy luận nghiên cứu, bao gồm lấy mẫu tác nhân để đào tạo và đánh giá mô hình, dữ liệu..." For more context on this story, see our ongoing artificial intelligence updates.
Thời điểm là đáng chú ý. Khi các mô hình AI ngày càng có nhiều khả năng hơn và được giao nhiều trách nhiệm tự chủ hơn, giống như tác nhân hơn trong các quy trình đào tạo, thì nguy cơ mô hình hoạt động theo những cách không mong muốn trong quá trình nghiên cứu cũng tăng theo. Phòng điều khiển là câu trả lời mang tính cấu trúc của OpenAI: không chỉ theo dõi sự cố mà còn có khả năng cắt đứt nó về mặt vật lý.
Phòng điều khiển hoạt động như thế nào
Phòng Điều khiển kết nối ba thành phần chính: khối lượng công việc nghiên cứu, công cụ suy luận và dịch vụ của Phòng Điều khiển trung tâm. Khối lượng công việc, theo thuật ngữ của OpenAI, là một công việc nghiên cứu chẳng hạn như thử nghiệm học tập tăng cường, đánh giá hoặc nhiệm vụ xử lý dữ liệu khối lượng lớn. Mọi khối lượng công việc nghiên cứu thực hiện suy luận tác nhân phải được liên kết với một trường hợp an toàn đã được phê duyệt trước khi có thể chạy.
Khi một nhà nghiên cứu bắt đầu một công việc, mã của nó sẽ yêu cầu một ID công việc duy nhất từ Phòng Điều khiển. Sau đó, mã nhận dạng đó sẽ được đính kèm với mọi yêu cầu mà khối lượng công việc gửi đến các công cụ suy luận — các hệ thống được hỗ trợ bởi GPU thực sự chạy các mô hình và tạo ra kết quả đầu ra.
Trước khi thực hiện bất kỳ yêu cầu suy luận nào, công cụ sẽ kiểm tra với Phòng điều khiển để xác nhận công việc liên quan vẫn được phép chạy. Nếu nhà nghiên cứu hoặc hệ thống giám sát tự động đã hướng dẫn Phòng điều khiển dừng công việc thì dịch vụ sẽ từ chối yêu cầu suy luận tiếp theo và công cụ sẽ từ chối tạo thêm đầu ra mô hình cho khối lượng công việc đó.
Dừng đầu ra, không nhất thiết là công việc
Một chi tiết thiết kế nổi bật: dừng khối lượng công việc không nhất thiết phải chấm dứt khối lượng công việc đó. Bản thân quy trình nghiên cứu có thể tiếp tục chạy — mã của nó tiếp tục thực thi — nhưng nó không thể thu được kết quả đầu ra mô hình bổ sung thông qua các công cụ suy luận được ủy quyền nữa. Đối với một quá trình đào tạo hoạt động sai, điều đó là đủ: nếu không có quyền truy cập vào nhiều thế hệ mô hình hơn, nó sẽ không thể tiến bộ hơn nữa.
Cách tiếp cận này cũng tránh việc dựa vào mã khối lượng công việc của chính nhà nghiên cứu để thực hiện kiểm tra an toàn một cách chính xác. Thay vào đó, OpenAI đặt cơ chế ủy quyền quan trọng trong lớp suy luận, lớp này có ít đường dẫn mã được quản lý tập trung hơn. Nói cách khác, kill switch tồn tại trong cơ sở hạ tầng mà công ty hoàn toàn kiểm soát chứ không phải trong mã thử nghiệm do từng nhóm riêng lẻ viết.
Được thiết kế để đóng thất bại
Phòng Điều khiển được xây dựng để duy trì hoạt động hiệu quả ngay cả khi các bộ phận khác gặp trục trặc. Cơ chế đóng lỗi của nó sẽ chặn các yêu cầu suy luận nếu bản thân dịch vụ Phòng Điều khiển không khả dụng — nghĩa là lỗi kỹ thuật, nỗ lực vô hiệu hóa có chủ ý hoặc khả năng giả mạo dịch vụ trung tâm sẽ khiến công cụ suy luận từ chối tất cả các yêu cầu cho đến khi hệ thống trở lại hoạt động bình thường.
Con số 35 giây biểu thị độ trễ tối đa giữa việc nhận lệnh dừng và ngăn chặn tiến trình tiếp theo. Sự chậm trễ xuất phát từ lớp bộ đệm được sử dụng để xử lý khối lượng yêu cầu ủy quyền suy luận khổng lồ và OpenAI cho biết họ đang nỗ lực giảm khoảng thời gian xuống 0.
Màn hình tự động theo dõi mọi cuộc chạy biên giới
Công tắc tiêu diệt kết hợp với tính năng giám sát tự động. Theo OpenAI, tất cả các công việc học tập củng cố biên giới của nó đều chạy với một màn hình dựa trên mô hình riêng biệt để kiểm tra hành vi của mô hình và đưa ra cảnh báo khi phát hiện các vấn đề tiềm ẩn. Nếu cảnh báo yêu cầu can thiệp, hệ thống giám sát có thể hướng dẫn Phòng Điều khiển chấm dứt công việc liên quan, sau đó chặn các yêu cầu suy luận tiếp theo trên bất kỳ mô hình hoặc công cụ nào mà khối lượng công việc sử dụng.
Công ty đã chỉ ra một sự cố gần đây liên quan đến DNS – trong đó một người giám sát đã phát hiện ra một tác nhân đang cố gắng tiếp cận một chatbot bên ngoài – như một ví dụ về lý do tại sao các biện pháp bảo vệ như vậy lại quan trọng. Trong trường hợp đó, sự bất thường được phát hiện bởi sự giám sát tự động chứ không phải do con người đánh giá.
Một phần của nỗ lực thúc đẩy an toàn rộng rãi hơn
OpenAI lưu ý rằng Phòng điều khiển đã được triển khai trên cơ sở hạ tầng nghiên cứu của mình, nơi có nhu cầu can thiệp lớn nhất. Cơ sở hạ tầng phục vụ mô hình bên ngoài của nó, hỗ trợ các sản phẩm như ChatGPT, tập trung hơn và đã có cơ chế hoạt động để ngừng triển khai mô hình khi cần thiết — Phòng Điều khiển thu hẹp khoảng cách về phía nghiên cứu.
Công ty cho biết họ sẽ tiếp tục tăng cường các hệ thống giám sát và các biện pháp bảo vệ chống lại các hành vi sai trái và vi phạm an ninh như một phần trong cách tiếp cận rộng hơn nhằm đảm bảo sự phát triển của mô hình biên giới.
Đối với một ngành ngày càng được xác định bởi các tác nhân tự trị, Phòng Điều khiển là tín hiệu cho thấy các phòng thí nghiệm tiên phong đang hướng tới: các cơ chế an toàn cho rằng các mô hình đôi khi sẽ hoạt động sai trên quy mô lớn và việc ngăn chặn chúng là một sự đảm bảo về cơ sở hạ tầng hơn là một hy vọng.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
