OpenAI hôm thứ Năm đã công bố tài khoản chi tiết nhất về cách phát hiện và phá vỡ “sự chắt lọc đối nghịch” – việc sử dụng trái phép đầu ra của mô hình biên giới để đào tạo một hệ thống cạnh tranh – và, theo nhiều báo cáo, đã bắt đầu yêu cầu các cổng và đại lý của bên thứ ba phải được phê duyệt trước khi cung cấp quyền truy cập trực tiếp vào các mô hình của nó.
Các động thái này, được mô tả trong một bài đăng trên blog OpenAI có tiêu đề “Chống lại sự chưng cất đối thủ” và được Semafor và eWeek đưa tin, đánh dấu sự thắt chặt đáng kể về cách công ty kiểm soát những người có thể phân phối lại khả năng của mô hình của mình – một sự thay đổi với những hậu quả thực sự đối với các nhà phát triển, các công ty khởi nghiệp và doanh nghiệp truy cập hệ thống OpenAI thông qua các bên trung gian.
Tại sao OpenAI coi quá trình chưng cất là vấn đề an toàn
Chưng cất là một kỹ thuật máy học tiêu chuẩn trong đó một mô hình học từ kết quả đầu ra của một mô hình khác. Bản thân nó, OpenAI lưu ý, nó không bất hợp pháp hay bất thường. Mối quan tâm của công ty là cái mà họ gọi là sự chắt lọc đối nghịch: một tác nhân sử dụng trái phép kết quả đầu ra của mô hình biên giới để đào tạo một mô hình khác có khả năng tương tự, sau đó triển khai mô hình đó mà không có biện pháp bảo vệ tương đương.
Trong bài đăng trên blog của mình, OpenAI cho rằng rủi ro rõ ràng nhất trong các lĩnh vực sử dụng kép như an ninh mạng và sinh học. Một mô hình giúp những người bảo vệ tìm ra các lỗ hổng phần mềm, một khi các kỹ năng của nó được chuyển sang một hệ thống có các rào cản yếu hơn, có thể giúp kẻ tấn công khai thác chúng. Công ty viết: “Kẻ thù có thể chắt lọc khả năng mạng của một mô hình và sử dụng mô hình kết quả để giúp thực hiện các cuộc tấn công mạng mà mô hình ban đầu đã từ chối hỗ trợ”.
Bảo vệ chuỗi tư duy
Trọng tâm của biện pháp bảo vệ của OpenAI là cái mà nó gọi là lý luận được bảo vệ: các bước trung gian — chuỗi suy nghĩ — một mô hình tạo ra nội bộ trong khi tìm kiếm câu trả lời. Công ty giải thích, những dấu vết đó có thể chứa thông tin mà câu trả lời cuối cùng bỏ qua, khiến chúng đặc biệt có giá trị làm dữ liệu đào tạo cho mô hình của phòng thí nghiệm khác.
OpenAI cho biết họ đã tăng cường khả năng phòng vệ chống lại việc trích xuất dấu vết lý luận trong GPT-6.2 Astra và GPT-6.2 Sol. Trong đánh giá thích ứng nội bộ bằng cách sử dụng nhóm đỏ tự động, công ty đã báo cáo rằng tỷ lệ tấn công thành công trung bình để khôi phục lý do được bảo vệ đã giảm từ 54,0% so với GPT-6 Astra với các biện pháp bảo vệ ban đầu xuống còn 0,2% đối với GPT-6.2 Astra với các biện pháp bảo vệ được cập nhật.
Nghiên cứu mạng nội bộ của nó đã tìm thấy gì
Công ty cũng chia sẻ kết quả từ một nghiên cứu nội bộ về cách chuyển giao năng lực mạng trong quá trình chưng cất. Mô hình học sinh đã được tinh chỉnh theo quỹ đạo do mô hình giáo viên thực hiện các nhiệm vụ mã hóa và phòng thủ an ninh mạng tạo ra. Những học sinh được đào tạo về các dấu vết lý luận chính xác thường hoạt động tốt hơn những học sinh chỉ được đào tạo về các tóm tắt lý luận, cả sau khi tinh chỉnh có giám sát và — ở mức ngân sách suy luận lớn nhất đã được kiểm tra — sau một vòng học tăng cường tiếp theo, theo điểm chuẩn mà OpenAI hiển thị bên cạnh bài đăng.
Hàm ý này khiến bất cứ ai hy vọng rằng việc chuyển giao năng lực có thể được hạn chế bằng cách xuất bản các kết quả đầu ra đã được làm sạch: ngay cả các tương tác được phép theo chính sách sử dụng cũng có thể dạy cho học sinh các kỹ năng làm mẫu khái quát hơn các nhiệm vụ mà giáo viên đã thực hiện ban đầu.
Cổng và đại lý hiện cần được phê duyệt
Các biện pháp kỹ thuật được đưa ra cùng với sự thay đổi chính sách. Bắt đầu từ thứ Năm, OpenAI sẽ yêu cầu các bộ định tuyến và cổng mô hình AI cung cấp cho bên thứ ba quyền truy cập trực tiếp vào các mô hình của nó để được phê duyệt trước, eWeek đưa tin. Yêu cầu này được xây dựng dựa trên một thông báo mà công ty đưa ra vào tháng 10 về cách áp dụng các biện pháp bảo vệ an toàn khi khách hàng truy cập trực tiếp vào các mô hình của công ty hoặc thông qua các đối tác lưu trữ và đại lý.
Theo bản tóm tắt của eWeek về khuôn khổ đó, các dịch vụ tham gia dự kiến sẽ duy trì các tiêu chuẩn tương đương để người dùng không thể đơn giản chuyển đổi nhà cung cấp để trốn tránh các hạn chế. Các biện pháp này trải qua ba giai đoạn: đánh giá rủi ro và thử nghiệm các nỗ lực vượt qua biện pháp bảo vệ trước khi triển khai; giám sát trong quá trình sử dụng, với các đối tác dự kiến sẽ điều tra hoạt động đáng ngờ; và các bước xử lý sau khi xảy ra vi phạm. Semafor mô tả sự thay đổi khi OpenAI thắt chặt sự kiểm soát của mình đối với hệ sinh thái đại lý đã phát triển nhanh chóng xung quanh API của nó.
Ý nghĩa của nó đối với nhà phát triển
Đối với các nhà phát triển, tác động thực tế là một câu hỏi tuân thủ mới cần bổ sung vào quá trình thẩm định nhà cung cấp: liệu một trung gian cung cấp các mô hình OpenAI có thực sự được phép làm như vậy hay không. eWeek khuyên các doanh nghiệp định tuyến lưu lượng truy cập thông qua các công cụ tổng hợp nên xác nhận trạng thái phê duyệt của nhà cung cấp cũng như cách nhà cung cấp xử lý thông tin xác thực và dữ liệu.
Đối với ngành công nghiệp rộng lớn hơn, thông báo này là một tín hiệu cho thấy các nhà cung cấp mô hình ngày càng coi việc kiểm soát các khả năng dẫn xuất - không chỉ bản thân các mô hình - là phạm vi quan trọng. Các tranh chấp về chưng cất đã bùng phát trên khắp lĩnh vực này trong những năm gần đây và OpenAI hiện đang đưa ra phản ứng của mình không phải là tranh chấp cấp phép mà là một yêu cầu an toàn, điều chỉnh các biện pháp bảo vệ quá trình chưng cất với các biện pháp kiểm soát mà nó áp dụng đối với các rủi ro sinh học và an ninh mạng.
Con đường phía trước
OpenAI cho biết họ sẽ tiếp tục nghiên cứu mức độ chuyển giao khả năng giữa các mô hình sinh viên và công thức chưng cất khác nhau, đồng thời mời các phòng thí nghiệm khác xây dựng dựa trên công việc phát hiện và thực thi của mình. Việc các đối thủ có áp dụng các chế độ phê duyệt cổng tương đương hay không và liệu người dùng có chấp nhận thêm xung đột hay không sẽ giúp xác định cách xây dựng thế hệ hệ thống AI tiếp theo và ai được phép xây dựng chúng.
Luôn đón đầu đường cong
Bạn muốn có thông tin mới nhất về các mô hình, sự an toàn và chính sách AI khi nó diễn ra? Theo dõi tin tức mới nhất về AI trên AI Buzz Wire.
Đọc thêm tin tức về AI →