OpenAI는 목요일 경쟁 시스템을 교육하기 위해 프론티어 모델의 출력을 무단으로 사용하는 "적대적 증류"를 감지하고 방해하는 방법에 대한 가장 자세한 설명을 발표했으며, 여러 보고서에 따르면 해당 모델에 직접 액세스하기 전에 제3자 게이트웨이와 리셀러에게 승인을 받도록 요구하기 시작했습니다.

"적대적 증류 방지(Combatting adversarial distillation)"라는 제목의 OpenAI 블로그 게시물과 Semafor 및 eWeek의 보도에 설명된 이러한 움직임은 회사가 모델의 기능을 재분배할 수 있는 사람을 통제하는 방식이 크게 강화되었음을 나타냅니다. 이는 중개자를 통해 OpenAI 시스템에 액세스하는 개발자, 신생 기업 및 기업에 실질적인 결과를 가져오는 변화입니다.

OpenAI가 증류를 안전 문제로 취급하는 이유

증류는 한 모델이 다른 모델의 출력으로부터 학습하는 표준 기계 학습 기술입니다. OpenAI는 그 자체로는 불법도 아니고 특이한 것도 아니라고 지적합니다. 회사의 관심사는 적대적 증류라고 불리는 것입니다. 즉, 유사한 기능을 가진 다른 모델을 교육하기 위해 승인 없이 프론티어 모델의 출력을 사용한 다음 유사한 안전 장치 없이 이를 배포하는 행위자입니다.

OpenAI는 블로그 게시물에서 사이버 보안 및 생물학과 같은 이중 용도 영역에서 위험이 가장 분명하다고 주장합니다. 방어자가 소프트웨어 취약점을 찾는 데 도움이 되는 모델은 가드레일이 약한 시스템으로 기술이 이전되면 공격자가 이를 악용하는 데 도움이 될 수 있습니다. 회사는 "적들이 모델의 사이버 역량을 정제하고 결과 모델을 사용하여 원래 모델이 지원을 거부했던 사이버 공격을 수행하는 데 도움을 줄 수 있습니다"라고 썼습니다.

사고의 사슬 보호

OpenAI 방어의 중심에는 보호된 추론이라고 부르는 것이 있습니다. 중간 단계(생각의 사슬)는 답을 찾기 위해 작업하는 동안 모델이 내부적으로 생성됩니다. 이러한 추적에는 최종 답변에서 누락된 정보가 포함될 수 있어 특히 다른 실험실 모델에 대한 교육 데이터로 유용하다고 회사는 설명합니다.

OpenAI는 GPT-6.2 Astra 및 GPT-6.2 Sol에서 추론 추적 추출에 대한 방어를 강화했다고 밝혔습니다. 회사는 자동화된 레드팀을 사용한 내부 적응형 평가에서 보호된 추론을 복구하기 위한 평균 공격 성공률이 원래 보호 기능을 갖춘 GPT-6 Astra에 대해 54.0%에서 업데이트된 보호 기능을 갖춘 GPT-6.2 Astra에 대해 0.2%로 감소했다고 보고했습니다.

내부 사이버 연구에서 발견된 내용

또한 회사는 증류 과정에서 사이버 역량이 어떻게 전달되는지에 대한 내부 연구 결과를 공유했습니다. 학생 모델은 코딩 및 사이버 보안 방어 작업을 수행하는 교사 모델이 생성한 궤적에 따라 미세 조정되었습니다. 포스트와 함께 표시된 OpenAI 벤치마크에 따르면, 감독된 미세 조정 후와 추가 강화 학습 후 테스트된 가장 큰 추론 예산에서 정확한 추론 추적에 대해 훈련받은 학생들은 일반적으로 추론 요약에 대해서만 훈련받은 학생들보다 성능이 뛰어났습니다.

이는 정제된 출력을 게시하여 기능 이전을 억제할 수 있기를 희망하는 사람에게는 정신이 번쩍 들게 합니다. 사용 정책에 따라 허용되는 상호 작용조차도 전체적으로 교사가 원래 수행한 작업 이상으로 일반화하는 학생 모델 기술을 가르칠 수 있습니다.

게이트웨이 및 리셀러는 이제 승인이 필요합니다

기술적 조치는 정책 변경과 함께 제공됩니다. eWeek는 목요일부터 OpenAI가 사전 승인을 얻기 위해 제3자가 모델에 직접 액세스할 수 있도록 하는 AI 모델 라우터 및 게이트웨이를 요구할 것이라고 밝혔습니다. 이 요구 사항은 고객이 직접 모델에 액세스하거나 호스팅 파트너 및 리셀러를 통해 모델에 액세스할 때 안전 보호가 어떻게 적용되어야 하는지에 대해 회사가 10월에 발표한 내용을 기반으로 합니다.

해당 프레임워크에 대한 eWeek의 요약에 따르면, 참여 서비스는 유사한 표준을 유지해야 사용자가 제한을 피하기 위해 단순히 공급자를 전환할 수 없습니다. 조치는 세 단계에 걸쳐 있습니다. 배포 전 보호 우회 시도에 대한 위험 평가 및 테스트입니다. 의심스러운 활동을 조사할 것으로 예상되는 파트너와 함께 사용 중 모니터링 위반이 발생한 후의 집행 단계. Semafor는 OpenAI가 API를 중심으로 빠르게 성장한 리셀러 생태계에 대한 지배력을 강화하면서 이러한 변화를 특징으로 했습니다.

개발자에게 미치는 영향

개발자의 경우 실질적인 효과는 공급업체 실사에 추가할 새로운 규정 준수 질문입니다. OpenAI 모델을 제공하는 중개자가 실제로 그렇게 할 권한이 있는지 여부입니다. 수집자를 통해 트래픽을 라우팅하는 기업은 공급자의 승인 상태와 자격 증명 및 데이터를 처리하는 방법을 확인해야 한다고 eWeek는 조언했습니다.

더 넓은 업계에서 이번 발표는 모델 제공업체가 점점 더 모델 자체뿐만 아니라 파생 기능의 제어를 중요한 경계로 보고 있다는 신호입니다. 최근 몇 년간 현장 전반에 걸쳐 증류 관련 분쟁이 급증했으며, OpenAI는 이제 라이선스 분쟁이 아닌 안전 요구 사항으로 대응을 구성하여 생물학 및 사이버 보안 위험에 적용되는 통제와 증류 방어를 조정하고 있습니다.

앞으로 나아갈 길

OpenAI는 다양한 학생 모델과 증류 레시피에 걸쳐 얼마나 많은 기능이 이전되는지 계속 연구할 것이며 다른 실험실에 탐지 및 시행 작업을 구축하도록 초대할 것이라고 밝혔습니다. 경쟁사가 유사한 게이트웨이 승인 체제를 채택하는지 여부와 사용자가 추가된 마찰을 수용하는지 여부는 차세대 AI 시스템 구축 방법과 이를 구축할 수 있는 사람을 결정하는 데 도움이 됩니다.

앞서 나가기

AI 모델, 안전, 정책에 대한 최신 정보를 실시간으로 받아보고 싶으신가요? AI Buzz Wire에서 AI 속보를 팔로우하세요.

AI 뉴스 자세히 보기 →