OpenAIは木曜日、「敵対的蒸留」(競合するシステムを訓練するためのフロンティアモデルの出力の不正使用)をどのように検出し妨害するのかについて、これまでで最も詳細な説明を発表し、複数の報道によると、自社モデルへの直接アクセスを提供する前に、サードパーティのゲートウェイと再販業者に承認を得るように要求し始めたという。
この動きは、「敵対的蒸留との闘い」と題された OpenAI のブログ投稿や Semafor と eWeek の報道で説明されており、モデルの機能を誰が再配布できるかを同社が管理する方法が大幅に強化されることを示しており、これは仲介者を通じて OpenAI システムにアクセスする開発者、新興企業、企業にとって現実的な影響を伴う変化である。
OpenAI が蒸留を安全上の問題として扱う理由
蒸留は、あるモデルが別のモデルの出力から学習する標準的な機械学習手法です。それ自体は違法でも異常でもないと OpenAI は指摘する。同社が懸念しているのは、同社が「敵対的蒸留」と呼ぶものである。つまり、攻撃者がフロンティアモデルの出力を許可なく使用して、同様の機能を持つ別のモデルをトレーニングし、同等の保護手段なしでそのモデルをデプロイするというものだ。
OpenAIはブログ投稿の中で、リスクはサイバーセキュリティや生物学などの二重用途分野で最も明確であると主張している。防御側がソフトウェアの脆弱性を発見するのに役立つモデルは、そのスキルがガードレールの弱いシステムに転送されると、攻撃者による脆弱性の悪用を助ける可能性があります。 「攻撃者はモデルのサイバー能力を抽出し、その結果得られたモデルを利用して、元のモデルでは支援を拒否したであろうサイバー攻撃を実行する可能性がある」と同社は書いている。
思考の連鎖を守る
OpenAI の防御の中心となるのは、保護された推論と呼ばれるものです。中間ステップ、つまり思考の連鎖であり、モデルは答えに向けて作業中に内部で生成されます。同社によると、これらのトレースには最終的な回答で省略された情報が含まれる可能性があり、別の研究室のモデルのトレーニング データとして特に価値があるとのことです。
OpenAIは、GPT-6.2 AstraとGPT-6.2 Solで推論トレース抽出に対する防御を強化したと述べている。自動レッドチームを使用した内部適応評価において、同社は、保護された推論を回復するための平均攻撃成功率が、元の保護機能を備えた GPT-6 Astra に対する 54.0% から、更新された保護機能を備えた GPT-6.2 Astra に対する 0.2% に低下したと報告しました。
社内サイバー調査で判明したこと
同社はまた、蒸留中にサイバー能力がどのように伝達されるかに関する内部調査の結果も共有した。学生モデルは、コーディングと防御的なサイバーセキュリティのタスクに取り組む教師モデルによって生成された軌跡に基づいて微調整されました。投稿の横に表示された OpenAI のベンチマークによると、正確な推論トレースについてトレーニングを受けた学生は、教師付き微調整後と、テストされた最大の推論予算でのさらなる強化学習後の両方で、概して推論の概要のみについてトレーニングを受けた学生よりも優れた成績を収めました。
サニタイズされた出力を公開することで能力の移転を抑制できると期待している人にとって、この意味は厳粛なものです。使用ポリシーの下で許可されているインタラクションであっても、全体としては、教師が当初実行したタスクを超えて一般化するスキルを生徒モデルに教えることになる可能性があります。
ゲートウェイとリセラーには承認が必要です
技術的な対策は政策変更と同時に導入されます。 eWeekの報道によると、OpenAIは木曜日から、第三者がそのモデルに直接アクセスできるようにするAIモデルのルーターとゲートウェイに、事前の承認を得ることが義務付けられるという。この要件は、顧客が自社モデルに直接アクセスする場合、またはホスティングパートナーや再販業者を通じてアクセスする場合に、安全保護がどのように適用されるべきかを説明する同社の10月の発表に基づいている。
eWeekの同フレームワークの概要によると、参加サービスは同等の基準を維持することが期待されているため、ユーザーは制限を回避するためにプロバイダーを単純に切り替えることはできない。この対策は 3 つの段階に及びます。導入前のリスク評価とセーフガード バイパスの試みに対するテストです。使用中の監視。パートナーは不審なアクティビティを調査することが期待されます。違反が発生した後の強制措置。 Semafor は、この変化を、OpenAI が API を中心に急速に成長した再販業者エコシステムに対する支配力を強化したこととして特徴づけました。
開発者にとっての意味
開発者にとって、実際的な影響は、OpenAI モデルを提供する仲介業者が実際にそうする権限を持っているかどうかという、ベンダーのデューデリジェンスに追加すべき新たなコンプライアンス問題です。アグリゲーター経由でトラフィックをルーティングする企業は、プロバイダーの承認ステータスと、資格情報とデータの処理方法を確認する必要があるとeWeekはアドバイスした。
より広範な業界にとって、この発表は、モデルプロバイダーが、モデル自体だけでなく、派生機能の制御を重要な境界としてますます認識していることを示しています。近年、蒸留に関する紛争がこの分野で激化しており、OpenAIは現在、その対応をライセンス紛争としてではなく安全要件として枠組み化し、蒸留防御と生物学およびサイバーセキュリティリスクに適用する管理を調整している。
今後の道
OpenAIは、さまざまな学生モデルや蒸留レシピ間でどの程度の能力が移行するかを引き続き研究すると述べており、他の研究室にその検出と強制の作業を構築するよう呼びかけている。競合他社が同等のゲートウェイ承認制度を採用するかどうか、そしてユーザーが追加の摩擦を受け入れるかどうかは、次世代の AI システムがどのように構築されるか、誰が構築を許可されるかを決定するのに役立ちます。
時代の先を行く
AI モデル、安全性、ポリシーに関する最新情報が必要ですか? AI Buzz Wire で AI ニュース速報をフォロー してください。
AI ニュースをもっと読む→