У четвер OpenAI опублікував свій найдетальніший звіт про те, як він виявляє та порушує «конкурентну дистиляцію» — несанкціоноване використання вихідних даних граничної моделі для навчання конкуруючої системи — і, згідно з багатьма повідомленнями, почав вимагати від сторонніх шлюзів і торгових посередників отримання його схвалення, перш ніж пропонувати прямий доступ до своїх моделей.
Ці кроки, описані в публікації в блозі OpenAI під назвою «Боротьба з конкурентною дистиляцією» та висвітлені Semafor і eWeek, знаменують значне посилення того, як компанія контролює, хто може перерозподіляти можливості її моделей — зміна з реальними наслідками для розробників, стартапів і підприємств, які отримують доступ до систем OpenAI через посередників.
Чому OpenAI розглядає дистиляцію як проблему безпеки
Дистиляція — це стандартна техніка машинного навчання, за якої одна модель навчається на результатах іншої. OpenAI зазначає, що саме по собі це не є ані незаконним, ані незвичайним. Компанію хвилює те, що вона називає змагальною дистиляцією: суб’єкт без дозволу використовує вихідні дані граничної моделі для навчання іншої моделі з подібними можливостями, а потім розгортає її без відповідних гарантій.
У своєму блозі OpenAI стверджує, що ризик найбільш очевидний у сферах подвійного використання, таких як кібербезпека та біологія. Модель, яка допомагає захисникам знаходити вразливості програмного забезпечення, може, як тільки її навички будуть передані системі зі слабкішими огорожами, допомогти зловмисникам використати їх. «Противник може дистилювати кіберможливості моделі та використовувати отриману модель, щоб допомогти здійснити кібератаки, у яких оригінальна модель відмовилася б допомагати», — написала компанія.
Захист ланцюга думок
У центрі захисту OpenAI лежить те, що він називає захищеним міркуванням: проміжні кроки — ланцюг думок — модель генерує всередині, працюючи над відповіддю. Ці сліди, як пояснює компанія, можуть містити інформацію, яку залишає остаточна відповідь, що робить їх особливо цінними як навчальні дані для моделі іншої лабораторії.
OpenAI каже, що посилив свій захист від вилучення трасування міркувань у GPT-6.2 Astra та GPT-6.2 Sol. Під час внутрішньої адаптивної оцінки з використанням автоматизованого red-teaming компанія повідомила, що середній показник успіху атаки для відновлення захищених міркувань знизився з 54,0% порівняно з GPT-6 Astra із оригінальними засобами захисту до 0,2% проти GPT-6.2 Astra з оновленими засобами захисту.
Що показало внутрішнє кібердослідження
Компанія також поділилася результатами внутрішнього дослідження того, як кіберможливості передаються під час дистиляції. Моделі учнів були налаштовані на траєкторії, створені моделями вчителів, які працювали над програмуванням і завданнями захисної кібербезпеки. Студенти, які тренувалися на точних слідах міркувань, загалом перевершували студентів, які тренувалися лише на підсумкових міркуваннях, як після контрольованого точного налаштування, так і — за найбільшого протестованого бюджету висновків — після наступного раунду навчання з підкріпленням, згідно з тестами OpenAI, які відображаються поруч із публікацією.
Наслідки витверезні для тих, хто сподівається, що передача можливостей може бути стримана шляхом публікації чистих результатів: навіть взаємодії, дозволені політиками використання, можуть, у сукупності, навчити студента модельним навичкам, які виходять за межі завдань, які спочатку виконував вчитель.
Шлюзи та торгові посередники тепер потребують схвалення
Технічні заходи надходять разом зі зміною політики. Починаючи з четверга, OpenAI потребуватиме маршрутизаторів і шлюзів зі штучним інтелектом, які надають третім особам прямий доступ до своїх моделей для отримання попереднього схвалення, повідомляє eWeek. Ця вимога базується на заяві компанії в жовтні, в якій пояснюється, як повинні застосовуватися засоби захисту, коли клієнти отримують доступ до її моделей напряму або через хостинг-партнерів і торгових посередників.
Відповідно до підсумку цієї структури від eWeek, очікується, що сервіси-учасники підтримуватимуть порівняльні стандарти, щоб користувачі не могли просто змінити постачальника, щоб уникнути обмежень. Заходи охоплюють три етапи: оцінка ризиків і тестування проти спроб обходу захисних заходів перед розгортанням; моніторинг під час використання з партнерами, які повинні розслідувати підозрілу діяльність; і кроки примусового виконання після виявлення порушень. Semafor охарактеризував цю зміну як те, що OpenAI зміцнює контроль над екосистемою торгових посередників, яка швидко розширилася навколо свого API.
Що це означає для розробників
Для розробників практичним ефектом є нове питання відповідності, яке слід додати до належної перевірки постачальника: чи дійсно посередник, який пропонує моделі OpenAI, уповноважений це робити. Компанії, які направляють трафік через агрегатори, повинні підтвердити статус затвердження свого провайдера та те, як він обробляє облікові дані та дані, радить eWeek.
Для ширшої індустрії це оголошення є сигналом того, що постачальники моделей все більше розглядають контроль над похідними можливостями — а не лише самими моделями — як периметр, який має значення. Останніми роками суперечки щодо дистиляції спалахнули по всьому світу, і OpenAI тепер формулює свою відповідь не як спір щодо ліцензування, а як вимогу безпеки, узгоджуючи захист від дистиляції з засобами контролю, які він застосовує до ризиків біології та кібербезпеки.
Дорога вперед
OpenAI заявляє, що продовжить вивчати, скільки можливостей передається між різними моделями студентів і рецептами дистиляції, і запрошує інші лабораторії продовжувати роботу з виявлення та контролю. Те, чи застосують суперники аналогічні режими затвердження шлюзів і чи погодяться користувачі на додаткове тертя, допоможе визначити, як буде створено наступне покоління систем ШІ та кому дозволено їх створювати.
Будьте на випередження
Хочете отримувати останні відомості про моделі ШІ, безпеку та політику, як це відбувається? Слідкуйте за останніми новинами AI на AI Buzz Wire.
Читати більше новин AI →