OpenAI в четверг опубликовала свой самый подробный отчет о том, как она обнаруживает и препятствует «состязательной дистилляции» — несанкционированному использованию результатов пограничной модели для обучения конкурирующей системы — и, согласно многочисленным отчетам, начала требовать от сторонних шлюзов и реселлеров получения ее одобрения, прежде чем предлагать прямой доступ к ее моделям.

Эти шаги, описанные в блоге OpenAI под названием «Борьба с состязательной дистилляцией» и в материалах Semafor и eWeek, знаменуют собой значительное ужесточение контроля компании за тем, кто может перераспределять возможности ее моделей — сдвиг, имеющий реальные последствия для разработчиков, стартапов и предприятий, которые получают доступ к системам OpenAI через посредников.

Почему OpenAI рассматривает дистилляцию как проблему безопасности

Дистилляция — это стандартный метод машинного обучения, при котором одна модель учится на результатах другой. Само по себе, отмечает OpenAI, это не является ни противозаконным, ни необычным. Компанию беспокоит то, что она называет состязательной дистилляцией: субъект, использующий результаты передовой модели без разрешения для обучения другой модели с аналогичными возможностями, а затем развертывающий ее без сопоставимых гарантий.

В своем блоге OpenAI утверждает, что риск наиболее очевиден в областях двойного назначения, таких как кибербезопасность и биология. Модель, которая помогает защитникам находить уязвимости программного обеспечения, может, как только ее навыки будут перенесены в систему с более слабыми средствами защиты, помочь злоумышленнику использовать их. «Злоумышленник может выделить кибервозможности модели и использовать полученную модель для проведения кибератак, в которых исходная модель отказалась бы помочь», — пишет компания.

Защита цепочки мыслей

В центре защиты OpenAI находится то, что он называет защищенным рассуждением: промежуточные шаги — цепочка мыслей — модель генерирует внутри себя, работая над ответом. Эти следы, как поясняет компания, могут содержать информацию, которую не учитывает окончательный ответ, что делает их особенно ценными в качестве обучающих данных для модели другой лаборатории.

OpenAI заявляет, что усилила свою защиту от извлечения логических следов в GPT-6.2 Astra и GPT-6.2 Sol. В ходе внутренней адаптивной оценки с использованием автоматизированной красной команды компания сообщила, что средний уровень успешных атак для восстановления защищенных рассуждений упал с 54,0% по сравнению с GPT-6 Astra с исходными средствами защиты до 0,2% по сравнению с GPT-6.2 Astra с обновленными средствами защиты.

Что обнаружило внутреннее киберисследование

Компания также поделилась результатами внутреннего исследования того, как кибервозможности передаются во время дистилляции. Модели учеников были точно настроены на траектории, созданные моделями учителей, работающими над задачами кодирования и защиты кибербезопасности. Согласно тестам OpenAI, представленным рядом с публикацией, студенты, обученные точным следам рассуждений, обычно превосходили студентов, обучавшихся только сводным рассуждениям, как после контролируемой тонкой настройки, так и — при самых больших протестированных бюджетах на вывод — после дальнейшего раунда обучения с подкреплением.

Это отрезвляет всех, кто надеется, что передачу способностей можно сдержать, публикуя очищенные результаты: даже взаимодействия, разрешенные политиками использования, могут в совокупности научить ученика навыкам модели, которые выходят за рамки задач, которые первоначально выполнял учитель.

Шлюзам и реселлерам теперь необходимо одобрение

Технические меры появляются одновременно с изменением политики. Начиная с четверга, OpenAI потребует предварительного одобрения маршрутизаторов и шлюзов моделей искусственного интеллекта, которые предоставляют третьим сторонам прямой доступ к ее моделям, сообщает eWeek. Это требование основано на объявлении, сделанном компанией в октябре, в котором изложено, как следует применять меры безопасности, когда клиенты получают доступ к ее моделям напрямую или через партнеров по хостингу и реселлеров.

Согласно обзору этой структуры, опубликованному eWeek, участвующие сервисы должны поддерживать сопоставимые стандарты, поэтому пользователи не смогут просто сменить поставщика, чтобы обойти ограничения. Эти меры охватывают три этапа: оценка рисков и тестирование на предмет попыток обхода защиты перед развертыванием; мониторинг во время использования, при этом партнеры должны расследовать подозрительную деятельность; и меры правоприменения после совершения нарушений. Семафор охарактеризовал эти изменения как усиление контроля OpenAI над экосистемой реселлеров, которая быстро разрослась вокруг ее API.

Что это значит для разработчиков

Для разработчиков практический эффект — это новый вопрос о соблюдении требований, который следует добавить к комплексной проверке поставщиков: действительно ли посредник, предлагающий модели OpenAI, уполномочен делать это. Компании, которые маршрутизируют трафик через агрегаторы, должны подтвердить статус одобрения своего провайдера и то, как он обрабатывает учетные данные и данные, советует eWeek.

Для более широкой отрасли это объявление является сигналом о том, что поставщики моделей все чаще рассматривают контроль производных возможностей, а не только самих моделей, как периметр, который имеет значение. В последние годы споры о дистилляции разгорелись по всей отрасли, и OpenAI теперь формулирует свой ответ не как лицензионный спор, а как требование безопасности, согласовывая защиту от дистилляции с мерами контроля, которые она применяет к рискам биологии и кибербезопасности.

Дорога вперед

OpenAI заявляет, что продолжит изучать, какие возможности передаются между различными студенческими моделями и рецептами дистилляции, и приглашает другие лаборатории развивать свою работу по обнаружению и обеспечению соблюдения требований. Примут ли конкуренты сопоставимые режимы одобрения шлюзов — и примут ли пользователи дополнительные трудности — это поможет определить, как будет создаваться следующее поколение систем искусственного интеллекта и кому разрешено их создавать.

Будьте на шаг впереди

Хотите быть в курсе последних новостей о моделях искусственного интеллекта, безопасности и политике? Следите за последними новостями об искусственном интеллекте на AI Buzz Wire.

Подробнее новости AI →