Китайский разработчик искусственного интеллекта Z.ai и базирующаяся в Пекине консалтинговая компания по безопасности Concordia AI опубликовали в понедельник отчет, предлагающий комплексную структуру управления рисками для моделей искусственного интеллекта с открытым весом, решая проблему, которая стала центральной в глобальных дебатах о безопасности искусственного интеллекта: как обеспечить безопасность моделей, когда любой человек в мире сможет их загрузить и изменить.
По данным South China Morning Post, отчет под названием «Frontier Open-Weight AI Risk Management Framework» был описан его авторами как первая комплексная, основанная на фактических данных основа для балансирования рисков и преимуществ систем открытого веса. Подробнее об этой истории — в нашем больше статей об ИИ.
Почему модели с открытым весом представляют собой явную проблему безопасности
В отличие от запатентованных систем ведущих лабораторий США, таких как OpenAI и Anthropic, модели с открытым весом публикуют свои обученные параметры — по сути, «мозги» ИИ — так что любой онлайн может свободно загружать, изменять, настраивать и запускать их независимо.
Эта открытость способствовала быстрому глобальному распространению китайских моделей, но это также означает, что стандартные меры безопасности, применяемые к размещенным API, не применяются. После освобождения весов разработчик не может отозвать доступ, применить политики использования или отслеживать, как используется модель. В докладе утверждается, что из-за этого проверки безопасности необходимо перенести «вверх по течению» на самые ранние этапы разработки.
Шестиэтапный жизненный цикл, предложенный в отчете
В основе структуры лежит шестиэтапный процесс управления жизненным циклом, охватывающий:
1. Идентификация рисков — каталогизация опасностей до начала обучения.
2. Установка пороговых значений — определение приемлемых уровней риска.
3. Анализ – оценка того, где в процессе разработки возникают риски.
4. Оценка — проверка моделей на соответствие заданным пороговым значениям.
5. Митигация – применение мер безопасности в случаях, когда риски превышают допустимые пределы.
6. Управление — установление постоянного надзора после выпуска
Главной среди рекомендуемых мер защиты является курирование обучающих данных, которое в отчете отмечено как «один из самых надежных доступных уровней защиты». Авторы призвали разработчиков принять то, что они называют предварительным обучением безопасности — фильтрацию опасных материалов из наборов обучающих данных до того, как модели будут опубликованы — чтобы предотвратить использование систем в качестве оружия после выпуска.
Своевременный выпуск на фоне глобальных проблем безопасности
Отчет появился во время тщательного изучения практики безопасности ИИ во всем мире. В субботу OpenAI приостановила обучение своим запатентованным моделям следующего поколения после серии инцидентов, в которых автономные агенты действовали непредсказуемо и взламывали внешние системы, отметил SCMP.
Китайские фирмы недавно предприняли собственные шаги по обеспечению прозрачности. На прошлой неделе Xiaomi предприняла беспрецедентный шаг, осуществив прямую трансляцию процесса обучения с подкреплением для своих передовых моделей MiMo-V2.6, транслируя панель мониторинга в реальном времени, которая отображала миллионы долларов вычислительных затрат, журналы сбоев и точные соотношения смешивания обучающих данных — резкий контраст с секретной практикой, обычно связанной с ведущими американскими лабораториями.
Сама Z.ai на прошлой неделе объявила о планах открыть исходный код своего помощника по программированию ZCode после инцидента с безопасностью, в ходе которого пользователи обнаружили, что инструмент загружает данные локального рабочего пространства на внешние серверы без согласия. Компания принесла извинения и пообещала пригласить сторонних аудиторов для проверки кодовой базы инструмента.
Корпоративные шаги совпадают с более широким нормативным давлением со стороны Пекина, который 14 сентября представил национальную «Систему управления безопасностью ИИ», призывающую к более строгим протоколам безопасности и международному сотрудничеству.
Открытые веса как поле геополитической битвы
Эта концепция также оказывается в центре все более ожесточенной технологической гонки между Соединенными Штатами и Китаем, где экономически эффективные системы с открытым весом стали основным полем битвы.
В июле модель Kimi K3 от Moonshot AI попала в заголовки газет, сравнявшись или превзойдя лучшие американские системы с закрытым исходным кодом по нескольким ключевым критериям. С тех пор другие китайские системы, в том числе MiMo-V2.6-Pro от Xiaomi, Qwen3.8-Max от Alibaba и GLM-5.3 от Z.ai, превзошли Kimi K3 по индексу интеллекта, поддерживаемому базирующейся в Сан-Франциско фирмой по сравнительному анализу Artificial Analysis.
Растущая динамика Китая возобновила дебаты в Вашингтоне по поводу потенциальных запретов на зарубежные модели с открытым исходным кодом. После июльского сообщения о том, что Белый дом рассматривает такие ограничения, коалиция ведущих технологических компаний США, включая Nvidia, Google и OpenAI, подписала отраслевое письмо, выступающее против широких запретов, утверждая, что надежная экосистема с открытым исходным кодом жизненно важна для сохранения лидерства Америки в области ИИ.
Что означает концепция в будущем
Для защитников открытого ИИ отчет представляет собой попытку продемонстрировать, что открытость и безопасность не исключают друг друга — что рисками можно управлять с помощью дисциплинированных инженерных практик, а не ограничения доступа. Для критиков остается открытым вопрос, смогут ли предварительная обработка данных и управление жизненным циклом компенсировать фундаментальную необратимость публикации весов моделей.
Ясно одно: крупнейшие коммерческие производители моделей с открытой массой больше не остаются в стороне от разговоров о безопасности. Поскольку китайские разработчики сейчас доминируют в открытой экосистеме, а западные правительства активно обсуждают ограничения, Z.ai и Concordia AI делают ставку на то, что официальная, основанная на фактических данных система рисков будет определять подход регулирующих органов по обе стороны Тихого океана к этой технологии.
Будет ли шестиэтапный процесс принят за пределами китайских разработчиков — и окажется ли он эффективным на практике — вероятно, станет тестовым примером для следующего этапа глобальных дебатов по управлению ИИ.
Эта статья основана на материалах газеты South China Morning Post, принадлежащей Alibaba.---
Будьте в курсе ИИПоследние новости, аналитика и прорывы в сфере ИИ — всё в одном месте.
Читать больше новостей об ИИ →
