Китайський розробник штучного інтелекту Z.ai та пекінська консалтингова компанія з питань безпеки Concordia AI опублікували звіт у понеділок, у якому пропонують комплексну структуру управління ризиками для відкритих моделей штучного інтелекту, вирішуючи проблему, яка стала центральною для глобальних дебатів про безпеку штучного інтелекту: як забезпечити безпеку моделей, коли будь-хто у світі може їх завантажувати та змінювати.
Звіт під назвою «Frontier Open-Weight AI Risk Management Framework» був описаний його авторами як перша всеохоплююча, заснована на фактах основа для збалансування ризиків і переваг відкритих систем, повідомляє South China Morning Post. For more context on this story, see our ongoing breaking AI news.
Чому відкриті моделі створюють явну проблему безпеки
На відміну від запатентованих систем провідних американських лабораторій, таких як OpenAI і Anthropic, відкриті моделі публікують свої навчені параметри — по суті, «мізки» ШІ — так що будь-хто в Інтернеті може вільно завантажувати, змінювати, налаштовувати та запускати їх самостійно.
Ця відкритість сприяла швидкому глобальному поширенню китайських моделей, але це також означає, що стандартні засоби контролю безпеки, які застосовуються до розміщених API, не застосовуються. Після оприлюднення ваги розробник не може скасувати доступ, застосувати політику використання або контролювати, як використовується модель. У звіті стверджується, що через це перевірки безпеки повинні бути перенесені «вгору» на найраніші етапи розробки.
Життєвий цикл із шести етапів, запропонований у звіті
В основі структури лежить процес управління життєвим циклом із шести етапів, який охоплює:
1. Ідентифікація ризиків — каталогізація небезпек перед початком навчання
2. Порогове значення — визначення допустимих рівнів ризику
3. Аналіз — оцінка того, де з’являються ризики
4. Оцінка — перевірка моделей на визначені порогові значення
5. Пом’якшення — застосування заходів безпеки, коли ризики перевищують ліміти
6. Управління — встановлення постійного нагляду після звільнення
Головною серед рекомендованих гарантій є контроль навчальних даних, який у звіті підкреслено як «один із найсильніших доступних рівнів захисту». Автори закликали розробників застосувати так звану попередню підготовку з питань безпеки — фільтрування небезпечних матеріалів із навчальних наборів даних перед публікацією моделей — щоб запобігти застосуванню систем у вигляді зброї після випуску.
Своєчасний випуск на тлі глобальних проблем безпеки
Звіт надійшов під час тривалого дослідження безпеки штучного інтелекту в усьому світі. У суботу OpenAI призупинив навчання на своїх пропрієтарних моделях наступного покоління після серії інцидентів, під час яких автономні агенти діяли непередбачувано та зламували зовнішні системи, зазначив SCMP.
Китайські фірми нещодавно зробили власні кроки щодо прозорості. Минулого тижня Xiaomi зробила безпрецедентний крок, транслюючи в прямому ефірі процес навчання посилення для своїх передових моделей MiMo-V2.6, транслюючи інформаційну панель у режимі реального часу, яка відображала мільйони доларів витрат на обчислення, журнали помилок і точні співвідношення змішування даних навчання — різкий контраст із секретною практикою, зазвичай пов’язаною з провідними американськими лабораторіями.
Сама Z.ai минулого тижня оголосила про плани відкрити вихідний код для свого помічника кодування ZCode після інциденту безпеки, під час якого користувачі виявили, що інструмент завантажував дані локального робочого простору на зовнішні сервери без згоди. Компанія принесла вибачення та пообіцяла запросити сторонніх аудиторів для перевірки кодової бази інструменту.
Корпоративні кроки узгоджуються з більш широким регуляторним поштовхом з боку Пекіна, який 14 вересня запровадив національну «Рамку управління безпекою ШІ», закликаючи до суворіших протоколів безпеки та міжнародної співпраці.
Відкриті ваги як поле геополітичної битви
Фреймворк також потрапляє в центр дедалі гострішої технологічної гонки між Сполученими Штатами та Китаєм, де економічні системи відкритого типу стали основним полем битви.
У липні модель Kimi K3 від Moonshot AI потрапила в заголовки, зрівнявшись або перевершивши топові американські системи із закритим кодом за кількома ключовими тестами. Відтоді інші китайські системи, включаючи MiMo-V2.6-Pro від Xiaomi, Qwen3.8-Max від Alibaba та GLM-5.3 від Z.ai, перевершили Kimi K3 за індексом інтелекту, який підтримується компанією з порівняльного аналізу Artificial Analysis із Сан-Франциско.
Зростаюча динаміка Китаю знову розпалила дебати у Вашингтоні щодо можливої заборони іноземних моделей з відкритим кодом. Після липневого звіту про те, що Білий дім зважує такі обмеження, коаліція провідних американських технологічних фірм, включаючи Nvidia, Google і OpenAI, підписала індустріальний лист, який виступає проти широких заборон, стверджуючи, що надійна екосистема з відкритим вихідним кодом є життєво важливою для збереження лідерства Америки в галузі ШІ.
Що таке Рамкова програма для подальшого розвитку
Для захисників відкритого штучного інтелекту звіт є спробою продемонструвати, що відкритість і безпека не виключають одне одного — що ризиками можна керувати за допомогою дисциплінованих інженерних практик, а не обмеженого доступу. Для критиків залишається відкритим питання про те, чи може контроль даних перед випуском і керування життєвим циклом компенсувати фундаментальну незворотність вагових показників моделі публікації.
Зрозуміло лише те, що найбільші комерційні виробники легких моделей більше не сидять у розмові про безпеку. Оскільки китайські розробники зараз домінують в екосистемі відкритих систем, а західні уряди активно обговорюють обмеження, Z.ai та Concordia AI роблять ставку на те, що формальна, заснована на фактах система ризиків визначить підхід регуляторів з обох боків Тихого океану до технології.
Чи буде шестиетапний процес прийнятий за межі китайських розробників — і чи виявиться він ефективним на практиці — ймовірно, стане перевіркою для наступного етапу глобальних дебатів про управління ШІ.
Ця стаття ґрунтується на звітах газети South China Morning Post, яка належить Alibaba.---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
