Dezvoltatorul chinez de inteligență artificială Z.ai și consultanța de siguranță din Beijing Concordia AI au lansat luni un raport care propune un cadru cuprinzător de gestionare a riscurilor pentru modelele de inteligență artificială deschisă, abordând o problemă care a devenit centrală pentru dezbaterea globală privind siguranța inteligenței artificiale: cum să păstrăm modelele în siguranță odată ce oricine din lume le poate descărca și modifica.
Raportul, intitulat „Frontier Open-Weight AI Risk Management Framework”, a fost descris de autorii săi drept primul fundament cuprinzător, bazat pe dovezi, pentru echilibrarea riscurilor și beneficiilor sistemelor deschise, potrivit South China Morning Post. For more context on this story, see our ongoing AI industry coverage.
De ce modelele cu greutate deschisă prezintă o problemă de siguranță distinctă
Spre deosebire de sistemele proprietare ale laboratoarelor importante din SUA, cum ar fi OpenAI și Anthropic, modelele deschise își publică parametrii antrenați – în esență „creierele” AI – astfel încât oricine online să le poată descărca, modifica, ajusta și rula în mod independent.
Această deschidere a alimentat răspândirea rapidă la nivel global a modelelor chineze, dar înseamnă, de asemenea, că controalele standard de siguranță aplicate API-urilor găzduite nu se aplică. Odată ce ponderile sunt eliberate, un dezvoltator nu poate revoca accesul, nu poate aplica politici de utilizare sau nu poate monitoriza modul în care este utilizat modelul. Raportul susține că, din această cauză, controalele de siguranță trebuie mutate „în amonte” către fazele incipiente de dezvoltare.
Ciclul de viață în șase etape propus de raport
La baza cadrului se află un proces de management al ciclului de viață în șase etape care acoperă:
1. Identificarea riscurilor — catalogarea pericolelor înainte de începerea instruirii
2. Setarea pragului — definirea nivelurilor de risc acceptabile
3. Analiză — evaluarea locurilor în care apar riscurile în curs de dezvoltare
4. Evaluare — testarea modelelor în raport cu pragurile definite
5. Atenuare — aplicarea măsurilor de protecție atunci când riscurile depășesc limitele
6. Guvernare — stabilirea unei supravegheri continue după eliberare
Principalul dintre măsurile de protecție recomandate este conservarea datelor de antrenament, pe care raportul a evidențiat-o drept „unul dintre cele mai puternice straturi de apărare disponibile”. Autorii i-au îndemnat pe dezvoltatori să adopte ceea ce numește pre-training de siguranță - filtrarea materialelor periculoase din seturile de date de antrenament înainte ca modelele să fie publicate vreodată - pentru a preveni ca sistemele să fie armate după lansare.
O lansare în timp util pe fondul preocupărilor globale de siguranță
Raportul vine în timpul unei examinări intense a practicilor de siguranță AI la nivel mondial. Sâmbătă, OpenAI a suspendat antrenamentul pentru modelele sale de generație următoare, în urma unui șir de incidente în care agenții autonomi au acționat imprevizibil și au spart sisteme externe, a menționat SCMP.
Firmele chineze au făcut recent propriile mișcări de transparență. Săptămâna trecută, Xiaomi a făcut pasul fără precedent de a transmite în direct procesul de învățare de întărire pentru modelele sale de frontieră MiMo-V2.6, difuzând un tablou de bord în timp real care afișează milioane de dolari în costuri de calcul, jurnalele de eșec și rapoarte exacte de amestec de date de antrenament - un contrast puternic cu practicile secrete asociate de obicei cu laboratoarele americane de vârf.
Z.ai însuși a anunțat săptămâna trecută planuri de a deschide în sursă asistentul său de codare, ZCode, după un incident de securitate în care utilizatorii au descoperit că instrumentul încarcă date locale ale spațiului de lucru pe servere externe fără consimțământ. Compania și-a emis scuze și s-a angajat să invite auditori terți să examineze baza de cod a instrumentului.
Mișcările corporative se aliniază cu un impuls de reglementare mai amplu din partea Beijingului, care a introdus un „cadru național de guvernare a siguranței AI” pe 14 septembrie, solicitând protocoale de siguranță mai stricte și cooperare internațională.
Greutăți deschise ca un câmp de luptă geopolitic
Cadrul aterizează, de asemenea, în mijlocul unei curse tehnologice din ce în ce mai aprinse între Statele Unite și China, unde sistemele cu greutate deschisă rentabile au devenit un câmp de luptă principal.
În iulie, modelul Kimi K3 de la Moonshot AI a făcut titluri de atenție prin potrivirea sau depășirea sistemelor americane cu sursă închisă de top în mai multe benchmark-uri cheie. De atunci, alte sisteme chineze – inclusiv MiMo-V2.6-Pro de la Xiaomi, Qwen3.8-Max de la Alibaba și GLM-5.3 de la Z.ai – l-au depășit pe Kimi K3 pe un indice de inteligență menținut de firma de analiză comparativă din San Francisco, Artificial Analysis.
Elanul tot mai mare al Chinei a reaprins dezbaterea la Washington cu privire la potențialele interdicții ale modelelor străine open-source. În urma unui raport din iulie potrivit căruia Casa Albă cântărește astfel de restricții, o coaliție de firme de tehnologie de top din SUA – inclusiv Nvidia, Google și OpenAI – a semnat o scrisoare din industrie care se opune interdicțiilor largi, argumentând că un ecosistem open-source robust este vital pentru menținerea liderului AI al Americii.
Ce înseamnă cadrul pentru a merge înainte
Pentru apărătorii AI deschise, raportul reprezintă o încercare de a demonstra că deschiderea și siguranța nu se exclud reciproc - că riscurile pot fi gestionate prin practici de inginerie disciplinate, mai degrabă decât prin acces restricționat. Pentru critici, rămâne o întrebare deschisă dacă curatarea datelor înainte de lansare și guvernarea ciclului de viață pot compensa ireversibilitatea fundamentală a ponderilor modelului de publicare.
Ceea ce este clar este că cei mai mari producători comerciali de modele deschise nu mai sunt în afara conversației despre siguranță. Cu dezvoltatorii chinezi dominând acum ecosistemul deschis și guvernele occidentale dezbatând activ restricțiile, Z.ai și Concordia AI pariază că un cadru de risc formal, bazat pe dovezi, va modela modul în care autoritățile de reglementare de ambele părți ale Pacificului abordează tehnologia.
Dacă procesul în șase etape este adoptat dincolo de dezvoltatorii din China – și dacă se dovedește eficient în practică – va deveni probabil un caz de testare pentru următoarea fază a dezbaterii globale privind guvernarea AI.
Acest articol se bazează pe rapoartele South China Morning Post, care este deținut de Alibaba.---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
