Cercetătorii au demonstrat un nou atac puternic împotriva modelelor raționale de inteligență artificială care exploatează un punct orb fundamental în modul în care modelele de limbaj mari (LLM) separă instrucțiunile de date. Tehnica, numită falsificarea lanțului de gândire (CoT), păcălește un model să trateze textul furnizat de atacator ca și cum ar fi propriul raționament intern privat al modelului, permițând textului să înlocuiască instrucțiunile legitime.

Descoperirile, raportate de Hackaday, subliniază de ce securizarea sistemelor AI împotriva manipulării rămâne o problemă nerezolvată. Pentru a ține pasul cu amenințările emergente din domeniu, urmăriți acoperirea industriei AI pentru o analiză continuă.

Cauza fundamentală: Confuzia de rol

În centrul vulnerabilității este ceea ce cercetătorii descriu drept „confuzie de rol”. LLM-urile moderne primesc toate intrările lor - regulile de sistem, solicitările utilizatorilor și propriul raționament al modelului de gândire - printr-un singur canal de text. Pentru a impune ordinea, dezvoltatorii folosesc etichete de metadate precum ``, `` și `` pentru a crea o ierarhie de încredere. O directivă `` pentru a evita conținutul dăunător, de exemplu, ar trebui să anuleze o solicitare `` în sens invers.

Eticheta `` este deosebit de puternică, deoarece reprezintă procesul de raționament intern al modelului, un flux care poartă o încredere ridicată. Problema, au descoperit cercetătorii, este că modelele nu se bazează în primul rând pe etichete în sine pentru a decide în ce să aibă încredere. Ei acordă prioritate stilului de scriere. Textul care este formatat stilistic pentru a semăna cu ieșirea internă „” a unui model poate fi confundat cu un raționament autentic, indiferent de unde provine de fapt.

Cum funcționează atacul

În mod esențial, CoT Forgery nu este doar o chestiune de a împacheta o solicitare rău intenționată în etichetele ``, pe care majoritatea modelelor le-ar respinge. În schimb, atacatorul scrie un raționament complicat într-un stil care se potrivește îndeaproape cu vocea de raționament intern distinctă a modelului. Când modelul întâlnește acest text, tratează raționamentul falsificat ca pe o concluzie deja ajunsă.

Potrivit Hackaday, acest lucru face ca LLM să accepte raționamentul transparent ilogic ca o concluzie prealabilă, modificându-și răspunsul la cererea unui utilizator. Deoarece conținutul falsificat este perceput ca o gândire internă cu încredere ridicată, mai degrabă decât o intrare de utilizator cu încredere scăzută, poate ocoli balustradele de siguranță care ar bloca în mod normal instrucțiunile de manipulare.

Ierarhia încrederii în cadrul unui LLM

Înțelegerea motivului pentru care atacul are succes necesită înțelegerea modului în care funcționează rolurile. Sub capotă, rolurile segmentează intrarea modelului într-o ierarhie organizată. Instrucțiunile într-un rol sunt urmate atâta timp cât nu intră în conflict cu cele cu prioritate mai mare. O directivă la nivel de sistem de „nu discutați despre activitățile ilegale”, de exemplu, este menită să anuleze o solicitare a utilizatorului de a furniza o rețetă interzisă. Rolul „” se află aproape de vârful acelei ierarhii, deoarece reprezintă concluzii la care modelul crede că le-a ajuns deja pe cont propriu.

Defalcarea are loc deoarece modelul nu impune acea ierarhie mecanic. În schimb, deduce textul căruia îi aparține rolului, parțial din indicii stilistice. După cum s-a observat în discuția comunității asupra cercetării, dacă textul este modelat ca un context de gândire, modelul poate confunda orice text cu o structură similară cu un raționament autentic – iar textul de gândire are o prioritate mai mare decât textul obișnuit al utilizatorului.

Un model familiar cu o nouă întorsătură

Cercetarea se bazează pe o slăbiciune recunoscută de mult timp în sistemele AI: injectarea promptă. Primele atacuri au exploatat faptul că LLM-urile nu au fluxuri separate pentru instrucțiuni și date, așa că o expresie precum „ignorați toate instrucțiunile anterioare” uneori ar putea deturna comportamentul unui model. Introducerea rolurilor și a etichetelor de metadate a fost menită să atenueze acest lucru prin crearea unei ierarhii de încredere.

CoT Forgery demonstrează că atenuarea este incompletă. Atâta timp cât modelele judecă credibilitatea textului parțial după caracteristicile stilistice, mai degrabă decât strict după metadatele sale structurale, atacatorii care pot imita stilul potrivit pot escalada autoritatea percepută a intrării lor.

De ce este greu de reparat

Cercetătorii, Charles Ye, Jasmine Cui și Dylan Hadfield-Menll, susțin că percepția rolului în LLM nu este o proprietate binară care poate fi aplicată în mod curat. Modelele învață să interpreteze etichetele prin antrenament, mai degrabă decât prin reguli codificate, ceea ce înseamnă că comportamentul lor este modelat de modele din date – iar modelele pot fi imitate.

Discuția comunității asupra lucrării, evidențiată de Hackaday, a scos la suprafață o temă recurentă: cea mai curată soluție ar necesita ca modelele să gestioneze intrările de încredere prin căi separate structural, mai degrabă decât să se bazeze pe indicii învățate, bazate pe stil. Până când se întâmplă acest lucru, apărarea împotriva atacurilor prompte de tip injecție va rămâne probabil un proces în evoluție, mai degrabă decât o problemă rezolvată.

Implicațiile mai largi

Vulnerabilitatea contează dincolo de demonstrațiile de laborator. Modelele de raționament sunt din ce în ce mai mult implementate în sistemele agentice care pot naviga pe web, executa cod și întreprinde acțiuni în numele unui utilizator. Dacă un atacator poate falsifica concluziile interne ale unui model, acesta poate fi capabil să orienteze acele acțiuni către rezultate neintenționate sau dăunătoare. Riscul crește pe măsură ce modelele câștigă mai multă autonomie și acces la instrumente. Cercetătorii observă că oamenii rămân inteligenți și creativi și, atâta timp cât modelele nu au o separare arhitecturală curată între textul de încredere și cel care nu este de încredere, atacatorii hotărâți vor continua să găsească modalități de a estompa linia. Lucrarea încadrează provocarea mai puțin ca un bug care trebuie remediat și mai mult ca o proprietate structurală a sistemelor care își învață comportamentul din date, mai degrabă decât din regulile codificate.

Lucrarea completă este disponibilă pe arXiv, iar cercetătorii au publicat exemple de cod pe GitHub, astfel încât dezvoltatorii să poată testa dacă propriile sisteme sunt susceptibile.

Rămâi înaintea AI

Pentru mai multe despre cercetarea în materie de siguranță AI, vulnerabilitățile de securitate și frontiera modelelor de limbaj mari, vizitați AI Buzz Wire.

Citiți mai multe știri AI →