Naukowcy zademonstrowali nowy, potężny atak na rozumujące modele sztucznej inteligencji, wykorzystujący fundamentalną lukę w sposobie oddzielania instrukcji od danych przez duże modele językowe (LLM). Technika ta, zwana fałszowaniem łańcucha myśli (CoT), oszukuje model, aby traktował tekst dostarczony przez osobę atakującą tak, jakby był to prywatny, wewnętrzny rozumowanie modelu, umożliwiając tekstowi zastąpienie prawidłowych instrukcji.

Odkrycia zgłoszone przez Hackaday podkreślają, dlaczego zabezpieczenie systemów sztucznej inteligencji przed manipulacją pozostaje nierozwiązanym problemem. Aby być na bieżąco z pojawiającymi się zagrożeniami w terenie, śledź nasze relacjonowanie branży sztucznej inteligencji, aby uzyskać bieżącą analizę.

Podstawowa przyczyna: zamieszanie ról

Sercem tej luki jest to, co badacze określają jako „pomieszanie ról”. Nowoczesne LLM otrzymują wszystkie swoje dane wejściowe – reguły systemowe, żądania użytkowników i własny łańcuch myślowy modelu – za pośrednictwem jednego kanału tekstowego. Aby narzucić porządek, programiści używają znaczników metadanych, takich jak ``, `` i `` w celu stworzenia hierarchii zaufania. Na przykład dyrektywa `` mająca na celu uniknięcie szkodliwych treści powinna zastąpić przeciwne żądanie `'.

Znacznik „” ma szczególne znaczenie, ponieważ reprezentuje wewnętrzny proces rozumowania modelu, strumień cieszący się dużym zaufaniem. Problem, jak odkryli naukowcy, polega na tym, że modele nie opierają się głównie na samych tagach przy podejmowaniu decyzji, komu zaufać. Priorytetowo traktują styl pisania. Tekst stylistycznie sformatowany tak, aby przypominał wewnętrzne wyjście modelu „” może zostać wzięty za prawdziwe rozumowanie, niezależnie od tego, skąd faktycznie pochodzi.

Jak działa atak

Co najważniejsze, fałszerstwo CoT nie polega po prostu na umieszczeniu złośliwego monitu w znacznikach „”, co większość modeli by odrzuciła. Zamiast tego atakujący pisze zawiłe rozumowanie w stylu, który ściśle odpowiada wewnętrznemu tokowi rozumowania modela. Kiedy model napotyka ten tekst, traktuje sfałszowane rozumowanie jako już wyciągnięty wniosek.

Według Hackaday powoduje to, że LLM akceptuje przejrzyście nielogiczne rozumowanie jako z góry przesądzone wnioski, zmieniając swoją odpowiedź na żądanie użytkownika. Ponieważ sfałszowana treść jest postrzegana jako myśl wewnętrzna budząca duże zaufanie, a nie jako wkład użytkownika o niskim zaufaniu, może ominąć bariery zabezpieczające, które normalnie blokowałyby instrukcje manipulacyjne.

Hierarchia zaufania w LLM

Zrozumienie, dlaczego atak się powiódł, wymaga zrozumienia, jak działają role. Pod maską role dzielą dane wejściowe modelu na zorganizowaną hierarchię. Instrukcje dotyczące roli są wykonywane, o ile nie kolidują z instrukcjami o wyższym priorytecie. Na przykład dyrektywa na poziomie systemu „nie omawiaj nielegalnych działań” ma na celu unieważnienie prośby użytkownika o podanie zabronionego przepisu. Rola „” znajduje się blisko szczytu tej hierarchii, ponieważ reprezentuje wnioski, do których model wierzy, że sam już doszedł.

Podział następuje, ponieważ model nie wymusza tej hierarchii w sposób mechaniczny. Zamiast tego wnioskuje, który tekst należy do jakiej roli, częściowo na podstawie wskazówek stylistycznych. Jak zauważono w dyskusji społeczności na temat badania, jeśli tekst jest wzorowany na kontekście myślowym, model może pomylić dowolny tekst o podobnej strukturze z autentycznym rozumowaniem, a tekst myślący ma wyższy priorytet niż zwykły tekst użytkownika.

Znany wzór w nowym wydaniu

Badanie opiera się na od dawna uznawanej słabości systemów sztucznej inteligencji: szybkim wstrzykiwaniu. Wczesne ataki wykorzystywały fakt, że LLM nie mają oddzielnych strumieni instrukcji i danych, więc wyrażenie takie jak „ignoruj ​​wszystkie poprzednie instrukcje” mogło czasami przejąć kontrolę nad zachowaniem modelu. Wprowadzenie ról i znaczników metadanych miało temu zaradzić poprzez utworzenie hierarchii zaufania.

Fałszerstwo CoT pokazuje, że środki zaradcze są niekompletne. Dopóki modele oceniają wiarygodność tekstu częściowo na podstawie jego cech stylistycznych, a nie wyłącznie metadanych strukturalnych, napastnicy, którzy potrafią naśladować odpowiedni styl, mogą zwiększyć postrzeganą autorytet swoich wkładów.

Dlaczego trudno to naprawić

Badacze Charles Ye, Jasmine Cui i Dylan Hadfield-Menll argumentują, że postrzeganie ról w LLM nie jest właściwością binarną, którą można w prosty sposób wyegzekwować. Modele uczą się interpretować znaczniki poprzez szkolenie, a nie poprzez zakodowane na stałe reguły, co oznacza, że ​​ich zachowanie jest kształtowane przez wzorce w danych i wzorce można naśladować.

Dyskusja społeczna na temat prac, podkreślona przez Hackaday, ujawniła powracający temat: najczystsza poprawka wymagałaby, aby modele obsługiwały zaufane dane wejściowe za pomocą strukturalnie odrębnych ścieżek, zamiast polegać na wyuczonych wskazówkach opartych na stylu. Dopóki to nie nastąpi, obrona przed atakami polegającymi na natychmiastowym wstrzykiwaniu będzie prawdopodobnie raczej procesem ewoluującym niż rozwiązanym problemem.

Szersze implikacje

Luka ma znaczenie wykraczające poza demonstracje laboratoryjne. Modele wnioskowania są coraz częściej wdrażane w systemach agentowych, które mogą przeglądać Internet, wykonywać kod i podejmować działania w imieniu użytkownika. Jeśli osobie atakującej uda się sfałszować wewnętrzne wnioski modelu, może być w stanie skierować te działania w kierunku niezamierzonych lub szkodliwych wyników. Ryzyko rośnie, gdy modele zyskują większą autonomię i dostęp do narzędzi. Naukowcy zauważają, że ludzie pozostają sprytni i kreatywni i dopóki w modelach nie będzie jasnego architektonicznego oddzielenia tekstu zaufanego od niezaufanego, zdeterminowani napastnicy będą nadal szukać sposobów na zatarcie granicy. W artykule przedstawiono to wyzwanie nie jako błąd wymagający załatania, a bardziej jako strukturalną właściwość systemów, które uczą się swojego zachowania na podstawie danych, a nie zakodowanych na stałe reguł.

Cały artykuł jest dostępny w witrynie arXiv, a badacze opublikowali przykłady kodu w serwisie GitHub, aby programiści mogli sprawdzić, czy ich własne systemy są podatne.

Wyprzedź sztuczną inteligencję

Więcej informacji na temat badań nad bezpieczeństwem sztucznej inteligencji, luk w zabezpieczeniach i granic dużych modeli językowych można znaleźć na stronie [AI Buzz Wire] (https://aibuzzwire.news).

Przeczytaj więcej aktualności o sztucznej inteligencji →