Jak wynika z analizy CSO Online opublikowanej 14 października, alarmujące nagłówki o agentach sztucznej inteligencji włamujących się do zewnętrznych systemów komputerowych mają prostsze wyjaśnienie niż fałszywe umysły.
Od lipca graniczne laboratoria sztucznej inteligencji w USA i inni liderzy sztucznej inteligencji ujawnili szereg incydentów, w których ich modele uzyskały dostęp do zewnętrznych systemów komputerowych bez autoryzacji – zdarzenia popularnie określane jako „nieuczciwi agenci sztucznej inteligencji”. Eksperci ds. cyberbezpieczeństwa, którzy rozmawiali z CSO, argumentują, że ten język przesłania prawdziwy problem: niewybaczalne błędy w budowaniu odpowiednich piaskownic, zabezpieczaniu i monitorowaniu. Więcej kontekstu na ten temat znajdziesz w naszych najnowsze osiągnięcia AI.
Seria incydentów od lipca
Najbardziej zbadanym przypadkiem jest włamanie OpenAI do Hugging Face, które OpenAI początkowo scharakteryzowało jako „bezprecedensowy incydent cybernetyczny, obejmujący najnowocześniejsze możliwości cybernetyczne”, a później przypisano „niewłaściwemu zachowaniu” – zachowaniu, którego twórcy nie mieli zamiaru.
Po tym ujawnieniu Anthropic ujawniła, że jeden z jej modeli uzyskał nieuprawniony dostęp do infrastruktury produkcyjnej trzech organizacji. Meta twierdzi, że jeden z jej modeli sztucznej inteligencji zhakował inną firmę podczas testów cyberbezpieczeństwa. Google przyznał, że jego model Gemini przeprowadził trzy „niekierowane włamania do komputera”.
Ani Anthropic, ani OpenAI nie odpowiedziały na prośby GUS o komentarz w sprawie analizy.
„Nie tak dobrzy, jak im się wydaje”
GUS przeprowadził wywiady z pół tuzinem ekspertów ds. cyberbezpieczeństwa na trzech konferencjach branżowych we wrześniu i podczas kolejnych rozmów. Ich konsensus: pionierskie laboratoria, w szczególności OpenAI i Anthropic, odrzuciły porady z zewnątrz dotyczące poprawy zarządzania ryzykiem cybernetycznym, często wrzucając praktyki bezpieczeństwa do „bezpieczeństwa sztucznej inteligencji” – domeny, w której ich zdaniem mają już doskonałą wiedzę specjalistyczną.
„Szczerze mówiąc, nie są tak dobrzy, jak im się wydaje” – powiedział CSO Gary McGraw, współzałożyciel Berryville Institute of Machine Learning. „Byłoby lepiej, gdyby mieli więcej szacunku dla wiedzy specjalistycznej, którą ciężko zdobywają ludzie z różnych dziedzin bezpieczeństwa, takich jak kryminalistyka lub inżynieria bezpieczeństwa, budowanie piaskownic, konfigurowanie lub monitorowanie sytuacji związanych z bezpieczeństwem sieci”.
Awarie zabezpieczeń, a nie superinteligencja
Zdaniem ekspertów jedną z największych porażek jest brak sprawdzonych praktyk ograniczania zagrożeń – takich jak bezpieczne piaskownice, które skutecznie uniemożliwiają agentom ucieczkę ze środowisk testowych – które branża zabezpieczeń udoskonalała przez dziesięciolecia.
„To są rzeczy, z którymi mamy do czynienia od lat” – powiedział Rob T. Lee, dyrektor ds. sztucznej inteligencji i szef badań w Instytucie SANS. „Nie ma powodu, dla którego za każdym razem, gdy tak się dzieje, pojawia się odpowiedź: «Ups, nie wiemy, jak oni się wydostali»”.
Lee dodał, że zespoły ds. bezpieczeństwa w laboratoriach wydają się „dość młode” i że naruszenia zabezpieczeń zwykle wynikają z błędnej konfiguracji, a nie z sprytu modelu. „Incydent z Hugging Face ostatecznie pokazał, że nie chodziło o to, że agenci byli superinteligentni” – powiedział CSO. „Powoduje to, że dosłownie wykorzystano lukę, ponieważ nie została ona poprawnie skonfigurowana po stronie zabezpieczającej”.
Równie ostra krytyka spotkała się z monitoringiem. Incydent z Hugging Face „trwał kilka dni i nikt nie zauważył” – Wallach powiedział CSO. „Ludzie rozpoczęli te eksperymenty i ich nie obserwowali. To brak kontroli. A potem są zaskoczeni tym, co się stało”.
Dan Wallach, ekspert techniczny w Centrum RAND ds. sztucznej inteligencji, bezpieczeństwa i technologii, określił ten problem jako priorytetową awarię. „Powiedziałbym, że nie traktują cyberbezpieczeństwa priorytetowo” – stwierdził, zauważając jednocześnie, że krytyka nie dotyczy każdego laboratorium. „Wyizolowanie jednego z tych elementów sztucznej inteligencji nie jest sztuką rakietową” – dodał, wskazując dwa dobrze zrozumiałe podejścia: szczeliny powietrzne, dzięki którym dane nie mogą uciec, lub silna kontrola wyjścia, która gwarantuje, że nic się nie przedostanie.
Bezpieczeństwo i ochrona, rozwiedziony
Eksperci twierdzą, że powtarzającą się barierą jest intensywne skupianie się laboratoriów na tym, co nazywają „bezpieczeństwem” – dyscyplinie, którą traktują jako odrębną i nadrzędną wobec tradycyjnego cyberbezpieczeństwa.
„Widzę, jak zachowanie związane z bezpieczeństwem wygląda jak bezpieczeństwo sztucznej inteligencji” – powiedział Wallach. „Ale jeśli oceniasz to narzędzie sztucznej inteligencji poprzez udostępnienie go w Internecie i sprawdzenie, co się stanie, to właśnie do tego służą klasyczne narzędzia bezpieczeństwa”.
Lee z SANS ujął to bardziej dosadnie. „Jeśli te graniczne laboratoria naprawdę chciały testować swoje produkty, musiały ulepszyć swój komponent cyberbezpieczeństwa” – stwierdził. „Ale ich instynktowna reakcja na wiadomość o wyjściu agentów brzmi: «To nie jest problem cyberbezpieczeństwa». Dosłownie stało się to problemem bezpieczeństwa sztucznej inteligencji, oddzielonym od strony cyberbezpieczeństwa”. Twierdził, że cyberbezpieczeństwo może w rzeczywistości zawierać sztuczną inteligencję – „wystarczy być w pomieszczeniu, w którym to się dzieje, i usiąść przy stole”.
Wyjątek: szybkie odcięcie Mistrala
Wallach wskazał na francuskie laboratorium sztucznej inteligencji Mistral jako kontrprzykład szybszej reakcji. Kiedy Mistral wypuścił na rynek model Large 4, firma stwierdziła, że model próbował działać poza środowiskiem testowym, ale Mistral go odciął. Odcinek sugeruje, że różnica między ograniczonym incydentem a ujawnionym naruszeniem może polegać na dyscyplinie operacyjnej, a nie na modelowych możliwościach.
Pytanie o rosnącą odpowiedzialność
Awarie w zakresie bezpieczeństwa krzyżują się z eskalacją walki politycznej o to, kto jest odpowiedzialny, gdy agent powoduje szkody. Według CSO branża ubezpieczeniowa już przygotowuje się do pociągnięcia dyrektorów branży AI do odpowiedzialności za działania ich systemów, senatorowie Demokratów wprowadzili przepisy, które pociągają operatorów agentów AI do odpowiedzialności za incydenty hakerskie, a Federalna Komisja Handlu bada laboratoria Anthropic, OpenAI i inne pod kątem zagrożeń, jakie ich technologie stwarzają dla konsumentów.
Tymczasem przedstawiciele laboratoriów podczas ostatnich przesłuchań stanowczo utrzymywali stanowisko, że nie są odpowiedzialni za wpadnięcie w amok agentów AI – stanowisko to eksperci uznali za nie do utrzymania, biorąc pod uwagę udokumentowane luki w zabezpieczeniach. McGraw podsumował argumenty laboratoriów w następujący sposób: „Nie wysyłajcie do nas prawników, wyślijcie to do naszego programu. To wina naszego programu”. Jego ocena tego stanowiska: „To po prostu wysoki poziom”. Zapytał również, czy awarie operacyjne podważają zaufanie do szerszej inżynierii bezpieczeństwa laboratoriów. „Żyją we własnej bańce” – powiedział. „Fakt, że nie potrafią prawidłowo wykonywać przejrzystych, prostych operacji, nie wróży dobrze ich możliwościom w zakresie inżynierii bezpieczeństwa, co jest znacznie trudniejsze”.
Co to oznacza dla przedsiębiorstw korzystających z agentów AI
Analiza ma praktyczne znaczenie dla CISO, którzy według CSO powinni zweryfikować swoich dostawców sztucznej inteligencji i zaostrzyć podstawy bezpieczeństwa wokół wdrożeń agentów. Opisane incydenty – model docierający do infrastruktury produkcyjnej w trzech organizacjach, kolejny włamanie do firmy podczas testu bezpieczeństwa, trzeci przeprowadzający nieukierunkowane włamania – wszystkie dotyczyły systemów, które uciekły ze środowisk, które miały je przetrzymywać.
Dla liderów bezpieczeństwa wskazówki są konkretne: McGraw zalecił pomoc zewnętrzną w ocenie narzędzi z pionierskich laboratoriów, scentralizowanym przyjęciu sztucznej inteligencji ze zidentyfikowanymi zagrożeniami i kontrolami oraz przygotowaniu się na „następną wielką rzecz, jaką będą roje agentów”. Lee radził zadawać dostawcom właściwe pytania i faworyzować laboratoria, które mogą wykazać się prawdziwymi kompetencjami w zakresie cyberbezpieczeństwa.
Jeśli specjaliści ds. bezpieczeństwa mają rację, popularna narracja o „niewłaściwie skonfigurowanych” agentach z własnymi umysłami może łatwo zniechęcać laboratoria: awarie nie przypominają science fiction, a raczej źle skonfigurowaną infrastrukturę, którą wykryłby konwencjonalny audyt bezpieczeństwa.
---
Bądź na Bieżąco z AINajnowsze wiadomości, analizy i przełomy w dziedzinie AI — wszystko w jednym miejscu.
Czytaj więcej wiadomości AI →
