Zakrojona na szeroką skalę operacja wymierzona w instalacje hydrauliczne branży sztucznej inteligencji udokumentowała, co dzieje się z monitami wysyłanymi codziennie przez użytkowników — a odpowiedź brzmi: wyciekają. Badacz bezpieczeństwa HD Moore, dyrektor ds. badań w firmie Dragos zajmującej się bezpieczeństwem przemysłowym, wysłał do dostawców sztucznej inteligencji prawie dwa miliony podpowiedzi AI zawierających unikalne, możliwe do śledzenia tajemnice, a następnie obserwował, gdzie te tajemnice wychodzą na jaw. „To, co znaleźliśmy, ujawniło naruszenia bezpieczeństwa, szybkie kradzieże i powszechne błędy w ochronie danych klientów” – napisał Moore w opublikowanym w czwartek raporcie.

Odkrycia, szczegółowo opisane przez Ars Technica, napływają w momencie, gdy routery AI – usługi brokerskie, takie jak OpenRouter i Vercel, które akceptują monity od użytkowników końcowych i kierują je do najtańszego lub najlepiej odpowiedniego dostawcy wnioskowania – stały się podstawową infrastrukturą dla tysięcy aplikacji. Wywołały one również szybką reakcję branży: 22 listopada OpenRouter opublikował własne ogłoszenie o incydencie, w którym poinformował, że odrzucił trzech dostawców, usunął 125 punktów końcowych z kwalifikowalności Zero Data Retention i powiadomił klientów, których potencjalnie to dotyczyło.

Jak działała pułapka na kanarki

Moore zebrał zbiór działających kluczy dostępu AWS powiązanych z pustymi kontami, działającymi hasłami SSH oraz unikalnymi adresami URL, nazwami DNS i odniesieniami do prywatnego repozytorium Git. Żaden z sekretów nie był nigdy wcześniej wykorzystywany, a Moore kontrolował infrastrukturę po stronie odbiorcy. Każdy sekret był umieszczany w dokładnie jednym znaku zachęty wysyłanym do jednego dostawcy — więc jeśli sekret później gdziekolwiek wypłynie, można było prześledzić jego podróż aż do dokładnego ogniwa odpowiedzialnego za ten łańcuch.

Projekt ma znaczenie ze względu na sposób, w jaki ekosystem AI faktycznie przenosi dane. Podpowiedzi są szyfrowane podczas przesyłania, ale są odszyfrowywane przy każdym przeskoku. Router AI odczytuje zwykły tekst, aby wybrać odpowiednich dostawców wnioskowania; zachęta jest następnie często przekazywana do puli modeli, czasami działających w różnych firmach hostingowych. Podpowiedzi mogą nawet przechodzić z jednego routera do drugiego — na przykład z Vercel do OpenRouter — przy czym każdy pośrednik może rejestrować i przechowywać zawartość zgodnie ze swoimi własnymi zasadami.

Naruszenie bezpieczeństwa trzech dostawców, klucze wykorzystane w ciągu kilku godzin

Najbardziej alarmujące odkrycie dotyczyło trzech różnych dostawców hostingu, którzy zostali naruszeni podczas eksperymentu. Według Moore'a napastnicy, którzy włamali się do jednego dostawcy, ponownie wykorzystali „kilkaset” ukrytych kluczy AWS. Każdy klucz został wysłany w dokładnie jednym żądaniu do jednego dostawcy w ciągu kilku krótkich okienek pod koniec października i „każde żądanie, które wysłaliśmy w tych oknach, zostało skradzione”. Co najważniejsze, niektóre skradzione klucze pochodziły z żądań, które dostawca odrzucił przed uruchomieniem modelu, co wskazywało, że osoba atakująca kopiowała ruch przy drzwiach wejściowych dostawcy, a nie głębiej w stosie wnioskowań.

W przypadku pozostałych dwóch naruszeń niektóre skradzione żądania oznaczono jako brak przechowywania danych. „Flaga prywatności nie pomaga, gdy atakujący jest już w środku” – napisał Moore. W niektórych przypadkach osoby stojące za włamaniami testowały klucze przynęty w ciągu kilku godzin, przeglądały segmenty S3, menedżery sekretów i magazyny parametrów w celu uzyskania większej liczby danych uwierzytelniających, próbowały włączyć hostowane modele w AWS Bedrock i dodały własnych użytkowników IAM, aby utrzymać dostęp. Podsumowując, skradzione klucze zostały użyte „dziesiątki tysięcy” razy w wywołaniach API AWS. Sekrety skradzione dwóm zhakowanym dostawcom zostały niemal natychmiast wykorzystane razem z tego samego wynajętego serwera – mocny dowód na to, że jeden przeciwnik złamał bezpieczeństwo obu.

Sprzedawcy, którzy kradną, i laboratorium, które niszczy

Nie każdy przeciekający był hakerem. Moore udokumentował sprzedawców, którzy przyciągali podpowiedzi niskimi cenami, włączali rejestrowanie żądań i po prostu czekali. Zidentyfikował je, wysyłając identyczne żądania do tego samego modelu za pośrednictwem różnych sprzedawców: gdy ponownie wykorzystano dane uwierzytelniające od jednego sprzedawcy, a nie od innego, winowajca był jasny.

Najbardziej oczywisty przypadek skrobania, jak napisał Moore, dotyczy chińskiego laboratorium sztucznej inteligencji, którego systemy pobrały tajne adresy URL z ponad połowy podpowiedzi wysłanych do modeli w okresie od lipca do października – w tym około dwie trzecie żądań wyraźnie oznaczonych jako „zakaz gromadzenia danych” lub zerowe przechowywanie danych. Zgarniacz pojawiał się zwykle dwa lub trzy dni po każdym żądaniu. Nie ograniczało się to do bezpośrednich klientów: kilku amerykańskich dostawców usług hostingowych odsprzedawało modele laboratorium, a podpowiedzi wysyłane przez tych amerykańskich pośredników uruchamiały dokładnie ten sam proces skrobania. Innymi słowy, klient, który wybrał amerykańskiego dostawcę specjalnie do przechowywania danych w Stanach, nie otrzymał tego, za co zapłacił. Oddzielnie klient git w innej chmurze zaczął próbować sklonować prywatne repozytoria, o których mowa w podpowiedziach — ale tylko w przypadku podpowiedzi, które korzystały z modeli tego laboratorium.

OpenRouter odpowiada

Eksperyment szybko przyniósł konsekwencje w świecie rzeczywistym. W aktualizacji Ars Technica poinformowała, że ​​21 listopada OpenRouter wysłał klientom e-maile z ostrzeżeniem, że niektóre z ich podpowiedzi mogły zostać przeczytane, powołując się na badania: potencjalne narażenie dotyczyło podpowiedzi wysyłanych do MiniMax, chińskiego dostawcy modeli, bezpośrednio lub za pośrednictwem trzech resellerów — AtlasCloud, Novita i StreamLake. OpenRouter usunął etykietę „Zero Data Retention” z punktów końcowych modelu MiniMax.

W swoim oficjalnym poście na blogu z 22 listopada OpenRouter potwierdził, że odrzucił trzech dostawców, usunął 125 punktów końcowych z kryteriów kwalifikowalności ZDR i powiadomił zainteresowanych użytkowników, czy dostawcy publikowali posty publicznie. Firma stwierdziła, że ​​ustalenia „nie wykazały żadnego naruszenia ani nieautoryzowanego dostępu do samego OpenRoutera”, podziękowała zespołowi Dragos i stwierdziła, że ​​dostawcy chcący pozostać na platformie „będą musieli spełnić” rosnące wymagania bezpieczeństwa, ponieważ OpenRouter integruje podobne techniki testowania.

Moore wykrył także przypadkowe wycieki o długim ogonie: jeden z amerykańskich dostawców usług hostingowych przeszukał tajny adres URL ponad dwa miesiące po pojedynczym wywołaniu wnioskowania do punktu końcowego wyszukiwania, a inny uruchomił skrobak, który zwracał wprowadzone adresy URL kilka dni po każdym żądaniu, niezależnie od tego, który router dostarczył monit.

Co mogą zrobić użytkownicy

Moore stwierdził, że najskuteczniejszą ochroną jest hosting modeli lokalnie — kosztowna opcja, którą niewiele organizacji może uzasadnić. Następnym najlepszym rozwiązaniem jest kupowanie bezpośrednio od dostawcy pierwszego poziomu, z „jedną umową i polityką prywatności do przeczytania” oraz unikanie pul dostawców domyślnych lub sprzedawców poprzez samodzielne wybieranie dostawców wyższego szczebla. Nawet wtedy – przestrzegł – nie ma gwarancji, że dane nie wyciekną.

Eksperyment jest najostrzejszym jak dotąd oskarżeniem praktyk w zakresie ochrony prywatności na szybko rozwijającym się rynku wnioskowania: łańcuch między aplikacją a modelem może teraz obejmować routery, sprzedawców i warstwy hostingowe na wielu kontynentach, każdy z własnymi zasadami rejestrowania, a etykiety mające uspokoić klientów – takie jak Zero Data Retention – mogą zostać zerwane lub usunięte bez powiadomienia. Dla branży, która prosi przedsiębiorstwa o wklejanie swoich dokumentów, kodu i danych uwierzytelniających do monitów, przesłanie dwóch milionów kanarków jest niewygodne: dopóki nie zmieni się instalacja wodno-kanalizacyjna, należy zakładać, że każdy przeskok będzie w stanie odczytać każde słowo.

Wyprzedź sztuczną inteligencję

Bezpieczeństwo i prywatność to obecnie główne obawy każdego, kto korzysta z sztucznej inteligencji. Aby uzyskać najświeższe informacje o sztucznej inteligencji i niezależne relacje z największych historii w branży, odwiedź AI Buzz Wire.

Przeczytaj więcej aktualności o sztucznej inteligencji →