Fireworks AI, wspierany przez Nvidię start-up zajmujący się wnioskowaniem, powiadomił klientów, że wcześniej ujawniony incydent związany z bezpieczeństwem miał znacznie szerszy zakres niż pierwotnie zgłoszono – a napastnicy uzyskali dostęp do informacji o kontach i rozliczeniach, a w przypadku ograniczonego zestawu kont – sekretów, zbiorów danych i niekompletnych wag modeli – wynika z zaktualizowanego biuletynu bezpieczeństwa opublikowanego na ich stronie internetowej 9 listopada. Bloomberg i Forbes poinformowały o ujawnieniu w poniedziałek, a „Forbes” opisał cyberatak jako ujawniający dane klientów i modele sztucznej inteligencji.

Firma po raz pierwszy ujawniła incydent 9 października, kiedy stwierdziła, że ​​uzyskano dostęp wyłącznie do sekretów przechowywanych w Fireworks, używanych podczas zadań ewaluacyjnych. Nowa aktualizacja znacznie poszerza tę ocenę i wiąże włamanie z motywowaną finansowo grupą cyberprzestępczą, która zajmuje się tym, co w branży nazywa się „LLMJacking”, czyli kradzieżą dostępu do dużych modeli językowych i odsprzedażą tokenów nielegalnym bramom routingowym. Dla firm śledzących wiadomości dotyczące bezpieczeństwa branży AI sprawa ta staje się incydentem referencyjnym dla nowej klasy ataków na infrastrukturę sztucznej inteligencji.

Jak doszło do drugiego wyłomu

Według biuletynu, zewnętrzny dostawca usług w chmurze, hostujący maszyny badawczo-rozwojowe Fireworks, doświadczył własnego incydentu związanego z bezpieczeństwem 23 października. Następnego dnia nieupoważniona osoba wykorzystała to miejsce, aby połączyć się z maszynami programistycznymi Fireworks i wykonała nieautoryzowane obciążenie, co doprowadziło do dodatkowego wpływu na dane klientów. Fireworks twierdzi, że wykrył tę aktywność tego samego dnia i podjął działania zaradcze, a od 25 października nie znalazł żadnych dalszych dowodów na skuteczny nieautoryzowany dostęp do platformy, z której korzystają klienci.

Firma współpracuje z jednostką 42 Palo Alto Networks, która przeprowadza analizy kryminalistyczne i poinformowała, że ​​powiadomiła organy ścigania po pierwotnym incydencie. 2 listopada Google Threat Intelligence Group i Mandiant opublikowały na blogu post dokumentujący powstanie LLMJacking, motywy stojące za nim i stosowane techniki – kontekst cytowany przez firmę Fireworks we własnym ujawnieniu.

Jakie dane zostały pobrane

Jak wynika z biuletynu, aplikacja wewnętrzna, której dotyczy problem, ujawniła kilka kategorii informacji:

  • Metadane zasobów, w tym identyfikatory zasobów Fireworks, wyświetlane nazwy, opisy i czasy utworzenia.
  • Informacje rozliczeniowe, w tym adresy rozliczeniowe i wysyłkowe, historia faktur i płatności, salda kont i wykorzystanie kredytu.
  • Wagi modeli i zbiory danych: w przypadku niektórych klientów uzyskano dostęp do podzbioru niekompletnych wag modeli i zbiorów danych.

Fireworks twierdzi, że numery kart płatniczych nie są przechowywane w jej systemach i nie ma to na to wpływu. Stwierdziła również, że nie wykryła żadnego wpływu na swoje podstawowe usługi Inference, Training SDK i Nexus, które domyślnie działają z zerową retencją danych, co oznacza, że ​​żadne dane dotyczące szkoleń klientów ani wniosków nie są przechowywane w stanie spoczynku. Firma oświadczyła, że ​​bezpośrednio powiadamia klientów, których dane zostały dotknięte, podając szczegółowe informacje na temat skutków i zalecanych działań naprawczych.

Pytania powstrzymujące i otwarte

W ramach swojej reakcji Fireworks, współpracując z Jednostką 42, unieważnił i zastąpił dane uwierzytelniające i konta usług, usunął niepotrzebne podwyższone uprawnienia, ograniczył ścieżki sieciowe i izolowane systemy, których dotyczy problem, zaostrzył dostęp do systemów przechowywania i analizy danych oraz wzmocnił rejestrowanie i monitorowanie. Na czas trwania dochodzenia wyłączono także samoobsługowe przesyłanie i pobieranie zbiorów danych wykorzystywane przez funkcję Batch Inference oraz szkolenia oparte na zbiorach danych.

Otwarte pozostają dwa istotne pytania. Po pierwsze, jaka część „niekompletnych wag modeli”, do których uzyskano dostęp, jest faktycznie użyteczna — częściowe lub będące w toku wagi skradzione z potoku szkoleniowego mogą w dalszym ciągu ujawniać informacje o konkurencji na temat opracowywanych modeli klientów, a firma Fireworks nie podała, których klientów ani ilu dotyczyło. Po drugie, jakie obowiązki nakładają na klientów, których zastrzeżone zbiory danych zostały ujawnione. Firma twierdzi, że dochodzenie jest w toku i może ujawnić dodatkowe informacje.

Dlaczego LLMJacking rośnie

Celem ataków LLMJacking są usługi AI hostowane w chmurze w celu uzyskania dostępu do użytecznego modelu, a nie tradycyjnych danych. Skradzione dane uwierzytelniające lub tokeny są następnie odsprzedawane za pośrednictwem bram routingu w tle, które oferują obniżony cenowo dostęp do modeli komercyjnych. Należąca do Google grupa ds. analizy zagrożeń i firma Mandiant poświęciły raport z 2 listopada temu trendowi, który badacze bezpieczeństwa śledzą od około dwóch lat, w związku z gwałtownym wzrostem wdrażania wnioskowania hostowanego w przedsiębiorstwach.

Ujawnienie Fireworks to jeden z pierwszych potwierdzonych przypadków, w których napastnicy najwyraźniej połączyli ten podręcznik z kradzieżą artefaktów modeli klienta u dostawcy infrastruktury AI. Dotyka szerszej fali incydentów związanych z bezpieczeństwem w ekosystemie sztucznej inteligencji i zwiększa presję na dostawców wnioskowania, aby wykazali, że platformy obsługujące wielu dzierżawców mogą izolować obciążenia klientów. Startupy oceniające dostawców wnioskowania będą prawdopodobnie zadawać trudniejsze pytania dotyczące izolacji najemców, higieny poświadczeń i zależności od chmur stron trzecich — dokładnie ta ścieżka została tutaj wykorzystana.

Fireworks twierdzi, że monitoruje swoje systemy przez całą dobę i w miarę postępu dochodzenia będzie publikować dalsze aktualizacje. Klienci mający wątpliwości proszeni są o odpisanie na e-maile z powiadomieniami o incydentach lub skontaktowanie się z firmowym adresem powiadomień dotyczących bezpieczeństwa.

Incydent ilustruje również, jak dojrzewają normy ujawniania informacji dla firm zajmujących się sztuczną inteligencją. Firma Fireworks opublikowała swój pierwszy biuletyn w ciągu kilku dni od pierwszego włamania na początku października, a następnie dwukrotnie go zmieniała, gdy kryminalistyka poszerzyła obraz – jest to sekwencja, którą zespoły ds. bezpieczeństwa rozpoznają na podstawie niedawnych naruszeń oprogramowania dla przedsiębiorstw, ale która pozostaje rzadkością wśród dostawców infrastruktury sztucznej inteligencji, z których wielu nigdy nie zajmowało się incydentem publicznym. Decyzja o wyłączeniu funkcji samoobsługowego zbioru danych przy jednoczesnym pozostawieniu działającego podstawowego produktu wnioskowania sugeruje, że narażenie skupiało się na systemach pomocniczych, a nie na samej ścieżce obsługi klienta.

---

Wyprzedź sztuczną inteligencję

Otrzymuj najnowsze wiadomości, analizy i przełomowe informacje dotyczące sztucznej inteligencji — wszystko w jednym miejscu.

Przeczytaj więcej aktualności o sztucznej inteligencji →