Fireworks AI, inferenční startup podporovaný společností Nvidia, upozornil zákazníky, že dříve zveřejněný bezpečnostní incident byl podstatně širší, než bylo původně hlášeno, s útočníky, kteří měli přístup k informacím o účtu a fakturaci, a pro omezenou sadu účtů, tajemství, datové sady a neúplné váhy modelů, podle aktualizovaného bezpečnostního bulletinu zveřejněného na jeho webu 9. listopadu. AI modely.

Společnost poprvé odhalila incident 9. října, kdy uvedla, že byla zpřístupněna pouze tajemství uložená ve Fireworks používaná při vyhodnocovacích úlohách. Nová aktualizace podstatně rozšiřuje toto hodnocení a spojuje průnik do finančně motivované skupiny kyberzločinců, která se zabývá tím, co průmysl nazývá „LLMJacking“ – krádeží přístupu k velkým jazykovým modelům a přeprodejem tokenů na nezákonné směrovací brány. Pro společnosti, které sledují zprávy o bezpečnosti v oboru AI, se případ rýsuje jako referenční incident pro novou třídu útoků na infrastrukturu AI.

Jak se rozvinulo druhé porušení

Podle bulletinu zaznamenal poskytovatel cloudu třetí strany hostující výzkumné a vývojové stroje Fireworks svůj vlastní bezpečnostní incident 23. října. Následujícího dne neoprávněná strana využila tohoto prostoru k dosažení vývojových strojů Fireworks a spustila neoprávněnou zátěž, která vedla k dalšímu dopadu na zákaznická data. Fireworks uvádí, že aktivitu detekoval týž den a přijal nápravná opatření a že od 25. října nenašel žádné další důkazy o úspěšném neoprávněném přístupu na platformu, kterou zákazníci používají.

Společnost spolupracuje s jednotkou 42 Palo Alto Networks, která provádí forenzní analýzu, a uvedla, že po původním incidentu informovala orgány činné v trestním řízení. Google Threat Intelligence Group a Mandiant publikovaly 2. listopadu blogový příspěvek dokumentující vzestup LLMJacking, motivy za ním a použité techniky – kontext, který Fireworks cituje ve svém vlastním odhalení.

Jaká data byla pořízena

Dotčená interní aplikace odhalila několik kategorií informací podle bulletinu:

  • Metadata zdrojů, včetně identifikátorů zdrojů Fireworks, zobrazovaných názvů, popisů a časů vytvoření.
  • Fakturační údaje, včetně fakturační a dodací adresy, fakturační a platební historie, zůstatků na účtech a využití kreditu.
  • Modelové váhy a datové sady: pro některé zákazníky byla zpřístupněna podmnožina neúplných modelových vah a datových sad.

Fireworks uvedl, že čísla platebních karet nejsou uložena v jejích systémech a nebyla ovlivněna. Uvedla také, že nezjistila žádný dopad na své základní služby Inference, Training SDK a Nexus, které ve výchozím nastavení fungují s nulovým uchováváním dat – což znamená, že v klidu nejsou uložena žádná školení zákazníků ani odvozená data. Společnost uvedla, že přímo informuje zákazníky, jejichž data byla ovlivněna, s podrobnostmi o dopadu a doporučených akcích reakce.

Zadržování a otevřené otázky

Fireworks jako součást své reakce, ve spolupráci s Unit 42, uvedl, že zrušil a nahradil přihlašovací údaje a servisní účty, odstranil zbytečná zvýšená oprávnění, omezil síťové cesty a izolované postižené systémy, zpřísnil přístup k systémům ukládání dat a analytickým systémům a posílil protokolování a monitorování. Během vyšetřování také zakázal samoobslužné nahrávání a stahování datových sad, které používá Batch Inference a školení založené na datových sadách.

Dvě důležité otázky zůstávají otevřené. Za prvé, jak velká část zpřístupněných „neúplných modelových závaží“ je skutečně použitelná – částečné nebo probíhající závaží odcizené z tréninkového kanálu mohou stále odhalovat konkurenční informace o vyvíjených zákaznických modelech a Fireworks neuvedl, kteří zákazníci nebo kolik byli ovlivněni. Za druhé, jaké povinnosti vyplývají pro zákazníky, jejichž proprietární datové sady byly vystaveny. Společnost tvrdí, že vyšetřování stále probíhá a může odhalit další informace.

Proč LLMJacking roste

Útoky LLMJacking se zaměřují na služby AI hostované v cloudu, aby sklízely přístup k použitelnému modelu spíše než tradiční data. Ukradené přihlašovací údaje nebo tokeny jsou pak dále prodávány prostřednictvím stínových směrovacích bran, které nabízejí přístup ke komerčním modelům za sníženou cenu. Společnosti Google Threat Intelligence Group a Mandiant věnovaly zprávu z 2. listopadu trendu, který bezpečnostní výzkumníci sledovali zhruba dva roky, protože podnikové přijímání hostovaných inferencí explodovalo.

Zveřejnění Fireworks je jedním z prvních potvrzených případů, kdy se zdá, že útočníci spojili tuto příručku s krádeží artefaktů modelů zákazníků u poskytovatele infrastruktury AI. Přistává uprostřed širší vlny bezpečnostních incidentů v ekosystému AI a zvyšuje tlak na poskytovatele odvození, aby prokázali, že platformy pro více nájemců dokážou izolovat zátěž zákazníků. Startupy, které vyhodnocují dodavatele odvození, budou pravděpodobně klást těžší otázky týkající se izolace nájemců, hygieny pověření a závislostí na cloudu třetích stran – přesný způsob, který je zde využíván.

Fireworks říká, že monitoruje své systémy nepřetržitě a bude zveřejňovat další aktualizace, jak bude vyšetřování pokračovat. Zákazníci, kteří mají obavy, jsou nasměrováni, aby odpověděli na své e-maily s upozorněním na incidenty nebo se obrátili na adresu bezpečnostního oznámení společnosti.

Incident také ukazuje, jak dozrávají normy pro zveřejňování informací pro společnosti využívající umělou inteligenci. Fireworks publikoval svůj první bulletin během několika dní od prvního vniknutí na začátku října, poté jej dvakrát upravil, protože forenzní experti rozšířili obrázek – sled bezpečnostních týmů, který poznají z nedávných narušení podnikového softwaru, ale to zůstává neobvyklé mezi poskytovateli infrastruktury AI, z nichž mnozí nikdy neřešili veřejný incident. Volba zakázat samoobslužné funkce datové sady při ponechání základního inferenčního produktu v chodu naznačuje, že expozice se soustředila spíše na pomocné systémy než na samotnou cestu obsluhy zákazníků.

---

Stay Ahead of AI

Získejte nejnovější zprávy, analýzy a průlomové informace o umělé inteligenci – vše na jednom místě.

Přečtěte si další zprávy o AI →