Rozsáhlá operace proti instalatérskému průmyslu AI zdokumentovala, co se děje s výzvami, které uživatelé zasílají každý den – a odpověď zní: unikají. Bezpečnostní výzkumník HD Moore, vedoucí výzkumu průmyslové bezpečnostní firmy Dragos, poslal poskytovatelům umělé inteligence téměř dva miliony výzev obsahujících jedinečná, sledovatelná tajemství a poté sledoval, kde se tato tajemství objevila. "To, co jsme našli, odhalilo narušení bezpečnosti, rychlé krádeže a rozsáhlé selhání ochrany zákaznických dat," napsal Moore ve zprávě zveřejněné ve čtvrtek.

Zjištění, která podrobně uvádí Ars Technica, přicházejí jako směrovače AI – zprostředkovatelské služby jako OpenRouter a Vercel, které přijímají výzvy od koncových uživatelů a směrují je k libovolnému poskytovateli odvození, který je nejlevnější nebo nejvhodnější – se staly základní infrastrukturou pro tisíce aplikací. Spustili také rychlou reakci průmyslu: OpenRouter zveřejnil 22. listopadu své vlastní oznámení o incidentu, v němž uvedl, že vyřadil tři poskytovatele, odstranil 125 koncových bodů ze způsobilosti pro Zero Data Retention a upozornil potenciálně postižené zákazníky.

Jak fungovala past na Canary

Moore sestavil sbírku funkčních přístupových klíčů AWS vázaných na prázdné účty, fungující hesla SSH a jedinečné adresy URL, názvy DNS a odkazy na soukromé úložiště git. Žádné z tajemství nebylo nikdy předtím použito a Moore ovládal infrastrukturu na přijímací straně. Každé tajemství bylo zasazeno do přesně jedné výzvy zaslané jedinému poskytovateli – takže pokud se tajemství později kdekoli objevilo, jeho cestu bylo možné vysledovat zpět k přesnému článku odpovědného řetězce.

Na designu záleží, protože ekosystém AI skutečně přesouvá data. Výzvy jsou při přenosu šifrovány, ale jsou dešifrovány při každém skoku. Směrovač AI čte prostý text, aby vybral vhodné poskytovatele odvození; výzva je pak často předána do skupiny modelů, někdy běžících v rámci různých hostingových společností. Výzvy mohou dokonce přecházet z jednoho routeru do druhého – například Vercel do OpenRouter – přičemž každý prostředník může protokolovat a ukládat obsah podle svých vlastních zásad.

Tři poskytovatelé porušení, klíče použity během několika hodin

Nejvíce alarmující zjištění se týkalo tří samostatných poskytovatelů hostingu, kteří byli během experimentu kompromitováni. Podle Moora útočníci, kteří prolomili jednoho poskytovatele, znovu použili „pár stovek“ vložených klíčů AWS. Každý klíč byl odeslán v přesně jedné žádosti jednomu poskytovateli během několika krátkých oken koncem října – a „každý požadavek, který jsme během těchto oken odeslali, byl ukraden“. Zásadní je, že některé ukradené klíče pocházejí z požadavků, které poskytovatel odmítl před spuštěním modelu, což naznačuje, že útočník kopíroval provoz u předních dveří poskytovatele, nikoli hlouběji v inferenčním zásobníku.

U dalších dvou porušení byly některé z odcizených požadavků označeny jako nulové uchovávání dat. "Příznak ochrany osobních údajů nepomůže, když je útočník již uvnitř," napsal Moore. Strany stojící za průniky otestovaly v některých případech klíče návnady během několika hodin, prohledaly buckety S3, správce tajemství a úložiště parametrů, aby získaly další pověření, pokusily se povolit hostované modely v AWS Bedrock a přidaly své vlastní uživatele IAM, aby si zachovali přístup. Celkově řečeno, ukradené klíče byly použity „desetitisíce“krát ve voláních AWS API. Tajemství ukradená dvěma hacknutým poskytovatelům byla téměř okamžitě použita společně ze stejného pronajatého serveru – silný důkaz, že jeden protivník kompromitoval oba.

Prodejci, kteří kradou, a laboratoř, která škrábe

Ne každý leaker byl hacker. Moore zdokumentoval prodejce, kteří lákali na výzvy nízkými cenami, zapnuli protokolování požadavků a jednoduše čekali. Identifikoval je odesláním stejných požadavků na stejný model prostřednictvím různých prodejců: když byly přihlašovací údaje znovu použity od jednoho prodejce, ale ne od jiného, ​​viník byl jasný.

Nejjasnější případ škrábání, napsal Moore, zahrnoval čínskou laboratoř AI, jejíž systémy získaly tajné adresy URL z více než poloviny výzev odeslaných do jejích modelů mezi červencem a říjnem – včetně zhruba dvou třetin požadavků výslovně označených jako „žádný sběr dat“ nebo nulové uchovávání dat. Škrabka se obvykle objevila dva nebo tři dny po každém požadavku. Nebylo to omezeno na přímé zákazníky: několik amerických poskytovatelů hostingu prodává modely laboratoře a výzvy zaslané přes tyto americké zprostředkovatele spustily přesně stejnou škrabku. Jinými slovy, zákazník, který si vybral amerického poskytovatele speciálně pro uchování dat ve státě, nedostal to, za co zaplatil. Samostatně se klient git na jiném cloudu začal pokoušet klonovat soukromá úložiště uvedená ve výzvách – ale pouze pro výzvy, které používaly modely této laboratoře.

OpenRouter odpoví

Experiment rychle přinesl skutečné důsledky. Společnost Ars Technica v aktualizaci uvedla, že OpenRouter 21. listopadu zaslal zákazníkům e-mail s varováním, že některé z jejich výzev mohly být přečteny, s odkazem na výzkum: potenciální vystavení se týkalo výzev zaslaných společnosti MiniMax, poskytovateli modelů se sídlem v Číně, ať už přímo nebo prostřednictvím tří prodejců — AtlasCloud, Novita a StreamLake. OpenRouter odstranil štítek „Zero Data Retention“ z koncových bodů modelu MiniMax.

Ve svém oficiálním příspěvku na blogu z 22. listopadu OpenRouter potvrdil, že vyřadil tři poskytovatele, odstranil 125 koncových bodů ze způsobilosti pro ZDR a informoval dotčené uživatele, zda poskytovatelé zveřejnili příspěvek nebo ne. Společnost uvedla, že zjištění „neukázala žádné narušení nebo neoprávněný přístup k OpenRouteru“, poděkovala týmu Dragos a uvedla, že poskytovatelé, kteří chtějí zůstat na platformě, „budou muset splnit“ rostoucí bezpečnostní laťku, protože OpenRouter integruje podobné testovací techniky.

Moore také našel zbloudilé úniky z dlouhých ocasů: jeden americký poskytovatel hostingu procházel tajnou adresu URL více než dva měsíce po jediném inferenčním volání do svého vyhledávacího koncového bodu a další spustil škrabák, který se vrátil pro vysazené adresy URL dny po každém požadavku, bez ohledu na to, který router výzvu doručil.

Co mohou uživatelé dělat

Nejúčinnější obranou, řekl Moore, je hostování modelů on-premise – drahá možnost, kterou může ospravedlnit jen málo organizací. Dalším nejlepším opatřením je nákup přímo od prvotřídního poskytovatele s „jednou smlouvou a zásadami ochrany osobních údajů k přečtení“ a vyhýbání se skupinám výchozích poskytovatelů nebo prodejců tím, že si sami vyberete upstream poskytovatele. Ani tehdy, varoval, neexistuje žádná záruka, že data neuniknou.

Experiment je dosud nejostřejší obžalobou praktik ochrany osobních údajů na rychle rostoucím trhu odvození: řetězec mezi aplikací a modelem může nyní zahrnovat routery, prodejce a hostingové vrstvy na několika kontinentech, z nichž každá má své vlastní zásady protokolování, a štítky, které mají zákazníky ujistit – jako je nulové uchovávání dat – mohou být bez upozornění porušeny nebo odstraněny. Pro průmysl, který požaduje, aby podniky vkládaly své dokumenty, kód a přihlašovací údaje do výzev, je zpráva dvou milionů kanárů nepohodlná: dokud se nezmění instalace, předpokládejme, že každý poskok dokáže přečíst každé slovo.

Udržujte si náskok před AI

Bezpečnost a soukromí jsou nyní hlavními zájmy každého, kdo staví na AI. Chcete-li získat nejnovější zprávy o AI a nezávislé pokrytí největších příběhů v oboru, [navštivte AI Buzz Wire] (https://aibuzzwire.news).

Přečtěte si další zprávy o AI →