En storskalig stingoperation mot AI-branschens VVS har dokumenterat vad som händer med uppmaningarna som användare skickar varje dag - och svaret är: de läcker. Säkerhetsforskaren HD Moore, forskningschef för industrisäkerhetsföretaget Dragos, skickade nästan två miljoner AI-meddelanden med unika, spårbara hemligheter till AI-leverantörer och såg sedan var dessa hemligheter dök upp. "Vad vi hittade avslöjade säkerhetsintrång, snabba stölder och omfattande misslyckanden med att skydda kunddata", skrev Moore i en rapport som publicerades på torsdagen.
Fynden, rapporterade i detalj av Ars Technica, kommer fram som AI-routrar – mäklartjänster som OpenRouter och Vercel som accepterar uppmaningar från slutanvändare och dirigerar dem till vilken slutledningsleverantör som är billigast eller bäst lämpad – har blivit kärninfrastruktur för tusentals applikationer. De utlöste också ett snabbt branschsvar: OpenRouter publicerade sitt eget incidentmeddelande den 22 november och sa att de hade tagit bort tre leverantörer, tagit bort 125 slutpunkter från kvalificeringen Zero Data Retention och meddelat potentiellt drabbade kunder.
Hur kanariefällan fungerade
Moore samlade en samling fungerande AWS-åtkomstnycklar kopplade till tomma konton, fungerande SSH-lösenord och unika URL:er, DNS-namn och privata git-repositoryreferenser. Ingen av hemligheterna hade någonsin använts tidigare, och Moore kontrollerade infrastrukturen på den mottagande sidan. Varje hemlighet såddes in i exakt en prompt som skickades till en enda leverantör - så om hemligheten senare dök upp någonstans, kunde dess resa spåras tillbaka till den exakta länken i den ansvariga kedjan.
Designen spelar roll på grund av hur AI-ekosystemet faktiskt flyttar data. Uppmaningar krypteras under överföring, men de dekrypteras vid varje hopp. En AI-router läser klartexten för att välja lämpliga slutledningsleverantörer; prompten vidarebefordras sedan ofta till en pool av modeller som ibland körs inom olika värdföretag. Uppmaningar kan till och med skickas från en router till en annan - Vercel till OpenRouter, till exempel - med varje mellanhand fritt att logga och lagra innehållet enligt sina egna policyer.
Tre leverantörer har brutits, nycklar används inom några timmar
Det mest alarmerande fyndet involverade tre separata värdleverantörer som äventyrades under experimentet. Enligt Moore återanvände angripare som brutit mot en leverantör "ett par hundra" av de planterade AWS-nycklarna. Varje nyckel hade skickats i exakt en förfrågan till en leverantör, inom några korta fönster i slutet av oktober - och "varje förfrågan vi skickade under dessa fönster blev stulen." Avgörande var att några stulna nycklar kom från förfrågningar som leverantören hade avvisat innan en modell någonsin körde, vilket tydde på att angriparen kopierade trafik vid leverantörens ytterdörr snarare än djupare i slutledningsstacken.
I de andra två överträdelserna flaggades några av de stulna förfrågningarna som noll datalagring. "En integritetsflagga hjälper inte när angriparen redan är inne", skrev Moore. Parterna bakom intrången testade betesnycklarna inom några timmar i vissa fall, sökte igenom S3-hinkar, hemlighetshanterare och parameterbutiker för att få mer referens, försökte aktivera värdmodeller i AWS Bedrock och lade till sina egna IAM-användare för att behålla åtkomsten. Sammantaget användes de stulna nycklarna "tiotusentals" gånger i AWS API-anrop. Hemligheter som stulits från två av de hackade leverantörerna användes tillsammans, nästan omedelbart, från samma hyrda server - starka bevis på att en motståndare äventyrade båda.
Återförsäljare som stjäl och ett labb som skrapar
Inte varje läckare var en hackare. Moore dokumenterade återförsäljare som lockade uppmaningar med låga priser, slog på förfrågningsloggning och helt enkelt väntade. Han identifierade dem genom att skicka identiska förfrågningar till samma modell genom olika säljare: när referenser återanvändes från en säljare men inte från en annan, var den skyldige tydlig.
Det tydligaste skrapfallet, skrev Moore, involverade ett kinesiskt AI-labb vars system hämtade hemliga webbadresser från mer än hälften av de meddelanden som skickades till dess modeller mellan juli och oktober - inklusive ungefär två tredjedelar av förfrågningarna som uttryckligen var märkta med "ingen datainsamling" eller noll datalagring. Skraparen dök vanligtvis upp två eller tre dagar efter varje begäran. Det var inte begränsat till direktkunder: flera amerikanska värdleverantörer säljer vidare labbets modeller, och uppmaningar som skickades via dessa amerikanska mellanhänder utlöste exakt samma skrapa. En kund som valde en amerikansk leverantör specifikt för att behålla data på statens sida fick med andra ord inte vad de betalade för. Separat började en git-klient på ett annat moln att försöka klona de privata arkiven som refereras till i uppmaningarna - men bara för uppmaningar som använde det labbets modeller.
OpenRouter svarar
Experimentet gav snabbt verkliga konsekvenser. Ars Technica rapporterade i en uppdatering att OpenRouter mailade kunder den 21 november och varnade att några av deras uppmaningar kan ha lästs, med hänvisning till forskningen: den potentiella exponeringen involverade uppmaningar som skickades till MiniMax, en Kina-baserad modellleverantör, antingen direkt eller genom tre återförsäljare - AtlasCloud, Novita och StreamLake. OpenRouter tog bort etiketten "Zero Data Retention" från MiniMax-modellens slutpunkter.
I sitt officiella blogginlägg den 22 november bekräftade OpenRouter att de hade lämnat tre leverantörer, tagit bort 125 slutpunkter från ZDR-berättigande och meddelade berörda användare huruvida leverantörerna hade gjort inlägg offentligt eller inte. Företaget sa att fynden "inte visade något intrång eller obehörig åtkomst av OpenRouter", tackade Dragos-teamet och sa att leverantörer som vill stanna på plattformen "kommer att behöva möta" ett stigande säkerhetsfält eftersom OpenRouter integrerar liknande testtekniker.
Moore hittade också läckor med långa svansar: en amerikansk värdleverantör genomsökte en hemlig URL mer än två månader efter ett enda slutledningsanrop till sin sökslutpunkt, och en annan körde en skrapa som återvände för planterade webbadresser dagar efter varje förfrågan, oavsett vilken router som gav uppmaningen.
Vad användare kan göra
Det mest effektiva försvaret, sa Moore, är att vara värd för modeller på plats - ett dyrt alternativ som få organisationer kan motivera. Den näst bästa åtgärden är att köpa direkt från en förstklassig leverantör, med "ett kontrakt och en integritetspolicy att läsa", och undvika standardleverantörer eller återförsäljarpooler genom att själv välja uppströmsleverantörer. Även då, varnade han, finns det ingen garanti för att data inte kommer att läcka.
Experimentet är det skarpaste anklagelsen hittills mot sekretesspraxis över den snabbt växande slutledningsmarknaden: kedjan mellan en app och en modell kan nu involvera routrar, återförsäljare och värdlager på flera kontinenter, var och en med sina egna loggningspolicyer, och etiketterna som är avsedda att försäkra kunderna – som Zero Data Retention – kan brytas eller tas bort utan föregående meddelande. För en industri som ber företag att klistra in sina dokument, kod och referenser i meddelanden är budskapet från de två miljoner kanariefåglar obehagligt: anta att varje hopp kan läsa varje ord tills rören ändras.
Ligg före AI
Säkerhet och integritet är nu kärnfrågor för alla som bygger på AI. För senaste AI-nyheter och oberoende täckning av branschens största berättelser, besök AI Buzz Wire.
Läs mer AI-nyheter →