Een grootschalige operatie tegen de leidingen van de AI-industrie heeft gedocumenteerd wat er gebeurt met de prompts die gebruikers elke dag sturen – en het antwoord is: ze lekken. Beveiligingsonderzoeker HD Moore, hoofdonderzoeker van het industriële beveiligingsbedrijf Dragos, stuurde bijna twee miljoen AI-prompts met unieke, traceerbare geheimen naar AI-aanbieders en keek vervolgens waar die geheimen naar boven kwamen. "Wat we ontdekten bracht inbreuken op de beveiliging, snelle diefstal en wijdverbreide fouten in de bescherming van klantgegevens aan het licht", schreef Moore in een donderdag gepubliceerd rapport.
De bevindingen, gedetailleerd gerapporteerd door Ars Technica, komen op het moment dat AI-routers – makelaarsdiensten zoals OpenRouter en Vercel die aanwijzingen van eindgebruikers accepteren en deze doorsturen naar de goedkoopste of meest geschikte inferentieprovider – kerninfrastructuur zijn geworden voor duizenden toepassingen. Ze zorgden ook voor een snelle reactie van de industrie: OpenRouter publiceerde op 22 november zijn eigen incidentaankondiging, waarbij het zei dat het drie providers had buitengesloten, 125 eindpunten had verwijderd van de Zero Data Retention-kwalificatie en mogelijk getroffen klanten op de hoogte had gebracht.
Hoe de kanarieval werkte
Moore verzamelde een verzameling functionerende AWS-toegangssleutels die waren gekoppeld aan lege accounts, werkende SSH-wachtwoorden en unieke URL's, DNS-namen en verwijzingen naar privé-git-repository's. Geen van de geheimen was ooit eerder gebruikt en Moore controleerde de infrastructuur aan de ontvangende kant. Elk geheim werd in precies één prompt geplaatst die naar één enkele aanbieder werd gestuurd – dus als het geheim later ergens opdook, kon de reis ervan worden herleid tot de exacte schakel in de verantwoordelijke keten.
Het ontwerp is van belang vanwege de manier waarop het AI-ecosysteem daadwerkelijk gegevens verplaatst. Prompts worden tijdens de overdracht versleuteld, maar worden bij elke hop gedecodeerd. Een AI-router leest de leesbare tekst om geschikte inferentieproviders te kiezen; de prompt wordt vervolgens vaak doorgestuurd naar een verzameling modellen, die soms binnen verschillende hostingbedrijven draaien. Prompts kunnen zelfs van de ene router naar de andere worden doorgegeven – Vercel naar OpenRouter bijvoorbeeld – waarbij elke tussenpersoon de vrijheid heeft om de inhoud onder zijn eigen beleid te loggen en op te slaan.
Drie providers gehackt, sleutels binnen enkele uren gebruikt
De meest alarmerende bevinding betrof drie afzonderlijke hostingproviders die tijdens het experiment werden gecompromitteerd. Volgens Moore hebben aanvallers die inbreuk maakten op één provider "een paar honderd" van de geplante AWS-sleutels hergebruikt. Elke sleutel was eind oktober in precies één verzoek naar één provider gestuurd, binnen een paar korte periodes – en "elk verzoek dat we tijdens die periodes stuurden, werd gestolen." Cruciaal was dat sommige gestolen sleutels afkomstig waren van verzoeken die de provider had afgewezen voordat een model ooit werd uitgevoerd, wat aangeeft dat de aanvaller het verkeer aan de voordeur van de provider kopieerde in plaats van dieper in de gevolgtrekkingsstapel.
Bij de andere twee inbreuken werden sommige van de gestolen verzoeken gemarkeerd als Zero Data Retention. "Een privacyvlag helpt niet als de aanvaller al binnen is", schreef Moore. De partijen achter de inbraken testten de lokaassleutels in sommige gevallen binnen enkele uren, doorzochten S3-buckets, geheimmanagers en parameteropslagplaatsen voor meer inloggegevens, probeerden gehoste modellen in AWS Bedrock in te schakelen en voegden hun eigen IAM-gebruikers toe om de toegang te behouden. Alles bij elkaar werden de gestolen sleutels "tienduizenden" keren gebruikt bij AWS API-oproepen. Geheimen die van twee van de gehackte providers waren gestolen, werden vrijwel onmiddellijk samen gebruikt vanaf dezelfde gehuurde server – sterk bewijs dat één tegenstander beide had gecompromitteerd.
Resellers die stelen, en een laboratorium dat schraapt
Niet elke lek was een hacker. Moore documenteerde wederverkopers die prompts lokten met lage prijzen, het loggen van verzoeken inschakelden en gewoon wachtten. Hij identificeerde ze door via verschillende verkopers identieke verzoeken naar hetzelfde model te sturen: wanneer de inloggegevens van de ene verkoper werden hergebruikt, maar niet van de andere, was de dader duidelijk.
Het duidelijkste geval, zo schreef Moore, betrof een Chinees AI-laboratorium waarvan de systemen de geheime URL’s ophaalden uit meer dan de helft van de prompts die tussen juli en oktober naar zijn modellen werden gestuurd – inclusief ongeveer tweederde van de verzoeken die expliciet waren gemarkeerd met ‘geen gegevensverzameling’ of nulgegevensretentie. De schraper verscheen doorgaans twee of drie dagen na elk verzoek. Het bleef niet beperkt tot directe klanten: verschillende Amerikaanse hostingproviders verkopen de modellen van het laboratorium door, en prompts die via deze Amerikaanse tussenpersonen werden verzonden, veroorzaakten precies dezelfde schraper. Met andere woorden: een klant die speciaal een Amerikaanse provider had uitgekozen om gegevens in de Verenigde Staten te bewaren, kreeg niet waar hij voor had betaald. Daarnaast begon een git-client in een andere cloud te proberen de privérepository's te klonen waarnaar in de prompts wordt verwezen, maar alleen voor prompts die de modellen van dat lab gebruikten.
OpenRouter reageert
Het experiment had al snel gevolgen in de echte wereld. Ars Technica meldde in een update dat OpenRouter klanten op 21 november een e-mail stuurde met de waarschuwing dat sommige van hun prompts mogelijk zijn gelezen, daarbij verwijzend naar het onderzoek: de potentiële blootstelling betrof prompts die naar MiniMax, een in China gevestigde modelaanbieder, werden gestuurd, hetzij rechtstreeks, hetzij via drie wederverkopers: AtlasCloud, Novita en StreamLake. OpenRouter heeft het label "Zero Data Retention" verwijderd van de eindpunten van het MiniMax-model.
In zijn officiële blogpost op 22 november bevestigde OpenRouter dat het drie providers had buitengesloten, 125 eindpunten had verwijderd van de ZDR-geschiktheid en de getroffen gebruikers op de hoogte had gesteld of de providers al dan niet openbaar hadden gepost. Het bedrijf zei dat de bevindingen "geen enkele schending of ongeoorloofde toegang van OpenRouter aantoonden" zelf, bedankte het Dragos-team en zei dat providers die op het platform willen blijven "aan een steeds hogere veiligheidslat zullen moeten voldoen", aangezien OpenRouter soortgelijke testtechnieken integreert.
Moore ontdekte ook verdwaalde long-tail-lekken: een Amerikaanse hostingprovider crawlde een geheime URL meer dan twee maanden na een enkele inferentieoproep naar zijn zoekeindpunt, en een andere voerde een scraper uit die dagen na elk verzoek terugkeerde voor geplante URL's, ongeacht welke router de prompt afleverde.
Wat gebruikers kunnen doen
De meest effectieve verdediging, aldus Moore, is het lokaal hosten van modellen – een dure optie die maar weinig organisaties kunnen rechtvaardigen. De volgende beste maatregel is rechtstreeks kopen bij een eerstelijnsaanbieder, met 'één contract en een privacybeleid om te lezen', en het vermijden van standaardaanbieders of resellerpools door zelf upstreamproviders te kiezen. Zelfs dan, waarschuwde hij, is er geen garantie dat er geen gegevens zullen lekken.
Het experiment is de scherpste aanklacht tot nu toe tegen privacypraktijken in de snelgroeiende inferentiemarkt: de keten tussen een app en een model kan nu routers, resellers en hostinglagen op meerdere continenten omvatten, elk met zijn eigen logbeleid, en de labels die bedoeld zijn om klanten gerust te stellen – zoals Zero Data Retention – kunnen zonder voorafgaande kennisgeving worden verbroken of verwijderd. Voor een sector die bedrijven vraagt om hun documenten, code en inloggegevens in prompts te plakken, is de boodschap van de twee miljoen kanaries ongemakkelijk: totdat het loodgieterswerk verandert, ga ervan uit dat elke hop elk woord kan lezen.
Blijf AI een stap voor
Beveiliging en privacy zijn nu kernbelangen voor iedereen die voortbouwt op AI. Voor het laatste AI-nieuws en onafhankelijke berichtgeving over de grootste verhalen uit de branche, bezoek AI Buzz Wire.
Lees meer AI-nieuws →