Säkerhetsforskare öppnar en AI-modell med öppen vikt för under 100 USD och exponerar risken för AI-försörjningskedjan

En cybersäkerhetsforskare har visat att en öppen AI-modell i tysthet kan backdoors för mindre än 100 dollar och på ungefär en timme, vilket avslöjar vad experter varnar för är en växande blind fläck i AI-försörjningskedjan. Experimentet, som rapporterades av The Register den 16 juli 2026, understryker hur plattformar som distribuerar nedladdningsbara modellvikter – som Hugging Face, som är värd för hundratusentals förråd från och med 2026 – har blivit ett attraktivt och i stort sett okontrollerat mål för angripare.

Fynden kommer när den senaste AI-branschens bevakning spårar en snabb förändring från experimenterande till produktionsutbyggnad av modeller med öppen vikt på lokal hårdvara, vilket ökar insatserna för alla sårbarheter som glider in i själva vikterna.

En bakdörr på under en timme

Katie Paxton-Fear, föreläsare i cybersäkerhet vid Manchester Metropolitan University och personalsäkerhetsförespråkare vid testföretaget Semgrep, sa att hon gav sig ut för att se om hon kunde använda finjustering för att subtilt ändra en modells beteende. Hon försökte först träna en modell för att byta ut JavaScripts camelCase-namnkonvention mot snake_case – och lyckades enkelt, även efter att ha uttryckligen instruerat AI:n att hålla sig till camelCase.

"Efter det fungerade gjorde jag en ordentlig bakdörr", skrev Paxton-Fear i ett inlägg på sociala medier som beskrev arbetet.

Resultatet var mer alarmerande än tricket med namnkonventionen. Paxton-Fear sa att det bara krävdes ett tiotal träningsexempel för att koden som genererades av modellen skulle bli tillförlitligt sårbar för fjärrkörning av kod - en klass av fel som låter en angripare köra godtyckliga kommandon på ett offers maskin. Kritiskt nog hade det skadliga beteendet som hölls även för nya uppmaningar och kod i domäner som modellen inte explicit tränats för att sabotera. Och ju större modellen var, fann hon, desto lättare var det att förgifta.

"Nästan ingen förmåga att förutsäga sitt beteende"

Paxton-Fear och hennes Semgrep-kollegor Isaac Evans och Cris Thomas hävdade i ett inlägg förra veckan att kärnproblemet är observerbarhet. Traditionell programvara, även i kompilerad binär form, kan omvändas och inspekteras för skadlig logik. Neural-nätverksvikter kan inte.

"Även när modellvikter är offentliga ('öppen vikt'), har vi nästan ingen förmåga att förutsäga dess beteende", skrev de. "Detta är en stor förändring: ett typiskt datorprogram, i binär form, kan fortfarande analyseras med reverse engineering-verktyg för att komma fram till en total beskrivning av dess beteende. Med modeller har vi ingenstans i närheten av denna förmåga."

Det gapet, sa de, är det som gör AI-försörjningskedjan på vissa sätt farligare än den traditionella mjukvaruförsörjningskedjan som födde uppmärksammade incidenter som SolarWinds-intrånget. "Om ett mjukvaruberoende innehåller skadlig kod, har vi mogna metoder för att upptäcka den, spåra dess ursprung och minska dess påverkan", hävdade Semgrep-teamet. "AI-modeller är olika. En komprometterad eller subtilt manipulerad modell behöver inte "bryta" för att skapa affärsrisk, den behöver bara påverka beslut på sätt som är svåra att upptäcka."

Datastöld gömmer sig inuti vikterna

En separat demonstration som rapporteras i samma Register-bit visar hur en förgiftad modell kan vända de verktyg den ges mot sin användare. Förra månaden byggde David Kaplan, AI-säkerhetsforskningsledare på företaget Origin, en komprometterad modell designad för att stjäla data. I ett scenario som efterliknar dess användning inom ett läkemedelsföretag för läkemedelsupptäckt, konstruerades modellen för att exfiltrera känslig information genom ett "send_email"-verktygsanrop utan någon synlig indikation för den som kör den.

Kaplan inramade risken mot en flitigt citerad AI-hotmodell myntad av utvecklaren Simon Willison, känd som "lethal trifecta", som menar att en agent blir farlig när den samtidigt har tillgång till privata data, bearbetar otillförlitlig indata och har en utgående kanal.

"Men det undersäljer det här fallet", skrev Kaplan. "Du behöver inte tre ben här. Du behöver ett utgående verktyg och en uppsättning vikter som i tysthet har bestämt sig för att använda det mot dig. Den "otillförlitliga input" kom inte till en webbsida. Den satt i vikterna hela tiden."

En mognad attackyta

Akademiska forskare har varnat för modellomstörtning i flera år, men säkerhetsgemenskapen har först nyligen tränat sitt fokus på frågan när attacker från verkliga AI-försörjningskedjan har börjat dyka upp. Registret noterade att hotet är särskilt pressande nu när att köra modeller med öppen vikt på lokal hårdvara har gått bortom hobbyexperiment till företagspipelines.

Varningarna är inte rent teoretiska. Separat branschforskning har dokumenterat skadlig aktivitet på AI-distributionsplattformar. Acronis Threat Research Unit, till exempel, har identifierat in-the-wild kampanjer som missbrukar nav som Hugging Face för att leverera skadlig programvara förklädd som modeller, datauppsättningar och agenttillägg – attacker som utnyttjar förtroendet för AI-ekosystem snarare än någon enskild mjukvarubrist.

Konvergensen av dessa fynd målar upp en bild av en attackyta som expanderar snabbare än försvaret mot den. Modeller med öppen vikt byter transparens mot en annan typ av opacitet: vem som helst kan ladda ner vikterna, men ingen kan fullständigt inspektera vad dessa vikter kommer att göra. Och eftersom det är billigt och snabbt att finjustera en bakdörr behöver en målmedveten angripare inte kompromissa med en berömd flaggskeppsmodell för att orsaka skada – bara en som är tillräckligt betrodd för att dras in i en produktionsmiljö.

För organisationer, hävdar Semgrep-forskarna, är lärdomen inte att överge modeller med öppen vikt utan att behandla dem med samma granskning av ursprung som länge tillämpats på mjukvaruberoenden: verifiera källan, spåra härstamningen och anta att det som inte kan inspekteras fortfarande kan vara fientligt.

Ligg före AI

För mer rapportering om AI-säkerhet, modellsäkerhet och företagen som formar fältet, följ våra brytande AI-nyheter.

Läs mer AI-nyheter →