Čínský model s otevřenou váhou zaznamenal perfektní skóre v profesionálním benchmarku AI hackingu – a celý provoz stál méně než sendvič. Podle Enclave, společnosti zabývající se bezpečností umělé inteligence, která tento benchmark provozuje, dosáhlo DeepSeek V4.1 Flash spuštění kódu na všech 11 zranitelných cílech, přičemž všechny čtyři opravené kontrolní cíle zůstaly bezpečné. Přijaté jízdy stojí celkem 4,65 $.
Výsledek, který v úterý zveřejnil spoluzakladatel Enclave a hlavní produktový ředitel Yanir Tsarimi, přiměl firmu k auditu každého příkazu a požadavku na vyrobený model. Tato kontrola potvrdila šest exploitů, které sledovaly zamýšlené cesty útoku – a odhalila pět dalších úspěšných cest, které původní hodnocení benchmarku neodlišovalo od plánovaných řešení. For more context on this story, see our ongoing artificial intelligence updates.
Spousta práce za pět dolarů
Stupnice aktivity za skóre je zarážející. Model pracoval v izolovaných kopiích Grafana, Jenkins a Nextcloud a četl zdrojový kód, porovnával zranitelné a opravené verze, spouštěl služby a spouštěl testovací požadavky a měnil taktiku, kdykoli pokus selhal.
V celém benchmarku provedl DeepSeek V4.1 Flash 2 349 Bash příkazů a zaznamenal zhruba dvě hodiny a 38 minut aktivního času modelu, uvedla Enclave. Střední úspěšný běh trval čtyři minuty a 38 sekund. Poskytovatel modelu uvedl 268,3 milionu vstupních tokenů a asi dva miliony výstupních tokenů – ale protože 266,2 milionu z těchto vstupních tokenů bylo obslouženo z mezipaměti za zvýhodněné sazby, přijatá množství vyšla na pouhých 4,65 USD. Neúspěšné pokusy zvýšily cenu all-inu na $5,14.
Tento nákladový profil je příběhem v příběhu. Agentské hackování na této úrovni schopností bylo až donedávna záležitostí modelů s hraniční cenou. Téměř dokonalý výsledek za cenu kávy naznačuje, že mezní náklady na automatizované útočné bezpečnostní testování – nebo automatizované útoky – se hroutí.
Grafana spadla pod 90 sekund
Výzva Grafana se zaměřovala na chybu v procesu instalace pluginu, kde zamýšlený útok využíval problém se zpracováním cesty k souboru k umístění kódu do chráněného umístění. Modelka našla něco rychlejšího. Vypustil spustitelné soubory do dočasné složky zásuvných modulů a instruoval Grafana, aby tuto složku načetla jako normální zásuvný modul, který spustil kód a vrátil důkaz o zneužití.
DeepSeek opakoval tuto metodu ve všech třech bězích Grafany a skončil za 52, 64 a 90 sekund. Původní bodovací systém, který kontroloval pouze to, zda cíl provedl příkaz proof, akceptoval každý běh. Pozdější audit Enclave – který také zkoumal, jak model dosáhl spuštění kódu – ukázal, že všechny tři používaly stejnou alternativní cestu, nikoli tu, pro kterou byla výzva navržena. Opravený kontrolní cíl zůstal po celou dobu bezpečný.
Jenkins nakreslil modelčino nejsilnější dílo
Výzvy Jenkins vytvořily to, co Enclave označila za nejlepší řešení modelu. V prvním DeepSeek zjistil, že uživatel s nízkými oprávněními může vytvořit konfigurační soubor ukazující Jenkinse na druhý soubor. První soubor prošel bezpečnostní kontrolou serveru; druhá byla načtena mimo tuto hranici, což umožnilo modelu extrahovat pověření soukromého řadiče. Poté se přihlásil pomocí přihlašovacích údajů, otevřel Jenkinsovu vestavěnou skriptovací konzoli a provedl příkaz na serveru – celý řetězec útoků, dokončený ve všech třech spuštěních.
Druhá výzva Jenkins testovala závodní podmínky během nahrávání souborů, což vyžadovalo, aby model zahájil nahrávání, pozastavil jej po jediném bajtu, přesměroval cíl s druhým požadavkem a pokračoval v přesně ten správný okamžik. DeepSeek provedl tuto přesnou sekvenci v jednom běhu a přiměl Jenkinse, aby napsal skript na chráněné místo, kde jej později provedla normální sestava. Jeho další dva běhy používaly kratší trasy propojení souborů, které se zcela vyhnuly triku s načasováním.
Proč na auditu záleží stejně jako na skóre
Pro Enclave byly neočekávané cesty smyslem. Benchmark, který hodnotí pouze výsledky – zda cíl spustil příkaz proof – nedokáže rozeznat zneužití učebnice od nezamýšlené zkratky a oba se ve výsledkové tabulce počítají stejně. Firma říká, že epizoda ukazuje, proč pokročilé benchmarky agentů potřebují ověřit cestu útoku i výsledek, a nyní rozlišuje plánovaná řešení od těch improvizačních.
Toto rozlišení má praktickou váhu. Pro obránce je model, který najde cesty, které nikdo nekatalogizuje, realističtějším modelem hrozby než modelem, který přehrává známé techniky. Pro operátory benchmarku by neauditované alternativní cesty v tichosti zvýšily obtížnost výzev.
Kontext: Levný, rychlý model se zuby
DeepSeek V4.1 Flash je vydání společnosti s optimalizovanou rychlostí, agresivně umístěné na ceně, a výsledek Enclave je datovým bodem v širším vzoru: modely s otevřenou váhou z čínských laboratoří se stále shodují nebo překonávají uzavřené hraniční modely v agentních úlohách, přičemž stojí zlomek tolik. Předchozí verze DeepSeek převyšovaly hodnocení kódování a používání nástrojů a schopnost zabezpečení má tendenci sledovat obecné dovednosti agentů.
Důsledky dvojího použití jsou nepříjemné. Stejné vlastnosti, díky kterým je levný model užitečný pro penetrační testery – vytrvalost, plynulost nástrojů a ochota vyzkoušet mnoho cest útoku – platí, když je záměr operátora zlý. Benchmark Enclave běží v izolovaných kopiích skutečného softwaru, ale techniky, které model demonstroval, od řetězců extrakce pověření až po nahrání závodních podmínek, se zaměřují na zranitelnosti, které existují v dnešních produkčních nasazeních Grafana a Jenkins.
Enclave ve své zprávě zveřejnila úplný rozpis všech jedenácti úspěšných útoků, včetně pěti tras, které její původní hodnocení minulo.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
