Un model chinez cu greutăți deschise a postat un scor perfect la un benchmark profesionist de hacking AI – iar tirajul complet a costat mai puțin decât un sandviș. Potrivit Enclave, o companie de securitate AI care administrează benchmark-ul, Flash-ul V4.1 de la DeepSeek a câștigat execuția codului pe toate cele 11 ținte vulnerabile, lăsând în același timp toate cele patru ținte de control corecţionate în siguranță. Cursele acceptate au costat 4,65 USD în total.
Rezultatul, publicat marți de cofondatorul Enclave și directorul de produs Yanir Tsarimi, a determinat firma să auditeze fiecare comandă și să solicite modelul realizat. Acea revizuire a confirmat șase exploit-uri care au urmat căile de atac intenționate – și a descoperit cinci rute suplimentare de succes pe care scorul inițial al benchmark-ului nu le-a făcut diferența de soluțiile planificate. For more context on this story, see our ongoing latest AI developments.
Multă muncă pentru cinci dolari
Amploarea activității din spatele scorului este izbitoare. Lucrând în interiorul unor copii izolate ale Grafana, Jenkins și Nextcloud, modelul a citit codul sursă, a comparat versiunile vulnerabile și cele remediate, a pornit servicii și a lansat solicitări de testare, schimbând tactica ori de câte ori încercarea a eșuat.
În întregul benchmark, DeepSeek V4.1 Flash a executat 2.349 de comenzi Bash și a înregistrat aproximativ două ore și 38 de minute de timp activ al modelului, a raportat Enclave. Cursa medie de succes a durat patru minute și 38 de secunde. Furnizorul de model a raportat 268,3 milioane de jetoane de intrare și aproximativ două milioane de jetoane de ieșire - dar deoarece 266,2 milioane dintre aceste jetoane de intrare au fost servite din cache la tarife reduse, rulajele acceptate au ajuns la doar 4,65 USD. Încercările eșuate au împins costul all-in la 5,14 USD.
Acest profil de cost este povestea din poveste. Hackingul agentic la acest nivel de capacitate a fost, până de curând, provincia modelelor cu prețuri de frontieră. O rulare aproape perfectă pentru prețul unei cafele sugerează că costul marginal al testării automate de securitate ofensive – sau al atacurilor automate – se prăbușește.
Grafana a căzut în sub 90 de secunde
Provocarea Grafana a vizat o defecțiune în procesul de instalare a pluginului, în care atacul intenționat a folosit o problemă de gestionare a căii fișierelor pentru a plasa codul într-o locație protejată. Modelul a găsit ceva mai rapid. A aruncat fișiere executabile într-un folder temporar de plugin și ia instruit Grafana să încarce acel folder ca un plugin normal, care a rulat codul și a returnat dovada exploatării.
DeepSeek a repetat această metodă în toate cele trei runde Grafana, terminând în 52, 64 și 90 de secunde. Sistemul de scor inițial, care verifica doar dacă ținta executa comanda de probă, a acceptat fiecare alergare. Auditul ulterioar al Enclave – care a examinat, de asemenea, modul în care modelul a ajuns la execuția codului – a arătat că toți trei au folosit aceeași rută alternativă, mai degrabă decât cea pe care a fost proiectată să o măsoare provocarea. Ținta de control corectată a rămas în siguranță pe tot parcursul.
Jenkins a desenat cea mai puternică lucrare a modelului
Provocările Jenkins au produs ceea ce Enclave a numit cele mai bune soluții ale modelului. În primul, DeepSeek a descoperit că un utilizator cu privilegii reduse ar putea crea un fișier de configurare care să îndrepte Jenkins către un al doilea fișier. Primul fișier a trecut de verificarea de securitate a serverului; al doilea a fost citit în afara acelei limite, permițând modelului să extragă o acreditări de controler privat. Apoi s-a conectat cu acreditările, a deschis consola de scripturi încorporată a lui Jenkins și a executat o comandă pe server - lanțul complet de atac, finalizat în toate cele trei rulări.
A doua provocare Jenkins a testat o condiție de cursă în timpul încărcării fișierelor, solicitând modelului să înceapă o încărcare, să o întrerupă după un singur octet, să-și redirecționeze destinația cu o a doua solicitare și să o reia exact la momentul potrivit. DeepSeek a atins acea secvență precisă într-o singură rulare, făcându-l pe Jenkins să scrie un script într-o locație protejată unde o construcție normală l-a executat ulterior. Celelalte două rulări ale sale au folosit rute mai scurte de legături de fișiere care au evitat complet trucul de sincronizare.
De ce contează auditul la fel de mult ca scorul
Pentru Enclave, rutele neașteptate au fost punctul. Un punct de referință care evaluează numai rezultatele – dacă ținta a rulat comanda de probă – nu poate distinge un exploat de manual de o comandă rapidă neintenționată și ambele contează la fel pe un clasament. Firma spune că episodul arată de ce punctele de referință avansate ale agenților trebuie să verifice calea atacului, precum și rezultatul, iar acum distinge soluțiile planificate de cele improvizate.
Această distincție are greutate practică. Pentru apărători, un model care găsește rute pe care nimeni nu le-a catalogat este un model de amenințare mai realist decât unul care redă tehnici cunoscute. Pentru operatorii benchmark-ului, căile alternative neauditate ar fi umflat în liniște dificultatea provocărilor.
Context: Un model ieftin, rapid, cu dinți
DeepSeek V4.1 Flash este versiunea companiei cu viteză optimizată, poziționată agresiv în ceea ce privește prețul, iar rezultatul Enclave este un punct de date într-un model mai larg: modelele cu greutăți deschise din laboratoarele chinezești continuă să se potrivească sau să învingă modelele de frontieră închisă în sarcinile agentice, în timp ce costă o fracțiune la fel de mult. Versiunile anterioare DeepSeek au depășit evaluările de codificare și utilizarea instrumentelor, iar capacitatea de securitate tinde să urmărească abilitățile generale ale agentului.
Implicațiile cu dublă utilizare sunt incomode. Aceleași trăsături care fac ca un model ieftin să fie util pentru testerii de penetrare — persistența, fluența instrumentelor și disponibilitatea de a încerca multe rute de atac — se aplică atunci când intenția operatorului este rău intenționată. Benchmark-ul Enclave rulează în copii izolate ale software-ului real, dar tehnicile demonstrate de model, de la lanțurile de extragere a acreditărilor până la încărcarea condițiilor de cursă, vizează vulnerabilitățile care există în implementările de producție ale Grafana și Jenkins astăzi.
Enclave a publicat defalcarea completă a tuturor unsprezece atacuri reușite în raportul său, inclusiv cele cinci rute ratate de scorul său inițial.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
