Free DeepSeek V4.1 Flash se téměř vyrovná omezenému GPT-6 Sol OpenAI v AI Hacking Benchmark

Čínský model s otevřenou váhou, který si může stáhnout kdokoli, se podle nových výsledků benchmarku od hodnotící firmy Vals, které zveřejnil WIRED, téměř vyrovnal nejschopnějšímu kybernetickému modelu OpenAI při pronikání do simulovaných podnikových sítí.

Při testování Vals's CyberOffense splnil OpenAI GPT-6 Sol – který společnost nabízí pouze prostřednictvím svého kybernetického programu Daybreak s omezeným přístupem – asi 81 procent cílů. DeepSeek V4.1 Flash, bezplatná verze s otevřenými váhami, dokončila zhruba 73 procent stejných cílů, běží jako plně autonomní agent. Ostatní sledovači uvádějí číslo titulku DeepSeek na 72,8 procenta.

„Kybernetická schopnost, která byla omezena na AI s důvěryhodným přístupem, je nyní dostupná komukoli,“ napsal Vals ve svých výsledcích. Výzkumník společnosti Vals Nikil Ravi pro WIRED řekl, že nejlepší modely zamčené v laboratořích umělé inteligence „začínají odpovídat otevřeným modelům, které si může stáhnout kdokoli“.

Jak Vals provedl test

Valsův benchmark CyberOffense používá dva simulované kybernetické rozsahy. První s názvem Nova je síť Windows s 21 cíli zahrnující několik domén Active Directory. Druhý, Lighthouse, obsahuje 31 cílů napříč dvěma společnostmi, kde agent musí nejprve převzít jednu síť a poté použít pověření a informace, které se tam najdou, aby se dostal do druhé – scénář, který zrcadlí vícefázové narušení reálného světa.

Každý model běžel v open-source Pi agentu na izolovaném počítači Kali Linux s časovým limitem 48 hodin a rozpočtem 500 milionů tokenů. Důležité je, že Vals připsal cíl pouze tehdy, když se ve výstupu příkazu objevily skryté značky – nikdy na základě vlastního tvrzení modelu, že uspěl.

Čísla a rozdíl v nákladech

DeepSeek dosáhl v průměru 16,3 z 21 cílů Novy, čímž ve skutečnosti překonal 15,7 Daybreaku na první síti. Svítání pokračovalo v tvrdší řadě Lighthouse a dokončilo 27 z 31 cílů k 21 z DeepSeek.

Výraznějším rozdílem byla cena. WIRED stanovil cenu plného útoku na zhruba 2 až 3 dolary za DeepSeek, oproti 17 až 46 dolary za GPT-6 Sol. Konkrétně na řadě Nova, DeepSeek dokončil svou práci za méně než 3 $ za běh oproti přibližně 22 $ za Daybreak.

Vals také poznamenal, že DeepSeek ve svých prvních 25 milionech tokenů nedokončil vůbec nic a většinu pokroku dosáhl po 100 milionech – profil tempa, který naznačuje, že krátká, výpočetně omezená hodnocení systematicky podceňují, co mohou levné otevřené modely dělat s daným časem a rozpočtem.

Jak si vedly ostatní modely

DeepSeek nevedl pole otevřených vah bez problémů – ale nikdo jiný to nezachytil. Kimi K3.1 Pro, Meta's Wonder a xAI Grok 4.7 skončily za DeepSeek ve srovnání sedmi modelů Vals.

Jako poslední se umístil GLM 5.3 Flash od Z.ai, který dokončil pět cílů na každé střelnici. Vals to nazval „nejjasnější slepou uličkou“ skupiny: na jedné střelnici model strávil asi 36 hodin – z velké části se dotazoval na práci na pozadí, která se nikdy nevrátila.

Jiní hodnotitelé hodnotí úplný model GLM-5.3 u kybernetických úloh výrazně výše. Testovací firma Irregular zjistila, že dokončila 3 ze 13 vícestupňových scénářů útoku – nejlepší výsledek, jaký zaznamenala z veřejně dostupného modelu – a NIST jej označila za nejschopnější kybernetický model s otevřenou váhou, který byl dosud vydán, a odhaduje, že zaostává za předními americkými systémy asi čtyři měsíce. Anthropic samostatně řekl agentuře Reuters, že GLM-5.3 vytvořil funkční exploity ve 12 procentech pokusů, oproti 14 procentům u jeho Claude Mythos. Vals poznamenává, že se jedná o různé testy, jejichž skóre nelze přímo porovnávat s výsledky CyberOffense.

Proč na tom záleží

Výsledky vyostřují pokračující debatu o bezpečnostních zábradlích obklopujících hraniční kybernetické schopnosti umělé inteligence. Program OpenAI Daybreak existuje speciálně proto, aby udržoval vysoce výkonné kybernetické modely pod kontrolou identity a omezeným přístupem na základě teorie, že útočné kybernetické schopnosti by neměly být volně distribuovány. Bezplatné stažení, které za omezeným modelem zaostává pouze o několik bodů – a přitom stojí řádově méně na operaci – tento obraz značně komplikuje.

Důležité je to i pro obránce. Bezpečnostní týmy plánující proti útočníkům s pomocí umělé inteligence již nemohou předpokládat, že skutečná autonomní útočná schopnost vyžaduje přístup k omezeným modelům laboratoře nebo velký rozpočet. Jak napovídá Valsovo vlastní uspořádání, hranice schopností stoupá rychleji, než ji kontroly přístupu mohou pojmout.

OpenAI ve zprávách srovnání nekomentovala. DeepSeek okamžitě neodpověděl na žádosti o komentář.

Výzva k metodice testování

Kromě hlavních skóre přinášejí výsledky poučení o tom, jak se měří kybernetické schopnosti umělé inteligence. Volby designu Vals – dlouhá 48hodinová okna, půlmiliardové rozpočty tokenů a ověřování pomocí skrytých ukazatelů spíše než úspěch sám o sobě – jsou stále více považovány za nezbytné pro spravedlivé hodnocení agentních systémů. Kratší a levnější testovací běhy by pravděpodobně dosáhly mnohem nižšího skóre DeepSeek vzhledem k jeho pomalému startu a maskovacím schopnostem, které se objevily s větší výpočtem.

To má praktické důsledky pro politiku. Omezení přístupu, jako je program OpenAI Daybreak, jsou kalibrována podle naměřených schopností, a pokud metody hodnocení systematicky podceňují, co otevřené modely dokážou, mohou zábradlí zaostávat za realitou. Valsův žebříček CyberOffense, o kterém společnost tvrdí, že bude pokračovat v aktualizaci, se v důsledku toho pravděpodobně stane jednou z nejsledovanějších tabulek v bezpečnostní komunitě AI.

Prozatím je zpráva z dat strohá: propast mezi tím, co laboratoře hlídají za omezené programy, a tím, co si kdokoli může stáhnout, se zmenšuje do bodu, kdy se to může brzy měřit spíše na měsíce než na generace modelů.

Udržujte si náskok před AI

Sledujte každé vydání modelu, benchmarkový boj a skok ve schopnostech na jednom místě na [AI Buzz Wire] (https://aibuzzwire.news).

Přečtěte si další zprávy o AI →