Według nowych wyników testów porównawczych firmy Vals, zgłoszonych przez WIRED, otwarty chiński model, który każdy może pobrać, prawie dorównuje najskuteczniejszemu modelowi cybernetycznemu OpenAI pod względem włamań do symulowanych sieci korporacyjnych.

W testach CyberOffense Valsa GPT-6 Sol OpenAI – który firma oferuje wyłącznie w ramach programu cyberbezpieczeństwa Daybreak o ograniczonym dostępie – osiągnął około 81 procent celów. DeepSeek V4.1 Flash, darmowa wersja open-weight, spełniła mniej więcej 73 procent tych samych celów, działając jako w pełni autonomiczny agent. Inni trackerzy podają, że nagłówek DeepSeek wynosił 72,8%.

„Możliwości cybernetyczne, które ograniczały się do sztucznej inteligencji o zaufanym dostępie, są teraz dostępne dla każdego” – napisał Vals w swoich wynikach. Badacz Vals, Nikil Ravi, powiedział WIRED, że najlepsze modele zamknięte w laboratoriach sztucznej inteligencji „zaczynają być dopasowywane do modeli otwartych, które każdy może pobrać”.

Jak Vals przeprowadził test

Test porównawczy CyberOffense firmy Vals wykorzystuje dwa symulowane zakresy cybernetyczne. Pierwsza, zwana Nova, to 21-obiektowa sieć Windows obejmująca kilka domen Active Directory. Drugi, Lighthouse, obejmuje 31 celów w dwóch firmach, gdzie agent musi najpierw przejąć jedną sieć, a następnie użyć znalezionych tam danych uwierzytelniających i informacji, aby włamać się do drugiej — scenariusz odzwierciedlający wieloetapowe włamania w świecie rzeczywistym.

Każdy model działał w agencie Pi typu open source na izolowanej maszynie Kali Linux, z 48-godzinnym limitem czasu i budżetem wynoszącym 500 milionów tokenów. Co ważne, Vals przyznał cel tylko wtedy, gdy w wynikach poleceń pojawiły się ukryte znaczniki — nigdy na podstawie własnego twierdzenia modelu, że mu się to udało.

Liczby i luka w kosztach

DeepSeek osiągnął średnio 16,3 z 21 celów Novy, faktycznie przewyższając 15,7 celów Daybreak w pierwszej sieci. Daybreak wyprzedził trudniejszy zakres Lighthouse, wykonując 27 z 31 celów w porównaniu do 21 celów DeepSeek.

Bardziej uderzającą różnicą był koszt. WIRED ustalił cenę pełnego ataku na około 2 do 3 dolarów za DeepSeek, w porównaniu z 17 do 46 dolarów za GPT-6 Sol. W szczególności w przypadku serii Nova DeepSeek wykonał swoją pracę za mniej niż 3 USD za przebieg w porównaniu z około 22 USD za Daybreak.

Vals zauważył również, że DeepSeek nie wykonał żadnego zadania w ciągu pierwszych 25 milionów tokenów, a większość postępów osiągnął po 100 milionach — profil tempa sugeruje, że krótkie oceny ograniczone do obliczeń systematycznie zaniżają możliwości tanich otwartych modeli w danym czasie i budżecie.

Jak radziły sobie inne modelki

DeepSeek nie był bezkonkurencyjnym liderem w kategorii ciężarów otwartych, ale nikt inny tego nie osiągnął. Kimi K3.1 Pro, Meta’s Wonder i Grok 4.7 xAI – wszystkie za DeepSeek w porównaniu siedmiu modeli Valsa.

Na ostatnim miejscu uplasował się GLM 5.3 Flash Z.ai, który wykonał pięć celów na każdym zasięgu. Vals nazwał to „najwyraźniejszym ślepym zaułkiem” grupy: w jednym zakresie modelka spędziła około 36 godzin, z czego większość na odpytywaniu zadania w tle, które nigdy nie wróciło.

Inni oceniający oceniają pełny model GLM-5.3 znacznie wyżej w przypadku zadań cybernetycznych. Firma testująca Irregular stwierdziła, że ​​zrealizowała 3 z 13 wieloetapowych scenariuszy ataków – najlepszy wynik, jaki odnotowała w przypadku ogólnodostępnego modelu – a NIST nazwał go najbardziej wydajnym, otwartym modelem cybernetycznym opublikowanym do tej pory, szacując, że pozostaje on około cztery miesiące w tyle za wiodącymi systemami amerykańskimi. Anthropic osobno powiedział agencji Reuters, że GLM-5.3 stworzył działające exploity w 12 procentach prób, w porównaniu z 14 procentami w przypadku Claude Mythos. Vals zauważa, że ​​są to różne testy, których wyników nie można bezpośrednio porównać z wynikami CyberOffense.

Dlaczego to ma znaczenie

Wyniki zaostrzają trwającą debatę na temat barier bezpieczeństwa otaczających graniczne możliwości cybernetyczne sztucznej inteligencji. Program OpenAI Daybreak istnieje specjalnie po to, aby modele cybernetyczne o dużej wydajności pozostawały poza kontrolą tożsamości i ograniczonym dostępem, w oparciu o teorię, że ofensywne możliwości cybernetyczne nie powinny być swobodnie rozpowszechniane. Bezpłatne pobieranie opóźnia model z ograniczeniami tylko o kilka punktów – a jednocześnie kosztuje o rząd wielkości mniej w przeliczeniu na operację – znacznie komplikuje ten obraz.

Ma to również znaczenie dla obrońców. Zespoły ds. bezpieczeństwa planujące ataki wspomagane przez sztuczną inteligencję nie mogą już zakładać, że poważne autonomiczne możliwości ofensywne wymagają dostępu do ograniczonych modeli laboratoryjnych lub dużego budżetu. Jak sugeruje schemat Valsa, minimalny poziom możliwości rośnie szybciej, niż jest w stanie go pomieścić kontrola dostępu.

OpenAI nie skomentowało porównania w raportach. DeepSeek nie odpowiedział natychmiast na prośby o komentarz.

Wyzwanie związane z metodologią testowania

Poza głównymi wynikami, wyniki niosą ze sobą lekcję na temat sposobu pomiaru możliwości cybernetycznych sztucznej inteligencji. Wybory projektowe Valsa — długie 48-godzinne okna, budżety wynoszące pół miliarda żetonów i weryfikacja za pomocą ukrytych znaczników, a nie zgłaszany przez siebie sukces — są coraz częściej postrzegane jako niezbędne do sprawiedliwej oceny systemów agentowych. Krótsze i tańsze przebiegi testowe prawdopodobnie uzyskałyby znacznie niższą ocenę DeepSeek, biorąc pod uwagę jego powolny start i maskowanie możliwości, które pojawiły się przy większej mocy obliczeniowej.

Ma to praktyczne konsekwencje dla polityki. Ograniczenia dostępu, takie jak program Daybreak OpenAI, są kalibrowane w oparciu o zmierzone możliwości, a jeśli metody oceny systematycznie zaniżają możliwości otwartych modeli, poręcze mogą odbiegać od rzeczywistości. Tablica liderów CyberOffense Valsa, którą według firmy będzie nadal aktualizować, prawdopodobnie stanie się w rezultacie jednym z najchętniej obserwowanych rankingów w społeczności zajmującej się bezpieczeństwem sztucznej inteligencji.

Na razie wniosek płynący z danych jest jednoznaczny: różnica między tym, czego laboratoria strzegą programów objętych ograniczeniami, a tym, co każdy może pobrać, zmniejsza się do tego stopnia, że ​​wkrótce będzie można ją mierzyć w miesiącach, a nie w pokoleniach modeli.

Wyprzedź sztuczną inteligencję

Śledź każdą premierę modelu, walkę wzorcową i skok w zakresie możliwości w jednym miejscu w AI Buzz Wire.

Przeczytaj więcej aktualności o sztucznej inteligencji →