Согласно новым результатам тестов оценочной компании Vals, о которых сообщает WIRED, китайская модель с открытым весом, которую может скачать каждый, почти соответствует самой эффективной кибермодели OpenAI при взломе смоделированных корпоративных сетей.

В тестировании CyberOffense, проведенном Vals, GPT-6 Sol от OpenAI, который компания предлагает только через свою киберпрограмму Daybreak с ограниченным доступом, выполнил около 81 процента задач. DeepSeek V4.1 Flash, бесплатная версия с открытым весом, выполнила примерно 73 процента тех же задач, работая как полностью автономный агент. Другие трекеры оценивают цифру DeepSeek в 72,8 процента.

«Кибервозможности, которые были ограничены ИИ с доверенным доступом, теперь доступны каждому», — написал Вальс в своих результатах. Исследователь Vals Никил Рави рассказал WIRED, что лучшие модели, запертые в лабораториях искусственного интеллекта, «начинают сопоставляться с открытыми моделями, которые может скачать каждый».

Как Вальс проводил тест

В тесте CyberOffense от Vals используются два смоделированных кибердиапазона. Первая, называемая Nova, представляет собой сеть Windows с 21 объектом, охватывающую несколько доменов Active Directory. Второй, Lighthouse, содержит 31 задачу в двух компаниях, где агент должен сначала взять под контроль одну сеть, а затем использовать найденные там учетные данные и информацию для проникновения во вторую — сценарий, который отражает реальные многоэтапные вторжения.

Каждая модель работала в агенте Pi с открытым исходным кодом на изолированной машине Kali Linux с 48-часовым лимитом времени и бюджетом в 500 миллионов токенов. Важно отметить, что Вальс засчитывал достижение цели только тогда, когда в выходных данных команды появлялись скрытые маркеры, а не на основании собственного заявления модели об успехе.

Цифры и разница в стоимости

DeepSeek набрал в среднем 16,3 из 21 цели Nova, фактически опередив Daybreak с 15,7 в первой сети. Daybreak вырвался вперед в более сложном диапазоне Lighthouse, выполнив 27 из 31 задач против 21 у DeepSeek.

Более разительной разницей была стоимость. WIRED оценил цену полной атаки примерно в 2–3 доллара для DeepSeek по сравнению с 17–46 долларами для GPT-6 Sol. В частности, что касается линейки Nova, DeepSeek завершил свою работу менее чем за 3 доллара за запуск по сравнению с примерно 22 долларами за Daybreak.

Вальс также заметил, что DeepSeek вообще ничего не завершил в своих первых 25 миллионах токенов и добился большей части своего прогресса после 100 миллионов — профиль темпа, который предполагает, что короткие, ограниченные вычислениями оценки систематически занижают то, на что способны дешевые открытые модели с учетом времени и бюджета.

Как показали себя другие модели

DeepSeek не стал бесспорным лидером в открытом весе, но больше никто его не поймал. Kimi K3.1 Pro, Meta's Wonder и xAI's Grok 4.7 финишировали позади DeepSeek в сравнении семи моделей Vals.

GLM 5.3 Flash от Z.ai занял последнее место, выполнив пять задач на каждом диапазоне. Вальс назвал это «самым явным тупиком» группы: на одном полигоне модель провела около 36 часов — большую часть времени проверяя фоновое задание, которое так и не вернулось.

Другие оценщики оценивают полную модель GLM-5.3 при выполнении киберзадач значительно выше. Тестирующая компания Irregular обнаружила, что выполнила 3 ​​из 13 сценариев многоэтапных атак — лучший результат, зафиксированный ею для общедоступной модели, — а NIST назвал ее наиболее эффективной кибермоделью с открытым весом, выпущенной на сегодняшний день, по оценкам, она отстает примерно на четыре месяца от ведущих систем США. Anthropic отдельно сообщила Reuters, что GLM-5.3 создал рабочие эксплойты в 12 процентах попыток по сравнению с 14 процентами для Claude Mythos. Вальс отмечает, что это разные тесты, результаты которых нельзя напрямую сравнивать с результатами CyberOffense.

Почему это важно

Результаты обостряют продолжающуюся дискуссию о защитных барьерах, окружающих передовые кибервозможности искусственного интеллекта. Программа OpenAI Daybreak существует специально для того, чтобы поддерживать высокопроизводительные кибермодели за проверкой личности и ограниченным доступом, исходя из теории, что наступательные кибервозможности не должны распространяться свободно. Бесплатная загрузка отстает от ограниченной модели всего на несколько пунктов и при этом стоит на порядок меньше за операцию, что значительно усложняет эту картину.

Это также имеет значение для защитников. Команды безопасности, планирующие борьбу с злоумышленниками с помощью ИИ, больше не могут предполагать, что серьезные автономные наступательные возможности требуют доступа к ограниченным моделям лаборатории или большого бюджета. Как предполагает собственная формулировка Валса, минимальный уровень возможностей растет быстрее, чем средства контроля доступа могут его сдержать.

OpenAI не прокомментировала сравнение в отчетах. DeepSeek не сразу ответил на запросы о комментариях.

Задача методологии тестирования

Помимо заголовков оценок, результаты содержат урок о том, как измеряются кибервозможности ИИ. Выбор дизайна Валса — длинные 48-часовые окна, бюджеты в полмиллиарда токенов и проверка с помощью скрытых маркеров, а не самоотчетов об успехе — все чаще рассматривается как необходимый для справедливой оценки агентных систем. Более короткие и дешевые тестовые прогоны, вероятно, принесли бы DeepSeek гораздо более низкую оценку, учитывая его медленный старт и маскировку возможностей, появившихся при увеличении вычислительных ресурсов.

Это имеет практические последствия для политики. Ограничения доступа, такие как программа Daybreak от OpenAI, калибруются по измеренным возможностям, и если методы оценки систематически занижают возможности открытых моделей, ограничения могут отставать от реальности. Таблица лидеров CyberOffense от Vals, которую, по словам фирмы, она будет продолжать обновлять, в результате, вероятно, станет одной из наиболее внимательно отслеживаемых в сообществе специалистов по безопасности искусственного интеллекта.

На данный момент полученные данные очевидны: разрыв между тем, что лаборатории охраняют за ограниченными программами, и тем, что каждый может скачать, сокращается до такой степени, что вскоре его можно будет измерять месяцами, а не поколениями моделей.

Будьте впереди ИИ

Отслеживайте выпуск каждой модели, борьбу за производительность и рост возможностей в одном месте на [AI Buzz Wire] (https://aibuzzwire.news).

Подробнее новости AI →