Згідно з новими результатами оціночної компанії Vals, опублікованими WIRED, відкрита китайська модель, яку кожен може завантажити, майже зрівнялася з найпотужнішою кібермоделлю OpenAI у проникненні в імітовані корпоративні мережі.

Під час тестування Vals CyberOffense GPT-6 Sol від OpenAI, який компанія пропонує лише через свою кіберпрограму Daybreak з обмеженим доступом, виконав близько 81 відсотка завдань. DeepSeek V4.1 Flash, безкоштовна версія з відкритими вагами, виконала приблизно 73 відсотки тих самих завдань, працюючи як повністю автономний агент. Інші трекери оцінюють заголовок DeepSeek у 72,8 відсотка.

«Кібер-можливості, які були обмежені штучним інтелектом із довіреним доступом, тепер доступні кожному», — написав Валс у своїх результатах. Дослідник Vals Нікіл Раві сказав WIRED, що найкращі моделі, заблоковані в лабораторіях ШІ, «починають порівнюватися з відкритими моделями, які кожен може завантажити».

Як Валс проводив тест

У контрольному тесті CyberOffense Vals використовуються два змодельовані кібердіапазони. Перша, яка називається Nova, являє собою мережу Windows із 21 об’єктом, яка охоплює кілька доменів Active Directory. Другий, Lighthouse, містить 31 ціль у двох компаніях, де агент повинен спочатку заволодіти однією мережею, а потім використати облікові дані та інформацію, знайдену там, щоб зламати другу — сценарій, який відображає багатоетапні вторгнення в реальному світі.

Кожна модель запускалася в агенті Pi з відкритим вихідним кодом на ізольованій машині Kali Linux з 48-годинним обмеженням часу та бюджетом у 500 мільйонів токенів. Важливо, що Валс зараховував ціль лише тоді, коли приховані маркери з’являлися у вихідних даних команди — ніколи на підставі власних заяв моделі, що вона досягла успіху.

Цифри та розрив у вартості

DeepSeek оцінив у середньому 16,3 із 21 цілі Nova, фактично випередивши 15,7 Daybreak у першій мережі. Daybreak вийшов вперед на важчому діапазоні Lighthouse, виконавши 27 із 31 цілі проти 21 DeepSeek.

Більш разючою різницею була вартість. WIRED встановив ціну повної атаки приблизно від 2 до 3 доларів для DeepSeek проти 17 до 46 доларів для GPT-6 Sol. Конкретно на діапазоні Nova DeepSeek завершив свою роботу менш ніж за 3 долари США за запуск проти приблизно 22 доларів США за Daybreak.

Валс також зауважив, що DeepSeek взагалі нічого не завершив у своїх перших 25 мільйонах токенів і досяг більшої частини свого прогресу після 100 мільйонів — профіль темпу, який передбачає короткі оцінки, обмежені обчисленнями, систематично недооцінюють те, що можуть зробити дешеві відкриті моделі за певний час і бюджет.

Як справи інші моделі

DeepSeek не лідирував у відкритій вазі безперечно, але нікому іншому це не вдалося. Kimi K3.1 Pro, Meta's Wonder і Grok 4.7 від xAI фінішували позаду DeepSeek у порівнянні семи моделей Vals.

GLM 5.3 Flash від Z.ai зайняв останнє місце, виконавши п’ять цілей на кожному діапазоні. Валс назвав це «найочевиднішим глухим кутом» у групі: на одному діапазоні модель витратила близько 36 годин — більшість із них опитувала фонову роботу, яка ніколи не поверталася.

Інші оцінювачі оцінюють повну модель GLM-5.3 значно вище щодо кіберзавдань. Компанія Irregular виявила, що вона виконала 3 з 13 сценаріїв багатоетапної атаки — це найкращий результат, який вона зафіксувала з відкрито доступної моделі, — а NIST назвав її найпотужнішою відкритою кібермоделлю, випущеною на сьогоднішній день, за оцінками, вона відстає від провідних систем США приблизно на чотири місяці. Anthropic окремо повідомила Reuters, що GLM-5.3 створив робочі експлойти в 12 відсотках спроб проти 14 відсотків у Claude Mythos. Валс зазначає, що це різні тести, результати яких не можна порівняти безпосередньо з результатами CyberOffense.

Чому це важливо

Результати загострюють триваючу дискусію про захист передових кіберможливостей ШІ. Програма OpenAI Daybreak існує спеціально для того, щоб утримувати високопродуктивні кібермоделі за перевіркою ідентифікаційних даних і обмеженим доступом, виходячи з теорії, згідно з якою атакуючі кіберможливості не можна вільно поширювати. Безкоштовне завантаження, що відстає від обмеженої моделі лише на кілька пунктів, але коштує на порядок менше за операцію, значно ускладнює цю картину.

Це також має значення для захисників. Команди безпеки, які планують боротися зі зловмисниками за допомогою штучного інтелекту, більше не можуть припускати, що для серйозних автономних наступальних можливостей потрібен доступ до закритих моделей лабораторії або великий бюджет. Як показує власний фреймворк Валса, мінімальний рівень можливостей зростає швидше, ніж контролює доступ.

OpenAI не прокоментувала порівняння у звітах. DeepSeek не відразу відповів на запити про коментарі.

Виклик методології тестування

Крім заголовних балів, результати несуть урок щодо того, як вимірюються кібер-можливості ШІ. Вибір дизайну Vals — довгі 48-годинні вікна, бюджети в півмільярда токенів і перевірка за допомогою прихованих маркерів, а не власного успіху — все частіше розглядається як необхідне для справедливої ​​оцінки агентських систем. Коротші та дешевші тестові прогони, ймовірно, дали б DeepSeek набагато нижчий результат, враховуючи його повільний старт, маскуючі можливості, які з’явилися з більшим обсягом обчислень.

Це має практичні наслідки для політики. Обмеження доступу, такі як програма OpenAI Daybreak, відкалібровані відповідно до виміряних можливостей, і якщо методи оцінювання систематично занижують можливості відкритих моделей, огорожі можуть відставати від реальності. В результаті таблиця лідерів CyberOffense Vals, яку фірма каже, що вона продовжить оновлювати, стане однією з найбільш уважних таблиць у спільноті безпеки ШІ.

Наразі повідомлення від даних є однозначним: розрив між тим, що лабораторії охороняють за обмеженими програмами, і тим, що кожен може завантажити, скорочується до такого рівня, що незабаром він може вимірюватися місяцями, а не поколіннями моделей.

Будьте попереду ШІ

Слідкуйте за випуском кожної моделі, тестуванням і підвищенням можливостей в одному місці на AI Buzz Wire.

Читати більше новин AI →