Новий тест під назвою Real-SWE ставить під сумнів те, як індустрія штучного інтелекту вимірює здатність кодувати, і перші результати є принизливими для передових лабораторій. Fable 5.1 від Anthropic, що працює в системі Claude Code, лідирує в рейтингу з показником вирішення завдань у 38,8% для завдань, отриманих із приватних реальних корпоративних кодових баз. Жодна перевірена модель не очищає 40 відсотків.
Тест, опублікований цього місяця Specific Labs, оцінює передові моделі штучного інтелекту на базі коду приватного виробництва, ліцензію на яку команда отримала у реальних компаній. Його творці стверджують, що створені експертами або синтетичні завдання, якими б добре вони не були розроблені, не є дослівною роботою, яку насправді виконують інженери реальних компаній. For more context on this story, see our ongoing AI industry coverage.
Чому приватні кодові бази змінюють картину
Real-SWE відрізняється від усталених тестів, таких як SWE-bench, за двома осями, за словами його авторів: базовим артефактом кодування та специфікою інструкції. Кожне завдання надходить із запатентованої системи, код і рішення якої недоступні в загальнодоступному Інтернеті, що означає, що агенти не можуть покладатися на запам’ятовані відповіді, отримані з загальнодоступних сховищ.
Завдання також мають наслідки для бізнесу. Приклади завдань еталонного тесту включають правильне виставлення рахунків, розрахунок податків і переміщення клієнтів — зміни, які впливають на роботу бізнесу, часто в кількох службах. Кожна компанія має власні угоди та способи написання коду, і агенти повинні розуміти ці норми та вносити зміни, які працюють із тим, що вже є.
«Чи може агент кодування справді виконувати роботу інженера-програміста в реальному світі?» запитує вступ до тесту. Таблиця лідерів показує, що відповідь наразі така: у найкращому випадку лише приблизно третину часу.
Повна таблиця лідерів
Спеціальні лабораторії оцінили вісім передових комбінацій моделі та джгута, вимірявши швидкість вирішення як pass@1, усереднену за вісім незалежних прогонів на завдання, з 95-відсотковим довірчим інтервалом:
1. Fable 5.1 (Claude Code) — 38,8%
2. GPT-6 Astra (Codex CLI) — 33,8%
3. Gemini 3.8 Flash (Gemini CLI) — 31,2%
4. GLM 5.3 (Claude Code) — 28,8%
5. (рівня) Grok 4.6 (Grok Build) — 23,8%
5. (рівня) Muse Spark 1.3 (Muse Code) — 23,8%
7. Kimi K3 (Kimi Code) — 18,8%
8. GPT-5.6 Sol (Codex CLI) — 16,2%
Результати широко обговорювалися на Hacker News протягом вихідних, де тест викликав кілька сотень голосів «за» та жваву дискусію про те, чи є оцінка приватної кодової бази правильним критерієм прогресу агента.
Вузький, але значущий розворот у верхній частині
Розрив між чотирма найкращими системами примітний тим, що він говорить про поточний конкурентний ландшафт. Перевага Fable 5.1 на п’ять балів над GPT-6 Astra від OpenAI є значущою на тесті, де кожне завдання є справжньою проблемою виробництва. Gemini 3.8 Flash займає третє місце, що вражає, оскільки модель позиціонується як швидка, недорога робоча конячка, а не флагманська система міркувань. GLM 5.3 Z.ai, оцінений за допомогою Claude Code, приземлився на п’ять балів від лідера, підкреслює, наскільки конкурентоспроможними стали відкриті моделі в практичній інженерній роботі.
Не менш показовим є розворот унизу. GPT-5.6 Sol, попередній випуск OpenAI, вирішує менше ніж вдвічі менше завдань, ніж Fable 5.1 — це нагадування про те, як швидко перемістилися межі та наскільки різким може бути падіння лише на одне покоління моделі назад.
Упряжі мають таке ж значення, як і моделі
Одним із методологічних варіантів еталонного тесту є привернення уваги: замість того, щоб оцінювати моделі окремо, Real-SWE використовує рідні системи — Claude Code, Codex CLI, Gemini CLI, Grok Build — щоб відобразити, як інженери підприємства насправді працюють на практиці. Таблиця лідерів чітко ранжує комбінації моделі та джгута, визнаючи, що каркаси, доступ до інструментів і цикли ітерацій тепер невіддільні від можливостей моделі в реальних розгортаннях.
Цей фрейм має значення для підприємств, які обирають системи. Одна і та сама модель може працювати дуже по-різному залежно від зв’язків агентів, які її обгортають, і покупці, які оцінюють помічників кодування на основі загальнодоступних еталонних номерів, можуть отримати викривлену картину того, як ці системи поводитимуться на їхніх власних кодових базах.
Що це означає для галузі
Еталонні тести неодноразово звинувачували в насиченості, при цьому граничні моделі публікували майже ідеальні результати на публічних тестах, які просочувалися в навчальні дані. Дизайн Real-SWE намагається протистояти обом проблемам одночасно: код є приватним і ліцензованим, завдання є справжніми продуктами роботи працюючих команд інженерів, а інструкції відображають заплутану специфіку справжніх квитків, а не відшліфовані формулювання проблеми.
Протверезний висновок — це абсолютний рівень. Навіть найкраща система вирішує менше ніж чотири з десяти реальних корпоративних завдань з першої спроби, в середньому за вісім запусків. Попри весь прогрес у агентському кодуванні, тест показує, що автономна розробка програмного забезпечення на реальних виробничих системах залишається контрольованою діяльністю, де інженери-люди перевіряють, перенаправляють і ремонтують набагато частіше, ніж це передбачає демонстрація постачальників.
Підприємствам, які обирають помічників кодування, тест пропонує практичний контрольний список: віддавайте перевагу системам, оціненим на основі приватного коду, наполягайте на довірчих інтервалах, а не на одноразових заголовках, і зважуйте якість використання так само сильно, як і можливості сирої моделі. Перша таблиця лідерів Real-SWE не буде останнім словом, але це найпряміша відповідь на запитання, яке задає кожен керівник інженерів щодо агентного кодування.
Щоб дізнатися більше про агенти кодування, випуски моделей і дослідження, які їх формують, слідкуйте за останніми новинами AI, коли з’являться наступні результати тестування.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
