Nowy test porównawczy o nazwie Real-SWE stanowi wyzwanie dla sposobu, w jaki branża sztucznej inteligencji mierzy zdolność kodowania, a pierwsze wyniki są upokarzające dla pionierskich laboratoriów. Anthropic's Fable 5.1, działający w oparciu o uprząż Claude Code, prowadzi w tabeli ze współczynnikiem rozdzielczości na poziomie 38,8% w przypadku zadań zaczerpniętych z prywatnych, rzeczywistych baz kodów korporacyjnych. Żaden testowany model nie uzyskał 40 proc.

Test porównawczy opublikowany w tym miesiącu przezSpecific Labs ocenia pionierskie modele sztucznej inteligencji na bazach kodów pochodzących z prywatnych produkcji, na które zespół uzyskał licencję od prawdziwych firm. Jej twórcy przekonują, że zadania generowane przez ekspertów lub syntetyczne, niezależnie od tego, jak dobrze zostały zaprojektowane, nie są dosłowną pracą, jaką faktycznie wykonują inżynierowie w prawdziwych firmach. Więcej kontekstu na ten temat znajdziesz w naszych najnowsze osiągnięcia AI.

Dlaczego prywatne bazy kodów zmieniają obraz

Według autorów Real-SWE różni się od ustalonych benchmarków, takich jak SWE-bench, pod dwoma względami: podstawowym artefaktem kodowania i specyfiką instrukcji. Każde zadanie pochodzi z autorskiego systemu, którego kod i rozwiązania nie są dostępne w publicznym Internecie, co oznacza, że ​​agenci nie mogą opierać się na zapamiętanych odpowiedziach ściągniętych z publicznych repozytoriów.

Zadania niosą ze sobą także konsekwencje biznesowe. Przykładowe zadania testu porównawczego obejmują prawidłowe rozliczenia, obliczanie podatków i migrację klientów — zmiany, które wpływają na funkcjonowanie firmy, często w przypadku wielu usług. Każda firma ma swoje własne konwencje i sposoby pisania kodu, a agenci muszą zrozumieć te normy i wprowadzić zmiany, które będą działać w oparciu o to, co już istnieje.

„Czy agent programujący może faktycznie wykonywać pracę inżyniera oprogramowania w prawdziwym świecie?” – pyta wprowadzenie do benchmarku. Tablica wyników sugeruje, że na razie odpowiedź brzmi: w najlepszym wypadku tylko w jednej trzeciej przypadków.

Pełna tabela wyników

Specyficzne laboratoria oceniły osiem pionierskich kombinacji modeli i wiązek przewodów, mierząc współczynnik rozdzielczości na poziomie pass@1 uśrednionym z ośmiu niezależnych przebiegów na zadanie, z 95-procentowymi przedziałami ufności:

1. Bajka 5.1 (Kod Claude'a) — 38,8%
2. GPT-6 Astra (Kodeks CLI) — 33,8%
3. Gemini 3.8 Flash (Gemini CLI) — 31,2%
4. GLM 5.3 (Kod Claude) — 28,8%
5. (remis) Grok 4.6 (kompilacja Groka) — 23,8%
5. (remis) Muse Spark 1.3 (Kod Muse) — 23,8%
7. Kimi K3 (Kimi Code) — 18,8%
8. GPT-5.6 Sol (Kodeks CLI) — 16,2%

Wyniki zostały szeroko omówione w weekend w Hacker News, gdzie test porównawczy zebrał kilkaset głosów pozytywnych i ożywioną debatę na temat tego, czy ocena prywatnej bazy kodu jest właściwą miarą postępu agenta.

Wąski, ale znaczący rozkład na górze

Różnica między czterema czołowymi systemami jest zauważalna ze względu na to, co mówi o obecnym krajobrazie konkurencyjnym. Pięciopunktowa przewaga Fable 5.1 nad GPT-6 Astra z OpenAI jest znacząca w teście porównawczym, w którym każde zadanie jest prawdziwym problemem produkcyjnym. Gemini 3.8 Flash zajmuje trzecie miejsce, co jest uderzające, ponieważ model ten jest pozycjonowany jako szybki i tani koń pociągowy, a nie flagowy system rozumowania. GLM 5.3 firmy Z.ai, oceniony przez Claude Code, plasujący się w odległości pięciu punktów od lidera, podkreśla, jak konkurencyjne stały się modele o otwartej masie w praktycznych pracach inżynieryjnych.

Równie wymowny jest spread na dole. GPT-5.6 Sol, wcześniejsza wersja OpenAI, rozwiązuje mniej niż połowę mniej zadań niż Fable 5.1 — co przypomina, jak szybko przesunęła się granica i jak gwałtowny może być spadek zaledwie o jedną generację modelu wstecz.

Uprzęże mają takie samo znaczenie jak modele

Jeden z wyborów metodologicznych benchmarku przyciąga uwagę: zamiast oceniać modele w izolacji, Real-SWE korzysta z natywnych uprzęży — Claude Code, Codex CLI, Gemini CLI, Grok Build — aby odzwierciedlić, jak inżynierowie korporacyjni faktycznie pracują w praktyce. Tablica liderów wyraźnie klasyfikuje kombinacje modeli i wiązek przewodów, potwierdzając, że rusztowanie, dostęp do narzędzi i pętle iteracyjne są teraz nierozerwalnie związane z możliwościami modelu w rzeczywistych wdrożeniach.

To ramy mają znaczenie dla przedsiębiorstw wybierających systemy. Ten sam model może działać bardzo różnie w zależności od owiniętej wokół niego wiązki agenta, a kupujący oceniający asystentów kodowania na podstawie publicznych testów porównawczych mogą uzyskać zniekształcony obraz tego, jak te systemy będą się zachowywać na własnych bazach kodu.

Co to oznacza dla branży

Benchmarki były wielokrotnie oskarżane o nasycenie, a modele pionierskie osiągały niemal doskonałe wyniki w testach publicznych, które wyciekały do ​​danych szkoleniowych. Projekt Real-SWE stara się stawić czoła obu problemom jednocześnie: kod jest prywatny i licencjonowany, zadania są prawdziwymi produktami pracy pracujących zespołów inżynierskich, a instrukcje odzwierciedlają chaotyczną specyfikę prawdziwych zgłoszeń, a nie dopracowane opisy problemów.

Otrzeźwiające jedzenie na wynos to absolutny poziom. Nawet najlepszy system rozwiązuje mniej niż cztery na dziesięć rzeczywistych zadań przedsiębiorstwa przy pierwszej próbie, średnio w ciągu ośmiu uruchomień. Biorąc pod uwagę cały postęp w kodowaniu agentycznym, test porównawczy sugeruje, że autonomiczna inżynieria oprogramowania w rzeczywistych systemach produkcyjnych pozostaje działalnością nadzorowaną — taką, w ramach której inżynierowie przeglądają, przekierowują i naprawiają znacznie częściej, niż sugeruje to demonstracja dostawców.

Dla przedsiębiorstw wybierających asystentów kodowania test porównawczy oferuje praktyczną listę kontrolną: preferuj systemy oceniane na podstawie prywatnego kodu, kładź nacisk na przedziały ufności, a nie pojedyncze liczby nagłówków, a jakość uprzęży obciążającej jest równie ważna jak możliwości surowego modelu. Pierwsza tabela liderów Real-SWE nie będzie ostatnim słowem — ale jest to jak dotąd najbardziej bezpośrednia odpowiedź na pytanie, które każdy lider inżynierii zadaje na temat kodowania agentowego.

Aby uzyskać więcej informacji na temat agentów kodujących, wypuszczania modeli i badań je kształtujących, śledź najnowsze wiadomości dotyczące sztucznej inteligencji w miarę pojawiania się kolejnej rundy wyników testów porównawczych.

---

Bądź na Bieżąco z AI

Najnowsze wiadomości, analizy i przełomy w dziedzinie AI — wszystko w jednym miejscu.

Czytaj więcej wiadomości AI →