Ein neuer Benchmark namens Real-SWE stellt die Art und Weise in Frage, wie die KI-Branche die Programmierfähigkeit misst, und die ersten Ergebnisse sind für die Grenzlabore demütigend. Fable 5.1 von Anthropic, das im Claude Code-System läuft, liegt mit einer Lösungsrate von 38,8 % bei Aufgaben, die aus privaten, realen Unternehmenscodebasen stammen, an der Spitze. Kein getestetes Modell erreicht 40 Prozent.
Der in diesem Monat von Specific Labs veröffentlichte Benchmark bewertet Grenz-KI-Modelle auf privaten Produktionscodebasen, die das Team von echten Unternehmen lizenziert hat. Seine Entwickler argumentieren, dass von Experten erstellte oder synthetische Aufgaben, wie gut sie auch gestaltet sein mögen, nicht die wörtliche Arbeit sind, die Ingenieure in echten Unternehmen tatsächlich leisten. Weitere Informationen zu dieser Geschichte finden Sie in unserer aktuelle KI-Trends.
Warum private Codebasen das Bild verändern
Laut seinen Autoren unterscheidet sich Real-SWE von etablierten Benchmarks wie SWE-Bench in zwei Aspekten: dem zugrunde liegenden Codierungsartefakt und der Spezifität der Anweisung. Jede Aufgabe stammt aus einem proprietären System, dessen Code und Lösungen nicht im öffentlichen Internet verfügbar sind, was bedeutet, dass Agenten sich nicht auf gespeicherte Antworten aus öffentlichen Repositorys stützen können.
Die Aufgaben haben auch geschäftliche Konsequenzen. Zu den Beispielaufgaben des Benchmarks gehören die korrekte Abrechnung, die Berechnung von Steuern und die Migration von Kunden – Änderungen, die sich auf die Abläufe eines Unternehmens auswirken, oft über mehrere Dienste hinweg. Jedes Unternehmen hat seine eigenen Konventionen und Methoden zum Schreiben von Code, und Agenten müssen diese Normen verstehen und Änderungen vornehmen, die mit dem funktionieren, was bereits vorhanden ist.
„Kann ein Programmieragent tatsächlich die Arbeit eines Softwareentwicklers in der realen Welt erledigen?“ Die Einleitung des Benchmarks fragt. Die Rangliste legt nahe, dass die Antwort vorerst lautet: Bestenfalls nur etwa ein Drittel der Zeit.
Die vollständige Bestenliste
Specific Labs bewertete acht Kombinationen aus Grenzmodell und Kabelbaum und maß die Lösungsrate als bestanden bei 1, gemittelt über acht unabhängige Durchläufe pro Aufgabe, mit 95-prozentigen Konfidenzintervallen:
1. Fabel 5.1 (Claude Code) – 38,8 %
2. GPT-6 Astra (Codex CLI) – 33,8 %
3. Gemini 3.8 Flash (Gemini CLI) – 31,2 %
4. GLM 5,3 (Claude Code) – 28,8 %
5. (Unentschieden) Grok 4,6 (Grok Build) – 23,8 %
5. (Unentschieden) Muse Spark 1.3 (Muse Code) – 23,8 %
7. Kimi K3 (Kimi-Code) – 18,8 %
8. GPT-5.6 Sol (Codex CLI) – 16,2 %
Die Ergebnisse wurden am Wochenende ausführlich auf Hacker News diskutiert, wo der Benchmark mehrere hundert positive Stimmen erhielt und eine lebhafte Debatte darüber stattfand, ob die Bewertung privater Codebasen der richtige Maßstab für den Agentenfortschritt ist.
Eine schmale, aber aussagekräftige Streuung an der Spitze
Der Abstand zwischen den vier führenden Systemen ist aufgrund dessen, was er über die aktuelle Wettbewerbslandschaft aussagt, bemerkenswert. Der Fünf-Punkte-Vorsprung von Fable 5.1 gegenüber dem GPT-6 Astra von OpenAI ist bei einem Benchmark von Bedeutung, bei dem jede Aufgabe ein echtes Produktionsproblem darstellt. Der dritte Platz für Gemini 3.8 Flash ist bemerkenswert, da das Modell als schnelles, kostengünstiges Arbeitstier und nicht als Flaggschiff-System positioniert ist. Der von Claude Code bewertete GLM 5.3 von Z.ai liegt nur fünf Punkte hinter dem Spitzenreiter und unterstreicht, wie wettbewerbsfähig offene Modelle in der praktischen Ingenieursarbeit geworden sind.
Ebenso aussagekräftig ist die Spanne am unteren Ende. GPT-5.6 Sol, eine frühere OpenAI-Version, löst weniger als halb so viele Aufgaben wie Fable 5.1 – eine Erinnerung daran, wie schnell sich die Grenze verschoben hat und wie steil der Abfall schon vor einer Modellgeneration sein kann.
Geschirre sind genauso wichtig wie Modelle
Eine der methodischen Entscheidungen des Benchmarks besteht darin, Aufmerksamkeit zu erregen: Anstatt Modelle isoliert zu bewerten, verwendet Real-SWE native Systeme – Claude Code, Codex CLI, Gemini CLI, Grok Build –, um abzubilden, wie Unternehmensingenieure tatsächlich in der Praxis arbeiten. In der Bestenliste werden Modell- und Kabelbaumkombinationen explizit eingestuft und anerkannt, dass Gerüstbau, Werkzeugzugriff und Iterationsschleifen mittlerweile untrennbar mit der Modellfähigkeit in realen Bereitstellungen verbunden sind.
Dieser Rahmen ist für Unternehmen, die sich für Systeme entscheiden, von Bedeutung. Dasselbe Modell kann je nach dem umschlossenen Agentensystem sehr unterschiedliche Leistungen erbringen, und Käufer, die Codierungsassistenten anhand öffentlicher Benchmark-Zahlen bewerten, erhalten möglicherweise ein verzerrtes Bild davon, wie sich diese Systeme auf ihren eigenen Codebasen verhalten.
Was es für die Branche bedeutet
Benchmarks wurden wiederholt der Sättigung beschuldigt, wobei Grenzmodelle bei öffentlichen Tests, die in Trainingsdaten einfließen, nahezu perfekte Ergebnisse erzielen. Das Design von Real-SWE versucht, beiden Problemen gleichzeitig entgegenzuwirken: Der Code ist privat und lizenziert, die Aufgaben sind die echten Arbeitsprodukte arbeitender Ingenieurteams und die Anweisungen spiegeln eher die chaotische Spezifität echter Tickets als ausgefeilte Problemstellungen wider.
Der ernüchternde Aspekt ist das absolute Niveau. Selbst das beste System löst im Durchschnitt über acht Durchläufe weniger als vier von zehn echten Unternehmensaufgaben beim ersten Versuch. Trotz aller Fortschritte bei der Agentencodierung legt der Benchmark nahe, dass die autonome Softwareentwicklung auf realen Produktionssystemen eine überwachte Aktivität bleibt – eine Aktivität, bei der menschliche Ingenieure viel häufiger überprüfen, umleiten und reparieren, als die Demos der Anbieter vermuten lassen.
Für Unternehmen, die sich für Codierungsassistenten entscheiden, bietet der Benchmark eine praktische Checkliste: Bevorzugen Sie Systeme, die anhand von privatem Code evaluiert werden, bestehen Sie auf Konfidenzintervallen anstelle von Einzeldurchlauf-Schlagzeilenzahlen und gewichten Sie die Qualität der Nutzung genauso stark wie die Leistungsfähigkeit des Rohmodells. Die erste Bestenliste von Real-SWE wird nicht das letzte Wort sein – aber es ist die bislang direkteste Antwort auf die Frage, die sich jeder Ingenieursleiter zum Thema Agentenkodierung stellt.
Wenn Sie mehr über Coding-Agents, Model-Releases und die sie prägende Forschung erfahren möchten, verfolgen Sie die neuesten KI-Nachrichten, wenn die nächste Runde der Benchmark-Ergebnisse ansteht.
---
Bleib vorne bei KIDie neuesten KI-Nachrichten, Analysen und Durchbrüche – alles an einem Ort.
Mehr KI-Nachrichten lesen →
