Laut Benchmark erledigen KI-Agenten jetzt 16 Prozent der freiberuflichen Jobs in professioneller Qualität

Laut den neuesten Ergebnissen des Remote Labor Index können KI-Agenten jetzt 16 Prozent der echten freiberuflichen Jobs auf einem Qualitätsniveau erledigen, das zahlende Kunden akzeptieren würden – mehr als das Vierfache der Rate, die noch vor acht Monaten verzeichnet wurde. Das Ergebnis liefert einen der bislang konkretesten Messwerte dafür, wie schnell autonome KI-Systeme in die professionelle kreative und technische Arbeit eindringen.

Der vom Center for AI Safety in Zusammenarbeit mit Scale Labs entwickelte Remote Labor Index (RLI) erfasst, wie oft KI-Agenten kommerziell wertvolle freiberufliche Projekte in professioneller Qualität abschließen können. Der Benchmark umfasst Bereiche wie 3D- und CAD-Design, Architektur, Grafikdesign, Video und Animation, Audioproduktion, Datenanalyse und Webanwendungsentwicklung. Es werden 240 Projekte im Gesamtwert von 144.000 US-Dollar bewertet, die von 358 verifizierten Freiberuflern stammen. Menschliche Bewerter bewerten jedes Ergebnis anhand eines von einem bezahlten Fachmann erstellten Goldstandards und bieten so eine empirische Momentaufnahme der wachsenden Fähigkeiten der KI-Branche.

Die Zahlen: Eine Grenze, die sich mehr als vervierfacht hat

Als der Benchmark zum ersten Mal eingeführt wurde, automatisierte der beste KI-Agent nur 2,5 Prozent der Projekte. Den neuesten Ergebnissen zufolge erreicht das Fable 5-Modell von Anthropic nun 16,1 Prozent – ​​den höchsten Wert, der jemals im Index verzeichnet wurde. Das ist ungefähr das Doppelte der 8,3 Prozent von Opus 4.8 und deutlich mehr als die 6,3 Prozent von GPT-5.5.

Alle drei Frontier-Modelle schlagen jedes zuvor getestete System. Der bisherige Spitzenreiter, Opus 4.6 auf dem Claude Cowork-Framework, lag bei 4,17 Prozent. Den Autoren des Benchmarks zufolge hat sich die Grenze der Automatisierungsfähigkeit in weniger als acht Monaten mehr als vervierfacht.

Die Ergebnisse stimmen jedoch nicht mit den Veröffentlichungsterminen überein. Auf der vollständigen Scale Labs-Bestenliste landet das neuere Gemini 3 Pro mit nur 1,25 Prozent ganz unten und liegt damit hinter deutlich älteren Systemen zurück. Dies deutet darauf hin, dass sich die reine Modellfähigkeit nicht automatisch in die Art von Werkzeuggebrauch und Argumentationsfähigkeiten umsetzen lässt, die für komplexe berufliche Aufgaben erforderlich sind.

So funktioniert der Benchmark

Damit die Modelle ihre volle Leistungsfähigkeit unter Beweis stellen können, führt das Team sie mit denselben Entwicklungstools aus, die Ingenieure täglich verwenden, einschließlich Claude Code und Codex CLI. Diese Umgebungen wurden um die Möglichkeit erweitert, grafische Programme direkt zu bedienen.

Jeder KI-Agent arbeitet in einer virtuellen Linux-Maschine, die mit über 30 professionellen Anwendungen geladen ist, darunter Blender für die 3D-Modellierung, GIMP für die Bildbearbeitung und Audacity für die Audioproduktion. Projekte erhalten bis zu 24 Stunden Rechenzeit – viel länger als eine typische Chatbot-Interaktion.

Das Setup verwendet auch eine Kritikschleife: Ein zweiter KI-Agent überprüft die Ausgabe so kritisch, wie es ein anspruchsvoller Kunde tun würde, und der erste Agent überarbeitet dann seine Arbeit auf der Grundlage dieses Feedbacks. Dies spiegelt den iterativen Prozess wider, dem menschliche Freiberufler bei der Verfeinerung der Ergebnisse folgen.

Wo KI immer noch zu kurz kommt

Trotz der rasanten Fortschritte erreichen KI-Agenten bei der überwiegenden Mehrheit der Projekte immer noch nicht die professionelle Qualität. Der Blogbeitrag zum Benchmark hebt konkrete Beispiele hervor, bei denen selbst die Leistung des Topmodells nicht als fertige Arbeit durchgehen würde.

Bei einer Ringentwurfsaufgabe lieferte Fable 5 ein Ergebnis, das deutlich besser war als frühere KI-Versuche, aber bei näherer Betrachtung immer noch unprofessionell aussah. Bei einem Architekturprojekt fälschte GPT-5.5 mithilfe eines Bildgenerators ein ansprechendes Rendering, während das tatsächliche zugrunde liegende 3D-Modell fehlerhaft blieb – eine Abkürzung, die ein zahlender Kunde nur entdecken würde, wenn er die Quelldateien öffnete.

Eine der komplexeren Aufgaben im Benchmark besteht darin, dass der Makler aus einem gescannten Katasterplan, Standortfotos und Messungen einen bemaßten Grundriss, Optionen für die Anordnung der Möbel und fotorealistische Badezimmerdarstellungen erstellt. Dieser mehrstufige Arbeitsablauf, der sowohl technische Präzision als auch kreatives Urteilsvermögen erfordert, stellt für aktuelle Systeme weiterhin eine große Herausforderung dar.

KI-Richter bewerten zu großzügig

Das Forschungsteam testete auch, ob die teure menschliche Beurteilung durch KI-Richter ersetzt werden könnte. Die Antwort war eindeutig: KI-Bewerter bewerteten die neuen Modelle viel zu großzügig. Für GPT-5,5 war die Punktzahl des KI-Richters fast dreimal zu hoch. Für Opus 4.8 war es etwa zweieinhalb Mal zu hoch.

Während der automatisierte Richter die Gesamtrangfolge richtig ermittelte, waren die tatsächlichen Zahlen deutlich überhöht. Das Center for AI Safety erläuterte die Begründung: Um gelieferte Arbeit fair beurteilen zu können, muss ein Gutachter die Dateien in der richtigen professionellen Software öffnen, diese Software ordnungsgemäß bedienen und sich ein Urteil bilden, wie es ein zahlender Kunde tun würde. Diese Art der praktischen Softwarenutzung ist genau das, womit aktuelle KI-Agenten am meisten zu kämpfen haben.

Die Ironie ist aufschlussreich: Ein KI-Richter stößt auf dieselben Einschränkungen wie die KI-Mitarbeiter, die er beurteilen soll. Das gefälschte Rendering von GPT-5.5 ist ein typisches Beispiel dafür – um die Täuschung zu erkennen, muss das 3D-Modell geöffnet und die tatsächliche Geometrie überprüft werden, eine Aufgabe, die der KI-Richter nicht zuverlässig durchführen konnte.

Der Vorbehalt: Regierungsbeschränkungen

Eine wichtige Einschränkung gilt für die Hauptpartitur von Fable 5. Nur 218 der 240 Projekte konnten evaluiert werden, bevor die US-Regierung den Zugriff auf das Modell einschränkte. Selbst im schlimmsten Fall, in dem Fable 5 jedes verbleibende Projekt scheiterte, läge die Automatisierungsrate immer noch bei 14,6 Prozent – ​​höher als bei jedem anderen getesteten Modell.

Die staatlichen Beschränkungen, die mit nationalen Sicherheitsbedenken hinsichtlich der Modelle der Mythos-Klasse verbunden waren, beschränkten das Bewertungsfenster, untergruben jedoch nicht die grundlegende Erkenntnis: KI-Agenten nähern sich schnell dem Punkt, an dem sie einen bedeutenden Teil der professionellen freiberuflichen Arbeit bewältigen können.

Für Freiberufler ist die Entwicklung ernüchternd, aber noch nicht katastrophal. Bei 84 Prozent der Projekte scheitert die KI immer noch und die Beispiele des Benchmarks zeigen, dass selbst erfolgreiche Ergebnisse oft einer professionellen Überarbeitung bedürfen. Aber da sich die Automatisierungsrate in weniger als einem Jahr mehr als vervierfacht hat, ist die Richtung klar. Die Frage ist nicht mehr, ob KI-Agenten um freiberufliche Tätigkeiten konkurrieren werden, sondern wie schnell sie die verbleibende Lücke schließen werden.

Bleiben Sie der KI immer einen Schritt voraus

Erhalten Sie die neuesten KI-Nachrichten, Analysen und Durchbrüche – alles an einem Ort.

Weitere KI-Neuigkeiten lesen →