KI-Bestenlisten erzählen eine bemerkenswert detaillierte Geschichte darüber, wie gut Modelle Code schreiben, mathematische Probleme lösen und Prüfungen auf Hochschulniveau beantworten. Was sie Ihnen fast nie sagen, ist, wie gut Models die Arbeit leisten, für die die meisten Amerikaner tatsächlich bezahlt werden.
Ein neues Forschungsprojekt des KI-Talentmarktplatzes Mercor beziffert diese Lücke. Laut der Benchmark Map des Unternehmens, die diese Woche veröffentlicht wurde, werden etwa 90 % der amerikanischen Arbeitszeit für Aufgaben aufgewendet, die von bestehenden KI-Benchmarks kaum oder gar nicht abgedeckt werden. Weitere Informationen zu dieser Geschichte finden Sie in unserer KI-Branchenberichterstattung.
„Das macht es sehr schwierig zu wissen, wie gut KI-Modelle bei der Arbeit sind, die Amerikaner tatsächlich leisten“, schreibt das Unternehmen in seinen Ergebnissen.
Zählen, was Benchmarks vermissen
Um die Karte zu erstellen, hat Mercor einen Index von 29 Benchmarks zusammengestellt, die nach Qualität und wirtschaftlicher Relevanz ausgewählt wurden, und ihre Eingaben dann mit der O*NET-Berufsdatenbank der US-Regierung abgeglichen – der Standardtaxonomie von 923 Berufen und 18.797 verschiedenen Aufgaben, die die amerikanische Arbeitsbevölkerung ausmachen.
Die Berichterstattungszahlen sind krass. Lediglich 208 von 923 O*NET-Berufen weisen überhaupt eine Benchmark-Abdeckung auf und nur 924 von 18.797 Berufstätigkeiten sind im gesamten Index vertreten.
Die auf der Website des Projekts dokumentierte Methodik basiert auf der KI selbst: Nach aktuellen Forschungsergebnissen markiert ein LLM-Richter jede Benchmark-Eingabeaufforderung mit den ONET-Aufgaben, denen sie entspricht, wobei die Markierung anhand der Etiketten menschlicher Experten auf Mercors eigener APEX-Benchmark-Teilmenge validiert wird. Eine Aufgabe gilt nur dann als abgedeckt, wenn der Richter sie mindestens fünf Eingabeaufforderungen aus dem 29-Benchmark-Index zuordnet. Um die Abdeckung in wirtschaftliche Begriffe zu übersetzen, kombinierte Mercor seine Schätzungen mit kürzlich veröffentlichten LLM-abgeleiteten Schätzungen des Arbeitszeitanteils jeder ONET-Aufgabe.
Abdeckung folgt dem Geld
Die Lücken sind nicht zufällig verteilt. Die Analyse von Mercor legt nahe, dass die KI-Community zunächst die größten Arbeitsmärkte bewertet hat – die Berufe mit den höchsten Gesamtlohnkosten, berechnet aus Lohn- und Beschäftigungsschätzungen des Bureau of Labor Statistics.
Die Aufschlüsselung nach Beruf und Familie zeigt, wie ungleichmäßig die Aufmerksamkeit ist. Computer- und Mathematikberufe, die Heimat der Benchmark-Erstellung, werden mit 29 von 36 Berufen am besten abgedeckt. Geschäfts- und Finanzbetriebe folgen auf Platz 33 von 48. Aber Büro- und Verwaltungsunterstützung – eine Familie, die Millionen beschäftigt – wird nur von 21 von 51 Berufen abgedeckt, und von Führungspositionen sind es 21 von 56.
Selbst in den am besten abgedeckten Berufen ist die Tiefe gering. Als Mercor versuchte, eine ONET-gewichtete Bewertung für vier Benchmark-lastige Berufe durchzuführen – Investmentbanking, Recht, Buchhaltung und Softwareentwicklung – stellte sich heraus, dass weniger als ein Drittel der für diese Jobs relevanten ONET-Aufgaben über eine ausreichende Benchmark-Abdeckung verfügten, um in eine gewichtete Bewertung einbezogen zu werden.
Warum die blinden Flecken wichtig sind
Die Feststellung fällt in einen Moment, in dem Benchmark-Ergebnisse echte Entscheidungen beeinflussen. Unternehmen wählen Modellstufen basierend auf Bewertungen aus; Vorstände erfahren von Fortschritten beim Grenzmodell in Bezug auf Benchmark-Sprünge; Bei der Abwägung der Regulierung orientieren sich politische Entscheidungsträger an Fähigkeitsverläufen. Wenn 90 % der Arbeitszeit außerhalb der Benchmarks liegen, basieren alle diese Entscheidungen auf einer Stichprobe, die eher bürogebunden, technisch und akademisch ist.
Es gibt strukturelle Gründe dafür, dass sich Benchmarks dort häufen, wo sie auftreten. Software-Engineering-Aufgaben sind kostengünstig zu spezifizieren, kostengünstig automatisch zu bewerten und für Benchmark-Autoren – die hauptsächlich Software schreiben – einfach zu entwerfen. Die Beurteilung des Verhaltens eines medizinischen Assistenten am Krankenbett, des Urteilsvermögens eines Logistikkoordinators unter sich ändernden Einschränkungen oder des Diagnoseprozesses eines Elektrikers ist schwieriger zu standardisieren, schwieriger aus der Ferne zu überprüfen und in vielen Fällen ohne physische Anwesenheit unmöglich zu testen.
Mercor, dessen Kerngeschäft Fachexperten mit KI-Laboren für Schulungs- und Evaluierungsarbeiten zusammenbringt, hat ein offensichtliches kommerzielles Interesse daran, darauf hinzuweisen, dass die Evaluierungsabdeckung gering ist – das Unternehmen verkauft Zugang zu genau den Experten, die diese Lücke schließen könnten. Das zugrunde liegende Messproblem ist jedoch real und wird in der Branche zunehmend anerkannt, und das Unternehmen hat seine Methodik und vollständige Benchmark-Liste zur Prüfung veröffentlicht.
Das Unternehmen gibt an, dass seine Benchmark Map ein erster Schritt hin zu einer kontinuierlich aktualisierten Ressource zum Verständnis der KI-Fähigkeiten in der gesamten Wirtschaft ist und dass es auf O*NET-gewichtete Modellbewertungen hinarbeitet, die jede berufliche Aufgabe gleich gewichten, anstatt häufig Benchmarking-Aufgaben den Durchschnitt dominieren zu lassen.
Das Jahrzehnt der Messung
Was als nächstes passiert, hängt davon ab, ob die Benchmark-Ersteller der Wirtschaftskarte folgen. Die Mercor-Daten weisen darauf hin, wo die Abdeckung fehlt – und implizit auch, wo neue Benchmarks den größten Informationswert hätten. Berufe mit hoher Beschäftigung, hohen Lohnsummen und keiner Benchmark-Abdeckung sind faktisch offenes Bewertungsgebiet.
Die praktische Erkenntnis für jeden, der KI-Ranglistennachrichten konsumiert, ist vorerst ein Vorbehalt: Das Benchmark-Profil eines Modells beschreibt seine Stärken in dem Teil der Wirtschaft, den die Benchmarks zufällig abdecken. Die anderen 90 % der Arbeitszeit – die Verwaltungsarbeit, die Pflege, der Außendienst, das Floormanagement – bleiben weitgehend unbewertetes Gebiet, und Behauptungen, dass KI sie verändern wird, beruhen derzeit eher auf Anekdoten als auf Beweisen.
Wie es in der eigenen Formulierung des Unternehmens heißt, haben sich die Benchmarks in den letzten Jahren vervielfacht, die Abdeckung wirtschaftlich wertvoller Arbeiten bleibt jedoch begrenzt. Die Karte macht diese Einschränkung Kachel für Kachel und Beruf für Beruf sichtbar.
---
Bleib vorne bei KIDie neuesten KI-Nachrichten, Analysen und Durchbrüche – alles an einem Ort.
Mehr KI-Nachrichten lesen →
