Die AI Frontiers Group von Microsoft Research ist vorbei, schreibt der Gründer, da Microsoft AI Skalierung gegenüber Forschung bevorzugt

Die AI Frontiers-Gruppe von Microsoft Research – die etwa 50-köpfige Einheit hinter dem AutoGen-Agenten-Orchestrierungs-Framework und dem Fara-Computernutzungsagenten – hat ihr Ende erreicht, heißt es in einem offenen Bericht aus der ersten Person, der diese Woche vom Forscher für maschinelles Lernen John Langford veröffentlicht wurde, der die Gruppe im Jahr 2023 innerhalb von MSR organisierte. Langford schreibt, dass das Team Anfang September in Microsoft AI aufgenommen wurde und dass die Neuorganisation in der Praxis keinen Platz für seine Forschungsagenda ließ. Der Beitrag traf einen Nerv: Er übertraf Hacker News innerhalb weniger Stunden mit mehr als 300 Punkten und bietet einen der bisher detailliertesten Insiderberichte darüber, wie sich der Wandel der Branche von der Forschung zur Skalierung in einem großen Labor abspielt. Wir verfolgen die Auswirkungen in unserer KI-Wirtschaftsberichterstattung.

Was AI Frontiers gebaut hat

Langford führt den Ursprung der Gruppe auf die Monate nach der Veröffentlichung von ChatGPT zurück, als er zu dem Schluss kam, dass sinnvolle KI-Forschung bei Microsoft mehr Struktur benötigte als das traditionelle Modell von MSR. „Das Maß an Unterstützung und Konzentration, das andere Forschungsgruppen anwendeten, war so groß, dass selbst eine clevere Idee, die von einer Person verfolgt wurde, wahrscheinlich zu spät und nicht überzeugend ankam“, schreibt er und erklärt, dass ein einzelner Forscher keine ausreichend starken Basislinien zusammenstellen konnte, um zu beweisen, dass es sich lohnt, eine Idee zu verfolgen.

Deshalb organisierten Langford und gleichgesinnte Kollegen AI Frontiers als Unterorganisation von etwa 50 Personen, die bewusst weder von oben noch von unten nach oben strukturiert waren, sondern „irgendwo in der chaotischen Mitte“. Die sichtbarsten Ergebnisse der Gruppe kamen zum Einsatz: AutoGen, das weit verbreitete Open-Source-Framework von Microsoft zur Orchestrierung mehrerer KI-Agenten, und Fara, ein computergestützter Agent. In Langfords Aussage bestand „ein Großteil der Arbeit von AIF darin, herauszufinden, wie man Agenten zum Funktionieren bringt.“

Weniger sichtbar war die Grundlagenforschung der Gruppe. Ein New Yorker Kontingent verfolgte, was Langford als neue Kernfähigkeiten beschreibt: ein „Next Latent“-Ziel, das die Extrapolation von Modellen ermöglicht, einen Optimierer namens Dion3, der Muon verbessert, und einen „Full Bandwidth Transformer“, der Modelle durch Rekursion wesentlich leistungsfähiger machen soll.

Die Gruppe versuchte außerdem, die Infrastruktur mit dem Rest von Microsoft Research zu teilen und ein Monorepo aufrechtzuerhalten, das allen MSR-Forschern offen stand. Dieses Repository enthielt eine Edge-Scale-Pre-Training-Codebasis, die Langford letzten Monat auf der COLM-Konferenz vorgestellt hatte – ein Detail, das er als unbedeutend bezeichnet, das er jedoch verwendet, um zu unterstreichen, wie viel Aufwand der Aufbau einer funktionierenden Model-Training-Pipeline erfordert, und wies darauf hin, dass drei andere interne Teams das Gleiche ohne eine gemeinsame Grundlage versuchten.

Die September-Reorg

Anfang September hat Microsoft AI Frontiers in Microsoft AI integriert, die viel größere Produktabteilung, in der die KI-Bemühungen des Unternehmens für Verbraucher und Unternehmen untergebracht sind. Auf dem Papier, räumt Langford ein, war der Schritt sinnvoll: Die Kombination zweier KI-Organisationen konzentrierte den Aufwand, und jede hatte Stärken, die der anderen fehlten.

In der Praxis sei die Fusion an der Philosophie gescheitert, schreibt er. „Die Kernphilosophie dort ist Skalierung und nicht aggressive Forschung“, sagt Langford über die frühere Führung von Microsoft AI bei Inflection – eine Anspielung auf das Team, das vom Startup Inflection AI zu Microsoft kam und nun unter seiner Führung die Richtung der Abteilung prägt. Seine Darstellung der daraus resultierenden Ökonomie ist unverblümt: Größere Modelle liefern bessere Vorhersagen, und „Skalenerträge sind weitaus vorhersehbarer als Forschungserträge“, sodass sich eine Skalierungs-First-Organisation eher auf die Erfassung und Verfeinerung von Daten als auf neue Methoden konzentriert.

Dieser Fokus, so argumentiert er, sei „ziemlich weit entfernt“ von der grundlegenden Arbeit, die AI Frontiers leistete – und abgesehen von der philosophischen Diskrepanz sei die Begrüßung seiner Meinung nach bestenfalls lauwarm gewesen. „Es gab viele Beweise dafür, dass sie uns einfach nicht wirklich wollten“, schreibt Langford und nennt die Situation „eine schwierige Situation“. Er verschont seine eigene Sicht auf den Kompromiss nicht und bezeichnet den reinen Skalierungsansatz als fehlgeleitet, obwohl die gesamte Argumentation über den Punkt hinausgeht, den er in dem Beitrag explizit darlegt.

Forschung vs. Skalierung, über Microsoft hinaus

Der Aufsatz findet inmitten einer breiteren Branchendebatte darüber statt, ob Frontier Labs echte Forschungsorganisationen entlang der Produktzeitpläne unterstützen können. Microsoft steht mit der Konsolidierung der KI-Forschung unter produktorientierter Führung nicht allein da, doch Langfords Darstellung geht ungewöhnlich konkret auf die Mechanismen ein: eine kleine, produktive Gruppe, die nach einer Unternehmensumstrukturierung weder einen Auftrag noch eine Begrüßung erhielt und deren Infrastrukturbeiträge stillschweigend absorbiert wurden.

Die Diskussion auf Hacker News, wo der Beitrag Hunderte von Kommentaren hervorrief, konzentrierte sich größtenteils auf diese Spannung – ob Autopsien wie diese eine unvermeidliche Reifung der KI-Forschung in Unternehmen beschreiben oder einen strategischen Fehler, bei dem Labore dauerhafte methodische Vorteile gegen vorhersehbare Skalierungsgewinne eintauschen. Kommentatoren wiesen auch auf die Ironie hin, dass AutoGen, eines der wichtigsten Projekte von AI Frontiers, dazu beigetragen hat, die Kategorie der Agenten-Orchestrierung zu definieren, die heute die AI-Roadmaps von Unternehmen dominiert.

Für Microsoft ist die Episode eine Reputationsfußnote mit praktischen Auswirkungen. Das Unternehmen hat seine KI-Strategie auf die Auslieferungsfrequenz von Microsoft AI ausgerichtet, und Langford behauptet nicht, dass die fusionierte Organisation schlechtere Produkte entwickeln wird. Sein Anliegen ist enger und gezielter: dass die Pipeline für neue Ideen – die Leute, die Infrastruktur, die Toleranz gegenüber unbewiesenen Ansätzen – genau das ist, wofür eine Skalierungs-First-Abteilung am wenigsten Nutzen hat, bis sie eines Tages braucht.

Weder Langfords Beitrag noch die von ihm beschriebene Umstrukturierung ändern das, was Benutzer heute sehen, aber sie verdeutlichen, wie Microsoft jetzt seine KI-Wetten sortiert. Forschung, die in einen Maßstab umgewandelt werden kann, ist in; Forschung, die die Bedeutung von „Größe“ verändern könnte, befindet sich bestenfalls auf Bewährung. Wie Langford es im Titel des Beitrags ausdrückt, ist dies das Ende von AI Frontiers – und ein wichtiger Punkt im Streit darüber, wofür die KI-Forschung in Unternehmen da ist.

Bleiben Sie der KI immer einen Schritt voraus

Das KI-Geschäft wird in Echtzeit neu geschrieben, und die in Laboren wie dem von Microsoft getroffenen Entscheidungen prägen die Werkzeuge, die alle anderen übernehmen. Verfolgen Sie jede Entwicklung in unserer KI-Berichterstattung.

Weitere KI-Neuigkeiten lesen →