Microsoft Researchs AI Frontiers-grupp – den ungefär 50-mannasamma enheten bakom AutoGen agent orkestreringsramverket och Fara datoranvändningsagenten – har nått sitt slut, enligt ett uppriktigt förstapersonskonto publicerat den här veckan av maskininlärningsforskaren John Langford, som organiserade gruppen inom MSR 2023. Langford skriver att teamet absorberades av Microsofts omorganisering i början av september och den där praktiken, utan i september, i den här övningen. Inlägget slog en nerv: det toppade Hacker News med mer än 300 poäng inom några timmar, och det erbjuder en av de mest detaljerade insiderberättelserna hittills om hur branschens övergång från forskning till skalning utspelar sig i ett stort labb. Vi spårar nedfallet i vår AI-affärsnyheter.

Vad AI Frontiers byggt

Langford spårar gruppens ursprung till månaderna efter ChatGPT:s release, då han drog slutsatsen att meningsfull AI-forskning inom Microsoft behövde mer struktur än MSR:s traditionella modell. "Mängden stöd och fokus som andra forskargrupper tillämpade var tillräckligt stor för att även med en smart idé som följts av en person var den sannolikt att komma sent och föga övertygande", skriver han och förklarar att en soloforskare inte kunde sätta ihop baslinjer som var tillräckligt starka för att bevisa att en idé var värd att fortsätta.

Så Langford och likasinnade kollegor organiserade AI Frontiers som en underorganisation med cirka 50 personer, medvetet strukturerad varken uppifrån och ner eller nerifrån utan "någonstans i det röriga mitten". Gruppens mest synliga resultat användes: AutoGen, Microsofts allmänt använda ramverk med öppen källkod för att orkestrera flera AI-agenter, och Fara, en agent för datoranvändning. I Langfords berättande var "mycket av AIFs arbete att ta reda på hur man får agenter att fungera."

Mindre synlig var gruppens grundforskning. En kontingent från New York eftersträvade vad Langford beskriver som nya kärnfunktioner: ett "Next Latent"-mål som gör det möjligt för modeller att extrapolera, en optimerare som heter Dion3 som förbättrar Muon, och en "Full Bandwidth Transformer" utformad för att göra modeller betydligt mer kraftfulla genom rekursion.

Gruppen försökte också dela infrastruktur med resten av Microsoft Research, och bibehöll en monorepo öppen för alla MSR-forskare. Det förrådet inkluderade en kodbas för förträning i edge-scale som Langford presenterade vid förra månadens COLM-konferens – en detalj som han kallar mindre, men en han använder för att understryka hur mycket ansträngning en fungerande modellutbildningspipeline tar att bygga, och noterade att tre andra interna team försökte samma sak utan en gemensam grund.

Septemberreorgen

I början av september vek Microsoft AI Frontiers till Microsoft AI, den mycket större produktdivisionen som rymmer företagets AI-insatser för konsumenter och företag. På pappret, medger Langford, var flytten vettig: att kombinera två AI-organisationer koncentrerar ansträngning, och var och en hade styrkor som den andra saknade.

I praktiken, skriver han, grundade fusionen på filosofi. "Kärnfilosofin där är skalning, och aggressivt inte forskning," säger Langford om Microsoft AI:s före detta Inflection-ledarskap - en referens till teamet som anslöt sig till Microsoft från startup Inflection AI, som nu formar divisionens riktning under dess ledning. Hans inramning av den resulterande ekonomin är trubbig: större modeller ger bättre förutsägelser, och "återgång till skala är mycket mer förutsägbar än avkastning till forskning", så en organisation som först börjar med skalning koncentrerar sig på att skaffa och förfina data snarare än på nya metoder.

Det fokuset, hävdar han, är "ganska ett steg bort" från det grundläggande arbete som AI Frontiers gjorde - och bortom den filosofiska oöverensstämmelsen, säger han att välkomnandet i bästa fall var ljummet. "Det fanns gott om bevis för att de helt enkelt inte ville ha oss", skriver Langford och kallar situationen "en svår att hamna i." Han skonar inte sin egen uppfattning om avvägningen, och beskriver den skalningsbara metoden som missriktad, även om hela argumentationen sträcker sig bortom den punkt han uttryckligen gör i inlägget.

Forskning vs. skalning, bortom Microsoft

Uppsatsen landar mitt i en bredare industridebatt om huruvida frontier labs kan upprätthålla genuina forskningsorganisationer vid sidan av produkttidslinjer. Microsoft är knappast ensamma om att konsolidera AI-forskning under produktfokuserat ledarskap, men Langfords redogörelse är ovanligt specifik när det gäller mekaniken: en liten, produktiv grupp som varken fått mandat eller välkomnande efter en företagsrekonstruktion, med dess bidrag från infrastrukturen tyst absorberade.

Diskussionen om Hacker News, där inlägget drog hundratals kommentarer, centrerades till stor del på den spänningen – oavsett om obduktioner som denna beskriver en oundviklig mognad av företagens AI-forskning, eller ett strategiskt fel där laboratorier byter ut varaktiga metodologiska fördelar mot förutsägbara skalningsvinster. Kommentarer flaggade också för ironin att AutoGen, ett av AI Frontiers signaturprojekt, hjälpte till att definiera kategorin agentorkestrering som nu dominerar företags AI-färdplaner.

För Microsoft är avsnittet en anseende fotnot med praktiska implikationer. Företaget har satsat sin AI-strategi på Microsoft AI:s fraktkadens, och Langford hävdar inte att den sammanslagna organisationen kommer att bygga sämre produkter. Hans oro är snävare och mer tillspetsad: att pipelinen för nya idéer – människorna, infrastrukturen, toleransen för oprövade tillvägagångssätt – är precis vad en scaling-first division har minst användning för, tills den dag den behöver en.

Varken Langfords inlägg eller omorganisationen han beskriver ändrar vad användarna ser idag, men de klargör hur Microsoft nu sorterar sina AI-satsningar. Forskning som kan omvandlas till skala finns i; forskning som kan förändra vad skala betyder är i bästa fall på prov. Som Langford uttrycker det i inläggets rubrik är detta slutet på AI Frontiers – och en datapunkt i argumentet om vad företagens AI-forskning är till för.

Ligg före AI

AI-verksamheten skrivs om i realtid, och de beslut som fattas i labb som Microsofts formar verktygen som alla andra ärver. Följ varje utveckling i vår AI-nyhetsbevakning.

Läs mer AI-nyheter →