De AI Frontiers Group van Microsoft Research is voorbij, schrijft oprichter, omdat Microsoft AI de voorkeur geeft aan schaalvergroting boven onderzoek

De AI Frontiers-groep van Microsoft Research – de ruwweg vijftigkoppige eenheid achter het AutoGen-agentorkestratieframework en de Fara-computergebruiksagent – ​​heeft zijn einde bereikt, volgens een openhartig eerste-persoonsverslag dat deze week is gepubliceerd door machine learning-onderzoeker John Langford, die de groep in 2023 binnen MSR organiseerde. Langford schrijft dat het team begin september werd opgenomen in Microsoft AI en dat de reorganisatie in de praktijk geen ruimte liet voor de onderzoeksagenda. Het bericht raakte een gevoelige snaar: het overtrof Hacker News binnen enkele uren met meer dan 300 punten, en het biedt een van de meest gedetailleerde insiderverslagen tot nu toe over hoe de verschuiving van de industrie van onderzoek naar schaalvergroting zich afspeelt in een groot laboratorium. We volgen de gevolgen in onze bedrijfsnieuwsverslaggeving over AI.

Wat AI Frontiers heeft gebouwd

Langford herleidt de oorsprong van de groep tot de maanden na de release van ChatGPT, toen hij concludeerde dat zinvol AI-onderzoek binnen Microsoft meer structuur nodig had dan het traditionele model van MSR. ‘De hoeveelheid steun en focus die andere onderzoeksgroepen toepasten was zo groot dat zelfs als een slim idee door één persoon werd nagestreefd, het waarschijnlijk te laat en niet overtuigend zou aankomen’, schrijft hij, waarin hij uitlegt dat een solo-onderzoeker geen basislijnen kan samenstellen die sterk genoeg zijn om te bewijzen dat een idee de moeite waard was om na te streven.

Dus organiseerden Langford en gelijkgestemde collega's AI Frontiers als een suborganisatie van ongeveer vijftig mensen, opzettelijk niet top-down of bottom-up gestructureerd, maar 'ergens in het rommelige midden'. De meest zichtbare output van de groep werd toegepast: AutoGen, het veelgebruikte open-sourceframework van Microsoft voor het orkestreren van meerdere AI-agents, en Fara, een agent voor computergebruik. Volgens Langford bestond een groot deel van het werk van AIF uit het uitzoeken hoe agenten konden werken.

Minder zichtbaar was het fundamentele onderzoek van de groep. Een contingent uit New York streefde naar wat Langford beschrijft als nieuwe kernmogelijkheden: een 'Next Latent'-doelstelling waarmee modellen kunnen extrapoleren, een optimizer genaamd Dion3 die Muon verbetert, en een' Full Bandwidth Transformer 'die is ontworpen om modellen aanzienlijk krachtiger te maken door middel van recursie.

De groep probeerde ook de infrastructuur te delen met de rest van Microsoft Research, waarbij ze een monorepo in stand hielden die open stond voor alle MSR-onderzoekers. Die repository bevatte een pretraining-codebase op edge-schaal die Langford vorige maand op de COLM-conferentie presenteerde - een detail dat hij klein noemt, maar wel een detail dat hij gebruikt om te onderstrepen hoeveel moeite het kost om een ​​werkende pijplijn voor modeltraining op te bouwen, waarbij hij opmerkte dat drie andere interne teams hetzelfde probeerden zonder een gedeelde basis.

De septemberreorg

Begin september heeft Microsoft AI Frontiers samengevoegd tot Microsoft AI, de veel grotere productdivisie die de AI-inspanningen van het bedrijf voor consumenten en ondernemingen huisvest. Op papier, zo geeft Langford toe, was de stap logisch: het combineren van twee AI-organisaties concentreert de inspanningen, en elk had sterke punten die de ander miste.

In de praktijk, zo schrijft hij, strandde de fusie op filosofie. "De kernfilosofie daar is schaalvergroting, en agressief geen onderzoek", zegt Langford over het voormalige Inflection-leiderschap van Microsoft AI - een verwijzing naar het team dat zich bij Microsoft voegde vanuit startup Inflection AI, dat nu onder zijn leiding de richting van de divisie bepaalt. Zijn formulering van de resulterende economie is bot: grotere modellen leveren betere voorspellingen op, en ‘opbrengsten op schaal zijn veel voorspelbaarder dan opbrengsten uit onderzoek’, dus concentreert een op schaal gerichte organisatie zich op het verwerven en verfijnen van gegevens in plaats van op nieuwe methoden.

Die focus, zo betoogt hij, ligt “een behoorlijke stap verwijderd” van het fundamentele werk dat AI Frontiers deed – en afgezien van de filosofische mismatch, zegt hij dat de ontvangst op zijn best lauw was. "Er was voldoende bewijs dat ze ons gewoon niet echt wilden", schrijft Langford, en noemt de situatie "moeilijk om in te verkeren." Hij spaart zijn eigen visie op de afweging niet en beschrijft de benadering die uitsluitend op schaal is gericht als verkeerd gericht, hoewel het volledige argument verder reikt dan het punt dat hij expliciet in de post maakt.

Onderzoek versus schaalvergroting, verder dan Microsoft

Het essay komt terecht in een breder debat in de sector over de vraag of grenslaboratoria naast producttijdlijnen ook echte onderzoeksorganisaties kunnen ondersteunen. Microsoft is zeker niet de enige die AI-onderzoek consolideert onder productgericht leiderschap, maar Langfords verhaal is ongebruikelijk specifiek over de mechanismen: een kleine, productieve groep die noch een mandaat noch een welkom kreeg na een bedrijfsreorganisatie, terwijl de bijdragen aan de infrastructuur stilletjes werden geabsorbeerd.

De discussie op Hacker News, waar de post honderden commentaren trok, concentreerde zich grotendeels op die spanning – of autopsies zoals deze een onvermijdelijke rijping van AI-onderzoek door bedrijven beschrijven, of een strategische fout waarbij laboratoria duurzame methodologische voordelen inruilen voor voorspelbare schaalvoordelen. Commentatoren wezen ook op de ironie dat AutoGen, een van de kenmerkende projecten van AI Frontiers, heeft geholpen bij het definiëren van de categorie agent-orkestratie die nu de AI-roadmaps van ondernemingen domineert.

Voor Microsoft is de aflevering een reputatievoetnoot met praktische implicaties. Het bedrijf heeft zijn AI-strategie gebaseerd op de verzendfrequentie van Microsoft AI, en Langford beweert niet dat de gefuseerde organisatie slechtere producten zal bouwen. Zijn zorg is smaller en gerichter: dat de pijplijn voor nieuwe ideeën – de mensen, de infrastructuur, de tolerantie voor onbewezen benaderingen – precies is waar een opschaling-eerste divisie het minst nut aan heeft, tot de dag dat ze er een nodig heeft.

Noch Langfords post, noch de reorganisatie die hij beschrijft, verandert wat gebruikers vandaag de dag zien, maar ze verduidelijken wel hoe Microsoft nu zijn AI-weddenschappen sorteert. Onderzoek dat op schaal kan worden omgezet, is in; onderzoek dat zou kunnen veranderen wat schaal betekent, is op zijn best op proef. Zoals Langford het in de titel van het bericht zegt, is dit het einde van AI Frontiers – en een datapunt in de discussie over waar AI-onderzoek van bedrijven voor dient.

Blijf AI een stap voor

De business van AI wordt in realtime herschreven, en de beslissingen die in laboratoria zoals die van Microsoft worden genomen, vormen de tools die alle anderen erven. Volg elke ontwikkeling in onze AI-nieuwsverslaggeving.

Lees meer AI-nieuws →