Grupul AI Frontiers de la Microsoft Research s-a încheiat, scrie fondatorul, deoarece Microsoft AI favorizează extinderea în detrimentul cercetării

Grupul AI Frontiers de la Microsoft Research - unitatea de aproximativ 50 de persoane din spatele cadrului de orchestrare a agenților AutoGen și a agentului de utilizare a computerului Fara - a ajuns la final, potrivit unui cont sincer la persoana întâi publicat săptămâna aceasta de cercetătorul în învățarea automată John Langford, care a organizat grupul în cadrul MSR în 2023. Langford scrie că echipa a fost absorbită de cercetarea Microsoft la începutul lunii septembrie, iar reorganizarea AI nu a lăsat în practică. Postarea a lovit un nervi: a depășit Hacker News cu peste 300 de puncte în câteva ore și oferă una dintre cele mai detaliate relatări de până acum despre modul în care trecerea industriei de la cercetare la scară se desfășoară într-un laborator major. Urmărim consecințele în acoperirea știrilor de afaceri AI.

Ce a construit frontierele AI

Langford urmărește originea grupului în lunile după lansarea ChatGPT, când a concluzionat că cercetarea AI semnificativă în cadrul Microsoft avea nevoie de mai multă structură decât modelul tradițional MSR. „Sprijinul și concentrarea aplicate de alte grupuri de cercetare a fost suficient de mare încât, chiar și cu o idee inteligentă urmărită de o singură persoană, era probabil să ajungă târziu și să nu fie convingătoare”, scrie el, explicând că un cercetător solo nu a putut aduna linii de bază suficient de puternice pentru a dovedi că o idee merită urmărită.

Așa că Langford și colegii care au părerea similară au organizat AI Frontiers ca o sub-organizație de aproximativ 50 de oameni, structurată în mod deliberat nici de sus în jos, nici de jos în sus, ci „undeva la mijloc dezordonat”. Cea mai vizibilă rezultate a grupului a fost aplicată: AutoGen, cadrul open-source utilizat pe scară largă de Microsoft pentru orchestrarea mai multor agenți AI și Fara, un agent de utilizare a computerului. În povestirea lui Langford, „o mare parte din munca AIF a fost să descopere cum să-i facă pe agenți să funcționeze”.

Mai puțin vizibilă a fost cercetarea fundamentală a grupului. Un contingent din New York a urmărit ceea ce Langford descrie ca noi capabilități de bază: un obiectiv „Next Latent” care permite modelelor să extrapoleze, un optimizator numit Dion3 care îmbunătățește Muon și un „Full Bandwidth Transformer” conceput pentru a face modelele mult mai puternice prin recursivitate.

De asemenea, grupul a încercat să partajeze infrastructura cu restul Microsoft Research, menținând un monorepo deschis tuturor cercetătorilor MSR. Acel depozit a inclus o bază de cod de preformare la scară de vârf, prezentată de Langford la conferința COLM de luna trecută – un detaliu pe care îl numește minor, dar pe care îl folosește pentru a sublinia cât de mult efort este nevoie pentru a construi o conductă de formare a modelelor, observând că alte trei echipe interne au încercat același lucru fără o bază comună.

Septembrie Reorg

La începutul lunii septembrie, Microsoft a integrat AI Frontiers în Microsoft AI, divizia de produse mult mai mare care găzduiește eforturile companiei de IA pentru consumatori și întreprinderi. Pe hârtie, recunoaște Langford, mișcarea avea sens: combinarea a două organizații AI concentrează efortul și fiecare avea punctele forte care le lipseau celeilalte.

În practică, scrie el, fuziunea sa prăbușit pe filozofie. „Filozofia de bază este scalarea și nu cercetarea în mod agresiv”, spune Langford despre fosta conducere a Microsoft AI, o referire la echipa care s-a alăturat Microsoft de la startup-ul Inflection AI, care modelează acum direcția diviziei sub conducerea sa. Încadrarea lui asupra economiei rezultate este clară: modelele mai mari produc predicții mai bune, iar „revenirile la scară sunt mult mai previzibile decât randamentele cercetării”, așa că o organizație care se concentrează pe scară mai întâi se concentrează pe achiziționarea și rafinarea datelor, mai degrabă decât pe noi metode.

Această concentrare, susține el, este „la un pas departe” de munca fundamentală pe care o făcea AI Frontiers – și dincolo de nepotrivirea filosofică, el spune că primirea a fost în cel mai bun caz călduță. „Existau o mulțime de dovezi că pur și simplu nu ne doreau cu adevărat”, scrie Langford, numind situația „una grea în care să te regăsești”. El nu își scutește propria viziune asupra compromisului, descriind abordarea doar de scalare ca fiind greșită, deși argumentul complet se extinde dincolo de punctul pe care îl face în mod explicit în postare.

Cercetare vs. Scaling, dincolo de Microsoft

Eseul aterizează pe fondul unei dezbateri mai ample din industrie despre dacă laboratoarele de frontieră pot susține organizații de cercetare autentice, alături de cronologia produselor. Microsoft nu este singurul în consolidarea cercetării AI sub conducerea axată pe produs, dar relatarea lui Langford este neobișnuit de specifică în ceea ce privește mecanica: un grup mic, productiv, care nu a primit nici un mandat, nici un bun venit după o reorganizare corporativă, cu contribuțiile sale la infrastructură absorbite în liniște.

Discuția de la Hacker News, unde postarea a atras sute de comentarii, s-a centrat în mare parte pe această tensiune – dacă autopsiile ca aceasta descriu o maturizare inevitabilă a cercetării AI corporative sau o eroare strategică în care laboratoarele comercializează avantaje metodologice durabile pentru câștiguri previzibile de scalare. De asemenea, comentatorii au semnalat ironia că AutoGen, unul dintre proiectele semnături ale AI Frontiers, a contribuit la definirea categoriei de agent-orchestrare care domină acum foile de parcurs ale AI pentru întreprinderi.

Pentru Microsoft, episodul este o notă de subsol reputațională cu implicații practice. Compania și-a mizat strategia AI pe cadența de expediere a Microsoft AI, iar Langford nu susține că organizația fuzionată va construi produse mai proaste. Preocuparea lui este mai restrânsă și mai accentuată: că conducta pentru idei noi - oamenii, infrastructura, toleranța față de abordări nedovedite - este exact ceea ce o divizie de scalare-prima are cel mai puțin folos, până în ziua în care are nevoie de una.

Nici postarea lui Langford, nici reorganizarea pe care o descrie nu schimbă ceea ce văd utilizatorii astăzi, dar clarifică modul în care Microsoft își sortează acum pariurile AI. Cercetarea care poate fi transformată în scară este în; cercetarea care ar putea schimba ceea ce înseamnă scara este, în cel mai bun caz, în probațiune. Așa cum spune Langford în titlul postării, acesta este sfârșitul AI Frontiers - și un punct de date în argumentul asupra scopului cercetării AI corporative.

Rămâi înaintea AI

Afacerea AI este rescrisă în timp real, iar deciziile luate în laboratoare precum Microsoft modelează instrumentele pe care toți ceilalți le moștenesc. Urmărește fiecare dezvoltare în acoperirea știrilor AI.

Citiți mai multe știri AI →