Skupina AI Frontiers Group společnosti Microsoft Research skončila, zakladatel píše, protože Microsoft AI upřednostňuje škálování před výzkumem

Skupina AI Frontiers společnosti Microsoft Research – zhruba 50členná jednotka stojící za rámcem pro orchestraci agentů AutoGen a agentem pro používání počítačů Fara – dosáhla svého konce, podle upřímného účtu z pohledu první osoby zveřejněného tento týden výzkumníkem strojového učení Johnem Langfordem, který zorganizoval skupinu v rámci MSR v roce 2023. Langford píše, že tým byl začleněn do výzkumné agendy Microsoft AI, na začátku září nezanechal žádnou reorganizaci. Příspěvek zasáhl nervy: překonal Hacker News s více než 300 body během několika hodin a nabízí jednu z dosud nejpodrobnějších zasvěcených zpráv o tom, jak se ve velké laboratoři odehrává posun odvětví od výzkumu k škálování. Dopad sledujeme v našem zpravodajství z oblasti AI.

Co vytvořila AI Frontiers

Langford sleduje původ skupiny měsíce po vydání ChatGPT, kdy dospěl k závěru, že smysluplný výzkum AI uvnitř Microsoftu potřebuje více struktury než tradiční model MSR. "Množství podpory a zaměření, které ostatní výzkumné skupiny uplatňovaly, bylo dostatečně velké na to, že i když chytrý nápad prosazoval jeden člověk, pravděpodobně přišel pozdě a nepřesvědčivě," píše a vysvětluje, že samostatný výzkumník nedokázal sestavit dostatečně silné základní linie, aby dokázal, že nápad stojí za to pokračovat.

Langford a podobně smýšlející kolegové tedy zorganizovali AI Frontiers jako podorganizaci asi 50 lidí, záměrně nestrukturovanou ani shora dolů, ani zdola nahoru, ale „někde uprostřed chaotického středu“. Byl použit nejviditelnější výstup skupiny: AutoGen, široce používaný open-source rámec Microsoftu pro orchestraci více agentů AI, a Fara, agent pro použití na počítači. Langford řekl, že „velká část práce AIF spočívala ve vymýšlení toho, jak přimět agenty, aby fungovali“.

Méně viditelný byl základní výzkum skupiny. Newyorský kontingent sledoval to, co Langford popisuje jako nové základní schopnosti: cíl „Next Latent“, který umožňuje extrapolaci modelů, optimalizátor nazvaný Dion3, který vylepšuje Muon, a „Full Bandwidth Transformer“ navržený tak, aby modely byly podstatně výkonnější prostřednictvím rekurze.

Skupina se také pokusila sdílet infrastrukturu se zbytkem společnosti Microsoft Research a udržovat monorepo otevřené všem výzkumníkům MSR. Toto úložiště zahrnovalo předtréninkovou kódovou základnu, kterou Langford představil minulý měsíc na konferenci COLM – detail, který nazývá nepodstatným, ale používá ho k tomu, aby podtrhl, kolik úsilí vyžaduje vybudování funkčního potrubí pro trénování modelů, a poznamenal, že tři další interní týmy se pokoušely o totéž bez společného základu.

Zářijová reorg

Začátkem září Microsoft složil AI Frontiers do Microsoft AI, mnohem větší produktové divize, která zastřešuje úsilí společnosti o AI pro spotřebitele a podniky. Na papíře, Langford připouští, že tento krok dával smysl: spojení dvou organizací s umělou inteligencí soustředí úsilí a každá měla silné stránky, které ta druhá postrádala.

V praxi, píše, fúze ztroskotala na filozofii. „Základní filozofií je škálování a agresivně ne výzkum,“ říká Langford o bývalém vedení společnosti Microsoft AI v Inflection – narážce na tým, který se připojil k Microsoftu ze startupu Inflection AI, který nyní pod jeho vedením utváří směřování divize. Jeho rámování výsledné ekonomie je neomalené: větší modely produkují lepší předpovědi a „návraty z rozsahu jsou mnohem předvídatelnější než návraty do výzkumu“, takže organizace, která se zaměřuje na první škálování, se soustředí spíše na získávání a zpřesňování dat než na nové metody.

Tvrdí, že toto zaměření je „docela krůček“ od základní práce AI Frontiers – a kromě filozofického nesouladu říká, že přivítání bylo přinejlepším vlažné. "Existovalo mnoho důkazů, že nás prostě ve skutečnosti nechtěli," píše Langford a nazval situaci "těžkou, ve které se ocitnete." Nešetří svým vlastním pohledem na kompromis a popisuje přístup pouze škálování jako nesprávně zaměřený, ačkoli celý argument přesahuje bod, který v příspěvku výslovně uvádí.

Výzkum vs. škálování, mimo Microsoft

Esej se nachází uprostřed širší průmyslové debaty o tom, zda hraniční laboratoře mohou udržet skutečné výzkumné organizace vedle produktových časových plánů. Microsoft je stěží sám, kdo konsoliduje výzkum AI pod vedením zaměřeným na produkty, ale Langfordova zpráva je neobvykle specifická ohledně mechaniky: malá, produktivní skupina, která po firemní reorganizaci nedostala ani mandát, ani vítána, a její příspěvky na infrastrukturu byly tiše absorbovány.

Diskuse na Hacker News, kde příspěvek vyvolal stovky komentářů, se z velké části soustředila na toto napětí – ať už pitvy, jako je tato, popisují nevyhnutelné dozrávání korporátního výzkumu AI, nebo strategickou chybu, ve které laboratoře vyměňují trvalé metodologické výhody za předvídatelné zisky z škálování. Komentátoři také upozornili na ironii, že AutoGen, jeden z podpisových projektů AI Frontiers, pomohl definovat kategorii agent-orchestration, která nyní dominuje podnikovým plánům AI.

Pro Microsoft je tato epizoda reputační poznámkou pod čarou s praktickými důsledky. Společnost vsadila svou strategii umělé inteligence na kadenci AI společnosti Microsoft a Langford netvrdí, že sloučená organizace bude vyrábět horší produkty. Jeho obava je užší a cílenější: že kanál pro nové nápady – lidé, infrastruktura, tolerance k neověřeným přístupům – je přesně to, k čemu má škálovací první divize nejméně využití, až do dne, kdy je potřebuje.

Langfordův příspěvek ani reorganizace, kterou popisuje, nemění to, co uživatelé dnes vidí, ale objasňují, jak nyní Microsoft třídí své sázky na umělou inteligenci. Výzkum, který lze přeměnit v měřítko, je in; výzkum, který by mohl změnit význam měřítka, je v nejlepším případě ve zkušební době. Jak Langford uvádí v názvu příspěvku, toto je konec hranic umělé inteligence – a datový bod v argumentu, k čemu je podnikový výzkum umělé inteligence.

Udržujte si náskok před AI

Podnikání v oblasti umělé inteligence se přepisuje v reálném čase a rozhodnutí učiněná v laboratořích, jako je Microsoft, utvářejí nástroje, které všichni ostatní zdědí. Sledujte každý vývoj v našem zpravodajství o AI.

Přečtěte si další zprávy o AI →