Założyciel pisze, że prace nad grupą AI Frontiers Group firmy Microsoft Research dobiegły końca, ponieważ sztuczna inteligencja firmy Microsoft woli skalowanie niż badania

Według szczerej relacji pierwszoosobowej opublikowanej w tym tygodniu przez badacza uczenia maszynowego Johna Langforda, który zorganizował grupę w MSR w 2023 r., grupa AI Frontiers firmy Microsoft Research — około 50-osobowa jednostka odpowiedzialna za platformę orkiestracji agentów AutoGen i agenta do obsługi komputerów Fara — dobiegła końca. Langford pisze, że zespół został wchłonięty przez sztuczną inteligencję firmy Microsoft na początku września i że w praktyce reorganizacja nie pozostawiła miejsca dla jego programu badawczego. Post wywołał nerwy: w ciągu kilku godzin osiągnął szczyt Hacker News z ponad 300 punktami i zawiera jedną z najbardziej szczegółowych relacji poufnych w historii tego, jak przejście w branży od badań do skalowania przebiega w dużym laboratorium. Śledzimy skutki tej sytuacji w wiadomościach biznesowych dotyczących sztucznej inteligencji.

Co zbudowały granice AI

Langford śledzi początki grupy w miesiącach po wydaniu ChatGPT, kiedy to doszedł do wniosku, że znaczące badania nad sztuczną inteligencją wewnątrz Microsoftu wymagają większej struktury niż tradycyjny model MSR. „Ilość wsparcia i skupienie, jakie przykładały inne grupy badawcze, były na tyle duże, że nawet sprytny pomysł zrealizowany przez jedną osobę prawdopodobnie pojawił się późno i był nieprzekonujący” – pisze, wyjaśniając, że indywidualny badacz nie był w stanie zebrać wystarczająco mocnych założeń, aby udowodnić, że pomysł jest wart realizacji.

Zatem Langford i podobnie myślący współpracownicy zorganizowali AI Frontiers jako podorganizację składającą się z około 50 osób, celowo ustrukturyzowaną ani odgórną, ani oddolną, ale „gdzieś po środku”. Zastosowano najbardziej widoczne osiągnięcia grupy: AutoGen, powszechnie używaną platformę Microsoftu o otwartym kodzie źródłowym do organizowania wielu agentów AI, oraz Fara, agent do obsługi komputera. Według Langforda „większość pracy AFI polegała na zastanawianiu się, jak sprawić, by agenci zaczęli działać”.

Mniej widoczne były badania podstawowe grupy. Kontyngent z Nowego Jorku pracował nad tym, co Langford określa jako nowe podstawowe możliwości: celem „Następny utajony”, który umożliwia ekstrapolację modeli, optymalizatorem o nazwie Dion3, który ulepsza działanie Muon, oraz „Transformatorem o pełnej przepustowości” zaprojektowanym w celu znacznego zwiększenia wydajności modeli poprzez rekursję.

Grupa próbowała także dzielić infrastrukturę z resztą działu Microsoft Research, utrzymując monorepo otwarte dla wszystkich badaczy MSR. Repozytorium to zawierało bazę kodu do wstępnego szkolenia na poziomie brzegowym, zaprezentowaną przez Langforda na zeszłomiesięcznej konferencji COLM — szczegół, który nazywa drobnym, ale którego używa, aby podkreślić, ile wysiłku wymaga zbudowanie działającego potoku szkolenia modelu, zauważając, że trzy inne wewnętrzne zespoły próbowały tego samego bez wspólnych podstaw.

Wrześniowa reorganizacja

Na początku września Microsoft połączył AI Frontiers z Microsoft AI, znacznie większym działem produktów, w którym mieszczą się wysiłki firmy związane z sztuczną inteligencją dla konsumentów i przedsiębiorstw. Na papierze, przyznaje Langford, posunięcie to miało sens: połączenie dwóch organizacji zajmujących się sztuczną inteligencją koncentruje wysiłki, a każda z nich ma mocne strony, których brakuje drugiej.

W praktyce, pisze, fuzja upadła na filozofii. „Podstawową filozofią jest skalowanie, a nie badania” – mówi Langford o byłym kierownictwie Microsoft AI w firmie Inflection — nawiązuje to do zespołu, który dołączył do Microsoft ze start-upu Inflection AI, który pod swoim kierownictwem kształtuje obecnie kierunek działu. Jego sformułowanie wynikającej z tego ekonomii jest tępe: większe modele dają lepsze przewidywania, a „zysk skali jest znacznie bardziej przewidywalny niż zwrot z badań”, zatem organizacja stawiająca na skalowanie koncentruje się na pozyskiwaniu i udoskonalaniu danych, a nie na nowych metodach.

Jego zdaniem takie skupienie jest „dość o krok” od zasadniczej pracy, jaką wykonywała AI Frontiers – a poza filozoficznym niedopasowaniem, jego zdaniem powitanie było w najlepszym razie letnie. „Było mnóstwo dowodów na to, że tak naprawdę nas nie chcieli” – pisze Langford, nazywając tę ​​sytuację „trudną do znalezienia”. Nie szczędzi własnego poglądu na temat kompromisu, opisując podejście oparte wyłącznie na skalowaniu jako błędne, chociaż pełna argumentacja wykracza poza kwestię, którą wyraźnie przedstawił w poście.

Badania a skalowanie, poza Microsoft

Esej wpisuje się w szerszą debatę branżową na temat tego, czy pionierskie laboratoria są w stanie utrzymać prawdziwe organizacje badawcze równolegle z harmonogramem produktów. Microsoft nie jest osamotniony w konsolidowaniu badań nad sztuczną inteligencją pod kierownictwem skoncentrowanym na produktach, ale relacja Langforda jest niezwykle szczegółowa w odniesieniu do mechaniki: małej, produktywnej grupy, która po reorganizacji firmy nie otrzymała ani mandatu, ani powitania, a jej wkład w infrastrukturę został po cichu wchłonięty.

Dyskusja w Hacker News, gdzie post wywołał setki komentarzy, w dużej mierze skupiała się na tym napięciu – czy autopsje takie jak ta opisują nieuniknione dojrzewanie korporacyjnych badań nad sztuczną inteligencją, czy też błąd strategiczny, w wyniku którego laboratoria zamieniają trwałe korzyści metodologiczne na przewidywalne zyski w zakresie skalowania. Komentatorzy zwrócili także uwagę na ironię losu, ponieważ AutoGen, jeden z charakterystycznych projektów AI Frontiers, pomógł zdefiniować kategorię organizacji agentów, która obecnie dominuje w planach rozwoju sztucznej inteligencji przedsiębiorstw.

Dla Microsoftu ten epizod jest przypisem do reputacji, mającym praktyczne implikacje. Firma oparła swoją strategię sztucznej inteligencji na rytmie dostaw Microsoft AI, a Langford nie twierdzi, że połączona organizacja będzie tworzyć gorsze produkty. Jego troska jest węższa i bardziej wyraźna: że linia nowych pomysłów – ludzie, infrastruktura, tolerancja dla niesprawdzonych podejść – jest dokładnie tym, do czego dywizja stawiająca na skalowanie najmniej się przyda, aż do dnia, w którym będzie jej potrzebować.

Ani post Langforda, ani opisana przez niego reorganizacja nie zmieniają tego, co widzą dzisiaj użytkownicy, ale wyjaśniają, w jaki sposób Microsoft sortuje obecnie swoje zakłady na sztuczną inteligencję. Trwają badania, które można przełożyć na skalę; badania, które mogą zmienić znaczenie skali, są w najlepszym razie na okresie próbnym. Jak Langford ujął to w tytule posta, jest to koniec granic AI i punkt danych w sporze o cel korporacyjnych badań nad sztuczną inteligencją.

Wyprzedź sztuczną inteligencję

Działalność sztucznej inteligencji jest pisana na nowo w czasie rzeczywistym, a decyzje podejmowane w laboratoriach takich jak Microsoft kształtują narzędzia, które dziedziczą wszyscy inni. Śledź każdy rozwój sytuacji w naszych aktualnościach dotyczących sztucznej inteligencji.

Przeczytaj więcej aktualności o sztucznej inteligencji →