Microsoft ResearchのAIフロンティアグループは終わったと創設者が書く、Microsoft AIは研究よりもスケールアップを好む

AI Frontiers の創設者である John Langford 氏は、Microsoft が 50 人規模の研究部門を Microsoft AI に分割し、元 Inflection のリーダーが研究よりも規模の拡大を支持していると述べています。

2023年にMSR内でこのグループを組織した機械学習研究者のジョン・ラングフォード氏が今週発表した率直な一人称報告書によると、Microsoft ResearchのAIフロンティアーズ・グループ（AutoGenエージェント・オーケストレーション・フレームワークとFaraコンピュータ使用エージェントの背後にある約50人からなるユニット）は終焉を迎えたという。ラングフォード氏は、このチームは9月初旬にMicrosoft AIに吸収され、実際には再編によって研究課題の居場所がなくなったと書いている。この投稿は神経を揺さぶった。数時間以内に 300 ポイント以上を獲得してハッカーニュースのトップを獲得し、業界の研究から規模拡大への移行が主要な研究所内でどのように行われているかについて、これまでで最も詳細な内部情報の 1 つを提供した。私たちは AI ビジネスニュース報道でこの影響を追跡しています。

AI フロンティアが構築したもの

ラングフォード氏は、このグループの起源を、ChatGPT のリリース後の数カ月に遡ります。このとき、Microsoft 社内で有意義な AI 研究を行うには、MSR の従来のモデルよりもさらに多くの構造が必要であると結論付けました。「他の研究グループが適用していた支援と焦点の量が十分に多かったので、たとえ一人の人間が追求した賢明なアイデアであっても、到着が遅れて説得力に欠ける可能性が高かった」と彼は書いており、単独の研究者ではアイデアを追求する価値があることを証明するのに十分な強力なベースラインを組み立てることができなかったと説明している。

そこで、ラングフォード氏と志を同じくする同僚たちは、約 50 人からなる下部組織として AI フロンティアを組織し、トップダウンでもボトムアップでもなく「乱雑な中間のどこか」に意図的に構造化した。このグループの最も目に見える成果は、複数の AI エージェントを調整するために Microsoft で広く使用されているオープンソースフレームワークである AutoGen と、コンピューター使用エージェントである Fara です。ラングフォード氏の話によれば、「AIF の仕事の多くは、エージェントをどのように機能させるかを考えることであった」という。

同グループの基礎研究はあまり目立たなかった。ニューヨークの派遣団は、ラングフォード氏が新しいコア機能と表現するもの、つまりモデルの外挿を可能にする「Next Latent」目標、Muon を改良する Dion3 と呼ばれるオプティマイザー、再帰を通じてモデルを大幅に強力にするように設計された「全帯域幅トランスフォーマー」を追求しました。

このグループはまた、すべての MSR 研究者にオープンなモノレポを維持することで、他の Microsoft Research とインフラストラクチャを共有しようとしました。そのリポジトリには、ラングフォード氏が先月の COLM カンファレンスで発表したエッジスケールの事前トレーニングコードベースが含まれていました。これは彼が詳細ではないと呼んでいますが、他の 3 つの社内チームが共有基盤なしで同じことを試みていたことを指摘し、ワーキングモデルトレーニングパイプラインの構築にどれだけの労力がかかるかを強調するために使用しています。

9 月の再編成

9 月初旬、Microsoft は AI Frontiers を Microsoft AI に統合しました。Microsoft AI は、同社のコンシューマーおよびエンタープライズ AI への取り組みを収容するはるかに大きな製品部門です。ラングフォード氏は、机上ではこの動きは理にかなっていると認めている。2 つの AI 組織を統合することで労力が集中し、それぞれが他方にはない強みを持っているのだ。

実際のところ、この合併は哲学に基づいていると彼は書いている。「そこの中核となる哲学はスケーリングであり、研究ではありません」とラングフォード氏は Microsoft AI の元 Inflection リーダーについて語ります。これは、スタートアップの Inflection AI から Microsoft に加わったチームを指しており、現在はそのリーダーシップの下で部門の方向性を形成しています。結果として得られる経済学の彼の枠組みは率直です。モデルが大きければ大きいほど、より良い予測が得られ、「スケールへのリターンは研究へのリターンよりもはるかに予測可能である」ため、スケールファーストの組織は新しい手法ではなくデータの取得と洗練に集中します。

その焦点は、AI Frontiersが行っていた基本的な仕事からは「かなり離れている」と彼は主張し、哲学的な不一致を超えて、歓迎はよく言っても生ぬるいものであったと彼は言う。「彼らが本当に私たちを望んでいなかったという証拠はたくさんあった」とラングフォード氏は書き、この状況を「自分自身を見つけるのは難しいもの」と呼んだ。彼はトレードオフについての彼自身の見解を惜しまず、スケーリングのみのアプローチは間違った方向にあると述べていますが、完全な議論は彼が投稿で明示的に述べている点を超えています。

Microsoft を超えたリサーチとスケーリング

このエッセイは、フロンティアラボが製品のタイムラインと並行して真の研究組織を維持できるかどうかについての、より広範な業界の議論の真っ只中にあります。製品中心のリーダーシップの下で AI 研究を統合しているのは Microsoft だけではありませんが、Langford 氏の説明はその仕組みについて異常に具体的です。小規模で生産性の高いグループは、企業再編後に権限も歓迎も与えられず、インフラストラクチャへの貢献は静かに吸収されています。

この投稿に対して数百のコメントが寄せられたハッカーニュースでの議論は、主にその緊張に集中していた。今回のような解剖が企業のAI研究の避けられない成熟を説明しているのか、それとも研究室が予測可能な規模の利益のために永続的な方法論上の利点と引き換えにしている戦略的誤りを説明しているのか。コメント投稿者はまた、AI Frontiers の代表的なプロジェクトの 1 つである AutoGen が、現在エンタープライズ AI ロードマップを支配しているエージェントオーケストレーションカテゴリの定義に貢献したという皮肉にも警告しました。

Microsoft にとって、このエピソードは実際的な意味合いを伴う評判の脚注です。同社はAI戦略をMicrosoft AIの出荷ペースに賭けており、ラングフォード氏は合併した組織がより悪い製品を製造するとは主張していない。彼の懸念はより狭く、より尖ったものである。新しいアイデアのためのパイプライン、人材、インフラストラクチャ、実証されていないアプローチへの耐性は、まさにスケーリング優先の部門にとっては、それが必要になる日までは最も使い道がないものだということだ。

ラングフォード氏の投稿も、同氏が説明する組織再編も、ユーザーが今日目にするものを変えるものではないが、マイクロソフトが現在 AI への賭けをどのように分類しているかを明らかにしている。規模を拡大できる研究が始まっています。規模の意味を変える可能性のある研究は、せいぜい保護観察程度です。ラングフォード氏が投稿のタイトルで述べているように、これは AI フロンティアの終わりであり、企業の AI 研究の目的をめぐる議論のデータポイントです。