机器学习研究员约翰·兰福德 (John Langford) 于 2023 年在 MSR 内部组织了该小组,根据本周发表的一份坦率的第一人称报道,微软研究院的 AI Frontiers 小组(AutoGen 代理编排框架和 Fara 计算机使用代理背后的大约 50 人团队)已经走到了尽头。兰福德写道,该团队于 9 月初被并入微软 AI,实际上,重组并没有为其研究议程留下任何空间。这篇文章触动了人们的神经:它在几个小时内就以 300 多个点位列 Hacker News 榜首,并且它提供了迄今为止最详细的内部人士描述之一,介绍了该行业从研究到规模化的转变是如何在大型实验室内进行的。我们正在人工智能商业新闻报道 中追踪其影响。
人工智能前沿构建了什么
Langford 将该组织的起源追溯到 ChatGPT 发布后的几个月,当时他得出的结论是,微软内部有意义的人工智能研究需要比 MSR 的传统模型更多的结构。他写道:“其他研究小组所提供的支持和关注足够多,即使一个人提出了一个聪明的想法,它也可能会迟到且无法令人信服。”他解释说,单独的研究人员无法建立足够强大的基线来证明一个想法值得追求。
因此,兰福德和志同道合的同事将 AI Frontiers 组织为一个大约 50 人的子组织,刻意既不是自上而下,也不是自下而上,而是“处于混乱的中间”。该小组最明显的成果得到了应用:AutoGen(微软广泛使用的用于编排多个人工智能代理的开源框架)和 Fara(计算机使用代理)。用兰福德的话说,“AIF 的大部分工作就是研究如何让特工发挥作用。”
该小组的基础研究不太引人注目。一支纽约团队追求兰福德所描述的新核心功能:使模型能够进行推断的“Next Latent”目标、改进 Muon 的名为 Dion3 的优化器,以及旨在通过递归使模型变得更加强大的“全带宽变压器”。
该小组还尝试与微软研究院的其他部门共享基础设施,维护一个对所有 MSR 研究人员开放的单一存储库。该存储库包括兰福德在上个月的 COLM 会议上提出的边缘规模预训练代码库——他称这个细节为次要细节,但他用这个细节来强调构建工作模型训练管道需要付出多少努力,并指出其他三个内部团队正在尝试在没有共享基础的情况下做同样的事情。
九月重组
9 月初,微软将 AI Frontiers 并入 Microsoft AI,这是一个更大的产品部门,负责该公司的消费者和企业人工智能工作。兰福德承认,从表面上看,此举是有道理的:合并两个人工智能组织可以集中精力,而且每个组织都有对方所缺乏的优势。
他写道,实际上,这次合并因理念而失败。 Langford 在谈到 Microsoft AI 的前 Inflection 领导层时说道:“核心理念是扩展,而不是研究。”兰福德指的是从初创公司 Inflection AI 加入微软的团队,该团队现在在其领导下制定了该部门的方向。他对由此产生的经济学的框架很直白:更大的模型可以产生更好的预测,并且“规模回报比研究回报更可预测”,因此规模优先的组织专注于获取和提炼数据,而不是新方法。
他认为,这种关注点与 AI Frontiers 正在做的基础工作“相差甚远”——而且除了哲学上的不匹配之外,他还表示,人们的欢迎充其量是冷淡的。兰福德写道:“有大量证据表明他们并不真正想要我们。”他称这种情况“对你来说是一个艰难的处境”。他不遗余力地表达自己对这种权衡的看法,将仅缩放的方法描述为误导,尽管完整的论点超出了他在帖子中明确提出的观点。
研究与扩展,超越 Microsoft
这篇文章引发了一场更广泛的行业争论,争论的焦点是前沿实验室是否能够在产品时间表的同时维持真正的研究组织。微软并不是唯一一家在以产品为中心的领导下巩固人工智能研究的公司,但兰福德的描述对机制异常具体:一个小型、富有成效的团队在公司重组后既没有得到授权,也没有受到欢迎,其基础设施贡献悄然被吸收。
这篇帖子吸引了数百条评论,《黑客新闻》上的讨论主要集中在这种紧张局势上——像这样的尸检是否描述了企业人工智能研究不可避免的成熟,或者实验室用持久的方法优势换取可预测的规模收益的战略错误。评论者还指出具有讽刺意味的是,AI Frontiers 的标志性项目之一 AutoGen 帮助定义了现在主导企业 AI 路线图的代理编排类别。
对于微软来说,这一事件是具有实际意义的声誉注脚。该公司已将其人工智能战略押注于微软人工智能的出货节奏,兰福德并不声称合并后的组织将制造出更糟糕的产品。他的担忧更狭隘、更尖锐:新想法的渠道——人员、基础设施、对未经证实的方法的容忍度——正是规模第一的部门最没有用处的地方,直到有一天它需要它。
兰福德的帖子和他描述的重组都没有改变用户今天看到的内容,但它们确实澄清了微软现在如何对其人工智能赌注进行排序。可以转化为规模的研究正在进行中;可能改变规模意义的研究充其量只是在试用阶段。正如兰福德在帖子标题中所说的那样,这是人工智能前沿的终结——也是关于企业人工智能研究的目的争论中的一个数据点。
保持人工智能领先地位
人工智能业务正在被实时改写,微软等实验室内部做出的决策塑造了其他人继承的工具。关注我们的 AI 新闻报道 中的每一个进展。
阅读更多人工智能新闻 →