一个两人研究实验室花费了大约 21,000 美元 训练了一个文本到图像模型，并在完全许可的许可下发布。 Linum 由联合首席执行官 Sahil Chopra 和 Manu Chopra 创立，于 11 月 4 日在技术领域笔记帖子中发布了研究结果，详细介绍了 20 亿参数 Pixel-JiT (P-JiT) 模型，该模型在 6.6 亿个样本上进行了训练，作为走向更大视频模型的概念验证。模型代码和权重均可在 Apache 2.0 下获得，该许可证允许无限制地进行商业使用。在关于前沿质量人工智能研究实际成本多少的争论中，这是一个引人注目的数据点，这是我们在人工智能研究报道中关注的主题。
为什么要跳过 VAE？
大多数现代图像生成管道使用单独的变分自动编码器（VAE）来压缩图像：VAE 将图像压缩到紧凑的潜在空间中，并在该压缩空间内生成扩散模型。 Linum 的团队认为这种分工已经达到了上限。在他们的文章中，他们指出，VAE“似乎对它们可以实现的压缩量有一个经验上限”，进一步推动压缩需要对传统架构进行大量手术，而改进 VAE 的重建实际上可能会恶化下游扩散模型的生成。
他们的答案是完全取消 VAE。 P-JiT 是一种像素空间模型 — 扩散模型直接对像素进行操作，并学习为其自身用例构建的潜在用途，同时进行压缩和生成。赌注是，与两个专用网络之间的切换相比，经过端到端训练的单个模型可以从相同的计算中挤出更多的东西。
技术回报
该架构的名称指的是其金字塔形的标记化。当前大多数模型（Linum 引用 FLUX-2 作为典型示例）使用 16×16 令牌缩减，而 P-JiT 实现了 32×32 令牌缩减，表示以前 256×256 图像所需的令牌预算中的 512×512 图像。这意味着注意力上下文窗口减少了 4 倍，而注意力恰恰是 O(n²) 瓶颈，使得生成视频的训练和推理成本高昂。
根据团队自己的测量结果：P-JiT 收敛的样本比 Linum v2 少 11 倍**，Linum v2 是实验室之前的模型，建立在更标准的 Wan VAE 加 DiT 扩散配方上。耗资 21,000 美元的运行（6.6 亿个训练样本）产生了一个模型，该团队称其模型的能力令人惊讶，考虑到其规模。
21,000 美元能买什么
该版本包括 249 个示例图像及其提示，涵盖人物 (57)、动物 (42)、建筑物 (20)、产品 (43)、风景 (19) 和风格化渲染 (68)。该团队坦诚地定位：这是一个“实验版本”，也是实现他们真正目标（视频模型）的“垫脚石”。样本表明，该架构能够稳定地训练并以传统训练预算的一小部分产生连贯的图像，而不是在质量上与前沿图像模型相匹配。
该文章还因团队如何记录故障模式和结果而引人注目。他们直接在现场笔记帖子中列举了模型的局限性，而不是隐藏它们，这是小型实验室中越来越常见的做法，这些实验室的声誉取决于可信度而不是营销预算。这篇文章是该团队“Road to Linum v3”系列的第四篇文章，建立在首次描述 P-JiT 架构的早期迭代的基础上——一个运行的技术日志，让外部研究人员可以跟踪每个设计决策，包括那些不起作用的设计决策。
有关成本数字的背景信息：Linum 的 21,000 美元涵盖了 2B 参数模型的 6.6 亿样本训练运行的计算费用。这与前沿实验室的预算无法直接比较，前沿实验室的预算涵盖数据采集、人员配备和许多中止运行的实验。它确实确定了一次成功的、公开记录的培训运行的边际成本——许多个人研究人员和大学实验室现在可以实际规划。
Linum 的既定目标是实现动画访问民主化的创意工具。该团队对当今生成视频的批评是，它太慢、太昂贵，而且缺乏细粒度的控制——他们认为，这种组合使得它“对讲故事毫无用处”，因为创意工作本质上是迭代的：你制作，你调整，你会变得更好。在他们的框架中，更便宜的训练和更快的推理是真正适合编辑工作流程的视频生成的先决条件。
小实验室，大信号
这里展示的经济学意义不仅仅限于一家初创公司。曾经定义该领域前沿的培训活动（以数百万美元衡量）现在正在狭窄的领域内由两人组成的团队进行匹配，其支出低于典型高级工程师的年薪。这种规模的开放权重版本使独立研究人员能够在没有机构支持的情况下审核、微调和构建生产级架构。
公平地说，这些警告是：2B 文本到图像模型距离图像质量的前沿还很远，而且 Linum 的收敛声明是自我报告的，而不是独立基准测试的。但该版本是完全可复制的——Apache 2.0下的代码和权重——这意味着任何持怀疑态度的人都可以直接衡量这些说法。与任何单一基准相比，这一点更让小型实验室发布的版本值得关注：证据是可下载的。
保持人工智能领先地位
曾经需要企业实验室进行的研究现在只需信用卡即可完成。跟踪我们的人工智能研究新闻 中的每一项突破。
阅读更多人工智能新闻 →
