Mistral AI 发布了 Timestral,这是其第一个时间序列基础模型系列,这一悄然发布的版本现在又迎来了第二波响亮的举动:该公告于 10 月 15 日在 Mistral 的博客上发布,并于 10 月 19 日登上了《黑客新闻》的头版,吸引了数百名点赞。对于基础模型时代来说,这种宣传是不寻常的——通过在普通服务器 CPU 上运行的小至 500 万到 2.09 亿个参数的模型进行最先进的预测。
所有三个主要基准均第一 更多相关背景,请参阅我们的AI最新动态。
Mistral 表示,其最大的 Timestral 模型仅包含 2.09 亿个参数,在该领域所有三个主要公共基准测试(GIFT-Eval、TIME 和 fev-bench)上均排名第一,其参数超过了之前的最佳水平,大约有三分之二的参数。结果已提交给 GIFT-Eval 和 TIME 排行榜,Mistral 指出这些数字来自单个检查点,没有进行整合。
尺寸比较是引人注目的部分。 Mistral 报告称,28M 模型在 GIFT-Eval 和 TIME 上击败了大约四倍大的模型 Chronos-2,而 209M 模型则以更少的参数击败了 TimesFM-3 和 Falcon-2.0。该公司表示,该系列中的每个尺寸都位于准确性与模型尺寸之间的帕累托前沿,这意味着没有公共模型在相同的参数数量下能够做出更好的预测。
为无人推文的企业数据而构建
时间序列虽然不起眼,但却无处不在:传感器遥测、可观测性指标、能源负载、供应链流量、金融量。米斯特拉尔的论点是,这就是基础模型技术刚刚落地的地方。像 ARIMA 这样的经典工具孤立地适合单个序列,而像 PatchTST 这样的深度学习模型通常是根据每个数据集从头开始训练的,因此不会转移到新领域。
Timestral 从语言模型中获取预训练剧本,并将其应用于数字序列。它在大型、多样化的语料库上进行训练,对从未见过的数据进行零样本预测——包括标记历史稀缺的领域。
这些模型生成跨 21 个分位数的概率多元预测,并接受三种辅助信息:仅过去的协变量、已知未来的协变量(例如生产计划或天气预报)以及分类协变量(例如机器状态(运行、空闲、维护中)),如果将其编码为纯数字,这些协变量将被扭曲。
CPU 经济学
也许最具商业意义的细节是:Timestral 在推理时不需要 GPU。 Mistral 表示,在具有 8 个线程的标准服务器 CPU 上,从三周的 15 分钟历史记录提前一天进行预测需要 5M 模型的 10 毫秒和 209M 模型的 140 毫秒。 123M 版本的延迟仅为旗舰产品的 0.2%,延迟仅为其四分之三。
这使得对数千个传感器(工厂的整个传感器组)进行连续预测成为主流硬件主张,而不是 GPU 集群项目。
幕后:四个技术赌注
米斯特拉尔将这一结果归功于它计划在即将发布的技术报告中详细介绍的几种技术:
- 解耦地平线预测 (DHF)。 在 Toto 2.0 和 TimesFM-3 等因果解码器方法中,要预测的值被掩盖并作为上下文丢失。 DHF 在序列中保留完整的历史记录,同时学习的预测标记读取它,因此每个观察到的值都充当目标和上下文,并且真正的差距保持标记为缺失。
- 协变量感知注意力。 每个输入序列都被分配一个角色 - 目标、仅过去的协变量或已知未来的协变量 - 信息仅从协变量流向目标,因此假期日历可以在不泄露目标自身未来的情况下通知预测。
- 合成优先数据。 大多数训练数据是合成的:具有一致趋势、季节性和噪声的单变量过程,由引入它们之间非线性依赖性的多元合成器组合。
- 两阶段训练。 在 8,192 个上下文中对纯合成数据进行预训练,然后对具有 4 倍长上下文的真实数据和合成数据的混合进行后训练,使用超过 21 个分位数的 pinball 损失作为 CRPS 的离散近似。
开放式重量,气隙部署
该系列有四种尺寸:5M、28M、123M 和 209M 参数,上下文长度为 32,768 个时间步长。权重在修改后的 MIT 许可证下发布在 Hugging Face 上,Mistral 发布了一个 GitHub 存储库,用于在私有数据上运行模型。承诺将随后提供完整的技术报告。
对于需要更多功能的企业,Timestral 可以通过公司的培训管道 Mistral Forge 获得,支持对专有数据进行微调、特定领域的架构扩展以及对培训组合的控制,并在客户硬件(包括气隙环境)上进行部署。米斯特拉尔明确表示,该管道可以保证回测期间看到的任何内容都不存在于预训练数据中,这对于受监管的金融和工业客户来说是一个值得注意的说法。
该公司还为这些模型描绘了一个代理的未来:Timestral 观察传感器流,标记泵上的异常情况,然后交给语言模型代理来检索类似的历史故障,对维护记录和轮班日志进行根本原因分析,并为工厂经理起草诊断报告。
为什么它很重要
此次发布提醒人们,基础模型竞赛不仅仅涉及万亿参数的法学硕士。预测是行业中容量最大的人工智能工作负载之一,在 CPU 上运行时领先公共基准的 2.09 亿参数模型可能会改变实际预算。它还使 Mistral 的产品组合多样化,超越语言模型,此时这家总部位于巴黎的实验室刚刚以 210 亿欧元的估值筹集了 30 亿欧元,正在围绕主权、效率和本地部署定位欧洲人工智能——所有这些都经过 Timestral 的设计检查。
_本文基于 Mistral 于 2026 年 10 月 15 日发布的官方 Timestral 公告。_
---
掌握AI最新动态获取最新的AI新闻、分析和突破——尽在一处。
阅读更多AI新闻 →