当前沿实验室竞相构建充满数据中心的万亿参数模型时,一位开发人员完全走了另一个方向:一种可工作的问答语言模型,可以安装在一张 20 世纪 80 年代的软盘上,并在足够老的 CPU 上运行,可以装在 486DX 中。
该项目名为 Tiny 2.1,被 Hackaday 发现,并于本周被 Futurism 和 Tom's Hardware 选中。根据其 GitHub 项目页面,整个模型的 8 位权重约为 380 KB,足够小,可以轻松地放在一张 MS-DOS 格式的软盘上,并且只需要 540 KB 的内存即可运行。 Tom's Hardware 报道称,它甚至通过简陋的 PC 扬声器说出答案。如果您喜欢有关人工智能突破预期的故事,我们的最新人工智能发展涵盖了从边缘推理到万亿参数前沿系统的所有内容。
具有 367,000 个参数的问答变压器
Tiny 2.1 是一种小型 Transformer 架构,拥有大约 367,000 个参数,这只是通常测量值数十亿个的“轻量级”模型大小的一小部分。它是用 Turbo C 2.0 编写的,在 MS-DOS 上运行,MS-DOS 是 20 世纪 80 年代和 90 年代初期个人计算的主导操作系统,目标对象是 Intel 486DX 和早期 Pentium 一代的机器。
它的训练数据相应地很小:只有 3,500 个事实。该约束定义了使用它的体验。在项目页面上分享的屏幕截图中,该模型正确回答了鲸鱼是哺乳动物而不是鱼类,并正确地将电话的发明归功于亚历山大·格雷厄姆·贝尔。然而,当要求计算 17 乘以 23 时,它回答“96”。当被问及法国国王是谁时,它自信地回答“是安塔斯·牛顿”——置信度为 100%。
不要期待克劳德那样的表现
正如未来主义直言不讳地指出的那样,该模型“几乎一直在编造答案”,因为它根本就不了解这个世界。没有检索层,没有工具使用,没有网络搜索——只有一个紧凑的神经网络以及它从 3,500 个事实训练集中吸收的任何模式。
该项目之所以引人注目,并不是因为模型能做什么,而是因为它的存在所展示的内容。现代 LLM 推理与千兆字节内存、GPU 加速和千瓦功率相关。相反,Tiny 2.1 证明了这样一个概念:变压器可以在硬件上产生结构化的问答交互,无需浮点单元可言,除了软盘之外不需要硬盘驱动器,并且音频输出路径与主板扬声器一样原始。
用 AI 构建 AI
还有一个元扭曲。根据项目页面,开发人员并没有手工编写每一行:他们使用 Anthropic 的 Fable 5.2 来帮助编写模型的代码,并使用 Opus 5.5 来支持训练过程。换句话说,一个小到可以放在软盘上的模型本身是在前沿人工智能系统的帮助下编写和训练的——它是非常大的父母的微小后代。
该工作流程反映了人工智能工程的更广泛趋势,即大型模型越来越多地生成、调试和优化在更小的硬件上运行的系统。同样的模式也出现在现代边缘人工智能工具链中,其中云规模模型有助于压缩和量化手机、微控制器和嵌入式设备的网络。
为什么微型模型很重要
Tiny 2.1 不会威胁任何商业聊天机器人。但像这样的项目可以有效地提醒人们模型压缩已经取得了多大的进展,以及模型压缩有多少是选择而不是必然。复古计算爱好者花了数年时间证明,从支持浏览器的 Amigas 到联网的 8 位机器,几十年前的硬件仍然能够完成令人惊讶的工作。加入这一血统的语言模型是第一个,也是一个有趣的模型。
塑造 Tiny 2.1 的工程限制也是效率的速成班。 8 位权重格式、适合任务大小的词汇和架构,以及围绕硬件限制设计的输出路径,共同构成了一个每千字节都被考虑在内的系统。与主流部署形成鲜明对比的是,在主流部署中,量化、修剪和蒸馏是应用于大规模构建的模型的追溯修复,并且单个聊天会话可能消耗比整个 Tiny 2.1 运行时需求(包括权重)更多的内存。
它还正值人工智能的电力需求受到真正的环境审查之际,研究人员和监管机构越来越关注大规模训练和推理的能源成本,以及美国各地上演的数据中心选址之争。在 540 KB 内存和 20 世纪 80 年代电源上运行的模型并不能解决该问题,但它生动地说明了另一端:以瓦而不是兆瓦为单位的足迹进行推理。追踪该领域从软盘到千兆瓦校园的读者可以在我们的突发人工智能新闻中找到两端。
目前,Tiny 2.1 的制造者可以宣称这是一项真正罕见的成就:你可以在一台早于网络出现的机器上从用于保存文字处理文档的同一介质上安装神经网络。它不断产生幻觉,完全自信地错误引用法国皇室的身份,并且不能可靠地乘以两位数。它也完全在软盘上运行。
保持人工智能领先地位
从软盘模型到前沿实验室,我们追踪一切。 阅读更多人工智能新闻 →
