一名中国农民在遵循人工智能生成的杂草和害虫防治配方后毁掉了大约 25 英亩的芝麻作物，这在现实世界中鲜明地提醒我们，人工智能可以自信地给出错误的答案，即使它已经可靠地提供了几个月的帮助。

Tom's Hardware 报道了这一事件，并于 2026 年 8 月上旬在各科技媒体上报道，该事件已成为人们在进行高风险、不可逆转的决策时应该对人工智能系统给予多大信任的持续争论中的一个热点。据报道，这位农民在很长一段时间内向人工智能助手寻求杂草和农药建议，该工具在生产出消灭农作物的配方之前提供了数月的成功指导。有关此故事的更多背景信息，请参阅我们正在进行的人工智能更新。

几个月的成功，然后是灾难

这个案子尤其令人不安的是，这次失败并不是因为有明显错误的历史。根据 Tom's Hardware 的报告，经过几个月的成功建议，农民已经信任人工智能的农药配方。该系统多次运行良好，足以建立真正的信心。然后，一条建议就带来了种植者无法撤销的结果。

这正是人工智能安全研究人员长期以来警告的模式。大多数时候运行可靠的工具会教会用户放松警惕，自动进行判断并跳过验证。当不可避免的错误出现时，它就处于人类已经完全外包决策的环境中。

幻觉问题遇到物理世界

大型语言模型不理解剂量、化学或农学。他们根据训练数据中的模式预测听起来合理的文本。大多数时候，对于常见问题，这些模式会产生有用的答案。但这些模型没有机制来区分正确的农药稀释液和自信地陈述但具有化学破坏性的农药稀释液，而且它们很乐意为这两种农药生成详细的、听起来很权威的说明。

在关于电影推荐或电子邮件草稿的聊天中，幻觉的细节是一个小烦恼。在农业中，错误浓度的除草剂或杀虫剂可能会在几天内杀死整个田地，同样的失败模式会成为破坏生计的事件。 25英亩的芝麻损失具体说明了当人工智能的信心和能力之间的差距与不可逆转的身体动作发生冲突时会发生什么。

现实世界中人工智能危害的更广泛模式

该案例符合越来越多的事件，在这些事件中，当用户在未经独立验证的情况下采取行动时，人工智能生成的建议造成了切实的损害。从人工智能建议的含有有毒成分的食谱到发明不存在的判例法的合法聊天机器人，失败模式是一致的：系统听起来很确定，用户信任它，结果在现实世界中发挥作用。

农业案例的独特之处在于其规模和信任的来源。依靠人工智能工具进行作物保护决策的小农正在对每一项建议进行押注，而之前几个月的成功只是积累了虚假信心的一种证据。当糟糕的建议到来时，验证的习惯已经消失了。

AI 助手时代的教训

随着人工智能助手被嵌入到更加重要的工作流程中，这一事件带来了明确的教训。首先，平均可靠性并不代表在所有情况下都可靠。根据定义，一个 95% 的时间都是正确的系统经常会出错，如果操作是不可逆转的，任何单一的故障都可能是灾难性的。其次，人类监督并不是一种一旦工具被证明有用就可以放松的形式，而是一种必须严格遵守的纪律，因为有用的工具会降低我们的防御能力。

第三，负担不仅仅落在用户身上。为农业、医学和其他高风险领域构建人工智能工具的开发人员面临着严峻的问题：生成模型本质上是预测引擎，是否应该被允许在没有护栏、引文或强制免责声明的情况下提供规范性建议，将最终决定返回给合格的人。

信任，但要验证

就目前而言，最简单的外卖也是最古老的。人工智能很有用，但你不应该盲目相信它。中国农民损失的芝麻作物是一个代价高昂的提醒：措辞自信的建议与正确的建议并不相同，而找出差异的成本可以用英亩来衡量。

---

保持人工智能领先地位

获取最新的人工智能新闻、分析和突破——尽在一个地方。

阅读更多人工智能新闻 →