上周首次曝光的假美国智库现已被《卫报》量化:在 9 天内发布了 124 份报告和 56 万字,建立在一个商业平台上,该平台承诺优化内容,以便人工智能聊天机器人能够引用它——美国司法部的文件中记录了以色列政府的资助轨迹。这是迄今为止最清晰的公开例子,表明与国家相关的参与者瞄准了人工智能答案层本身:不是读者,而是越来越多地为他们说话的模型。随着聊天机器人操纵走向工业化,我们的人工智能行业报道 正在追踪这样的故事。 (我们在[此处](https://aibuzzwire.news/en/article/israel-hanover-institute-fake-think-tank-llm-poisoning-chatbots)介绍了该网站的初步发现。)

一个不存在的智库

该网站以汉诺威公共政策研究所的名义发布。据《卫报》的贾森·威尔逊称,该研究所显然在任何司法管辖区都不作为法人实体存在,没有实际地址,没有指定的工作人员,其任何报告中也没有署名。它自己的使用条款受“研究所所在州”的法律管辖——该文件拒绝透露该州的名称。

产出规模为工业化。 8月6日至14日期间,汉诺威研究所发表了124份报告,总计超过56万字,平均每份报告约4500字。仅8月12日至13日,它就发布了73份报告,总计近354,000字。自有关该网站的第一份媒体报道出现以来,尚未发布任何内容。

专为聊天机器人应答层而设计

这次行动的新颖之处在于它的目标。除了 124 个头条新闻之外,所有头条新闻都以类似于用户可能在聊天机器人中输入的问题开头:“反犹太复国主义是反犹太主义吗?”、“以色列是否将巴勒斯坦人驱逐出自己的土地?”、“以色列是否在加沙实施种族灭绝?”这些报告以中立的研究形式呈现了以色列对巴勒斯坦囚犯的酷刑、战争罪和加沙饥饿的立场,并为机器检索进行了格式化。

这些机制记录在官方文件中。纽约媒体制作公司 Piro Inc 本月根据《外国代理人登记法》(Fara) 向美国司法部注册了该网站,该法于 1938 年颁布,要求披露为外国政府制作的作品,作为其为以色列政府分发的材料。据《卫报》报道,这项工作由以色列政府提供了数千万美元的资金,并通过包括欧洲广告集团 Havas Media 在内的第三方进行。 Havas 与另一家从事该活动的美国公司之间的合同承诺“部署网站和内容,以在 GPT 对话上提供 GPT 框架结果”。

在 8 月 14 日首次报道该网站的存在后,该研究所悄悄添加了一个资金页面,其中包含一个明显的更正:“该页面的早期版本称该研究所在没有外部资金的情况下运作,在编写时确实如此。” 《卫报》联系了 Piro Inc、Havas Media 和以色列政府广告公司 LaPam 征求评论。

为什么聊天机器人是新战场

该策略在营销行业中有一个名字——生成引擎优化(GEO)——它是搜索引擎优化的后继学科。当聊天机器人回答问题时,它会利用其训练语料库和检索源。大量的、问题格式的、权威研究风格的内容更有可能出现、引用或吸收到模型的答案中。一个假智囊团几乎是理想的 GEO 制品:没有机构的机构可信度。

这个时机既反映了绝望,也反映了复杂性。 《卫报》指出,此次活动正值以色列在美国公众舆论中的地位崩溃,以色列官员向媒体通报称,花在“哈斯巴拉”海外公共外交上的资金被浪费了。

汉诺威研究所并不是一个孤立的案例。在《卫报》发表调查的同一天,OpenAI 宣布,它已经利用人工智能破坏了俄罗斯一项新的秘密影响力活动,这是该公司将其归因于与国家有关的行为者的一系列行动中的最新一次。两项独立的行动,两大洲,一个共同的见解:影响模型现在比直接影响人们更便宜、更持久。

治理差距

对于监管机构来说,此案暴露了现有框架中的漏洞。 Fara 的披露在纸上记录了该操作,但只有在内容上线并可能被摄入之后才发生。欧盟人工智能法案的透明度条款和管理训练数据来源的自愿框架并不是为一个通过聊天机器人实现人们信仰的最便宜途径的世界而设计的。

对于人工智能实验室来说,操作问题迫在眉睫:检索系统和训练管道如何区分研究和穿着研究服装的内容农场?数量、格式和自信的引用——权威的信号——正是汉诺威研究所大量生产的。在模型的出处变得更好之前,五十万个单词已经存在,而且事后提交的披露也没有回忆起它们。

---

保持人工智能领先地位

获取最新的人工智能新闻、分析和突破——尽在一个地方。

阅读更多人工智能新闻 →