人工智能正在使鱼叉式网络钓鱼诈骗变得更加有效，大多数人无法区分人工智能编写的诱饵和人类编写的诱饵。这是杨百翰大学新研究的核心发现，该研究发表在同行评审的《网络安全与隐私杂志》上，并在 KSL.com 和 Phys.org 最近的报道中强调了这一点。
根据杨百翰大学的新闻稿，参与这项工作的杨百翰大学网络安全研究员杰森·弗兰西亚 (Jerson Francia) 表示：“我们的研究只是展示人工智能当前状态有多复杂的最新研究。”
研究人员做了什么
这项研究由 BYU 团队撰写，可作为 arXiv 上的预印本，对 GPT-4 生成的个性化网络钓鱼短信与人类新手（学生在时间限制下编写的信息）针对相同 25 个目标编写的消息进行了受控比较。
每名参与者都会收到一组 12 条专为他们制作的个性化消息。有些是人工智能生成的，有些是人类编写的。研究人员使用了一种他们称之为 TRAPD（个性化欺骗的阈值排名方法）的方法，参与者根据该方法对消息进行排名，指出他们打算点击的点，解释他们的推理，并判断每条消息是由人编写还是由 GPT-4 编写。
这种设计很重要，因为大多数早期的网络钓鱼研究都是抽象地测量结果。该测试测量了针对每个参与者的个性化消息的响应，这正是真正的鱼叉式网络钓鱼的工作原理。
更多的点击，没有更好的检测
标题数字是：GPT-4 生成的消息比学生创作的消息更容易引发点击意图（分别为 28% 和 21%），尽管研究人员指出，考虑到试点研究的规模，这种差异存在统计不确定性。
更令人不安的结果是参与者无法做到的事情。当被问及一条消息是由人类撰写还是由人工智能生成时，收件人识别消息来源的准确率并不比偶然更准确。换句话说，人们认为自己对机器编写的文本表现出的额外警惕并没有出现在结果中——研究参与者本质上是在对作者身份进行抛硬币。
研究还发现，背景胜过内容：与工作相关的信息相比，与兴趣爱好或社交媒体相关的信息更容易引发点击意图。对于攻击者来说，这是一个力量倍增器，因为就业详细信息是最容易在网上找到的个人信息之一。
为什么与工作相关的诱饵效果最好
关于工作相关信息的发现值得维权者特别关注。鱼叉式网络钓鱼通过个性化获得成功——引用您的雇主、您的角色或您当前的项目的消息之所以感觉合法，正是因为它是具体的。
杨百翰大学的研究结果表明，大型语言模型极大地压缩了个性化工作流程。研究人员写道，曾经需要熟练的社会工程师进行数小时的手动研究和仔细起草的内容现在可以通过简单的提示以接近零的边际成本来近似。开展大型个性化活动的障碍不再是技能。它可以访问聊天机器人和目标列表。
这对防守者意味着什么
对于安全团队来说，其实际意义是发人深省的。意识培训经常教会员工发现尴尬的措辞、奇怪的语气或不自然的语言——这表明历史上暴露的网络钓鱼尝试。依赖于发现“机器人”书写的检测器现在明显不可靠，因为这项研究中的接收者根本无法区分人工智能书写的信息和人类书写的信息。
杨百翰大学团队将这些发现视为可访问的人工智能辅助个性化可能会增加社会工程威胁的实际规模的证据。假设廉价、通用的网络钓鱼仍将成为常态的防御措施是建立在数据不再支持的假设之上的。
研究人员还强调了该研究的局限性。这是一个使用 SMS 消息的 25 个目标试点，其中学生作者而不是专业网络钓鱼者 - 这种比较（如果有的话）低估了人工智能输出与现实世界平均诈骗质量之间的差距。研究小组指出，虽然人类法官无法区分来源，但这两个消息集在计算上仍然可以区分，为自动检测方法留下了空间。
对于组织来说，要点是程序性的而不是技术性的：通过不同的渠道验证请求，将紧迫性和与工作相关的框架视为风险信号，无论消息读起来多么精美，并假设写得好不再意味着是人写的。
保持人工智能领先地位
追踪人工智能如何重塑安全和社会？ 在 AI Buzz Wire 上阅读更多人工智能新闻 — 每天都有独立的人工智能报道。
---
掌握AI最新动态获取最新的AI新闻、分析和突破——尽在一处。
阅读更多AI新闻 →
