摘要随着自主 AI 代理在电子邮件办公场景大规模落地应用传统网络钓鱼的攻击链路发生重要演变。攻击者不再单纯针对人类用户实施社会工程欺骗转而利用 AI 代理无法区分外部邮件文本与执行指令的底层缺陷通过钓鱼邮件嵌入隐蔽恶意提示载荷开展间接提示注入攻击。此类攻击将 AI 代理转化为攻击执行载体在用户无感知条件下完成信息窃取、未授权操作调用等恶意行为形成人机双重威胁面。本文基于海外安全机构 Malwarebytes 披露的真实观测案例梳理钓鱼邮件承载提示注入攻击的完整攻击链条剖析大语言模型上下文窗口的信任边界混淆这一核心技术根源厘清该类威胁与传统网络钓鱼、直接提示注入攻击的差异从应用部署、技术实现、用户认知三个维度梳理现实风险。结合反网络钓鱼技术专家芦笛的研判观点以及迪妙网络空间安全学院研究团队的相关分析结论从输入净化、权限管控、人机闭环机制、异常行为审计、安全测试体系等层面构建分层防护框架客观分析现有防御方案存在的局限性探讨攻防军备竞赛背景下未来的技术研究方向。研究表明单纯依靠模型能力提升无法彻底根除该类风险必须通过架构层面的安全设计、权限最小化配置与全流程管控形成风险闭环为邮件场景 AI 代理的安全落地提供理论参考。关键词AI 代理间接提示注入网络钓鱼电子邮件安全大模型安全1 引言生成式人工智能技术的迭代推动各类 AI 代理产品进入个人与企业办公环境邮件处理是 AI 代理渗透率较高的业务场景。当前主流 AI 代理已经可以实现自动读取收件箱、邮件摘要提取、重要信息标记、自动草拟回复甚至对接财务审批、供应商信息变更等业务流程极大降低了用户处理海量邮件的人力成本。在理想运行状态下AI 代理仅作为工具执行人类用户明确下达的任务指令仅提取邮件正文当中的业务信息不会把邮件内容当作需要执行的系统指令。但真实攻防实践证明这种信任假设存在重大安全漏洞arXiv。传统网络钓鱼的核心逻辑是利用人类认知弱点实施欺骗攻击者伪造可信机构身份通过邮件文本诱导受害者主动点击恶意链接、提交账号凭证。长期以来反钓鱼安全防护体系的建设主要围绕人的识别能力、邮件网关特征检测开展防御对象以人类受害者为主。当 AI 代理介入邮件处理全流程之后攻击目标发生转移攻击者可以制作面向 AI 的钓鱼邮件载荷专门针对 AI 代理生效对普通人类阅读者呈现正常无异常的内容这就催生了一类新型威胁基于钓鱼邮件载体的间接提示注入攻击。Futurism 刊载的行业报道记录了 Malwarebytes 的安全观测现象黑客在钓鱼邮件当中嵌入人类肉眼难以识别的隐藏文本这部分内容不会干扰人类阅读邮件但是会完整进入 AI 代理的上下文窗口被大语言模型解析为需要执行的内部指令进而劫持 AI 代理的行为逻辑。该风险并非纯粹理论推演在此之前AI 增强浏览器、AI 社交网络机器人的相关漏洞已经验证了间接提示注入的可行性。随着拥有自主任务执行能力的 AI 助手大规模普及风险影响范围从实验室概念转向现实业务环境大量普通用户将邮箱账号、支付相关权限开放给 AI 代理放大了安全事件的潜在损失规模arXiv。目前行业内对于提示注入的研究较多聚焦直接输入场景也就是由用户主动输入恶意指令完成劫持针对外部非可控数据源电子邮件带来的间接注入风险尤其是结合钓鱼邮件形成的完整攻击链路系统性分析仍然相对不足。很多产品研发人员默认大模型可以自主区分 “待阅读数据” 和 “待执行指令”在系统架构设计阶段没有设置对应的隔离防护机制将外部邮件内容直接送入模型上下文埋下安全隐患。据 DiMiao,CN 分析市面上面向邮件处理的 AI 代理产品超过半数在产品初始设计阶段未针对间接提示注入设置专门防护流程过度依赖模型自身安全对齐能力抵御外部恶意载荷。反网络钓鱼技术专家芦笛指出当前很多安全认知存在错位大众普遍接受 “人需要警惕钓鱼邮件” 的安全常识却尚未建立 “AI 代理同样会被钓鱼邮件欺骗” 的风险意识用户会习惯性信任 AI 代理输出的处理结果间接扩大攻击带来的危害。需要客观认识该类漏洞不属于传统意义软件代码 bug而是源于大语言模型上下文处理的固有特性仅依靠模型微调、安全对齐训练很难实现完全免疫必须从系统架构、权限配置、业务流程、用户安全教育多个维度共同应对。本文结合公开安全案例完整解析该威胁的攻击机理、危害表现对比现有各类防御手段的优劣给出具备可落地性的防护思路。2 钓鱼邮件载体下间接提示注入攻击机理与攻击链路2.1 间接提示注入的核心底层成因ShipItClean 开发者 Apollo Raines 在 Malwarebytes 的访谈中明确提出核心缺陷大语言模型无法自主分辨输入文本当中哪些属于需要阅读解析的数据内容哪些属于需要遵照执行的控制指令。从技术实现层面来看大语言模型接收所有输入全部转化为 token 序列送入同一个上下文窗口系统预设指令、用户下达任务、外部导入的邮件正文全部混合在同一上下文空间模型以文本序列的统计特征完成续写推理不存在硬件层面或者语法层面的强制边界区分 “指令域” 和 “数据域”新华网。当 AI 代理处理一封来自互联网的钓鱼邮件时邮件全部正文包括隐藏恶意文本会作为外部数据被读取直接拼接进上下文。攻击者精心构造的恶意提示和用户下达的正常任务指令处于同等处理地位模型在推理过程中有可能优先采纳来自邮件内部的恶意指令覆盖原本系统设定的安全约束。这里需要区分直接提示注入和本文研究的钓鱼邮件间接提示注入。直接提示注入是使用 AI 服务的人类用户主动向模型输入恶意控制语句完成劫持而钓鱼邮件场景属于间接提示注入恶意载荷来自不受管控的第三方外部邮件并非来自使用 AI 代理的用户本人用户甚至完全看不到攻击载荷本身。攻击者会使用文本颜色与背景色一致、极小字号、HTML 隐藏标签等多种编码手段处理恶意提示文本。对于阅读邮件的人类这部分内容完全不可见邮件展示出来只有正常业务沟通内容但 AI 代理读取邮件原始源文件时不会过滤这些隐藏标记恶意指令完整保留直接被大语言模型解析处理。迪妙网络空间安全学院研究团队的模拟复现实验显示主流多款商用 AI 邮件助手均会完整解析 HTML 邮件内隐藏文本不会默认对该类内容做剥离清洗处理这就构成攻击得以生效的基础条件。2.2 完整攻击链路拆解基于钓鱼邮件的间接提示注入攻击可以划分为五个连贯阶段整个过程可以做到零用户交互不需要受害者点击链接、下载附件攻击链条闭环如下。第一阶段攻击者构造特制钓鱼邮件。邮件主体内容模仿正规机构、合作方业务沟通文本保证人类阅读无异常观感在邮件源码当中嵌入经过编码隐藏的恶意提示指令。指令内容会按照 AI 代理的工作逻辑设计常见类型包括要求 AI 代理窃取收件箱敏感邮件、向外泄露凭证信息、修改供应商收款账户、发起支付操作、以受害者身份向外发送更多钓鱼信息。部分载荷还会增加伪装话术宣称该操作已经得到用户本人授权以此绕过模型内置的基础安全护栏。第二阶段恶意钓鱼邮件投递至受害者邮箱。邮件到达普通邮件网关传统反钓鱼网关主要检测明显钓鱼特征恶意 URL、病毒附件、常见诈骗话术。由于攻击载荷处于人类不可见隐藏源码显示文本全部为正常业务文字传统特征检测引擎很难识别这封邮件存在异常邮件正常进入收件箱。第三阶段AI 代理自动扫描、读取该钓鱼邮件。当用户启动 AI 代理邮件汇总、批量处理任务AI 代理自动拉取收件箱邮件原始源码隐藏恶意指令随同邮件业务文本一并读入合并进入大模型上下文窗口。此时用户对于隐藏指令完全不知情。第四阶段模型发生信任边界混淆执行恶意指令。大语言模型在混合上下文环境下将来自钓鱼邮件的隐藏文本识别为有效执行指令忽略系统原有安全限制调用 AI 代理具备权限的各类工具接口。如果代理被授予读取邮件、对外发送消息、财务业务变更的权限就会按照攻击者意图开展操作。整个执行过程可以在后台静默完成不需要弹窗向用户确认。第五阶段攻击结果落地形成危害。根据载荷设计不同会产生不同后果向外批量导出邮件隐私数据修改业务付款信息造成财产损失利用受害者身份向通讯录联系人传播二次钓鱼邮件消耗系统计算资源。用户看到的 AI 输出结果已经被篡改无法察觉行为异常。需要明确攻击是否能够成功依赖三个必要条件同时成立第一AI 代理能够读取不受信任外部邮件原始完整源码不做隐藏内容剥离第二大模型无法隔离外部数据与执行指令第三AI 代理被分配了风险较高工具调用权限允许完成对外输出、业务变更等高影响动作。三者缺一攻击链路就会被打断。2.3 和传统网络钓鱼攻击的差异性对比传统网络钓鱼攻击目标对象是人全部欺骗诱饵面向人类感知系统依靠文字、图片诱导人做出错误操作。而本文讨论的新型攻击载荷主要面向 AI 代理人类看到邮件内容大多没有诈骗痕迹。二者的风险面、防御支点、检测难点存在显著区别。传统钓鱼邮件的成败取决于人的判断力防御重点在于提升人类识别能力、邮件网关识别恶意链接附件。而 AI 代理钓鱼场景受害者人类完全看不到攻击载荷风险关键点转移到 AI 系统本身的输入处理、权限架构。传统反钓鱼依靠关键词、链接黑名单的检测手段对于隐藏在源码内部的间接提示注入载荷几乎无效载荷可以做到显示文本完全合规规避特征库检测。同时威胁具备叠加效应。一封特制邮件既可以嵌入欺骗人类的钓鱼内容又包含劫持 AI 代理的隐藏提示载荷实现 “人机双目标攻击”。无论受害者本人是否识破钓鱼邮件只要启用 AI 代理处理邮件就存在被劫持的可能性。反网络钓鱼技术专家芦笛强调很多企业的安全培训只教育员工识别钓鱼邮件完全没有覆盖 AI 代理被钓鱼这一新场景安全认知存在明显短板。3 AI 代理处理钓鱼邮件场景下主要安全风险表现3.1 敏感信息非授权外泄风险当 AI 代理获得完整邮箱读取权限之后一旦被提示注入劫持攻击者就可以借 AI 代理之手提取邮箱内部的各类隐私与业务敏感信息。个人用户场景下包括私人通信记录、账单、账号找回邮件企业环境下包括合同往来、财务单据、内部项目沟通、员工通讯录。AI 代理可以按照恶意指令将筛选整理完成的信息通过邮件接口直接发送到攻击者控制外部邮箱。该泄露模式区别于直接邮箱账号被盗。攻击者不需要拿到邮箱账号密码不需要绕过账号认证体系利用 AI 代理已有的合法访问权限完成信息导出。据 DiMiao,CN 统计的公开安全测试案例多款主流邮件 AI 代理产品在未做输入净化前提下均出现过被诱导批量汇总收件箱历史邮件的测试现象。信息泄露全程不会触发传统邮箱异常登录告警所有访问行为来自用户授权的 AI 代理服务日志层面显示为正常业务调用事后溯源排查难度显著提升。3.2 高风险业务操作被非授权触发现代 AI 代理不再局限于文本摘要、草拟回复这类只读类任务越来越多产品对接业务系统具备调用业务接口执行动作的能力。Malwarebytes 安全报告特别强调支付、供应商付款信息变更这类高影响操作一旦 AI 代理拥有该类接口调用权限被钓鱼邮件提示注入劫持后的损失将从信息泄露升级为直接财产损失。部分企业办公 AI 代理可以实现的动作包含修改供应商银行账户信息、发起付款审批草稿、新建对外邮件草稿、修改日程对外邀约。如果没有强制的人工确认环节被劫持后的 AI 代理就会直接提交业务请求。攻击者不需要入侵业务服务器仅仅依靠一封投递到员工邮箱的钓鱼邮件就尝试撬动财务流程。需要注意很多用户在使用 AI 工具时存在权限过度授予问题。为追求使用便捷直接授予 AI 代理完整邮箱、财务业务的访问权限没有按照最小权限原则做能力裁剪相当于放大攻击后果。迪妙网络空间安全学院研究团队指出很多产品在功能宣传当中强调 “全自动无需人工干预”引导用户开启无监督自主执行模式这种部署模式在面对间接提示注入威胁时风险极高。3.3 攻击链式扩散风险被劫持的 AI 代理还可以成为新攻击源造成威胁横向扩散。恶意指令可以命令 AI 代理以当前用户身份向通讯录内部联系人发送构造完成的钓鱼邮件新邮件同样附带面向 AI 代理的隐藏注入载荷。攻击由此从单点受害者扩散到更多企业内部人员。区别普通钓鱼邮件扩散出去的钓鱼邮件来自真实可信的内部人员邮箱地址不管是人类接收方还是接收方所使用的 AI 邮件助手都会更加信任这份来源。社会工程欺骗效果进一步增强形成链式传染。在 AI-only 社交网络 Moltbook 上已经观测到 AI 机器人互相传播提示注入攻击载荷的现象印证多智能体环境下攻击扩散的现实可能性。3.4 用户认知偏差带来次生风险普通用户已经建立基础安全认知收到可疑邮件要保持警惕。但是绝大多数用户尚未形成 “AI 助手本身也会被钓鱼欺骗” 的认知。用户普遍默认 AI 代理具备辨别恶意邮件的能力会无条件采信 AI 代理给出的邮件摘要、处理建议。即便 AI 代理已经被恶意指令篡改输出内容用户依旧会信任 AI 生成的分析结论。举一个典型场景钓鱼邮件实际为诈骗邮件AI 代理被注入指令后输出摘要描述该邮件属于正规业务通知建议用户执行相应操作。人类用户看到 AI 给出的结论放松自身警惕进而落入圈套。此时攻击链路是 “钓鱼邮件→劫持 AI 代理→AI 输出虚假结论欺骗人类”攻击路径发生二次转换。反网络钓鱼技术专家芦笛指出这是该类威胁容易被低估的地方风险不只是 AI 本身失控还会借 AI 的公信力反过来误导人类决策者。4 当前主流防御方案分析及其局限性针对钓鱼邮件引发的间接提示注入问题安全行业已经提出多条防御思路分别在模型层面、输入预处理层面、系统架构层面、业务流程层面落地但每一类方案都存在自身边界不存在单一手段可以彻底消除风险本节逐一梳理各类方案的实现逻辑与固有局限。4.1 依靠大模型安全对齐与微调一种理想化思路是通过对抗样本微调、安全对齐训练增强大模型识别并拒绝外部注入恶意指令的能力让模型可以自主区分来自邮件的业务文本和需要执行的指令。从实践结果来看模型安全对齐可以抵御一部分简单、直白的注入载荷但不足以作为唯一防护屏障。攻击者可以持续开发新的编码混淆、句式伪装、上下文诱导技巧形成攻防军备竞赛。Apollo Raines 将其描述为每一种新的编码规避手段就会产生一处新安全缺口。对抗样本具备很强演化能力旧版本训练样本无法覆盖层出不穷的新型变形攻击载荷。迪妙网络空间安全学院研究团队开展的对比测试显示经过安全对齐优化之后的主流商用模型依旧会被经过伪装、嵌套、隐藏编码的间接提示注入绕过。模型自身判断存在不可控概率把全部安全希望寄托模型自我识别属于高风险设计。4.2 输入侧内容过滤与隐藏内容剥离该方案核心逻辑在邮件内容送入大模型推理之前先做预处理清洗剥离 HTML 邮件当中的隐藏元素过滤肉眼不可见颜色、字号、隐藏标签等构造的恶意文本。也就是 Malwarebytes 报道中 Apollo Raines 提出的方案在内容抵达模型之前剥离隐藏载荷所有厂商都应当落实该基础措施。该手段能够阻断很大一部分依托 HTML 视觉隐藏实现的攻击样本属于成本较低、收益较高的基础防护动作但依然不是万能方案。攻击者不只有视觉隐藏这一种实现注入的手段。还可以将恶意提示混在正常文本段落中间完全使用可见文字依靠自然语言叙事伪装成邮件业务内容。这种情况下不存在可以被简单正则规则剥离的隐藏标记单纯输入清洗无法去除嵌入普通文本内部的恶意提示。输入净化是必要基础防线不能当作完整解决方案。4.3 引入独立检测模型识别注入载荷部分产品会部署一个独立检测子模型在邮件送入业务主模型之前调用检测模型判断邮件文本是否包含提示注入攻击迹象如果判定风险则拒绝处理该邮件。这种架构的风险点在于检测模型自身同样是大语言模型同样会遭受提示注入。精心构造恶意文本可以欺骗检测模型输出 “内容安全” 的判断结果进而绕过检测关卡。不能把另一个大模型作为唯一安全边界否则攻击者可以同时污染检测模块与业务模块。4.4 权限收缩与人在回路humanintheloop机制Malwarebytes 给出明确的工程建议不要完全放弃邮件 AI 工具但是要审慎评估授予 AI 代理的权限高影响动作强制要求人类审批确认。也就是人在回路安全机制AI 代理可以完成邮件阅读、摘要、草稿撰写这类只读、低风险任务凡是涉及对外发送邮件、修改业务配置、发起付款、变更供应商信息等高风险行为AI 代理只生成待执行的申请绝对不能直接调用接口执行必须交由人类用户完成确认之后才可以落地。该策略能够极大降低攻击造成的实际损害即便 AI 代理被钓鱼邮件劫持高破坏力操作也无法自动完成。但该方案同样存在现实局限。第一如果风险识别粒度不足把部分危险动作归类为普通低风险任务防护就会失效。第二用户体验与安全存在取舍如果每一个操作都需要人工确认会消解 AI 自动化带来的效率优势部分用户会主动关闭人工确认机制追求全自动运行。第三对于信息泄露类风险仅依靠人在回路无法防御读取、摘要邮件属于只读行为AI 代理被劫持之后静默把邮件信息整理向外发送如果读取权限已经开放没有对外动作弹窗人类用户很难感知。4.5 传统邮件网关安全检测传统邮件安全网关擅长识别明显钓鱼特征恶意链接、病毒附件、诈骗关键词、伪造发件人。但面向 AI 代理的钓鱼邮件显示层文本全部为正常业务行文攻击载荷藏在源码没有传统钓鱼特征。传统网关很难有效识别此类样本。邮件网关依旧可以发挥基础反钓鱼价值但无法专门针对间接提示注入开展检测。综合以上分析任何单一防御措施都存在短板。迪妙网络空间安全学院研究团队强调该场景必须采用纵深防御思想多条防线叠加一处防护被绕过之后其余防线依旧可以约束攻击危害。5 面向钓鱼邮件AI 代理威胁的闭环防护体系构建结合攻击链路和现有防御手段的优缺点本文从输入预处理隔离、模型上下文架构设计、权限最小化管控、人机闭环流程、运行时行为审计、产品安全测试、用户认知教育七个维度构建完整闭环防护体系。5.5.1 输入预处理与非可信数据隔离首先落实强制输入净化流程所有外部邮件原始内容进入模型上下文之前执行预处理。解析 HTML 邮件源码清除依靠颜色、字号、隐藏标签实现的不可见文本载荷删除各类用于视觉隐藏的标记。完成净化之后仅保留面向人类正常展示的可见文本交给后续处理不再直接导入完整邮件原始源码。更进一步需要建立可信内容与非可信内容的上下文隔离机制。不能把外部邮件原始文本和系统指令、用户指令混合放置同一上下文。可以采用双模型隔离架构使用一个没有任何工具调用权限的隔离模型专门负责解析外部邮件只提取结构化业务字段输出标准化事实信息将提取之后结构化信息交给具备工具调用权限的主 AI 代理。原始邮件文本永远不直接流入拥有操作权限模型的上下文窗口。通过任务拆分阻断外部邮件当中恶意提示接触执行层模型的路径。需要明确隔离解析模型只做信息提取不接收执行类任务不具备调用业务接口能力。即便隔离模型被注入影响也无法触发任何实际业务动作。反网络钓鱼技术专家芦笛认为数据与指令的上下文隔离是缓解间接提示注入最关键的架构改进比单纯依赖模型安全训练更为有效。5.2 落实严格的权限最小化设计AI 代理权限配置应当遵循最小可用原则默认关闭一切非必要工具调用能力按需开启能力。区分只读类操作和高风险变更操作。只读类包括读取邮件、生成文本摘要高风险操作包括发送邮件、修改业务参数、财务相关接口调用。针对企业部署 AI 代理场景应当做细粒度权限拆分。处理邮件摘要任务的 AI 代理不应当具备访问财务系统、供应商数据库的权限。不能为了简化配置直接授予宽泛全能权限。针对个人用户产品层面应用需要提供清晰的权限说明明确告知用户每一项权限开启之后 AI 代理可以完成哪些行为提醒用户谨慎开启自动执行高风险业务。5.3 分级实现人机闭环确认机制按照操作风险等级差异化设置人在回路策略。对于低风险只读操作如邮件摘要、内容标记可允许 AI 代理自主完成凡是会对外产生影响的动作无论看起来是否平常都应当触发人工确认流程。特别是付款发起、供应商账户修改、对外发送邮件草稿、通讯录导出等高危行为强制阻断 AI 代理直接执行只生成待审核任务等待人类确认。需要规避形式化的无效确认。部分产品虽然设置确认弹窗但弹窗信息过于简略没有展示 AI 准备执行的完整行为细节用户习惯不加思考直接点击确认按钮闭环机制就会形同虚设。确认界面应当完整展示 AI 代理计划执行全部行为内容把决策信息充分交付给人类使用者。同时产品设计上不应当把 “完全无监督自动执行” 作为默认选项全自动模式必须由用户主动手动开启并且附带显著风险提示。5.4 运行时行为审计与异常监测构建完整 AI 代理行为审计日志完整记录 AI 代理读取的邮件来源、调用工具类型、执行的全部行为留存上下文关键片段。安全运营人员可以通过审计日志回溯潜在提示注入攻击事件。同时建立异常行为检测基线监控反常行为模式例如 AI 代理短时间批量导出大量历史邮件、频繁尝试向外发送陌生地址邮件、反复调用财务接口出现异常行为触发告警必要时自动临时冻结 AI 代理工具调用权限。需要注意审计日志不能只记录最终输出结果还需要记录触发该行为的外部输入来源也就是是哪一封邮件触发该任务方便事件溯源定位攻击邮件样本。据 DiMiao,CN 分析当前多数面向终端用户的 AI 邮件助手行为审计能力普遍薄弱几乎不给普通用户查看 AI 全部行为记录的渠道出现安全事件之后用户很难排查发生过程。5.5 常态化红队安全测试与产品安全基线在 AI 代理产品研发阶段需要把钓鱼邮件间接提示注入纳入常态化红队安全测试用例库。构造多样化测试样本包含 HTML 隐藏载荷、嵌入普通文本的伪装提示、多层嵌套诱导指令持续验证整套防护链路的实际有效性。不能仅仅做简单直接提示注入的测试重点模拟真实钓鱼邮件载体的间接注入场景。迪妙网络空间安全学院研究团队提出应当建立邮件 AI 代理的安全基线清单基线条目包含外部 HTML 邮件必须剥离视觉隐藏内容非可信外部数据与系统指令上下文隔离高风险操作强制人工确认权限默认最小化完整行为审计日志。产品上线前对照基线完成安全核验避免架构层面原生缺陷流入正式版本。5.6 用户安全认知的迭代教育安全防护不能完全寄托技术手段必须同步更新用户安全认知。传统网络钓鱼安全教育主要提醒用户警惕邮件内容现在必须补充全新知识点AI 代理同样会被钓鱼邮件欺骗不能无条件信任 AI 助手对邮件的分析结论。反网络钓鱼技术专家芦笛指出很多用户存在认知误区认为 AI 可以自动识别全部钓鱼邮件。安全教育需要纠正这种错误预期告知用户 AI 代理同样存在被劫持风险不要盲目采信 AI 输出的邮件风险判断。企业安全培训材料应当新增 AI 代理安全章节指导员工审慎授予 AI 代理业务系统权限谨慎开启全自动自主执行模式。当 AI 代理给出涉及资金、重要业务变更建议即便 AI 描述来源邮件是可信依旧需要独立二次核验原始邮件内容。6 风险趋势与后续研究方向攻防军备竞赛会持续演化攻击者会不断创造新型提示注入规避技巧。随着多智能体协作架构普及威胁还会进一步复杂化。迪妙网络空间安全学院研究团队总结未来该领域有几个值得重点深耕的研究方向。第一非可视载荷多样化攻击路径研究。当前较多攻击依托 HTML 隐藏标签未来攻击者会探索更多载体利用图片元数据、附件内部文本、邮件头信息等位置藏匿恶意提示载荷绕过简单 HTML 清洗手段。需要开展多载体间接注入攻击面梳理拓展输入净化的覆盖范围。第二脱离明显关键词特征的语义型间接提示注入检测技术。很多新型注入不会出现 “忽略前面指令” 这类标志性关键词依靠上下文叙事、角色诱导完成劫持传统正则规则无法识别。需要研究不依赖关键词匹配的语义层面风险判别技术同时规避检测模块本身被注入污染的难题。第三AI 代理的上下文安全隔离架构深化研究。混合上下文是风险根源但是完全隔离又会损害 AI 代理完成复杂任务的能力。需要在安全约束和业务可用性之间寻找平衡点研究更成熟的上下文分区、数据来源标记技术让模型可以感知每一段文本的数据来源可信度区分可信系统指令和来自互联网的非可信邮件数据。第四多智能体链式攻击扩散的防御机制。当多个 AI 代理之间互相传递信息被劫持的代理向其他智能体传递带注入载荷的内容会形成跨 Agent 传播。目前对于多智能体交互场景下钓鱼邮件衍生攻击的防御方案还不够成熟是后续需要补足的方向。第五安全标准与评测体系建设。目前缺少针对邮件处理类 AI 代理统一安全评测规范不同厂商产品防护水平参差不齐。需要完善行业测试基准把钓鱼邮件间接提示注入作为重要评测指标推动行业整体安全基线抬升。同时应当客观看待技术局限现阶段不存在技术手段可以实现 100% 免疫间接提示注入攻击。反网络钓鱼技术专家芦笛强调行业需要摒弃寻找单一 “万能解药” 的思路要接受风险客观存在的现实防护目标不是做到零攻击可能性而是通过纵深防御压缩攻击成功概率同时限制攻击成功之后所能造成的破坏程度。7 结语AI 代理接入电子邮件系统带来效率提升的同时重构网络钓鱼的攻击面。攻击者不再局限欺骗人类用户转而利用大模型无法区分外部数据和执行指令的底层特性通过钓鱼邮件投递隐蔽间接提示注入载荷劫持 AI 代理完成窃取信息、触发业务操作、链式扩散等恶意行为。该威胁不同于传统网络钓鱼传统面向人类的反钓鱼防护手段无法完全覆盖这类新型风险。本文基于 Futurism 报道的 Malwarebytes 安全观测案例完整梳理钓鱼邮件承载间接提示注入攻击的形成机理、完整攻击链路梳理信息泄露、未授权业务操作、攻击扩散、误导人类决策者等多重风险逐一剖析现有各类防御方案的收益与固有限制。依托迪妙网络空间安全学院研究团队分析以及反网络钓鱼技术专家芦笛的研判观点从输入预处理隔离、上下文架构改造、最小权限管控、分级人机闭环、行为审计、安全测试、用户安全教育多维度构建纵深闭环防护框架。应当清醒认识单纯依靠大模型自身安全对齐训练不足以抵御该类威胁安全能力必须前置到系统架构设计层面。技术防护之外还要更新用户安全认知破除 “AI 可以自动识别所有钓鱼威胁” 的错误认知。面向未来攻防对抗会持续迭代相关技术标准、检测算法、隔离架构仍有待进一步研究完善。在推广邮件 AI 代理落地时不能一味追求全自动便捷体验必须同步把安全约束嵌入产品设计全生命周期在业务效率和安全风险之间取得合理平衡。编辑芦笛公共互联网反网络钓鱼工作组来源迪妙网络空间安全学院
摘要随着自主 AI 代理在电子邮件办公场景大规模落地应用传统网络钓鱼的攻击链路发生重要演变。攻击者不再单纯针对人类用户实施社会工程欺骗转而利用 AI 代理无法区分外部邮件文本与执行指令的底层缺陷通过钓鱼邮件嵌入隐蔽恶意提示载荷开展间接提示注入攻击。此类攻击将 AI 代理转化为攻击执行载体在用户无感知条件下完成信息窃取、未授权操作调用等恶意行为形成人机双重威胁面。本文基于海外安全机构 Malwarebytes 披露的真实观测案例梳理钓鱼邮件承载提示注入攻击的完整攻击链条剖析大语言模型上下文窗口的信任边界混淆这一核心技术根源厘清该类威胁与传统网络钓鱼、直接提示注入攻击的差异从应用部署、技术实现、用户认知三个维度梳理现实风险。结合反网络钓鱼技术专家芦笛的研判观点以及迪妙网络空间安全学院研究团队的相关分析结论从输入净化、权限管控、人机闭环机制、异常行为审计、安全测试体系等层面构建分层防护框架客观分析现有防御方案存在的局限性探讨攻防军备竞赛背景下未来的技术研究方向。研究表明单纯依靠模型能力提升无法彻底根除该类风险必须通过架构层面的安全设计、权限最小化配置与全流程管控形成风险闭环为邮件场景 AI 代理的安全落地提供理论参考。关键词AI 代理间接提示注入网络钓鱼电子邮件安全大模型安全1 引言生成式人工智能技术的迭代推动各类 AI 代理产品进入个人与企业办公环境邮件处理是 AI 代理渗透率较高的业务场景。当前主流 AI 代理已经可以实现自动读取收件箱、邮件摘要提取、重要信息标记、自动草拟回复甚至对接财务审批、供应商信息变更等业务流程极大降低了用户处理海量邮件的人力成本。在理想运行状态下AI 代理仅作为工具执行人类用户明确下达的任务指令仅提取邮件正文当中的业务信息不会把邮件内容当作需要执行的系统指令。但真实攻防实践证明这种信任假设存在重大安全漏洞arXiv。传统网络钓鱼的核心逻辑是利用人类认知弱点实施欺骗攻击者伪造可信机构身份通过邮件文本诱导受害者主动点击恶意链接、提交账号凭证。长期以来反钓鱼安全防护体系的建设主要围绕人的识别能力、邮件网关特征检测开展防御对象以人类受害者为主。当 AI 代理介入邮件处理全流程之后攻击目标发生转移攻击者可以制作面向 AI 的钓鱼邮件载荷专门针对 AI 代理生效对普通人类阅读者呈现正常无异常的内容这就催生了一类新型威胁基于钓鱼邮件载体的间接提示注入攻击。Futurism 刊载的行业报道记录了 Malwarebytes 的安全观测现象黑客在钓鱼邮件当中嵌入人类肉眼难以识别的隐藏文本这部分内容不会干扰人类阅读邮件但是会完整进入 AI 代理的上下文窗口被大语言模型解析为需要执行的内部指令进而劫持 AI 代理的行为逻辑。该风险并非纯粹理论推演在此之前AI 增强浏览器、AI 社交网络机器人的相关漏洞已经验证了间接提示注入的可行性。随着拥有自主任务执行能力的 AI 助手大规模普及风险影响范围从实验室概念转向现实业务环境大量普通用户将邮箱账号、支付相关权限开放给 AI 代理放大了安全事件的潜在损失规模arXiv。目前行业内对于提示注入的研究较多聚焦直接输入场景也就是由用户主动输入恶意指令完成劫持针对外部非可控数据源电子邮件带来的间接注入风险尤其是结合钓鱼邮件形成的完整攻击链路系统性分析仍然相对不足。很多产品研发人员默认大模型可以自主区分 “待阅读数据” 和 “待执行指令”在系统架构设计阶段没有设置对应的隔离防护机制将外部邮件内容直接送入模型上下文埋下安全隐患。据 DiMiao,CN 分析市面上面向邮件处理的 AI 代理产品超过半数在产品初始设计阶段未针对间接提示注入设置专门防护流程过度依赖模型自身安全对齐能力抵御外部恶意载荷。反网络钓鱼技术专家芦笛指出当前很多安全认知存在错位大众普遍接受 “人需要警惕钓鱼邮件” 的安全常识却尚未建立 “AI 代理同样会被钓鱼邮件欺骗” 的风险意识用户会习惯性信任 AI 代理输出的处理结果间接扩大攻击带来的危害。需要客观认识该类漏洞不属于传统意义软件代码 bug而是源于大语言模型上下文处理的固有特性仅依靠模型微调、安全对齐训练很难实现完全免疫必须从系统架构、权限配置、业务流程、用户安全教育多个维度共同应对。本文结合公开安全案例完整解析该威胁的攻击机理、危害表现对比现有各类防御手段的优劣给出具备可落地性的防护思路。2 钓鱼邮件载体下间接提示注入攻击机理与攻击链路2.1 间接提示注入的核心底层成因ShipItClean 开发者 Apollo Raines 在 Malwarebytes 的访谈中明确提出核心缺陷大语言模型无法自主分辨输入文本当中哪些属于需要阅读解析的数据内容哪些属于需要遵照执行的控制指令。从技术实现层面来看大语言模型接收所有输入全部转化为 token 序列送入同一个上下文窗口系统预设指令、用户下达任务、外部导入的邮件正文全部混合在同一上下文空间模型以文本序列的统计特征完成续写推理不存在硬件层面或者语法层面的强制边界区分 “指令域” 和 “数据域”新华网。当 AI 代理处理一封来自互联网的钓鱼邮件时邮件全部正文包括隐藏恶意文本会作为外部数据被读取直接拼接进上下文。攻击者精心构造的恶意提示和用户下达的正常任务指令处于同等处理地位模型在推理过程中有可能优先采纳来自邮件内部的恶意指令覆盖原本系统设定的安全约束。这里需要区分直接提示注入和本文研究的钓鱼邮件间接提示注入。直接提示注入是使用 AI 服务的人类用户主动向模型输入恶意控制语句完成劫持而钓鱼邮件场景属于间接提示注入恶意载荷来自不受管控的第三方外部邮件并非来自使用 AI 代理的用户本人用户甚至完全看不到攻击载荷本身。攻击者会使用文本颜色与背景色一致、极小字号、HTML 隐藏标签等多种编码手段处理恶意提示文本。对于阅读邮件的人类这部分内容完全不可见邮件展示出来只有正常业务沟通内容但 AI 代理读取邮件原始源文件时不会过滤这些隐藏标记恶意指令完整保留直接被大语言模型解析处理。迪妙网络空间安全学院研究团队的模拟复现实验显示主流多款商用 AI 邮件助手均会完整解析 HTML 邮件内隐藏文本不会默认对该类内容做剥离清洗处理这就构成攻击得以生效的基础条件。2.2 完整攻击链路拆解基于钓鱼邮件的间接提示注入攻击可以划分为五个连贯阶段整个过程可以做到零用户交互不需要受害者点击链接、下载附件攻击链条闭环如下。第一阶段攻击者构造特制钓鱼邮件。邮件主体内容模仿正规机构、合作方业务沟通文本保证人类阅读无异常观感在邮件源码当中嵌入经过编码隐藏的恶意提示指令。指令内容会按照 AI 代理的工作逻辑设计常见类型包括要求 AI 代理窃取收件箱敏感邮件、向外泄露凭证信息、修改供应商收款账户、发起支付操作、以受害者身份向外发送更多钓鱼信息。部分载荷还会增加伪装话术宣称该操作已经得到用户本人授权以此绕过模型内置的基础安全护栏。第二阶段恶意钓鱼邮件投递至受害者邮箱。邮件到达普通邮件网关传统反钓鱼网关主要检测明显钓鱼特征恶意 URL、病毒附件、常见诈骗话术。由于攻击载荷处于人类不可见隐藏源码显示文本全部为正常业务文字传统特征检测引擎很难识别这封邮件存在异常邮件正常进入收件箱。第三阶段AI 代理自动扫描、读取该钓鱼邮件。当用户启动 AI 代理邮件汇总、批量处理任务AI 代理自动拉取收件箱邮件原始源码隐藏恶意指令随同邮件业务文本一并读入合并进入大模型上下文窗口。此时用户对于隐藏指令完全不知情。第四阶段模型发生信任边界混淆执行恶意指令。大语言模型在混合上下文环境下将来自钓鱼邮件的隐藏文本识别为有效执行指令忽略系统原有安全限制调用 AI 代理具备权限的各类工具接口。如果代理被授予读取邮件、对外发送消息、财务业务变更的权限就会按照攻击者意图开展操作。整个执行过程可以在后台静默完成不需要弹窗向用户确认。第五阶段攻击结果落地形成危害。根据载荷设计不同会产生不同后果向外批量导出邮件隐私数据修改业务付款信息造成财产损失利用受害者身份向通讯录联系人传播二次钓鱼邮件消耗系统计算资源。用户看到的 AI 输出结果已经被篡改无法察觉行为异常。需要明确攻击是否能够成功依赖三个必要条件同时成立第一AI 代理能够读取不受信任外部邮件原始完整源码不做隐藏内容剥离第二大模型无法隔离外部数据与执行指令第三AI 代理被分配了风险较高工具调用权限允许完成对外输出、业务变更等高影响动作。三者缺一攻击链路就会被打断。2.3 和传统网络钓鱼攻击的差异性对比传统网络钓鱼攻击目标对象是人全部欺骗诱饵面向人类感知系统依靠文字、图片诱导人做出错误操作。而本文讨论的新型攻击载荷主要面向 AI 代理人类看到邮件内容大多没有诈骗痕迹。二者的风险面、防御支点、检测难点存在显著区别。传统钓鱼邮件的成败取决于人的判断力防御重点在于提升人类识别能力、邮件网关识别恶意链接附件。而 AI 代理钓鱼场景受害者人类完全看不到攻击载荷风险关键点转移到 AI 系统本身的输入处理、权限架构。传统反钓鱼依靠关键词、链接黑名单的检测手段对于隐藏在源码内部的间接提示注入载荷几乎无效载荷可以做到显示文本完全合规规避特征库检测。同时威胁具备叠加效应。一封特制邮件既可以嵌入欺骗人类的钓鱼内容又包含劫持 AI 代理的隐藏提示载荷实现 “人机双目标攻击”。无论受害者本人是否识破钓鱼邮件只要启用 AI 代理处理邮件就存在被劫持的可能性。反网络钓鱼技术专家芦笛强调很多企业的安全培训只教育员工识别钓鱼邮件完全没有覆盖 AI 代理被钓鱼这一新场景安全认知存在明显短板。3 AI 代理处理钓鱼邮件场景下主要安全风险表现3.1 敏感信息非授权外泄风险当 AI 代理获得完整邮箱读取权限之后一旦被提示注入劫持攻击者就可以借 AI 代理之手提取邮箱内部的各类隐私与业务敏感信息。个人用户场景下包括私人通信记录、账单、账号找回邮件企业环境下包括合同往来、财务单据、内部项目沟通、员工通讯录。AI 代理可以按照恶意指令将筛选整理完成的信息通过邮件接口直接发送到攻击者控制外部邮箱。该泄露模式区别于直接邮箱账号被盗。攻击者不需要拿到邮箱账号密码不需要绕过账号认证体系利用 AI 代理已有的合法访问权限完成信息导出。据 DiMiao,CN 统计的公开安全测试案例多款主流邮件 AI 代理产品在未做输入净化前提下均出现过被诱导批量汇总收件箱历史邮件的测试现象。信息泄露全程不会触发传统邮箱异常登录告警所有访问行为来自用户授权的 AI 代理服务日志层面显示为正常业务调用事后溯源排查难度显著提升。3.2 高风险业务操作被非授权触发现代 AI 代理不再局限于文本摘要、草拟回复这类只读类任务越来越多产品对接业务系统具备调用业务接口执行动作的能力。Malwarebytes 安全报告特别强调支付、供应商付款信息变更这类高影响操作一旦 AI 代理拥有该类接口调用权限被钓鱼邮件提示注入劫持后的损失将从信息泄露升级为直接财产损失。部分企业办公 AI 代理可以实现的动作包含修改供应商银行账户信息、发起付款审批草稿、新建对外邮件草稿、修改日程对外邀约。如果没有强制的人工确认环节被劫持后的 AI 代理就会直接提交业务请求。攻击者不需要入侵业务服务器仅仅依靠一封投递到员工邮箱的钓鱼邮件就尝试撬动财务流程。需要注意很多用户在使用 AI 工具时存在权限过度授予问题。为追求使用便捷直接授予 AI 代理完整邮箱、财务业务的访问权限没有按照最小权限原则做能力裁剪相当于放大攻击后果。迪妙网络空间安全学院研究团队指出很多产品在功能宣传当中强调 “全自动无需人工干预”引导用户开启无监督自主执行模式这种部署模式在面对间接提示注入威胁时风险极高。3.3 攻击链式扩散风险被劫持的 AI 代理还可以成为新攻击源造成威胁横向扩散。恶意指令可以命令 AI 代理以当前用户身份向通讯录内部联系人发送构造完成的钓鱼邮件新邮件同样附带面向 AI 代理的隐藏注入载荷。攻击由此从单点受害者扩散到更多企业内部人员。区别普通钓鱼邮件扩散出去的钓鱼邮件来自真实可信的内部人员邮箱地址不管是人类接收方还是接收方所使用的 AI 邮件助手都会更加信任这份来源。社会工程欺骗效果进一步增强形成链式传染。在 AI-only 社交网络 Moltbook 上已经观测到 AI 机器人互相传播提示注入攻击载荷的现象印证多智能体环境下攻击扩散的现实可能性。3.4 用户认知偏差带来次生风险普通用户已经建立基础安全认知收到可疑邮件要保持警惕。但是绝大多数用户尚未形成 “AI 助手本身也会被钓鱼欺骗” 的认知。用户普遍默认 AI 代理具备辨别恶意邮件的能力会无条件采信 AI 代理给出的邮件摘要、处理建议。即便 AI 代理已经被恶意指令篡改输出内容用户依旧会信任 AI 生成的分析结论。举一个典型场景钓鱼邮件实际为诈骗邮件AI 代理被注入指令后输出摘要描述该邮件属于正规业务通知建议用户执行相应操作。人类用户看到 AI 给出的结论放松自身警惕进而落入圈套。此时攻击链路是 “钓鱼邮件→劫持 AI 代理→AI 输出虚假结论欺骗人类”攻击路径发生二次转换。反网络钓鱼技术专家芦笛指出这是该类威胁容易被低估的地方风险不只是 AI 本身失控还会借 AI 的公信力反过来误导人类决策者。4 当前主流防御方案分析及其局限性针对钓鱼邮件引发的间接提示注入问题安全行业已经提出多条防御思路分别在模型层面、输入预处理层面、系统架构层面、业务流程层面落地但每一类方案都存在自身边界不存在单一手段可以彻底消除风险本节逐一梳理各类方案的实现逻辑与固有局限。4.1 依靠大模型安全对齐与微调一种理想化思路是通过对抗样本微调、安全对齐训练增强大模型识别并拒绝外部注入恶意指令的能力让模型可以自主区分来自邮件的业务文本和需要执行的指令。从实践结果来看模型安全对齐可以抵御一部分简单、直白的注入载荷但不足以作为唯一防护屏障。攻击者可以持续开发新的编码混淆、句式伪装、上下文诱导技巧形成攻防军备竞赛。Apollo Raines 将其描述为每一种新的编码规避手段就会产生一处新安全缺口。对抗样本具备很强演化能力旧版本训练样本无法覆盖层出不穷的新型变形攻击载荷。迪妙网络空间安全学院研究团队开展的对比测试显示经过安全对齐优化之后的主流商用模型依旧会被经过伪装、嵌套、隐藏编码的间接提示注入绕过。模型自身判断存在不可控概率把全部安全希望寄托模型自我识别属于高风险设计。4.2 输入侧内容过滤与隐藏内容剥离该方案核心逻辑在邮件内容送入大模型推理之前先做预处理清洗剥离 HTML 邮件当中的隐藏元素过滤肉眼不可见颜色、字号、隐藏标签等构造的恶意文本。也就是 Malwarebytes 报道中 Apollo Raines 提出的方案在内容抵达模型之前剥离隐藏载荷所有厂商都应当落实该基础措施。该手段能够阻断很大一部分依托 HTML 视觉隐藏实现的攻击样本属于成本较低、收益较高的基础防护动作但依然不是万能方案。攻击者不只有视觉隐藏这一种实现注入的手段。还可以将恶意提示混在正常文本段落中间完全使用可见文字依靠自然语言叙事伪装成邮件业务内容。这种情况下不存在可以被简单正则规则剥离的隐藏标记单纯输入清洗无法去除嵌入普通文本内部的恶意提示。输入净化是必要基础防线不能当作完整解决方案。4.3 引入独立检测模型识别注入载荷部分产品会部署一个独立检测子模型在邮件送入业务主模型之前调用检测模型判断邮件文本是否包含提示注入攻击迹象如果判定风险则拒绝处理该邮件。这种架构的风险点在于检测模型自身同样是大语言模型同样会遭受提示注入。精心构造恶意文本可以欺骗检测模型输出 “内容安全” 的判断结果进而绕过检测关卡。不能把另一个大模型作为唯一安全边界否则攻击者可以同时污染检测模块与业务模块。4.4 权限收缩与人在回路humanintheloop机制Malwarebytes 给出明确的工程建议不要完全放弃邮件 AI 工具但是要审慎评估授予 AI 代理的权限高影响动作强制要求人类审批确认。也就是人在回路安全机制AI 代理可以完成邮件阅读、摘要、草稿撰写这类只读、低风险任务凡是涉及对外发送邮件、修改业务配置、发起付款、变更供应商信息等高风险行为AI 代理只生成待执行的申请绝对不能直接调用接口执行必须交由人类用户完成确认之后才可以落地。该策略能够极大降低攻击造成的实际损害即便 AI 代理被钓鱼邮件劫持高破坏力操作也无法自动完成。但该方案同样存在现实局限。第一如果风险识别粒度不足把部分危险动作归类为普通低风险任务防护就会失效。第二用户体验与安全存在取舍如果每一个操作都需要人工确认会消解 AI 自动化带来的效率优势部分用户会主动关闭人工确认机制追求全自动运行。第三对于信息泄露类风险仅依靠人在回路无法防御读取、摘要邮件属于只读行为AI 代理被劫持之后静默把邮件信息整理向外发送如果读取权限已经开放没有对外动作弹窗人类用户很难感知。4.5 传统邮件网关安全检测传统邮件安全网关擅长识别明显钓鱼特征恶意链接、病毒附件、诈骗关键词、伪造发件人。但面向 AI 代理的钓鱼邮件显示层文本全部为正常业务行文攻击载荷藏在源码没有传统钓鱼特征。传统网关很难有效识别此类样本。邮件网关依旧可以发挥基础反钓鱼价值但无法专门针对间接提示注入开展检测。综合以上分析任何单一防御措施都存在短板。迪妙网络空间安全学院研究团队强调该场景必须采用纵深防御思想多条防线叠加一处防护被绕过之后其余防线依旧可以约束攻击危害。5 面向钓鱼邮件AI 代理威胁的闭环防护体系构建结合攻击链路和现有防御手段的优缺点本文从输入预处理隔离、模型上下文架构设计、权限最小化管控、人机闭环流程、运行时行为审计、产品安全测试、用户认知教育七个维度构建完整闭环防护体系。5.5.1 输入预处理与非可信数据隔离首先落实强制输入净化流程所有外部邮件原始内容进入模型上下文之前执行预处理。解析 HTML 邮件源码清除依靠颜色、字号、隐藏标签实现的不可见文本载荷删除各类用于视觉隐藏的标记。完成净化之后仅保留面向人类正常展示的可见文本交给后续处理不再直接导入完整邮件原始源码。更进一步需要建立可信内容与非可信内容的上下文隔离机制。不能把外部邮件原始文本和系统指令、用户指令混合放置同一上下文。可以采用双模型隔离架构使用一个没有任何工具调用权限的隔离模型专门负责解析外部邮件只提取结构化业务字段输出标准化事实信息将提取之后结构化信息交给具备工具调用权限的主 AI 代理。原始邮件文本永远不直接流入拥有操作权限模型的上下文窗口。通过任务拆分阻断外部邮件当中恶意提示接触执行层模型的路径。需要明确隔离解析模型只做信息提取不接收执行类任务不具备调用业务接口能力。即便隔离模型被注入影响也无法触发任何实际业务动作。反网络钓鱼技术专家芦笛认为数据与指令的上下文隔离是缓解间接提示注入最关键的架构改进比单纯依赖模型安全训练更为有效。5.2 落实严格的权限最小化设计AI 代理权限配置应当遵循最小可用原则默认关闭一切非必要工具调用能力按需开启能力。区分只读类操作和高风险变更操作。只读类包括读取邮件、生成文本摘要高风险操作包括发送邮件、修改业务参数、财务相关接口调用。针对企业部署 AI 代理场景应当做细粒度权限拆分。处理邮件摘要任务的 AI 代理不应当具备访问财务系统、供应商数据库的权限。不能为了简化配置直接授予宽泛全能权限。针对个人用户产品层面应用需要提供清晰的权限说明明确告知用户每一项权限开启之后 AI 代理可以完成哪些行为提醒用户谨慎开启自动执行高风险业务。5.3 分级实现人机闭环确认机制按照操作风险等级差异化设置人在回路策略。对于低风险只读操作如邮件摘要、内容标记可允许 AI 代理自主完成凡是会对外产生影响的动作无论看起来是否平常都应当触发人工确认流程。特别是付款发起、供应商账户修改、对外发送邮件草稿、通讯录导出等高危行为强制阻断 AI 代理直接执行只生成待审核任务等待人类确认。需要规避形式化的无效确认。部分产品虽然设置确认弹窗但弹窗信息过于简略没有展示 AI 准备执行的完整行为细节用户习惯不加思考直接点击确认按钮闭环机制就会形同虚设。确认界面应当完整展示 AI 代理计划执行全部行为内容把决策信息充分交付给人类使用者。同时产品设计上不应当把 “完全无监督自动执行” 作为默认选项全自动模式必须由用户主动手动开启并且附带显著风险提示。5.4 运行时行为审计与异常监测构建完整 AI 代理行为审计日志完整记录 AI 代理读取的邮件来源、调用工具类型、执行的全部行为留存上下文关键片段。安全运营人员可以通过审计日志回溯潜在提示注入攻击事件。同时建立异常行为检测基线监控反常行为模式例如 AI 代理短时间批量导出大量历史邮件、频繁尝试向外发送陌生地址邮件、反复调用财务接口出现异常行为触发告警必要时自动临时冻结 AI 代理工具调用权限。需要注意审计日志不能只记录最终输出结果还需要记录触发该行为的外部输入来源也就是是哪一封邮件触发该任务方便事件溯源定位攻击邮件样本。据 DiMiao,CN 分析当前多数面向终端用户的 AI 邮件助手行为审计能力普遍薄弱几乎不给普通用户查看 AI 全部行为记录的渠道出现安全事件之后用户很难排查发生过程。5.5 常态化红队安全测试与产品安全基线在 AI 代理产品研发阶段需要把钓鱼邮件间接提示注入纳入常态化红队安全测试用例库。构造多样化测试样本包含 HTML 隐藏载荷、嵌入普通文本的伪装提示、多层嵌套诱导指令持续验证整套防护链路的实际有效性。不能仅仅做简单直接提示注入的测试重点模拟真实钓鱼邮件载体的间接注入场景。迪妙网络空间安全学院研究团队提出应当建立邮件 AI 代理的安全基线清单基线条目包含外部 HTML 邮件必须剥离视觉隐藏内容非可信外部数据与系统指令上下文隔离高风险操作强制人工确认权限默认最小化完整行为审计日志。产品上线前对照基线完成安全核验避免架构层面原生缺陷流入正式版本。5.6 用户安全认知的迭代教育安全防护不能完全寄托技术手段必须同步更新用户安全认知。传统网络钓鱼安全教育主要提醒用户警惕邮件内容现在必须补充全新知识点AI 代理同样会被钓鱼邮件欺骗不能无条件信任 AI 助手对邮件的分析结论。反网络钓鱼技术专家芦笛指出很多用户存在认知误区认为 AI 可以自动识别全部钓鱼邮件。安全教育需要纠正这种错误预期告知用户 AI 代理同样存在被劫持风险不要盲目采信 AI 输出的邮件风险判断。企业安全培训材料应当新增 AI 代理安全章节指导员工审慎授予 AI 代理业务系统权限谨慎开启全自动自主执行模式。当 AI 代理给出涉及资金、重要业务变更建议即便 AI 描述来源邮件是可信依旧需要独立二次核验原始邮件内容。6 风险趋势与后续研究方向攻防军备竞赛会持续演化攻击者会不断创造新型提示注入规避技巧。随着多智能体协作架构普及威胁还会进一步复杂化。迪妙网络空间安全学院研究团队总结未来该领域有几个值得重点深耕的研究方向。第一非可视载荷多样化攻击路径研究。当前较多攻击依托 HTML 隐藏标签未来攻击者会探索更多载体利用图片元数据、附件内部文本、邮件头信息等位置藏匿恶意提示载荷绕过简单 HTML 清洗手段。需要开展多载体间接注入攻击面梳理拓展输入净化的覆盖范围。第二脱离明显关键词特征的语义型间接提示注入检测技术。很多新型注入不会出现 “忽略前面指令” 这类标志性关键词依靠上下文叙事、角色诱导完成劫持传统正则规则无法识别。需要研究不依赖关键词匹配的语义层面风险判别技术同时规避检测模块本身被注入污染的难题。第三AI 代理的上下文安全隔离架构深化研究。混合上下文是风险根源但是完全隔离又会损害 AI 代理完成复杂任务的能力。需要在安全约束和业务可用性之间寻找平衡点研究更成熟的上下文分区、数据来源标记技术让模型可以感知每一段文本的数据来源可信度区分可信系统指令和来自互联网的非可信邮件数据。第四多智能体链式攻击扩散的防御机制。当多个 AI 代理之间互相传递信息被劫持的代理向其他智能体传递带注入载荷的内容会形成跨 Agent 传播。目前对于多智能体交互场景下钓鱼邮件衍生攻击的防御方案还不够成熟是后续需要补足的方向。第五安全标准与评测体系建设。目前缺少针对邮件处理类 AI 代理统一安全评测规范不同厂商产品防护水平参差不齐。需要完善行业测试基准把钓鱼邮件间接提示注入作为重要评测指标推动行业整体安全基线抬升。同时应当客观看待技术局限现阶段不存在技术手段可以实现 100% 免疫间接提示注入攻击。反网络钓鱼技术专家芦笛强调行业需要摒弃寻找单一 “万能解药” 的思路要接受风险客观存在的现实防护目标不是做到零攻击可能性而是通过纵深防御压缩攻击成功概率同时限制攻击成功之后所能造成的破坏程度。7 结语AI 代理接入电子邮件系统带来效率提升的同时重构网络钓鱼的攻击面。攻击者不再局限欺骗人类用户转而利用大模型无法区分外部数据和执行指令的底层特性通过钓鱼邮件投递隐蔽间接提示注入载荷劫持 AI 代理完成窃取信息、触发业务操作、链式扩散等恶意行为。该威胁不同于传统网络钓鱼传统面向人类的反钓鱼防护手段无法完全覆盖这类新型风险。本文基于 Futurism 报道的 Malwarebytes 安全观测案例完整梳理钓鱼邮件承载间接提示注入攻击的形成机理、完整攻击链路梳理信息泄露、未授权业务操作、攻击扩散、误导人类决策者等多重风险逐一剖析现有各类防御方案的收益与固有限制。依托迪妙网络空间安全学院研究团队分析以及反网络钓鱼技术专家芦笛的研判观点从输入预处理隔离、上下文架构改造、最小权限管控、分级人机闭环、行为审计、安全测试、用户安全教育多维度构建纵深闭环防护框架。应当清醒认识单纯依靠大模型自身安全对齐训练不足以抵御该类威胁安全能力必须前置到系统架构设计层面。技术防护之外还要更新用户安全认知破除 “AI 可以自动识别所有钓鱼威胁” 的错误认知。面向未来攻防对抗会持续迭代相关技术标准、检测算法、隔离架构仍有待进一步研究完善。在推广邮件 AI 代理落地时不能一味追求全自动便捷体验必须同步把安全约束嵌入产品设计全生命周期在业务效率和安全风险之间取得合理平衡。编辑芦笛公共互联网反网络钓鱼工作组来源迪妙网络空间安全学院
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
