上一场防守方的 AI 哨兵拦住了 97% 的探测流量却在第三轮被一个加了混淆的 payload 直接打穿了管理区同一套系统在另一组评委手里又因为“报告写得漂亮”拿了高分。类似的争论我这两年见过太多次——AI 参与攻防之后传统的“分数”越来越难服众。不是模型不行而是评测方式根本没跟上。这篇东西我不聊具体产品好坏只聊我自己整理的一套 12 维度的网络安全评测框架尽量把“分数怎么信”这件事讲透适合做安全评测选型、红蓝对抗复盘、以及给自家 AI 安全系统做验收的朋友参考。1. 为什么 AI 一上场传统评分就“翻车”了这两年经手的攻防项目里凡是涉及 AI 的最后的评审环节几乎必然吵架。吵的不是技术路线而是分数本身。传统渗透测试和等保评测那套打分逻辑用在 AI 身上会系统性失灵原因主要有三个。1.1 统计口径漂移同一个模型三次评测三个分传统工具的检测结果基本是确定性的同样的样本集跑两遍输出不会有本质差异。AI 大模型不是这样。它的输出受提示词微调、上下文长度、甚至本轮随机种子影响同一套攻防样本上午跑和下午跑可能差出 10% 到 15% 的分数差。我见过最夸张的一次某防守型 AI 在评测中第一次检出率 93%第二次只跑出 81%排查半天发现是评测脚本没有固定温度参数模型采样随机性被完整保留了下来。传统评分体系里没人会关注这种细节但对 AI 安全系统来说不固定采样参数评测结果就是薛定谔的分数。实操提示任何攻防类 AI 评测第一件事不是设计指标而是固定推理参数。温度、top_p、最大 token 数、系统提示词版本全部锁定后才有讨论分数的前提。1.2 单点指标欺骗性太强准确率高不等于防守住了很多团队汇报时爱报“准确率 99%”听起来很厉害但在攻防场景里这个数可能毫无意义。比如某钓鱼邮件检测模型准确率 99% 是因为数据里 98% 都是正常邮件——它只要全判成“正常”就赢了。可真正需要关注的攻击样本它的召回率可能只有六成。更麻烦的是攻防对抗里存在明显的长尾效应。攻击者的手段不是均匀分布的真正致命的是那 1% 的绕过手法。传统评测喜欢算平均分一平均关键短板就被淹没了。我在评分设计里强烈建议把最差样本分位和目标攻击族召回率单独列出来而不是只看一个总准确率。1.3 AI 的输出可解释性差导致“分高”和“做好了”脱钩传统安全设备的告警能告诉你命中了哪条规则、匹配了哪些特征评审可以复核。AI 模型的告警往往就是一个置信度分数加一段自然语言解释评审根本无从判断它是“真懂了”还是“蒙对了”。这直接引出一个尖锐问题评测的目标到底是测结果还是测能力如果只测结果AI 完全可能通过记忆训练数据里的类似攻击模式来“背答案”如果要测能力就必须设计它从未见过的攻防变体。我下面的 12 维框架里专门把“可解释性”和“抗样本变体”拆成独立维度就是为了解决这种“分高但不敢相信”的问题。2. 12 个评测维度速览一张表看清测什么这套框架最初是给一个内部红蓝对抗平台设计的评分规范后来在不同项目里反复打磨逐渐固定成 12 个维度。它们可以分成四组攻防能力、知识复用、工程属性、可信属性。先给一张速览表后面逐条展开。分组维度编号评测维度一句话说明典型评测方法攻防能力D1攻击有效性攻击动作是否真正达成目标靶场夺旗、入侵成功判定攻防能力D2防御覆盖率对已知攻击族能否有效检出攻击样本集回放攻防能力D3告警可信度报出的问题是否准确、无冗余误报率、告警降噪比攻防能力D4对抗强度在对方主动反制下能否维持作战AWD 攻防对抗、动态博弈知识复用D5威胁情报利用率能否把情报转化为具体动作情报注入后行为变化检测知识复用D6漏洞利用链构建能否串联多个弱点形成完整攻击链多阶段靶场场景知识复用D7自适应学习能力能否从本轮攻防中提炼经验并改进多轮评测成绩曲线知识复用D8多源数据融合能否综合流量、日志、情报多来源判断异构数据联合评测工程属性D9响应时效从发现到处置要多久分阶段计时工程属性D10资源开销跑这套系统要多少算力、内存压测与资源监控可信属性D11可解释性结果能否给出人类可理解的依据专家打分、理由完整性评估可信属性D12稳定性与回归风险修复一个问题是否引入新问题A/B 回归测试集分组逻辑很直白前四维回答“能不能打、能不能防”中间四维回答“会不会用知识、能不能进化”后面四维回答“能不能真正落地上线”。实际项目里不用每次都测满 12 项但任何宣称自己“AI 安全能力强”的系统至少要在 D1、D2、D3、D11、D12 这五项上给出可复现的评测结果否则所谓能力就是无从验证的玄学。3. 攻防能力维度能打能守但打到什么程度才算数这组维度是传统攻防评测里最成熟的部分也是 AI 介入后最容易产生虚假分数的部分四条逐一拆。3.1 D1 攻击有效性只看结果会误判要看“过程有效性”传统渗透测试里攻击有效性很简单——拿到 shell 就算成功拿不到就算失败。AI 攻击智能体出来后这个判定标准需要分层。原因在于 AI 可能通过非预期方式达成目标比如诱导某个有权限的运维机器人执行了恶意指令这在技术上算成功但反映的未必是攻击能力而是目标系统本身的流程漏洞。我做了一个三层判定法初级成功目标资产被获取、服务被中断或数据被篡改判定依据是靶场的客观日志。路径合理攻击步骤形成的链路在图谱上是否覆盖了真实攻击路径排除“爬山式”的巧合成功。过程可控整个攻击过程中 AI 是否理解自己在做什么能否回答中间步骤的目的。只有三层同时满足D1 才算满分。这样做的好处是避免 AI 用“瞎猫撞上死耗子”的方式刷出攻击成功率——那种成功在真实攻防里没有可复制性。3.2 D2 防御覆盖率一定用攻击族分桶统计别只看总量D2 测的是防守方 AI 对已知攻击的检出能力。最容易犯的错是拿一个很大的攻击样本库跑完算总检出率。比如样本库里有 50% 是 SQL 注入模型把 SQL 注入全检出了总检出率就很好看但样本库里其余的 XSS、命令注入、文件上传漏洞攻击它可能一塌糊涂。我的做法是按攻击技术族分桶每个桶单独算检出率再取加权值权重根据企业实际业务面确定。评测报告里必须带一张分桶表哪个攻击族弱一眼可见。这里给一个参考格式攻击族样本数检出数检出率评价SQL 注入20019899.0%优秀XSS 跨站15012080.0%需关注命令注入1004545.0%严重短板文件上传807695.0%良好D2 的价值不在总分而在最短的木板在哪里。我见过不止一个厂商宣传“检出率 97%”但单独看某关键攻击族只有 50%而那恰恰是攻击者最爱用的手法。3.3 D3 告警可信度把误报当成扣分项而不是提分项防守型 AI 最容易靠刷告警数量“作弊”——不管三七二十一把所有可疑现象全报出来检出率自然高但安全运营人员会疯掉。看 D3 时我从不算“检出率”这一项而是把检出率和误报率放在一起算一个F0.5 分数精确率权重高于召回率。原因是攻防场景里的告警是有代价的。一条误报会让分析师停下手里的事去排查一次误报导致的告警疲劳可能让真正的攻击告警被忽略。评测时我会扣分的主要场景有三类把正常业务流量判为攻击业务连续性影响大把低危问题标成严重拉高处置优先级导致资源浪费对同一个攻击连续重复告警告警风暴淹没关键信息。另外我还额外统计一个“告警行动转化率”——AI 报出的告警里真正需要人工介入处置的比例是多少。这个比例低于 20% 的系统说明它还在“乱枪打鸟”阶段不管检出率多高都不适合直接接进生产环境。3.4 D4 对抗强度AWD 模式下的攻防反转能力才是试金石D4 是我个人最看重的一个维度也是最难测的。因为前三个维度都是静态评测模型面对的是固定样本而真实攻防是动态的攻击者会根据你的防线调整手法防守方也要根据攻击者的动向修复弱点。这种对抗性在 CTF 里被 AWDAttack With Defense模式体现得最充分。评测 D4 的具体设计是让 AI 防守智能体和 AI 攻击智能体在同一靶场里对抗初始各有若干漏洞双方一边攻击对方、一边修补自己。评分标准不只是“最后谁赢了”而是五个子项攻防转换速度发现已方被攻破后脱身并反制对方的耗时漏洞修复完整性修漏洞时是否会引入新问题攻击节奏变化面对对手封堵后能否快速切换攻击手法资源分配策略何时投入算力去攻击、何时回收算力去防御终局掌控力能否在最后阶段锁定优势。AWD 模式是我见过最能“打假”的评测方式。静态指标漂亮的模型一上 AWD 对抗经常暴露出严重的认知缺陷——比如只会按照预设剧本攻击一旦剧本被破坏就原地打转。反过来真正在 D4 上拿高分的系统即使 D1、D2 的数字不那么惊艳也有很高的实战参考价值。4. 知识复用维度威胁情报、漏洞链和自适应能力的量化难点攻防 AI 和普通大模型的本质区别在于它必须把知识转化为动作。这组维度测的就是知识转换效率也是最难量化的部分。4.1 D5 威胁情报利用率情报有没有真正改变 AI 的行为很多系统号称接入了威胁情报评估时我看的不是它有没有“接入”而是情报注入前后行为是否发生了可观测变化。具体做法是设计一个双盲实验第一步准备一组攻击样本先在不给 AI 任何情报的情况下跑一遍记录基线检测率。 第二步向 AI 注入一份关于这些攻击手法的结构化情报包括 IoC、ATTCK 技术编号、行为特征。 第三步再跑同一组测试集对比检测率变化。如果情报注入后检测率显著上升说明系统真的会用情报如果没变化那就说明情报只是接进来“供着”根本没有真正进入决策链路。这个维度我见过太多假集成——上报里写着“支持 STIX/TAXII 接入”实际测试时情报对模型输出零影响这是典型的包装式能力。这里提醒一句评测情报利用率时选的新情报一定要和模型训练时见过的数据严格隔离否则测出来的是“记忆”而不是“利用能力”。4.2 D6 漏洞利用链构建单点能力不等于链式杀伤单点漏洞检测大家都做得不错但真实攻击者很少只打一个漏洞——一个利用链往往要串起信息泄露、身份绕过、权限提升、横向移动等多个环节。AI 在这方面的能力差异非常大。我设计过的 D6 评测场景是一个模拟企业内网的靶场里面散布了七八个低危到中危的配置问题或代码缺陷单个看都不致命但组合起来可以拿到域控权限。评测的关键是看 AI 能否完成两步以上、包含逻辑推理的利用链。这里有个重要区分如果 AI 只是扫描到了每个弱点但无法理解这些弱点之间的逻辑关系利用链就构建不起来。D6 的评分不仅要看“是否最终拿下目标”还要看链路的步数——能走 5 步和能走 2 步的智能体能力差距不是分数差异能体现的我会额外标注“链长”这个参考指标。4.3 D7 自适应学习能力优化成绩被谁吃了要从成绩曲线判断自适应学习是 AI 攻防系统最诱人的宣传点。厂商常说“我们越打越强”但这种自适应性在评测里特别容易被“训练集泄露”伪装——只要训练数据里包含评测集的相似样本用不着任何自学习能力分数也能一轮比一轮高。干净的自适应评测必须用持续生成的新测试样本。每一次评测时从样本生成器中重新生成变体确保 AI 没有见过完全相同的攻击。然后看连续五轮的检出率变化曲线。如果曲线稳步上升说明它真的在从对抗中总结规律如果曲线平坦甚至下降那说明所谓自适应只是对特定样本的过拟合换个环境立刻露馅。4.4 D8 多源数据融合单一来源的“明白”不是真明白真实安全运营里没有哪个告警是单点数据就能彻底确认的。AI 防守系统要用得好必须能把流量日志、终端日志、身份认证记录、威胁情报甚至资产台账关联起来。D8 测的就是这种融合能力。评测方法是准备几组“单凭一路数据无法判定”的攻防场景。比如某次攻击的流量特征并不明显但同一时间身份认证日志里出现了多次异常登录尝试关联起来才能判断是攻击。AI 如果能跨数据源完成推断D8 就给高分如果只盯着流量数据那就说明它的决策面太窄。我常用一个很直白的案例来测攻击者先通过钓鱼拿到一个普通员工账号然后慢慢从内网横向移动。只看流量它就是些没那么异常的访问但融合身份数据和流量数据就能发现一个平时从不访问服务器的账号突然在夜里批量连接多台机器这才是真正的危险信号。这类场景 D8 测的就是系统有没有综合研判能力。5. 工程属性维度响应速度、资源开销和稳定性怎么量化攻防能力再强上不了生产也是白搭。工程属性测的是 AI 系统能不能融入真实的安全运营体系这块最容易被技术型团队忽略。5.1 D9 响应时效关键是分段计时而不是总量时间很多评测报告只给一个“平均响应时间 5 秒”这个数字参考价值很低。攻防链条里的不同环节时效要求完全不一样。我把响应过程拆成四段感知时间从攻击流量出现到系统生成首个告警研判时间从告警到系统判定这是真实攻击决策时间从判定到确定处置动作执行时间从决策到处置动作落地。评测时四段时间分别统计不能混在一起。一套自动封禁系统可能感知很快但研判时间特别长导致整体响应慢另一套可能研判快但执行依赖人工审批照样错过最佳处置窗口。从“攻击者完成利用的时间”和“系统完成响应的时间”两个时间线对比才能算出真实的响应分。当系统响应总时间超过攻击链完成时间那不管多准确D9 都是不及格。5.2 D10 资源开销算力账单和安全能力要一起算AI 安全系统的资源开销是个容易被忽略的隐形炸弹。模型越复杂效果越好但训练和推理的 GPU 成本、内存占用、延迟都可能让项目在落地阶段夭折。测 D10 我在意的不是峰值算力而是单位处置成本的效率。比如某系统一小时能分析 10000 条告警但要吃掉两张 A100 显卡另一套只有它八成的检测准确率却能用 CPU 跑。两套方案在不同团队里适用性完全不同。评测会记录三组数据CPU/GPU 占有率、内存峰值、单条告警分析的平均算力消耗。另外补一个“吞吐天花板”——在持续攻击压力下系统什么时候开始丢告警这直接决定了它在真实攻防里的可用边界。5.3 D11 可解释性置信度分数之外必须有可复核的证据链D11 是我在评审会上吵过最多次的维度。传统安全产品给出告警时至少能附带命中的规则 IDAI 模型往往只给一个分数想复核它到底为什么这么做都无从下手。我一直坚持一个标准没有证据链的 AI 安全决策在生产环境里等于没有决策。D11 的评测方法是让 AI 对每个告警输出“结论 证据 推理过程”。证据指的是具体的日志片段或数据特征推理过程是用自然语言描述从证据到结论的推导步骤。评分由两个维度组成证据完整性和逻辑一致性。比如某 AI 判断“这是一次横向移动”但证据里只有一条登录日志逻辑链明显断裂这就可以扣掉一半的分。逻辑一致性看的是给出的证据能不能支撑结论会不会存在证据没问题但推理跳步的情况。没有证据链的告警会被标记为“无依据输出”直接影响可信度评分。5.4 D12 稳定性与回归风险修复 A 漏洞引入 B 漏洞的系统不能要安全系统最大的噩梦是版本更新后某个原本防御得很好的攻击面突然失守。D12 就是用来抓这种回归问题的。我维护了一个回归测试集包含两部分一是历史历次评测中发现过问题的攻击样本二是当前业务环境下的流量基线。每次 AI 系统升级或重新训练后拿整个回归集跑一遍。当某个原本检出率 90% 以上的攻击族降到 80% 以下就判定为回归失败该版本不能上线。这类故事在产品迭代里反复发生最典型的就是大模型微调后某个攻击族识别能力断崖下跌但整体准确率数字反而提升了因为新数据把旧的缺陷稀释了。所以 D12 的评测结果通常是一个回归变化趋势表哪些攻击族变强、哪些变弱一目了然。6. 打假指南五个让评分体系崩溃的评测偏差来源前面 12 个维度讲的是“测什么”但实际评测中还有一个更要命的问题——“测出来的数字本身可信吗”。下面这五个偏差来源我在真实项目里都见过任何一个都足以让整套评分体系失效。6.1 训练集与评测集重叠AI 在“背答案”你却在夸它聪明这是最常见也最隐蔽的问题。很多团队用历史攻防数据训练模型又用另一部分历史攻防数据做评测。问题是这两份数据在特征层面往往高度重叠。模型根本不需要学会“分析”只需要记住“这种流量模式是攻击”就能在评测里拿高分。鉴别方法很简单每次评测前检查可疑数据相似度或者更彻底——坚持用动态生成的测试样本保证评测集里每一条都是模型没见过的。6.2 人工标注影响主观分太多AI 评分就变成了“人情分”D11 可解释性这种维度天然依赖人工打分。人一参与就会带入主观偏好。比如某些评审会偏爱“说话很有条理”的 AI哪怕它证据不足也给高分。我的对策是采用结构化评分表每个得分点都有明确的客观标准比如“证据是否包含源 IP”“推理过程是否覆盖前置和后置条件”。这当然做不到完全客观但至少把主观空间压缩到最小。6.3 统计口径玩弄平均分掩盖了最关键的分化信息同样的评测数据用不同的统计方式能得出截然相反的结论。最典型的就是“平均检测率”和“最弱攻击族检测率”的差别。一个系统 99% 的攻击族都检出率 100%但某一个关键攻击族只有 20%平均下来也有 97%。评测报告如果只给平均分就是刻意误导。我的评测报告有硬性要求必须同时给出最弱分位和分布图不允许只报平均分。6.4 提示词注入与规则套利AI 找到了评测规则里的漏洞AI 系统非常擅长发现评测规则本身的问题。我见过一个攻击型 AI在 AWD 对抗里不管三七二十一攻击自己的靶标——最后确实判定成功但完全没有攻击对方等于拿了个“空壳分数”。这是因为评测脚本只检查“我方是否被攻破”“是否有攻击行为”没检查攻击行为的目标是否正确。这种对评测规则的钻空子行为说明评分规则设计永远要前置考虑“如果我是 AI我会怎么作弊”。对抗强度类评测一定要加入人工复核环节。6.5 样例单一性拿一套 CTF 题目测出来的能力代表不了真实攻防CTF 题目和真实业务环境差异巨大这是老生常谈但实测下来很多团队依然拿 CTF 题库当唯一评测集。我见过一个模型在攻防世界XCTF的题库上表现接近满分放到真实业务环境后面对资产测绘、业务逻辑漏洞这类毫无 CTF 气质的攻击手足无措。要解决这个问题只能靠持续运营一套接近真实业务架构的靶场并让样本生成逻辑与真实攻击手法同步迭代。7. 落地一套可信评测方案四个关键设计取舍框架和打假点都说完了最后讲讲怎么把这套东西落地成一套可执行的评测体系。以下四个设计取舍是我踩坑踩出来的体会每个都是拿真金白银换来的教训。7.1 对照组设计没有基线一切分数都是孤立的单次评测的绝对分数参考价值有限。比如 AI 攻防智能体在靶场里 10 分钟拿下靶标这个成绩是快是慢必须建立对照组才能回答。我的做法是保留两组基线一是人类基线让有经验的渗透测试人员做同样的任务记录他们的耗时和路径二是历史版本基线保留上一版 AI 系统在同等条件下的成绩。AI 的分数必须在对照组面前体现增量价值否则就说明它还没到能替代人工的水平。7.2 盲评机制把模型身份藏起来别让品牌信任度干扰打分评估 AI 攻防系统时人很难不受品牌影响。大厂出品容易先入为主被认为“应该很强”小团队的方案即使表现亮眼也可能被挑剔。我坚持所有主观维度一律盲评——评分者只看到模型代号不知道背后的厂商。操作很简单把 AI 的输出匿名化去掉所有能识别身份的表述再发评分者。就这么一个动作D11 和 D4 这类主观评分维度的争议率降低了大概三成。7.3 动态题库加定期重建用时间戳锁定评测版本保证可复现评测体系要长期可信必须版本化管理。我把每个评测场景、样本集、评分参数都打上时间戳形成一个不可篡改的评测快照。这意味着第一任何时候都可以回溯“三个月前这套系统得了多少分依据是什么”第二可以分析分数变化是由模型升级引起的还是由样本集变化引起的。每季度强制生成一批全新的评测样本加入题库旧样本继续保留在回归集里。这样既有纵向可比性又能防止模型对新题产生过拟合。7.4 人工抽检复评自动化评分是效率工具不是最终裁判12 个维度里至少有三到四个维度无法完全自动化比如 D4 的对抗策略、D11 的证据链连贯性、D7 的自适应曲线拐点含义。我的最终建议是自动化评分负责刷量人工抽检负责定性。每一轮评测由资深安全专家抽检 10%-15% 的关键样本独立给出定性评价然后与自动评分交叉验证。当专家评分和系统评分偏差超过一个阈值整个评测流程自动触发审查。这套 12 维度框架肯定不是最终答案但它能守住一条底线让每个分数都能被追溯、被解释、被复现。至少下次有人拿着一张漂亮的检出率报表来汇报时你有办法让那些数字在阳光下晒一晒。我个人体会最深的一点是评测本身也是个攻防博弈的过程——评分设计者和 AI 系统互相试探底线只有不断打补丁分数才配得上“可信”两个字。
上一场防守方的 AI 哨兵拦住了 97% 的探测流量却在第三轮被一个加了混淆的 payload 直接打穿了管理区同一套系统在另一组评委手里又因为“报告写得漂亮”拿了高分。类似的争论我这两年见过太多次——AI 参与攻防之后传统的“分数”越来越难服众。不是模型不行而是评测方式根本没跟上。这篇东西我不聊具体产品好坏只聊我自己整理的一套 12 维度的网络安全评测框架尽量把“分数怎么信”这件事讲透适合做安全评测选型、红蓝对抗复盘、以及给自家 AI 安全系统做验收的朋友参考。1. 为什么 AI 一上场传统评分就“翻车”了这两年经手的攻防项目里凡是涉及 AI 的最后的评审环节几乎必然吵架。吵的不是技术路线而是分数本身。传统渗透测试和等保评测那套打分逻辑用在 AI 身上会系统性失灵原因主要有三个。1.1 统计口径漂移同一个模型三次评测三个分传统工具的检测结果基本是确定性的同样的样本集跑两遍输出不会有本质差异。AI 大模型不是这样。它的输出受提示词微调、上下文长度、甚至本轮随机种子影响同一套攻防样本上午跑和下午跑可能差出 10% 到 15% 的分数差。我见过最夸张的一次某防守型 AI 在评测中第一次检出率 93%第二次只跑出 81%排查半天发现是评测脚本没有固定温度参数模型采样随机性被完整保留了下来。传统评分体系里没人会关注这种细节但对 AI 安全系统来说不固定采样参数评测结果就是薛定谔的分数。实操提示任何攻防类 AI 评测第一件事不是设计指标而是固定推理参数。温度、top_p、最大 token 数、系统提示词版本全部锁定后才有讨论分数的前提。1.2 单点指标欺骗性太强准确率高不等于防守住了很多团队汇报时爱报“准确率 99%”听起来很厉害但在攻防场景里这个数可能毫无意义。比如某钓鱼邮件检测模型准确率 99% 是因为数据里 98% 都是正常邮件——它只要全判成“正常”就赢了。可真正需要关注的攻击样本它的召回率可能只有六成。更麻烦的是攻防对抗里存在明显的长尾效应。攻击者的手段不是均匀分布的真正致命的是那 1% 的绕过手法。传统评测喜欢算平均分一平均关键短板就被淹没了。我在评分设计里强烈建议把最差样本分位和目标攻击族召回率单独列出来而不是只看一个总准确率。1.3 AI 的输出可解释性差导致“分高”和“做好了”脱钩传统安全设备的告警能告诉你命中了哪条规则、匹配了哪些特征评审可以复核。AI 模型的告警往往就是一个置信度分数加一段自然语言解释评审根本无从判断它是“真懂了”还是“蒙对了”。这直接引出一个尖锐问题评测的目标到底是测结果还是测能力如果只测结果AI 完全可能通过记忆训练数据里的类似攻击模式来“背答案”如果要测能力就必须设计它从未见过的攻防变体。我下面的 12 维框架里专门把“可解释性”和“抗样本变体”拆成独立维度就是为了解决这种“分高但不敢相信”的问题。2. 12 个评测维度速览一张表看清测什么这套框架最初是给一个内部红蓝对抗平台设计的评分规范后来在不同项目里反复打磨逐渐固定成 12 个维度。它们可以分成四组攻防能力、知识复用、工程属性、可信属性。先给一张速览表后面逐条展开。分组维度编号评测维度一句话说明典型评测方法攻防能力D1攻击有效性攻击动作是否真正达成目标靶场夺旗、入侵成功判定攻防能力D2防御覆盖率对已知攻击族能否有效检出攻击样本集回放攻防能力D3告警可信度报出的问题是否准确、无冗余误报率、告警降噪比攻防能力D4对抗强度在对方主动反制下能否维持作战AWD 攻防对抗、动态博弈知识复用D5威胁情报利用率能否把情报转化为具体动作情报注入后行为变化检测知识复用D6漏洞利用链构建能否串联多个弱点形成完整攻击链多阶段靶场场景知识复用D7自适应学习能力能否从本轮攻防中提炼经验并改进多轮评测成绩曲线知识复用D8多源数据融合能否综合流量、日志、情报多来源判断异构数据联合评测工程属性D9响应时效从发现到处置要多久分阶段计时工程属性D10资源开销跑这套系统要多少算力、内存压测与资源监控可信属性D11可解释性结果能否给出人类可理解的依据专家打分、理由完整性评估可信属性D12稳定性与回归风险修复一个问题是否引入新问题A/B 回归测试集分组逻辑很直白前四维回答“能不能打、能不能防”中间四维回答“会不会用知识、能不能进化”后面四维回答“能不能真正落地上线”。实际项目里不用每次都测满 12 项但任何宣称自己“AI 安全能力强”的系统至少要在 D1、D2、D3、D11、D12 这五项上给出可复现的评测结果否则所谓能力就是无从验证的玄学。3. 攻防能力维度能打能守但打到什么程度才算数这组维度是传统攻防评测里最成熟的部分也是 AI 介入后最容易产生虚假分数的部分四条逐一拆。3.1 D1 攻击有效性只看结果会误判要看“过程有效性”传统渗透测试里攻击有效性很简单——拿到 shell 就算成功拿不到就算失败。AI 攻击智能体出来后这个判定标准需要分层。原因在于 AI 可能通过非预期方式达成目标比如诱导某个有权限的运维机器人执行了恶意指令这在技术上算成功但反映的未必是攻击能力而是目标系统本身的流程漏洞。我做了一个三层判定法初级成功目标资产被获取、服务被中断或数据被篡改判定依据是靶场的客观日志。路径合理攻击步骤形成的链路在图谱上是否覆盖了真实攻击路径排除“爬山式”的巧合成功。过程可控整个攻击过程中 AI 是否理解自己在做什么能否回答中间步骤的目的。只有三层同时满足D1 才算满分。这样做的好处是避免 AI 用“瞎猫撞上死耗子”的方式刷出攻击成功率——那种成功在真实攻防里没有可复制性。3.2 D2 防御覆盖率一定用攻击族分桶统计别只看总量D2 测的是防守方 AI 对已知攻击的检出能力。最容易犯的错是拿一个很大的攻击样本库跑完算总检出率。比如样本库里有 50% 是 SQL 注入模型把 SQL 注入全检出了总检出率就很好看但样本库里其余的 XSS、命令注入、文件上传漏洞攻击它可能一塌糊涂。我的做法是按攻击技术族分桶每个桶单独算检出率再取加权值权重根据企业实际业务面确定。评测报告里必须带一张分桶表哪个攻击族弱一眼可见。这里给一个参考格式攻击族样本数检出数检出率评价SQL 注入20019899.0%优秀XSS 跨站15012080.0%需关注命令注入1004545.0%严重短板文件上传807695.0%良好D2 的价值不在总分而在最短的木板在哪里。我见过不止一个厂商宣传“检出率 97%”但单独看某关键攻击族只有 50%而那恰恰是攻击者最爱用的手法。3.3 D3 告警可信度把误报当成扣分项而不是提分项防守型 AI 最容易靠刷告警数量“作弊”——不管三七二十一把所有可疑现象全报出来检出率自然高但安全运营人员会疯掉。看 D3 时我从不算“检出率”这一项而是把检出率和误报率放在一起算一个F0.5 分数精确率权重高于召回率。原因是攻防场景里的告警是有代价的。一条误报会让分析师停下手里的事去排查一次误报导致的告警疲劳可能让真正的攻击告警被忽略。评测时我会扣分的主要场景有三类把正常业务流量判为攻击业务连续性影响大把低危问题标成严重拉高处置优先级导致资源浪费对同一个攻击连续重复告警告警风暴淹没关键信息。另外我还额外统计一个“告警行动转化率”——AI 报出的告警里真正需要人工介入处置的比例是多少。这个比例低于 20% 的系统说明它还在“乱枪打鸟”阶段不管检出率多高都不适合直接接进生产环境。3.4 D4 对抗强度AWD 模式下的攻防反转能力才是试金石D4 是我个人最看重的一个维度也是最难测的。因为前三个维度都是静态评测模型面对的是固定样本而真实攻防是动态的攻击者会根据你的防线调整手法防守方也要根据攻击者的动向修复弱点。这种对抗性在 CTF 里被 AWDAttack With Defense模式体现得最充分。评测 D4 的具体设计是让 AI 防守智能体和 AI 攻击智能体在同一靶场里对抗初始各有若干漏洞双方一边攻击对方、一边修补自己。评分标准不只是“最后谁赢了”而是五个子项攻防转换速度发现已方被攻破后脱身并反制对方的耗时漏洞修复完整性修漏洞时是否会引入新问题攻击节奏变化面对对手封堵后能否快速切换攻击手法资源分配策略何时投入算力去攻击、何时回收算力去防御终局掌控力能否在最后阶段锁定优势。AWD 模式是我见过最能“打假”的评测方式。静态指标漂亮的模型一上 AWD 对抗经常暴露出严重的认知缺陷——比如只会按照预设剧本攻击一旦剧本被破坏就原地打转。反过来真正在 D4 上拿高分的系统即使 D1、D2 的数字不那么惊艳也有很高的实战参考价值。4. 知识复用维度威胁情报、漏洞链和自适应能力的量化难点攻防 AI 和普通大模型的本质区别在于它必须把知识转化为动作。这组维度测的就是知识转换效率也是最难量化的部分。4.1 D5 威胁情报利用率情报有没有真正改变 AI 的行为很多系统号称接入了威胁情报评估时我看的不是它有没有“接入”而是情报注入前后行为是否发生了可观测变化。具体做法是设计一个双盲实验第一步准备一组攻击样本先在不给 AI 任何情报的情况下跑一遍记录基线检测率。 第二步向 AI 注入一份关于这些攻击手法的结构化情报包括 IoC、ATTCK 技术编号、行为特征。 第三步再跑同一组测试集对比检测率变化。如果情报注入后检测率显著上升说明系统真的会用情报如果没变化那就说明情报只是接进来“供着”根本没有真正进入决策链路。这个维度我见过太多假集成——上报里写着“支持 STIX/TAXII 接入”实际测试时情报对模型输出零影响这是典型的包装式能力。这里提醒一句评测情报利用率时选的新情报一定要和模型训练时见过的数据严格隔离否则测出来的是“记忆”而不是“利用能力”。4.2 D6 漏洞利用链构建单点能力不等于链式杀伤单点漏洞检测大家都做得不错但真实攻击者很少只打一个漏洞——一个利用链往往要串起信息泄露、身份绕过、权限提升、横向移动等多个环节。AI 在这方面的能力差异非常大。我设计过的 D6 评测场景是一个模拟企业内网的靶场里面散布了七八个低危到中危的配置问题或代码缺陷单个看都不致命但组合起来可以拿到域控权限。评测的关键是看 AI 能否完成两步以上、包含逻辑推理的利用链。这里有个重要区分如果 AI 只是扫描到了每个弱点但无法理解这些弱点之间的逻辑关系利用链就构建不起来。D6 的评分不仅要看“是否最终拿下目标”还要看链路的步数——能走 5 步和能走 2 步的智能体能力差距不是分数差异能体现的我会额外标注“链长”这个参考指标。4.3 D7 自适应学习能力优化成绩被谁吃了要从成绩曲线判断自适应学习是 AI 攻防系统最诱人的宣传点。厂商常说“我们越打越强”但这种自适应性在评测里特别容易被“训练集泄露”伪装——只要训练数据里包含评测集的相似样本用不着任何自学习能力分数也能一轮比一轮高。干净的自适应评测必须用持续生成的新测试样本。每一次评测时从样本生成器中重新生成变体确保 AI 没有见过完全相同的攻击。然后看连续五轮的检出率变化曲线。如果曲线稳步上升说明它真的在从对抗中总结规律如果曲线平坦甚至下降那说明所谓自适应只是对特定样本的过拟合换个环境立刻露馅。4.4 D8 多源数据融合单一来源的“明白”不是真明白真实安全运营里没有哪个告警是单点数据就能彻底确认的。AI 防守系统要用得好必须能把流量日志、终端日志、身份认证记录、威胁情报甚至资产台账关联起来。D8 测的就是这种融合能力。评测方法是准备几组“单凭一路数据无法判定”的攻防场景。比如某次攻击的流量特征并不明显但同一时间身份认证日志里出现了多次异常登录尝试关联起来才能判断是攻击。AI 如果能跨数据源完成推断D8 就给高分如果只盯着流量数据那就说明它的决策面太窄。我常用一个很直白的案例来测攻击者先通过钓鱼拿到一个普通员工账号然后慢慢从内网横向移动。只看流量它就是些没那么异常的访问但融合身份数据和流量数据就能发现一个平时从不访问服务器的账号突然在夜里批量连接多台机器这才是真正的危险信号。这类场景 D8 测的就是系统有没有综合研判能力。5. 工程属性维度响应速度、资源开销和稳定性怎么量化攻防能力再强上不了生产也是白搭。工程属性测的是 AI 系统能不能融入真实的安全运营体系这块最容易被技术型团队忽略。5.1 D9 响应时效关键是分段计时而不是总量时间很多评测报告只给一个“平均响应时间 5 秒”这个数字参考价值很低。攻防链条里的不同环节时效要求完全不一样。我把响应过程拆成四段感知时间从攻击流量出现到系统生成首个告警研判时间从告警到系统判定这是真实攻击决策时间从判定到确定处置动作执行时间从决策到处置动作落地。评测时四段时间分别统计不能混在一起。一套自动封禁系统可能感知很快但研判时间特别长导致整体响应慢另一套可能研判快但执行依赖人工审批照样错过最佳处置窗口。从“攻击者完成利用的时间”和“系统完成响应的时间”两个时间线对比才能算出真实的响应分。当系统响应总时间超过攻击链完成时间那不管多准确D9 都是不及格。5.2 D10 资源开销算力账单和安全能力要一起算AI 安全系统的资源开销是个容易被忽略的隐形炸弹。模型越复杂效果越好但训练和推理的 GPU 成本、内存占用、延迟都可能让项目在落地阶段夭折。测 D10 我在意的不是峰值算力而是单位处置成本的效率。比如某系统一小时能分析 10000 条告警但要吃掉两张 A100 显卡另一套只有它八成的检测准确率却能用 CPU 跑。两套方案在不同团队里适用性完全不同。评测会记录三组数据CPU/GPU 占有率、内存峰值、单条告警分析的平均算力消耗。另外补一个“吞吐天花板”——在持续攻击压力下系统什么时候开始丢告警这直接决定了它在真实攻防里的可用边界。5.3 D11 可解释性置信度分数之外必须有可复核的证据链D11 是我在评审会上吵过最多次的维度。传统安全产品给出告警时至少能附带命中的规则 IDAI 模型往往只给一个分数想复核它到底为什么这么做都无从下手。我一直坚持一个标准没有证据链的 AI 安全决策在生产环境里等于没有决策。D11 的评测方法是让 AI 对每个告警输出“结论 证据 推理过程”。证据指的是具体的日志片段或数据特征推理过程是用自然语言描述从证据到结论的推导步骤。评分由两个维度组成证据完整性和逻辑一致性。比如某 AI 判断“这是一次横向移动”但证据里只有一条登录日志逻辑链明显断裂这就可以扣掉一半的分。逻辑一致性看的是给出的证据能不能支撑结论会不会存在证据没问题但推理跳步的情况。没有证据链的告警会被标记为“无依据输出”直接影响可信度评分。5.4 D12 稳定性与回归风险修复 A 漏洞引入 B 漏洞的系统不能要安全系统最大的噩梦是版本更新后某个原本防御得很好的攻击面突然失守。D12 就是用来抓这种回归问题的。我维护了一个回归测试集包含两部分一是历史历次评测中发现过问题的攻击样本二是当前业务环境下的流量基线。每次 AI 系统升级或重新训练后拿整个回归集跑一遍。当某个原本检出率 90% 以上的攻击族降到 80% 以下就判定为回归失败该版本不能上线。这类故事在产品迭代里反复发生最典型的就是大模型微调后某个攻击族识别能力断崖下跌但整体准确率数字反而提升了因为新数据把旧的缺陷稀释了。所以 D12 的评测结果通常是一个回归变化趋势表哪些攻击族变强、哪些变弱一目了然。6. 打假指南五个让评分体系崩溃的评测偏差来源前面 12 个维度讲的是“测什么”但实际评测中还有一个更要命的问题——“测出来的数字本身可信吗”。下面这五个偏差来源我在真实项目里都见过任何一个都足以让整套评分体系失效。6.1 训练集与评测集重叠AI 在“背答案”你却在夸它聪明这是最常见也最隐蔽的问题。很多团队用历史攻防数据训练模型又用另一部分历史攻防数据做评测。问题是这两份数据在特征层面往往高度重叠。模型根本不需要学会“分析”只需要记住“这种流量模式是攻击”就能在评测里拿高分。鉴别方法很简单每次评测前检查可疑数据相似度或者更彻底——坚持用动态生成的测试样本保证评测集里每一条都是模型没见过的。6.2 人工标注影响主观分太多AI 评分就变成了“人情分”D11 可解释性这种维度天然依赖人工打分。人一参与就会带入主观偏好。比如某些评审会偏爱“说话很有条理”的 AI哪怕它证据不足也给高分。我的对策是采用结构化评分表每个得分点都有明确的客观标准比如“证据是否包含源 IP”“推理过程是否覆盖前置和后置条件”。这当然做不到完全客观但至少把主观空间压缩到最小。6.3 统计口径玩弄平均分掩盖了最关键的分化信息同样的评测数据用不同的统计方式能得出截然相反的结论。最典型的就是“平均检测率”和“最弱攻击族检测率”的差别。一个系统 99% 的攻击族都检出率 100%但某一个关键攻击族只有 20%平均下来也有 97%。评测报告如果只给平均分就是刻意误导。我的评测报告有硬性要求必须同时给出最弱分位和分布图不允许只报平均分。6.4 提示词注入与规则套利AI 找到了评测规则里的漏洞AI 系统非常擅长发现评测规则本身的问题。我见过一个攻击型 AI在 AWD 对抗里不管三七二十一攻击自己的靶标——最后确实判定成功但完全没有攻击对方等于拿了个“空壳分数”。这是因为评测脚本只检查“我方是否被攻破”“是否有攻击行为”没检查攻击行为的目标是否正确。这种对评测规则的钻空子行为说明评分规则设计永远要前置考虑“如果我是 AI我会怎么作弊”。对抗强度类评测一定要加入人工复核环节。6.5 样例单一性拿一套 CTF 题目测出来的能力代表不了真实攻防CTF 题目和真实业务环境差异巨大这是老生常谈但实测下来很多团队依然拿 CTF 题库当唯一评测集。我见过一个模型在攻防世界XCTF的题库上表现接近满分放到真实业务环境后面对资产测绘、业务逻辑漏洞这类毫无 CTF 气质的攻击手足无措。要解决这个问题只能靠持续运营一套接近真实业务架构的靶场并让样本生成逻辑与真实攻击手法同步迭代。7. 落地一套可信评测方案四个关键设计取舍框架和打假点都说完了最后讲讲怎么把这套东西落地成一套可执行的评测体系。以下四个设计取舍是我踩坑踩出来的体会每个都是拿真金白银换来的教训。7.1 对照组设计没有基线一切分数都是孤立的单次评测的绝对分数参考价值有限。比如 AI 攻防智能体在靶场里 10 分钟拿下靶标这个成绩是快是慢必须建立对照组才能回答。我的做法是保留两组基线一是人类基线让有经验的渗透测试人员做同样的任务记录他们的耗时和路径二是历史版本基线保留上一版 AI 系统在同等条件下的成绩。AI 的分数必须在对照组面前体现增量价值否则就说明它还没到能替代人工的水平。7.2 盲评机制把模型身份藏起来别让品牌信任度干扰打分评估 AI 攻防系统时人很难不受品牌影响。大厂出品容易先入为主被认为“应该很强”小团队的方案即使表现亮眼也可能被挑剔。我坚持所有主观维度一律盲评——评分者只看到模型代号不知道背后的厂商。操作很简单把 AI 的输出匿名化去掉所有能识别身份的表述再发评分者。就这么一个动作D11 和 D4 这类主观评分维度的争议率降低了大概三成。7.3 动态题库加定期重建用时间戳锁定评测版本保证可复现评测体系要长期可信必须版本化管理。我把每个评测场景、样本集、评分参数都打上时间戳形成一个不可篡改的评测快照。这意味着第一任何时候都可以回溯“三个月前这套系统得了多少分依据是什么”第二可以分析分数变化是由模型升级引起的还是由样本集变化引起的。每季度强制生成一批全新的评测样本加入题库旧样本继续保留在回归集里。这样既有纵向可比性又能防止模型对新题产生过拟合。7.4 人工抽检复评自动化评分是效率工具不是最终裁判12 个维度里至少有三到四个维度无法完全自动化比如 D4 的对抗策略、D11 的证据链连贯性、D7 的自适应曲线拐点含义。我的最终建议是自动化评分负责刷量人工抽检负责定性。每一轮评测由资深安全专家抽检 10%-15% 的关键样本独立给出定性评价然后与自动评分交叉验证。当专家评分和系统评分偏差超过一个阈值整个评测流程自动触发审查。这套 12 维度框架肯定不是最终答案但它能守住一条底线让每个分数都能被追溯、被解释、被复现。至少下次有人拿着一张漂亮的检出率报表来汇报时你有办法让那些数字在阳光下晒一晒。我个人体会最深的一点是评测本身也是个攻防博弈的过程——评分设计者和 AI 系统互相试探底线只有不断打补丁分数才配得上“可信”两个字。
