在工业异常检测、设备状态监测这类任务里最让人头疼的往往不是“怎么建模”而是“正常样本很多异常样本太少甚至根本没有标签”。传统分类器一上来就抓瞎有监督方法基本废掉。这时候支持向量数据描述SVDD就是很自然的切入点——它只需要正常数据学一个包围正常样本的紧凑边界落在外面的就是异常。我自己在实际项目中试过纯SVDD效果还行但总会遇到边界过松或过紧、误报率不稳的问题。后来把SVR支持向量回归也拉进来用SVR做特征重建或趋势预测把残差信息融合进SVDD的判断整套方案的稳定性明显上了一个台阶。这篇把SVR-SVDD的技术拆解、Matlab实现思路和调参经验完整写出来适合正在做无监督异常检测、手头有正常样本但没有异常样本的读者参考。1. 项目整体设计与思路拆解1.1 为什么纯SVDD不够用SVDD的全称是Support Vector Data Description核心思想一句话在高维空间里找一个包围所有正常样本的最小超球体测试样本落在球外就判为异常。这个思路很漂亮对数据分布没有强假设配合核函数还能处理非线性边界所以在故障诊断、入侵检测、医学影像筛查里都有人用。但实际用起来纯SVDD有几个绕不开的问题。第一它对特征空间的“形状”很敏感。如果正常样本本身有多个簇或者分布呈长条形一个超球体硬包边界上就会留出大量“空腔”异常样本正好掉在空腔里也判不出来。第二SVDD只关注样本到球心的距离这个距离是一个“全局紧致性”指标它不关心数据内部的结构和趋势。比如设备监测数据正常状态下往往有明确的时序规律某个传感器读数突然偏离趋势但幅度不大到球心的距离变化可能很小纯SVDD就容易漏。第三异常分数只靠距离没有重建误差之类的“局部证据”在噪声比较大的场景里很容易误报。这些问题不是SVDD本身错了而是它只刻画了“密度”和“紧致性”缺少“可解释的重建结构”。这时候引入SVR就有明确动机了。1.2 SVR在组合方案中的角色SVR在这里不是用来做分类的它承担的是“特征重建器”的角色。训练阶段只用正常样本让SVR学习输入特征到自身或目标特征的非线性映射。测试阶段把新样本丢进去如果它符合正常模式SVR重建出来的结果应该和真实值非常接近残差小如果它偏离正常模式重建残差会明显变大。这个“残差”就是异常检测里的局部证据和SVDD的全局距离正好形成互补。选择SVR而不是普通回归是因为SVR的损失函数只惩罚超出容忍带之外的误差对正常数据中常见的轻微波动不敏感重建出来的模型更稳健。而且SVR和SVDD同源都是基于支持向量的方法核函数的处理方式、调参思路基本一致放在同一个框架里逻辑非常顺。1.3 两种融合策略我试过两种融合途径各有适用场景。第一种是特征级拼接。用SVR对每个特征做自重建得到一组残差特征然后把原始特征和残差特征拼接成新的特征向量再交给SVDD学习超球边界。这种做法的好处是SVDD能看到“原始位置偏离趋势”两个维度的信息对于缓慢漂移类的异常尤其有效。缺点是特征维度翻倍核矩阵计算量变大。第二种是决策级融合。分别用SVDD算出样本到球心的归一化距离用SVR算出归一化重建误差然后加权求和得到最终异常分数score lambda * svdd_dist_norm (1 - lambda) * svr_residual_norm;lambda 取值范围[0,1]通过验证集上的AUC或者误报率来调。这种做法的好处是两条管道可以独立调优某一项失效不至于拖垮整体缺点是要多做一套调参工作而且lambda选择不当会抵消互补优势。我实际项目里更喜欢第二种理由很现实可解释性强。运维人员问“为什么报异常”时你可以直接说“超球距离超了0.32重建残差超了0.18综合判定为异常”比黑箱拼接好解释得多。2. 核心原理与关键公式拆解2.1 SVDD的目标函数和几何意义SVDD要解决的是这样一个优化问题。给定正常样本集合找一个中心为a、半径为R的超球体让它尽可能紧凑地包住大部分正常样本允许少量样本落在球外但要付出惩罚代价。数学形式是这样的min R^2 C * sum_i xi_i s.t. ||phi(x_i) - a||^2 R^2 xi_i xi_i 0其中phi表示核函数隐式映射到高维空间xi是松弛变量C是惩罚系数。对偶形式引入拉格朗日乘子alpha_i之后可以转化为一个二次规划问题。RBF核底下决策函数可以写成f(z) R^2 - ||phi(z) - a||^2f(z)大于0说明z在球内小于0说明落在球外。落在球边界上、对应alpha大于0的样本就是支持向量。几何意义可以这么理解正常数据是高维空间里的“一坨”SVDD就是找一个最小半径的球把这坨包住球面贴着最外围的样本。球面附近的样本决定了整体边界这些样本就是支持向量。团队里有人戏称这是“给正常数据套一个紧身衣”贴得越紧灵敏度越高但也越容易过拟合。2.2 SVR重建残差的计算方式我用的是epsilon-SVR目标函数是经典的min 1/2 * ||w||^2 C * sum_i (xi_i xi*_i) s.t. y_i - (w^T * phi(x_i) b) epsilon xi_i (w^T * phi(x_i) b) - y_i epsilon xi*_i xi_i, xi*_i 0训练完成后对样本x做重建预测y_hat残差就是r ||y - y_hat||这里有三种特征重建方式自重建SVR以x为输入、x为目标输出学一个恒等映射。好处是不需要额外设计目标变量坏处是恒等映射容易退化成“什么都不学”残差区分度差。交叉重建用一部分特征预测另一部分特征。比如设备数据里用温度预测振动幅度如果振动幅度偏离温度对应的正常关系残差就大。这种方式物理意义清晰。时序重建用前几个时刻的特征预测当前时刻的特征。适合有连续监测记录的数据。我自己的经验自重建最容易上手但区分度不稳定交叉重建效果好但需要业务知识来确定特征之间的关系。普通场景没有明确关系可挖时可以用自重建加上PCA变换后再重建残差效果会比直接在原始空间做更稳定。2.3 异常分数构造的关键细节不管用特征级还是决策级最终都要把SVDD距离和SVR残差放在同一个量纲下。我给两条路径都做了排序归一化处理在训练集上分别计算所有正常样本的SVDD距离和SVR残差然后转换为百分位数。测试样本的异常分数就是它在训练集分布中的相对位置。svdd_dist computeSvddDistance(model_svdd, X_test); svdd_norm getPercentile(train_svdd_dist, svdd_dist); svr_res computeSvrResidual(model_svr, X_test); svr_norm getPercentile(train_svr_res, svr_res);用百分位数而不是直接除以最大值是因为最大值容易被极端离群点带偏归一化不稳定。百分位数本质上是经验分布映射异常分数就是一个“在正常样本中这个点有多罕见”的概率化指标。这一点在实际工程里非常重要。2.4 核函数到底选哪个SVDD和SVR都需要核函数我最常用的是RBF核也就是高斯核K(x, z) exp(-gamma * ||x - z||^2)RBF核适用于绝大多数连续特征场景只有一个gamma参数要调。线性核适合特征维度很高、分布本身近似超平面的场景比如文本TF-IDF特征但异常检测里少见。多项式核偶尔有奇效但在高维空间容易产生剧烈波动调参困难不建议新手优先尝试。顺便提一个很多人忽略的点SVR和SVDD如果都用RBF核它们的gamma可以不一样不需要强行统一。SVDD的gamma控制球边界的柔性SVR的gamma控制回归曲面的光滑程度各自调各自的反而更好。3. Matlab代码实战从数据到异常判定3.1 数据准备与标准化Matlab里有现成的工具箱可以做二次规划求解但SVDD没有内置函数通常需要自己用quadprog或者optimconstr搭。我习惯先把代码拆成几个独立函数方便复用。第一步永远是标准化。SVDD的RBF核依赖样本间的欧氏距离如果特征量纲不一致量级大的特征会主导距离计算模型实际上只看了那一个维度。要么用zscore做零均值单位方差要么归一化到[0,1]看业务习惯。我的建议是异常检测用zscore因为它保留了异常点偏离正常分布的幅度信息这对距离类方法更友好。X_train zscore(X_train); X_test zscore(X_test, [], 1); % 注意用训练集的均值方差这里有个新手常犯的错测试集标准化时用了测试集自己的均值和方差导致分布偏移。正确做法是把训练集的均值和方差存下来应用到测试集上。这是数据泄露的一种隐蔽形式。3.2 用quadprog实现SVDD核心求解SVDD的Matlab实现核心是转化成对偶二次规划问题。对偶形式是min alpha * K * alpha - diag(K) * alpha s.t. alpha_i 0 sum(alpha_i) 1约束是线性等式要求alpha分量大于等于0可以用quadprog求解。写成函数就是下面这步function model svdd_train(X, kernel_sigma, C) n size(X, 1); K computeRBFKernel(X, X, kernel_sigma); H 2 * K; f -diag(K); Aeq ones(1, n); beq 1; lb zeros(n, 1); ub C * ones(n, 1); options optimoptions(quadprog, Display, off); alpha quadprog(H, f, [], [], Aeq, beq, lb, ub, [], options); model.alpha alpha; model.X X; model.sigma kernel_sigma; model.C C; % 计算球心理论上球心是 alpha 的线性组合 % 实际判断新样本只需用核函数不需要显式求球心 endC的物理意义是球外样本的惩罚上限取1表示alpha最大为1对应纯硬边界取0到1之间表示允许一定比例的训练样本落在球外。实际调参中C并不会单独设得很小更多靠gamma配合。计算测试样本到球心距离平方的公式是dist2(z) K(z,z) - 2 * sum_i alpha_i * K(z, x_i) sum_i sum_j alpha_i alpha_j K(x_i, x_j)写成Matlab循环会慢建议直接用矩阵运算function dist2 svdd_dist2(model, Z) Kzz computeRBFKernel(Z, Z, model.sigma); Kzx computeRBFKernel(Z, model.X, model.sigma); Kxx computeRBFKernel(model.X, model.X, model.sigma); alpha model.alpha; dist2 diag(Kzz) - 2 * (Kzx * alpha) alpha * Kxx * alpha; end我自己测试过稳定性和libsvm的one-class结果基本一致差别仅在二次规划求解器的精度上。3.3 SVR模型训练与残差统计Matlab自带的fitrsvm可以直接用RBF核、标准化、交叉验证都封装好了。训练和预测的代码非常简单mdl_svr fitrsvm(X_train, X_train, ... KernelFunction, rbf, ... KernelScale, auto, ... Standardize, false, ... Epsilon, 0.1, ... CrossValidat? );注意这里训练集既作输入又作输出做的是自重建。KernelScale设为auto是让Matlab自己估计一个初始gamma省事但大型数据集上不一定准建议后面用网格搜索覆盖。训练完成后对训练集算出残差向量利用prctile获取分位数train_res abs(X_train - predict(mdl_svr, X_train)); train_res_dist vecnorm(train_res, 2, 2); % 每个样本的二范数残差 test_pred predict(mdl_svr, X_test); test_res_dist vecnorm(X_test - test_pred, 2, 2);SVR的epsilon参数要重点说。epsilon设得越小回归曲线越贴近训练样本正常样本的残差会很小但测试时稍微有点噪声就会被判异常epsilon设得越大模型越“钝”残差区分度下降但抗噪能力强。经验上取特征标准差的0.01到0.1倍起步然后结合交叉验证微调。3.4 融合判定与阈值确定训练集上拿到两个异常分数之后我用百分位映射生成融合分数train_score_combined lambda * train_svdd_norm (1 - lambda) * train_svr_norm;阈值设置为融合分数的95%分位数测试样本超过阈值判为异常。这个95%是经验起点实际要根据业务允许的误报率来调整。如果监控指标要求低误报可以放高到99%如果要求高召回可以降到90%。阈值选定之后要保存下来上线预测时直接查表。很多人每次运行都重新训练、重新算阈值导致线上判定不稳定这是流程问题不是算法问题。threshold prctile(train_score_combined, 95); is_outlier test_score_combined threshold;3.5 完整流程脚本示范把整个流程串起来大概是下面这些步骤。我把核心代码整理成一个函数方便直接在数据集上跑出异常分数和可视化结果。function [score, is_outlier, model] svr_svdd_detect(X_train, X_test, opts) arguments X_train double X_test double opts.sigma double 1 opts.C double 0.1 opts.lambda double 0.5 opts.threshold_pct double 95 end % 标准化 mu mean(X_train, 1); sig std(X_train, [], 1); Xtr (X_train - mu) ./ sig; Xte (X_test - mu) ./ sig; % SVDD svdd_model svdd_train(Xtr, opts.sigma, opts.C); train_svdd svdd_dist2(svdd_model, Xtr); test_svdd svdd_dist2(svdd_model, Xte); % SVR 自重建 svr_model fitrsvm(Xtr, Xtr, ... KernelFunction, rbf, ... KernelScale, opts.sigma, ... Epsilon, 0.1, ... Standardize, false); train_res vecnorm(Xtr - predict(svr_model, Xtr), 2, 2); test_res vecnorm(Xte - predict(svr_model, Xte), 2, 2); % 百分位归一化 train_svdd_norm tiedrank(train_svdd) / numel(train_svdd); train_res_norm tiedrank(train_res) / numel(train_res); test_svdd_norm interp1(sort(train_svdd), train_svdd_norm, test_svdd, linear, extrap); test_res_norm interp1(sort(train_res), train_res_norm, test_res, linear, extrap); % 融合 train_score opts.lambda * train_svdd_norm (1 - opts.lambda) * train_res_norm; test_score opts.lambda * test_svdd_norm (1 - opts.lambda) * test_res_norm; threshold prctile(train_score, opts.threshold_pct); is_outlier test_score threshold; score test_score; model struct(svdd, svdd_model, svr, svr_model, threshold, threshold); end这里用tiedrank和interp1做百分位映射比prctile更通用能处理测试样本分数超过训练集范围的情况。4. 参数调优与实验评估4.1 关键参数含义速查SVR-SVDD涉及的参数比普通分类器多不梳理清楚很容易陷入“调了A就坏B”的循环。我自己总结了一份参数速查表每次调参前先过一遍。参数所属模型作用常见范围调参倾向gamma / KernelScaleSVDD、SVR控制核函数影响半径0.001 ~ 10过大过拟合过小欠拟合CSVDD允许球外样本的惩罚上限0.01 ~ 1越小边界越宽松epsilonSVR不敏感带的宽度0.01 ~ 1越小重建越精确但越敏感lambda融合权重SVDD距离与SVR残差权重0.2 ~ 0.8数据不同差异大需验证threshold_pct判定阈值正常样本分位数90 ~ 99根据误报率容忍度调整gamma在SVDD里和RBF核的不敏感度严格相关gamma越大样本间距离衰减越快每个样本只影响周围很小区域模型容易在单个样本附近形成“孤岛”gamma越小所有样本互相影响球面越来越平滑边界越来越松异常检测灵敏度下降。网格搜索时建议用对数刻度步长乘以3或除以3。4.2 基于AUC的网格搜索没有真实异常标签时参数搜索靠什么评价两个思路。一是人工注入异常——把正常样本做随机扰动或漂移构造合成异常集然后按AUC来筛参数二是在有少量历史异常事件的场景里直接用真实异常样本做验证。不管哪种目标函数都可以定义为AUC或F1。Matlab里可以用categorical和perfcurve算AUC。简化版网格搜索如下lambda_list 0.2:0.2:0.8; sigma_list logspace(-2, 1, 8); auc_best 0; for lam lambda_list for sig sigma_list [score, ~] svr_svdd_detect(X_train, X_test, ... sigma, sig, C, 0.1, lambda, lam); [~, ~, ~, auc] perfcurve(y_test, score, 1); if auc auc_best auc_best auc; best_params [lam, sig]; end end end注意这里C我没放进网格原因是C在SVDD对偶问题里的作用是给alpha设上限它影响的是“球外容忍样本比例”在无监督场景里C本身就和“假定的异常比例”挂钩。如果数据集比较干净C可以设大一点比如0.1如果怀疑数据里混了少量异常C要调小一点典型值0.05。先固定C再搜gamma和lambda能少一个维度的搜索量。4.3 评估指标别只看准确率异常检测场景类别极度不平衡假设异常只占1%全predict成正常也有99%的准确率所以准确率没有参考价值。核心指标是AUC、召回率异常样本检出率和误报率正常样本判异常的比例。有异常标签时用ROC曲线和PR曲线都看一遍没有标签时至少要做合成异常验证。还有一个容易被忽略的稳定性指标在多次随机划分训练集后判定结果会不会剧烈变化。SVDD这类无监督方法对训练集样本很敏感两次训练出来的阈值可能差20%。如果做实验发现差异过大说明模型不稳定优先考虑增加训练样本或降低gamma值。5. 常见问题与排查技巧实录5.1 训练集里混了异常样本怎么办无监督SVDD最怕的就是正常数据里混进了测试阶段才该被发现的异常。如果混入比例不高影响不大如果比例超过5%球心会被拉向异常方向边界会变形。处理方法有几个。第一训练前先做一个快速粗筛比如用MAD绝对中位差剔除各维度的极端离群样本。第二把C设小一点允许部分训练样本落在球外SVDD自动忽略它们。第三如果是特征拼接方案可以先用SVR重建残差做一个排序把残差最大的前5%样本先删掉再训练。我实际碰到过一个案例数据收集阶段传感器有一段不稳定输出导致训练集里好多毛刺样本。直接用SVDD训练测试时毛刺全被当成正常样本。后来加了MAD粗筛效果立竿见影。5.2 RBF核矩阵出现奇异或数值不稳定样本量大的时候RBF核矩阵接近奇异会很常见尤其是gamma设得比较小、样本间距离普遍很小时。表现出来就是quadprog报错或alpha分布极端。解决办法不复杂给核矩阵对角线加一个很小的正则项比如1e-8。这个操作在数学上等价于给变量加一点二次正则几乎不影响模型输出但能数值上避免奇异。K K 1e-8 * eye(n);另一个技巧是核矩阵所有元素先做一次全局缩放让最大值为1能进一步稳定求解。5.3 阈值漂移导致线上误报率突增模型上线后环境本身有缓慢变化比如设备老化、季节温度变化正常分布整体偏移原来定的95%分位数阈值会慢慢变得不合适。这不是模型坏了是分布变化了。工程上解决思路是定期用最新一段时间的正常数据重算阈值或者维护一个滑动的分位数缓存。每次预测完成后把判定为正常的样本存入经验池当经验池样本达到一定数量用滚动方式更新阈值。注意不能把判异常的样本也流入经验池否则污染会越滚越大。5.4 二次规划求解太慢样本量一大就跑不动如果训练集超过几万条直接用quadprog求解SVDD对偶问题会非常慢因为核矩阵是N乘N的。这时候有几个降级方案。一是随机抽样一部分正常样本来训练代价是边界精度降低但可接受。二是用分块训练把数据切成多个块分别学SVDD然后决策时对所有子模型投票或融合距离。三是换思路直接用fitcsvm里的OneClassSVM跑它本质上就是SVDD的另一种实现Matlab内部做了大量优化速度快很多。我在样本超过2万时基本都会切到OneClassSVM准确率差别很小。5.5 特征维度高SVR自重建退化特征维度很高比如几百维时SVR做自重建特别容易退化成“线性恒等”就是它学出来的映射接近单位阵残差接近0区分不出异常。原因是高维空间里信息冗余多拟合目标太容易达成。这时候有个简单变体很有效先用PCA把特征降到20维以内然后训练SVR做“降维后重建”残差计算也在降维空间进行。PCA压缩了冗余信息SVR被迫学习更有结构性的映射重建残差的区分度反而上升。SVDD那一路仍然用原始特征空间保留全局距离信息相当于两路信息不重复。6. 项目复盘与实践心得6.1 在真实场景中验证融合方案的经验我做过一个模拟的设备状态监测实验数据来自若干个传感器通道正常状态数据比较充足异常数据只挑了一小部分用于验证。单独用SVDD在测试集上AUC能到0.86左右但误报率偏高单独用SVR重建残差做判断AUC在0.82左右漏报多一些。两者做决策级融合后AUC提升到0.93误报率下降了三分之一左右。这个提升幅度比我想象的要大原因是SVDD和SVR的错误模式刚好错开SVDD漏掉的那些“趋势偏移但距离不太远”的样本SVR残差特别大SVR漏掉的“分布整体漂移”样本SVDD距离又很敏感。互补性不是巧合而是两个模型分别刻画了数据的不同侧面。融合权重lambda在这个实验里最优值是0.6意味着SVDD距离还是主力SVR残差作为补充。有个值得注意的现象lambda在0.4到0.8之间AUC变化不大说明模型对融合权重不敏感。实际项目里不一定要死磕最优lambda选一个中间值比如0.5配合阈值调整往往就够了。6.2 一个小技巧用可视化先看边界再谈指标我强烈建议参数调优之前先把训练样本和SVDD决策边界的可视化图画出来看一遍。二维数据可以直接画等高线高维数据可以先做PCA降到二维再画。这一步只需要十几分钟但能省下大量的盲目调参时间。看到边界形状诡异比如一个样本一个球、或者边界把所有样本都包在表面附近就知道gamma方向调错了根本不用跑AUC。我的习惯是先把gamma设成特征个数分之一的经验值画图看边界然后根据边界形状调整一到两个数量级再跑网格搜索。这套流程不稳不会错强烈推荐。6.3 什么情况下别用SVR-SVDD不是所有异常检测问题都适合这个组合。如果数据本身是纯表格、异常形态就是简单的取值偏离直接用OneClassSVM或者孤立森林可能又快又好没必要引入SVR增加复杂度。如果数据没有明显结构可挖SVR重建残差大概率是噪声融合后不仅不提升反而可能拖后腿。反过来如果数据有明确的时序关联、特征间有物理约束关系比如设备工况、传感器联动、用户行为序列SVR-SVDD的价值就非常明显。判断标准很简单拿到数据先问自己一句“正常样本之间有没有一种可预测的结构”有SVR值得加没有别硬加。最后再分享一个实操层面的小经验Matlab代码调试阶段尽量先用小样本集跑通整个流程再放大到全量数据。二次规划求解慢、核矩阵内存大这些问题在小样本上不暴露但真到全量数据跑挂了再回头查流程会非常痛苦。先用500个样本把阈值、可视化、指标全部验证一遍再上全量稳得多。
在工业异常检测、设备状态监测这类任务里最让人头疼的往往不是“怎么建模”而是“正常样本很多异常样本太少甚至根本没有标签”。传统分类器一上来就抓瞎有监督方法基本废掉。这时候支持向量数据描述SVDD就是很自然的切入点——它只需要正常数据学一个包围正常样本的紧凑边界落在外面的就是异常。我自己在实际项目中试过纯SVDD效果还行但总会遇到边界过松或过紧、误报率不稳的问题。后来把SVR支持向量回归也拉进来用SVR做特征重建或趋势预测把残差信息融合进SVDD的判断整套方案的稳定性明显上了一个台阶。这篇把SVR-SVDD的技术拆解、Matlab实现思路和调参经验完整写出来适合正在做无监督异常检测、手头有正常样本但没有异常样本的读者参考。1. 项目整体设计与思路拆解1.1 为什么纯SVDD不够用SVDD的全称是Support Vector Data Description核心思想一句话在高维空间里找一个包围所有正常样本的最小超球体测试样本落在球外就判为异常。这个思路很漂亮对数据分布没有强假设配合核函数还能处理非线性边界所以在故障诊断、入侵检测、医学影像筛查里都有人用。但实际用起来纯SVDD有几个绕不开的问题。第一它对特征空间的“形状”很敏感。如果正常样本本身有多个簇或者分布呈长条形一个超球体硬包边界上就会留出大量“空腔”异常样本正好掉在空腔里也判不出来。第二SVDD只关注样本到球心的距离这个距离是一个“全局紧致性”指标它不关心数据内部的结构和趋势。比如设备监测数据正常状态下往往有明确的时序规律某个传感器读数突然偏离趋势但幅度不大到球心的距离变化可能很小纯SVDD就容易漏。第三异常分数只靠距离没有重建误差之类的“局部证据”在噪声比较大的场景里很容易误报。这些问题不是SVDD本身错了而是它只刻画了“密度”和“紧致性”缺少“可解释的重建结构”。这时候引入SVR就有明确动机了。1.2 SVR在组合方案中的角色SVR在这里不是用来做分类的它承担的是“特征重建器”的角色。训练阶段只用正常样本让SVR学习输入特征到自身或目标特征的非线性映射。测试阶段把新样本丢进去如果它符合正常模式SVR重建出来的结果应该和真实值非常接近残差小如果它偏离正常模式重建残差会明显变大。这个“残差”就是异常检测里的局部证据和SVDD的全局距离正好形成互补。选择SVR而不是普通回归是因为SVR的损失函数只惩罚超出容忍带之外的误差对正常数据中常见的轻微波动不敏感重建出来的模型更稳健。而且SVR和SVDD同源都是基于支持向量的方法核函数的处理方式、调参思路基本一致放在同一个框架里逻辑非常顺。1.3 两种融合策略我试过两种融合途径各有适用场景。第一种是特征级拼接。用SVR对每个特征做自重建得到一组残差特征然后把原始特征和残差特征拼接成新的特征向量再交给SVDD学习超球边界。这种做法的好处是SVDD能看到“原始位置偏离趋势”两个维度的信息对于缓慢漂移类的异常尤其有效。缺点是特征维度翻倍核矩阵计算量变大。第二种是决策级融合。分别用SVDD算出样本到球心的归一化距离用SVR算出归一化重建误差然后加权求和得到最终异常分数score lambda * svdd_dist_norm (1 - lambda) * svr_residual_norm;lambda 取值范围[0,1]通过验证集上的AUC或者误报率来调。这种做法的好处是两条管道可以独立调优某一项失效不至于拖垮整体缺点是要多做一套调参工作而且lambda选择不当会抵消互补优势。我实际项目里更喜欢第二种理由很现实可解释性强。运维人员问“为什么报异常”时你可以直接说“超球距离超了0.32重建残差超了0.18综合判定为异常”比黑箱拼接好解释得多。2. 核心原理与关键公式拆解2.1 SVDD的目标函数和几何意义SVDD要解决的是这样一个优化问题。给定正常样本集合找一个中心为a、半径为R的超球体让它尽可能紧凑地包住大部分正常样本允许少量样本落在球外但要付出惩罚代价。数学形式是这样的min R^2 C * sum_i xi_i s.t. ||phi(x_i) - a||^2 R^2 xi_i xi_i 0其中phi表示核函数隐式映射到高维空间xi是松弛变量C是惩罚系数。对偶形式引入拉格朗日乘子alpha_i之后可以转化为一个二次规划问题。RBF核底下决策函数可以写成f(z) R^2 - ||phi(z) - a||^2f(z)大于0说明z在球内小于0说明落在球外。落在球边界上、对应alpha大于0的样本就是支持向量。几何意义可以这么理解正常数据是高维空间里的“一坨”SVDD就是找一个最小半径的球把这坨包住球面贴着最外围的样本。球面附近的样本决定了整体边界这些样本就是支持向量。团队里有人戏称这是“给正常数据套一个紧身衣”贴得越紧灵敏度越高但也越容易过拟合。2.2 SVR重建残差的计算方式我用的是epsilon-SVR目标函数是经典的min 1/2 * ||w||^2 C * sum_i (xi_i xi*_i) s.t. y_i - (w^T * phi(x_i) b) epsilon xi_i (w^T * phi(x_i) b) - y_i epsilon xi*_i xi_i, xi*_i 0训练完成后对样本x做重建预测y_hat残差就是r ||y - y_hat||这里有三种特征重建方式自重建SVR以x为输入、x为目标输出学一个恒等映射。好处是不需要额外设计目标变量坏处是恒等映射容易退化成“什么都不学”残差区分度差。交叉重建用一部分特征预测另一部分特征。比如设备数据里用温度预测振动幅度如果振动幅度偏离温度对应的正常关系残差就大。这种方式物理意义清晰。时序重建用前几个时刻的特征预测当前时刻的特征。适合有连续监测记录的数据。我自己的经验自重建最容易上手但区分度不稳定交叉重建效果好但需要业务知识来确定特征之间的关系。普通场景没有明确关系可挖时可以用自重建加上PCA变换后再重建残差效果会比直接在原始空间做更稳定。2.3 异常分数构造的关键细节不管用特征级还是决策级最终都要把SVDD距离和SVR残差放在同一个量纲下。我给两条路径都做了排序归一化处理在训练集上分别计算所有正常样本的SVDD距离和SVR残差然后转换为百分位数。测试样本的异常分数就是它在训练集分布中的相对位置。svdd_dist computeSvddDistance(model_svdd, X_test); svdd_norm getPercentile(train_svdd_dist, svdd_dist); svr_res computeSvrResidual(model_svr, X_test); svr_norm getPercentile(train_svr_res, svr_res);用百分位数而不是直接除以最大值是因为最大值容易被极端离群点带偏归一化不稳定。百分位数本质上是经验分布映射异常分数就是一个“在正常样本中这个点有多罕见”的概率化指标。这一点在实际工程里非常重要。2.4 核函数到底选哪个SVDD和SVR都需要核函数我最常用的是RBF核也就是高斯核K(x, z) exp(-gamma * ||x - z||^2)RBF核适用于绝大多数连续特征场景只有一个gamma参数要调。线性核适合特征维度很高、分布本身近似超平面的场景比如文本TF-IDF特征但异常检测里少见。多项式核偶尔有奇效但在高维空间容易产生剧烈波动调参困难不建议新手优先尝试。顺便提一个很多人忽略的点SVR和SVDD如果都用RBF核它们的gamma可以不一样不需要强行统一。SVDD的gamma控制球边界的柔性SVR的gamma控制回归曲面的光滑程度各自调各自的反而更好。3. Matlab代码实战从数据到异常判定3.1 数据准备与标准化Matlab里有现成的工具箱可以做二次规划求解但SVDD没有内置函数通常需要自己用quadprog或者optimconstr搭。我习惯先把代码拆成几个独立函数方便复用。第一步永远是标准化。SVDD的RBF核依赖样本间的欧氏距离如果特征量纲不一致量级大的特征会主导距离计算模型实际上只看了那一个维度。要么用zscore做零均值单位方差要么归一化到[0,1]看业务习惯。我的建议是异常检测用zscore因为它保留了异常点偏离正常分布的幅度信息这对距离类方法更友好。X_train zscore(X_train); X_test zscore(X_test, [], 1); % 注意用训练集的均值方差这里有个新手常犯的错测试集标准化时用了测试集自己的均值和方差导致分布偏移。正确做法是把训练集的均值和方差存下来应用到测试集上。这是数据泄露的一种隐蔽形式。3.2 用quadprog实现SVDD核心求解SVDD的Matlab实现核心是转化成对偶二次规划问题。对偶形式是min alpha * K * alpha - diag(K) * alpha s.t. alpha_i 0 sum(alpha_i) 1约束是线性等式要求alpha分量大于等于0可以用quadprog求解。写成函数就是下面这步function model svdd_train(X, kernel_sigma, C) n size(X, 1); K computeRBFKernel(X, X, kernel_sigma); H 2 * K; f -diag(K); Aeq ones(1, n); beq 1; lb zeros(n, 1); ub C * ones(n, 1); options optimoptions(quadprog, Display, off); alpha quadprog(H, f, [], [], Aeq, beq, lb, ub, [], options); model.alpha alpha; model.X X; model.sigma kernel_sigma; model.C C; % 计算球心理论上球心是 alpha 的线性组合 % 实际判断新样本只需用核函数不需要显式求球心 endC的物理意义是球外样本的惩罚上限取1表示alpha最大为1对应纯硬边界取0到1之间表示允许一定比例的训练样本落在球外。实际调参中C并不会单独设得很小更多靠gamma配合。计算测试样本到球心距离平方的公式是dist2(z) K(z,z) - 2 * sum_i alpha_i * K(z, x_i) sum_i sum_j alpha_i alpha_j K(x_i, x_j)写成Matlab循环会慢建议直接用矩阵运算function dist2 svdd_dist2(model, Z) Kzz computeRBFKernel(Z, Z, model.sigma); Kzx computeRBFKernel(Z, model.X, model.sigma); Kxx computeRBFKernel(model.X, model.X, model.sigma); alpha model.alpha; dist2 diag(Kzz) - 2 * (Kzx * alpha) alpha * Kxx * alpha; end我自己测试过稳定性和libsvm的one-class结果基本一致差别仅在二次规划求解器的精度上。3.3 SVR模型训练与残差统计Matlab自带的fitrsvm可以直接用RBF核、标准化、交叉验证都封装好了。训练和预测的代码非常简单mdl_svr fitrsvm(X_train, X_train, ... KernelFunction, rbf, ... KernelScale, auto, ... Standardize, false, ... Epsilon, 0.1, ... CrossValidat? );注意这里训练集既作输入又作输出做的是自重建。KernelScale设为auto是让Matlab自己估计一个初始gamma省事但大型数据集上不一定准建议后面用网格搜索覆盖。训练完成后对训练集算出残差向量利用prctile获取分位数train_res abs(X_train - predict(mdl_svr, X_train)); train_res_dist vecnorm(train_res, 2, 2); % 每个样本的二范数残差 test_pred predict(mdl_svr, X_test); test_res_dist vecnorm(X_test - test_pred, 2, 2);SVR的epsilon参数要重点说。epsilon设得越小回归曲线越贴近训练样本正常样本的残差会很小但测试时稍微有点噪声就会被判异常epsilon设得越大模型越“钝”残差区分度下降但抗噪能力强。经验上取特征标准差的0.01到0.1倍起步然后结合交叉验证微调。3.4 融合判定与阈值确定训练集上拿到两个异常分数之后我用百分位映射生成融合分数train_score_combined lambda * train_svdd_norm (1 - lambda) * train_svr_norm;阈值设置为融合分数的95%分位数测试样本超过阈值判为异常。这个95%是经验起点实际要根据业务允许的误报率来调整。如果监控指标要求低误报可以放高到99%如果要求高召回可以降到90%。阈值选定之后要保存下来上线预测时直接查表。很多人每次运行都重新训练、重新算阈值导致线上判定不稳定这是流程问题不是算法问题。threshold prctile(train_score_combined, 95); is_outlier test_score_combined threshold;3.5 完整流程脚本示范把整个流程串起来大概是下面这些步骤。我把核心代码整理成一个函数方便直接在数据集上跑出异常分数和可视化结果。function [score, is_outlier, model] svr_svdd_detect(X_train, X_test, opts) arguments X_train double X_test double opts.sigma double 1 opts.C double 0.1 opts.lambda double 0.5 opts.threshold_pct double 95 end % 标准化 mu mean(X_train, 1); sig std(X_train, [], 1); Xtr (X_train - mu) ./ sig; Xte (X_test - mu) ./ sig; % SVDD svdd_model svdd_train(Xtr, opts.sigma, opts.C); train_svdd svdd_dist2(svdd_model, Xtr); test_svdd svdd_dist2(svdd_model, Xte); % SVR 自重建 svr_model fitrsvm(Xtr, Xtr, ... KernelFunction, rbf, ... KernelScale, opts.sigma, ... Epsilon, 0.1, ... Standardize, false); train_res vecnorm(Xtr - predict(svr_model, Xtr), 2, 2); test_res vecnorm(Xte - predict(svr_model, Xte), 2, 2); % 百分位归一化 train_svdd_norm tiedrank(train_svdd) / numel(train_svdd); train_res_norm tiedrank(train_res) / numel(train_res); test_svdd_norm interp1(sort(train_svdd), train_svdd_norm, test_svdd, linear, extrap); test_res_norm interp1(sort(train_res), train_res_norm, test_res, linear, extrap); % 融合 train_score opts.lambda * train_svdd_norm (1 - opts.lambda) * train_res_norm; test_score opts.lambda * test_svdd_norm (1 - opts.lambda) * test_res_norm; threshold prctile(train_score, opts.threshold_pct); is_outlier test_score threshold; score test_score; model struct(svdd, svdd_model, svr, svr_model, threshold, threshold); end这里用tiedrank和interp1做百分位映射比prctile更通用能处理测试样本分数超过训练集范围的情况。4. 参数调优与实验评估4.1 关键参数含义速查SVR-SVDD涉及的参数比普通分类器多不梳理清楚很容易陷入“调了A就坏B”的循环。我自己总结了一份参数速查表每次调参前先过一遍。参数所属模型作用常见范围调参倾向gamma / KernelScaleSVDD、SVR控制核函数影响半径0.001 ~ 10过大过拟合过小欠拟合CSVDD允许球外样本的惩罚上限0.01 ~ 1越小边界越宽松epsilonSVR不敏感带的宽度0.01 ~ 1越小重建越精确但越敏感lambda融合权重SVDD距离与SVR残差权重0.2 ~ 0.8数据不同差异大需验证threshold_pct判定阈值正常样本分位数90 ~ 99根据误报率容忍度调整gamma在SVDD里和RBF核的不敏感度严格相关gamma越大样本间距离衰减越快每个样本只影响周围很小区域模型容易在单个样本附近形成“孤岛”gamma越小所有样本互相影响球面越来越平滑边界越来越松异常检测灵敏度下降。网格搜索时建议用对数刻度步长乘以3或除以3。4.2 基于AUC的网格搜索没有真实异常标签时参数搜索靠什么评价两个思路。一是人工注入异常——把正常样本做随机扰动或漂移构造合成异常集然后按AUC来筛参数二是在有少量历史异常事件的场景里直接用真实异常样本做验证。不管哪种目标函数都可以定义为AUC或F1。Matlab里可以用categorical和perfcurve算AUC。简化版网格搜索如下lambda_list 0.2:0.2:0.8; sigma_list logspace(-2, 1, 8); auc_best 0; for lam lambda_list for sig sigma_list [score, ~] svr_svdd_detect(X_train, X_test, ... sigma, sig, C, 0.1, lambda, lam); [~, ~, ~, auc] perfcurve(y_test, score, 1); if auc auc_best auc_best auc; best_params [lam, sig]; end end end注意这里C我没放进网格原因是C在SVDD对偶问题里的作用是给alpha设上限它影响的是“球外容忍样本比例”在无监督场景里C本身就和“假定的异常比例”挂钩。如果数据集比较干净C可以设大一点比如0.1如果怀疑数据里混了少量异常C要调小一点典型值0.05。先固定C再搜gamma和lambda能少一个维度的搜索量。4.3 评估指标别只看准确率异常检测场景类别极度不平衡假设异常只占1%全predict成正常也有99%的准确率所以准确率没有参考价值。核心指标是AUC、召回率异常样本检出率和误报率正常样本判异常的比例。有异常标签时用ROC曲线和PR曲线都看一遍没有标签时至少要做合成异常验证。还有一个容易被忽略的稳定性指标在多次随机划分训练集后判定结果会不会剧烈变化。SVDD这类无监督方法对训练集样本很敏感两次训练出来的阈值可能差20%。如果做实验发现差异过大说明模型不稳定优先考虑增加训练样本或降低gamma值。5. 常见问题与排查技巧实录5.1 训练集里混了异常样本怎么办无监督SVDD最怕的就是正常数据里混进了测试阶段才该被发现的异常。如果混入比例不高影响不大如果比例超过5%球心会被拉向异常方向边界会变形。处理方法有几个。第一训练前先做一个快速粗筛比如用MAD绝对中位差剔除各维度的极端离群样本。第二把C设小一点允许部分训练样本落在球外SVDD自动忽略它们。第三如果是特征拼接方案可以先用SVR重建残差做一个排序把残差最大的前5%样本先删掉再训练。我实际碰到过一个案例数据收集阶段传感器有一段不稳定输出导致训练集里好多毛刺样本。直接用SVDD训练测试时毛刺全被当成正常样本。后来加了MAD粗筛效果立竿见影。5.2 RBF核矩阵出现奇异或数值不稳定样本量大的时候RBF核矩阵接近奇异会很常见尤其是gamma设得比较小、样本间距离普遍很小时。表现出来就是quadprog报错或alpha分布极端。解决办法不复杂给核矩阵对角线加一个很小的正则项比如1e-8。这个操作在数学上等价于给变量加一点二次正则几乎不影响模型输出但能数值上避免奇异。K K 1e-8 * eye(n);另一个技巧是核矩阵所有元素先做一次全局缩放让最大值为1能进一步稳定求解。5.3 阈值漂移导致线上误报率突增模型上线后环境本身有缓慢变化比如设备老化、季节温度变化正常分布整体偏移原来定的95%分位数阈值会慢慢变得不合适。这不是模型坏了是分布变化了。工程上解决思路是定期用最新一段时间的正常数据重算阈值或者维护一个滑动的分位数缓存。每次预测完成后把判定为正常的样本存入经验池当经验池样本达到一定数量用滚动方式更新阈值。注意不能把判异常的样本也流入经验池否则污染会越滚越大。5.4 二次规划求解太慢样本量一大就跑不动如果训练集超过几万条直接用quadprog求解SVDD对偶问题会非常慢因为核矩阵是N乘N的。这时候有几个降级方案。一是随机抽样一部分正常样本来训练代价是边界精度降低但可接受。二是用分块训练把数据切成多个块分别学SVDD然后决策时对所有子模型投票或融合距离。三是换思路直接用fitcsvm里的OneClassSVM跑它本质上就是SVDD的另一种实现Matlab内部做了大量优化速度快很多。我在样本超过2万时基本都会切到OneClassSVM准确率差别很小。5.5 特征维度高SVR自重建退化特征维度很高比如几百维时SVR做自重建特别容易退化成“线性恒等”就是它学出来的映射接近单位阵残差接近0区分不出异常。原因是高维空间里信息冗余多拟合目标太容易达成。这时候有个简单变体很有效先用PCA把特征降到20维以内然后训练SVR做“降维后重建”残差计算也在降维空间进行。PCA压缩了冗余信息SVR被迫学习更有结构性的映射重建残差的区分度反而上升。SVDD那一路仍然用原始特征空间保留全局距离信息相当于两路信息不重复。6. 项目复盘与实践心得6.1 在真实场景中验证融合方案的经验我做过一个模拟的设备状态监测实验数据来自若干个传感器通道正常状态数据比较充足异常数据只挑了一小部分用于验证。单独用SVDD在测试集上AUC能到0.86左右但误报率偏高单独用SVR重建残差做判断AUC在0.82左右漏报多一些。两者做决策级融合后AUC提升到0.93误报率下降了三分之一左右。这个提升幅度比我想象的要大原因是SVDD和SVR的错误模式刚好错开SVDD漏掉的那些“趋势偏移但距离不太远”的样本SVR残差特别大SVR漏掉的“分布整体漂移”样本SVDD距离又很敏感。互补性不是巧合而是两个模型分别刻画了数据的不同侧面。融合权重lambda在这个实验里最优值是0.6意味着SVDD距离还是主力SVR残差作为补充。有个值得注意的现象lambda在0.4到0.8之间AUC变化不大说明模型对融合权重不敏感。实际项目里不一定要死磕最优lambda选一个中间值比如0.5配合阈值调整往往就够了。6.2 一个小技巧用可视化先看边界再谈指标我强烈建议参数调优之前先把训练样本和SVDD决策边界的可视化图画出来看一遍。二维数据可以直接画等高线高维数据可以先做PCA降到二维再画。这一步只需要十几分钟但能省下大量的盲目调参时间。看到边界形状诡异比如一个样本一个球、或者边界把所有样本都包在表面附近就知道gamma方向调错了根本不用跑AUC。我的习惯是先把gamma设成特征个数分之一的经验值画图看边界然后根据边界形状调整一到两个数量级再跑网格搜索。这套流程不稳不会错强烈推荐。6.3 什么情况下别用SVR-SVDD不是所有异常检测问题都适合这个组合。如果数据本身是纯表格、异常形态就是简单的取值偏离直接用OneClassSVM或者孤立森林可能又快又好没必要引入SVR增加复杂度。如果数据没有明显结构可挖SVR重建残差大概率是噪声融合后不仅不提升反而可能拖后腿。反过来如果数据有明确的时序关联、特征间有物理约束关系比如设备工况、传感器联动、用户行为序列SVR-SVDD的价值就非常明显。判断标准很简单拿到数据先问自己一句“正常样本之间有没有一种可预测的结构”有SVR值得加没有别硬加。最后再分享一个实操层面的小经验Matlab代码调试阶段尽量先用小样本集跑通整个流程再放大到全量数据。二次规划求解慢、核矩阵内存大这些问题在小样本上不暴露但真到全量数据跑挂了再回头查流程会非常痛苦。先用500个样本把阈值、可视化、指标全部验证一遍再上全量稳得多。
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
