在模式识别与机器学习这条路上特征提取、特征选择与聚类分析这三个名字经常一起出现但真要问它们各自解决什么问题很多刚开始接触的同学都会卡壳。L10这一讲把三个主题放在一起我最早以为只是课程章节的安排直到自己动手做数据项目才明白这其实是一条完整链路前端决定你用哪些信息描述样本中部决定哪些信息值得留下后端决定样本天然能分成几类。这篇文章就是把这条链路拆开揉碎讲清楚原理、公式、代码和踩过的坑适合正在跟机器学习课程的学生也适合做数据分析、算法建模但想系统补一补特征工程这块短板的朋友。1. 特征提取把高维信息压缩成有用的低维表达1.1 为什么要做特征提取它和特征选择的本质区别先说一个最容易被混淆的点特征提取和特征选择都是在降维但做法完全不同。特征选择是从一堆原始特征里挑出几个留下比如你有年龄、收入、职业、城市四个字段选择就是决定只用其中两三个剩下的直接丢掉。特征提取则不是挑而是把原始特征通过某种变换组合成新的特征新特征往往已经失去了原来的业务含义但它携带的信息量比任何单一原始特征都大。我常拿整理房间来打比方。特征选择像扔东西太乱太占地方的杂物扔掉空间自然清爽特征提取像把所有零碎物品重新收纳进几个大抽屉空间变小了但里面的东西还在只是你没法一眼看出每个抽屉具体装了什么。数学上特征提取就是找一个映射把原始特征空间映射到更低维的空间比如主成分分析PCA、线性判别分析LDA、非负矩阵分解NMF、自编码器都属于这一类。什么时候必须用特征提取最典型的场景是图像、文本、语音。一张图片原始像素可能就是几千、几万维直接用这些维度建模不但计算量爆炸而且很多像素之间高度相关模型学到的往往是噪音而不是结构。这种情况下特征选择反而不太适用因为单个像素本身携带的信息太弱你没法靠挑选几千个像素来代表一张图。必须通过卷积、池化、矩阵分解这类操作先把信息揉成高层特征。1.2 PCA的完整推导与实战参数PCA是特征提取里最基础也最常用的方法没有之一。它的核心思想非常直白找一个方向让所有样本投影到这个方向上之后样本之间的差异方差尽可能大。因为方差大的方向承载的信息多方差小的方向承载的信息少丢掉方差小的方向信息损失最小。具体做法分四步。第一步对原始数据做中心化也就是每个特征减去自己的均值让数据中心落在原点。这里有一个特别容易忽略的前提先做标准化再做中心化。很多初学者上来就PCA结果发现第一主成分被量纲最大的那个特征主导比如收入以万元为单位、年龄以岁为单位时收入列数值天然大PCA就死死盯住收入这个方向。正确做法是先用StandardScaler把每个特征缩放到均值0、方差1再做后续计算。第二步计算协方差矩阵。中心化之后协方差矩阵的对角线是每个特征的方差非对角线是两个特征之间的协方差它刻画了特征之间的线性相关性。第三步对这个协方差矩阵做特征值分解得到特征值和对应的特征向量。特征值衡量的是对应特征向量方向上样本投影的方差大小特征向量本身则给出了这个方向在原始坐标空间里的组合方式。第四步按特征值从大到小排序取前k个特征向量组成投影矩阵用原始数据乘以这个矩阵得到降维后的数据。k怎么选通常会看“累计方差贡献率”。比如你算出前5个特征值占所有特征值总和的比例已经超过90%说明用5维就能保留90%的原始波动信息。import numpy as np from sklearn.preprocessing import StandardScaler from sklearn.decomposition import PCA # 假设 X 是 (样本数, 原始特征数) 的二维数组 X_scaled StandardScaler().fit_transform(X) pca PCA() X_pca_full pca.fit_transform(X_scaled) # 查看每个主成分的方差贡献率 print(pca.explained_variance_ratio_) # 计算累计贡献率 cumsum np.cumsum(pca.explained_variance_ratio_) k np.argmax(cumsum 0.9) 1 print(f累计贡献率超过90%需要 {k} 个主成分)这里我想强调一个实际经验累计贡献率卡90%只是一个经验值不是硬标准。如果你的下游任务是可视化那统一取2或3维能画出来最重要如果是为了后续聚类我曾经遇到贡献率75%左右时聚类效果反而比90%更好因为后面那些维度里装的主要是噪声硬留住它们只会加大聚类的不确定性。建议把不同k值对应的下游指标都跑一遍别只看贡献率曲线。1.3 LDA、NMF与自编码器的适用场景PCA之外另外几个特征提取方法也值得知道。LDA和PCA长得像但有个本质差别PCA是无监督的它不看标签只追求方差最大LDA是监督的它知道每个样本属于哪一类追求的是“类间距离大、类内距离小”。所以如果你手头有标签LDA往往比PCA在后续分类上更高效但它有个限制降维后的维度数最多是类别数减1比如三分类问题LDA最多降到2维。NMF则要求分解出的两个矩阵都是非负的特别适合处理图像、频谱、词频这类本身就是非负计数的数据它能分解出类似“局部特征”的结构在人脸识别里甚至会分解出对应鼻子、嘴巴这类部位的基。自编码器是神经网络版本的特征提取器模型自由度更高能捕捉非线性结构但代价是需要大量数据和调参经验小数据集上未必打得过PCA。2. 特征选择在保留解释性的前提下做减法2.1 Filter、Wrapper、Embedded三种策略怎么选特征选择和特征提取解的问题不一样。很多时候业务的解释性要求不允许你把“年龄收入职业”组合成一个说不清含义的新变量合规、风控、医疗这些领域尤其明显你给业务方看的是一个叫做“PC1”的东西业务方完全没法理解更没法验收。这时候就得用特征选择从原始特征里挑一部分出来建模。主流的特征选择方法分三类Filter过滤法是先给每个特征打一个分按分排序然后选前k个。打分方式有方差、卡方检验、互信息、相关系数等。优点是快适合高维数据缺点是不考虑特征之间的组合效应容易把两个单独看没用、合起来有用的特征一起丢掉。Wrapper包装法是把模型预测效果作为评分标准每次迭代加特征或减特征看效果变化比如递归特征消除RFE. 效果通常更好但计算量大特征一多就慢得让人崩溃。Embedded嵌入法把特征选择融进模型训练过程典型代表是L1正则化它会把不重要的特征系数压到0树模型直接输出feature_importance也算这类。效果和计算量的平衡点最好因此实际项目里用得最多。2.2 常用指标与阈值经验具体操作时几个常用指标的心得要记清楚。方差阈值是最粗的一层过滤。如果一个特征在所有样本上的值几乎不变比如98%的样本都是同一个值那它对区分样本基本没贡献。我一般直接用VarianceThreshold(threshold0)先去掉完全常数特征再用一个自定义阈值去掉近似常数特征这个阈值怎么定得看标准化后的特征经验上0.01左右比较稳但最好结合特征实际含义来调不要一刀切。卡方检验专门用来衡量分类问题里特征与标签是否独立适合处理非负计数型特征。它的问题是样本量一大几乎什么特征都会显示“显著相关”这时不能只看p值更得看效应量。互信息则能捕捉非线性相关性比相关系数更通用比如特征X和标签Y呈抛物线关系线性相关系数接近0但互信息很高这类特征用互信息才筛得出来。Embedded方法里树模型的特征重要性我会留意两件事一是它容易偏好高基数特征比如ID号这种唯一值特别多的列数值型连续特征反而吃亏所以需要结合排列重要性做对比二是L1正则化对特征间的共线性敏感两个强相关特征往往只有一个被选中另一个系数被压到0这不一定代表另一个没用。2.3 特征选择与特征提取的配合策略实际项目里我不会只选其中一种而是按阶段混用。最顺手的一套组合拳是先用Filter快速排除大量噪音特征再用Embedded方法训练一次模型拿到特征重要性排序最后结合业务知识人工核对那批重要性靠前的特征有没有逻辑。比如做用户流失预测模型说“平均登录次数”最重要业务方也认同这个指标和用户粘性强相关那这个特征就留下了。如果模型说某个莫名其妙的技术字段最重要而业务方没人说得清它是什么这种特征优先怀疑是泄漏该查数据血缘就得去查而不是直接采信重要性。需要明确的是选择之后特征完全保留原始含义这给了业务解释极大的便利这是它相对于特征提取的最大优势。缺点则是信息利用率低当原始特征本身就很稀疏、单个特征信息量很弱时怎么挑都挑不出好结果这时候反而应该相信特征提取带来的组合信息。3. 聚类分析无监督学习的核心一环3.1 聚类到底在解决什么问题聚类和分类只有一字之差核心区别是分类有标签聚类没有。聚类的目标是把样本分成若干个组让组内样本尽可能相似、组间样本尽可能不同。你可能没有标签但想知道用户天然能分成几类、文本主题大概有几簇、店铺地址能聚成几个商圈这就是聚类发挥作用的地方。聚类结果本身不是在“预测”什么而是在发现数据结构。所以它的评估标准也和分类不一样分类看准确率聚类看轮廓系数、簇内误差、稳定性这些内部指标。更要命的是聚类的结果是开放的没有绝对正确答案。同样的数据按业务需求不同可能分成3类是合理的分成5类也说得通关键是业务方怎么解读每一类怎么用。这一点让很多习惯了监督学习的人很难受但从业务落地角度反而更灵活——你到底想要粗粒度的几个大分层还是细分的小群体完全取决于分析目标。3.2 K-Means的算法流程、K值确定与常见坑K-Means是最经典、也是我第一个上手的聚类算法。它流程也不复杂先随机选K个点当中心把每个样本分给离它最近的中心形成K个簇再重新计算每个簇的中心也就是簇内所有样本的均值用新中心替换旧中心反复迭代直到中心不再明显变化。做K-Means有几个绕不开的坑。第一K值怎么定。最常用的方法是肘部法则画簇内误差平方和SSE随K变化的曲线找那个误差下降突然变缓的拐点这个拐点对应的K就是“性价比最高的分法”。第二个常用指标是轮廓系数取值为[-1, 1]越接近1说明簇内紧凑、簇间分离得开。实际中我会把肘部、轮廓系数、业务理解三个放在一起对某次客户分群中肘部法则说K4轮廓系数峰值在K6但业务方只想分成高中低三层最后我选择了K3因为这才能直接对应运营策略。算法得分再漂亮业务用不上也是白搭。第二标准化一定不能省。K-Means依赖距离计算如果特征量纲不一致比如“年龄”和“年收入”混在一起后者数值大就会主导距离年龄信息基本被淹没。第三K-Means对初始中心点敏感。不同随机种子可能得到不同聚类结果这是个很隐蔽的坑解决办法是用K-Means初始化它在选初始中心时会让中心之间尽量分散稳定性会好很多。还有一个我自己吃亏过的点离群点是K-Means的隐形炸弹。因为簇中心是所有样本的均值一个离群点就能把中心拉偏聚类结果整个变形。做K-Means之前最好先用箱线图或者聚类算法自带的异常检测模块把极端值处理掉或者改用对离群点更鲁棒的聚类方法。3.3 层次聚类与DBSCAN的选择逻辑K-Means适用场景虽广但有两个天生短板一是需要提前指定K二是它只能发现凸形状的簇遇到月牙形、环形分布的数据K-Means会把它们强行拆碎。层次聚类不需要指定K它有两种方向自底向上的凝聚法最常用。一开始每个样本都是独立簇然后每步把最相似的两个簇合并直到所有样本都在一个簇里为止最后结果用树状图展示。看树状图时你直接在某个高度切一刀就能得到对应的分类数。这种方法的优势是能看出数据的嵌套结构在做生物种群分类、公司组织架构分析时很有价值缺点是复杂度高样本量上万之后就明显变慢。DBSCAN则是按密度聚类。它不需要指定分几类只需要两个参数eps表示邻域半径min_samples表示一个核心点邻域内最少要有多少个点。它会把密度足够高的区域连成簇落在密度稀疏区域的点标记为噪声因此天然能发现环形、月牙形等任意形状的簇还能顺手把离群点挑出来。代价也很实在对eps参数极其敏感eps大了全世界一个簇eps小了全世界都是噪声。而且数据不同区域的密度差异一大一个全局eps根本无法满足所有区域——比如不同城市商圈的密集程度差异极大就导致DBSCAN在这种场景下表现不稳定。选择逻辑就一句话如果数据量大、簇形状接近凸、你愿意花精力去定K优先考虑K-Means如果数据量不大、想看层级结构用层次聚类如果簇形状不规则、噪声又多上DBSCAN。没有哪个算法全面碾压选的是匹配。4. 实操特征工程与聚类分析完整流程4.1 一份可运行的示例代码概念讲得再多不如跑一段完整流程。下面这个示例用模拟数据演示从预处理、PCA降维、特征选择到K-Means聚类的全链路注释里会写清楚每一步的意图。import numpy as np import pandas as pd from sklearn.datasets import make_classification from sklearn.preprocessing import StandardScaler from sklearn.decomposition import PCA from sklearn.feature_selection import SelectKBest, f_classif, VarianceThreshold from sklearn.cluster import KMeans from sklearn.metrics import silhouette_score # 生成1000个样本、20个特征的模拟数据其中5个特征与标签相关 X, y make_classification(n_samples1000, n_features20, n_informative5, n_redundant5, random_state42) X pd.DataFrame(X, columns[ffeat_{i} for i in range(20)]) # 第1步标准化 scaler StandardScaler() X_scaled scaler.fit_transform(X) # 第2步用方差阈值去除近似常数特征 selector_var VarianceThreshold(threshold0.01) X_var selector_var.fit_transform(X_scaled) print(f方差过滤后特征数: {X_var.shape[1]}) # 第3步用F检验选出前8个特征监督信号辅助选择 selector_f SelectKBest(f_classif, k8) X_selected selector_f.fit_transform(X_var, y) # 第4步在特征选择结果上做PCA保留2维便于可视化 pca PCA(n_components2) X_pca pca.fit_transform(X_selected) print(fPCA累计解释方差: {pca.explained_variance_ratio_.sum():.3f}) # 第5步K-Means聚类并用轮廓系数评估 kmeans KMeans(n_clusters3, initk-means, n_init10, random_state42) labels kmeans.fit_predict(X_pca) score silhouette_score(X_pca, labels) print(f轮廓系数: {score:.3f})这段代码刻意把特征选择和PCA串起来用用意在于先用有标签的F检验筛掉对分类几乎无帮助的特征再在剩余特征上做PCA压缩结构。这比直接在20维噪声特征上做PCA要干净得多聚类轮廓系数也会明显高一些。4.2 管线设计思路为什么顺序这么排这套流程的顺序是有讲究的。标准化放第一步是为了消除量纲对距离和方差的干扰这点在任何聚类或降维任务里都是前提。方差过滤放第二步是为了把本来就不携带区分信息的列删掉避免它们稀释后面特征选择的比例。监督式特征选择放第三步听起来有点不合常理——聚类不是无监督吗怎么用标签其实这分场景。如果业务目标是“在无标签样本上做探索”那就不应该用标签筛选特征而是纯靠方差、相关性这些无监督指标来筛但如果你的目标是用聚类做分群而你有历史标签可以做参考那用监督特征选择得到的特征子集往往在业务上更有区分度。两者都说得通核心是清楚自己在做什么。最后说聚类之前的PCA。选择在特征筛选之后再做PCA是为了减少PCA被大量无关维度牵着走的风险。如果直接用原始20维做PCA前几个主成分会被那10个无关特征污染聚类结果自然好不了。先筛后降维等于先保住信号再把信号浓缩。5. 常见问题与排查技巧实录5.1 特征数量到底保留多少这个问题没有标准答案但有标准思路。第一层看方差解释率做到80%-90%通常够用第二层看下游指标比如聚类的轮廓系数、分类的交叉验证得分第三层看计算成本。我的建议是把特征数当成一个超参数画出一条“特征数量-下游得分曲线”选拐点或者平台期而不是拍脑袋定个数。做特征选择时同理选前5个、前10个、前15个各跑一遍观察模型得分增长是否趋缓趋缓之后再加特征纯属浪费算力。5.2 PCA与特征选择混用导致的两个坑第一个坑是可解释性丢失。PCA生成的每个主成分都是全部原始特征的线性组合业务方会直接问“PC1代表什么意思”不好回答。如果项目对解释性要求极高宁可只用特征选择把新特征的事放一放。第二个坑是数据泄漏。如果在做特征选择或PCA之前把整个数据集包括测试集一起做了标准化就用到了测试集的信息这会让评估结果虚高。正确的做法是只在训练集上fit标准化器和PCA再用同一组参数transform测试集。这个细节做Kaggle或真实项目时尤其重要泄漏防住了模型上线表现才能稳住。5.3 聚类结果不稳定换了随机种子类别就不一样这是K-Means的高频问题。如果你已经用了initk-means和固定的random_state结果还是不稳大概率问题出在数据本身特征噪声太多、离群点作祟、或者簇不够凸。我常用的排查顺序是第一步看标准化做了没第二步看离群点处理了没第三步试着换DBSCAN跑一遍如果DBSCAN给出的簇边界看起来更符合直觉那说明数据分布本身不适合K-Means这种硬划分方式。另外对业务分群这种场景别只跑一次就交付多换几个随机种子跑20次看哪些样本的归属频繁变动频繁变动的样本往往在簇的边界上它们是运营策略应该重点关注的高敏人群这个信息本身可比一个稳定到无趣的聚类结果更有价值。5.4 特征尺度差异与异常值同时存在怎么办标准化的前提是数据干净但异常值会让均值和方差失真。假设某个特征99%的值都在0到100之间忽然来一个10000均值被拉高标准化后正常数据反而挤在一个小区域里特征真信号被毁了。这种场景我更喜欢用RobustScaler它按中位数和四分位数缩放对离群点的抗性更强。还有一个土办法是把极端值做截尾处理比如超过99分位数的全部压到99分位数的值上这类处理在业务上最容易被接受因为“封顶”本身也符合很多运营规则的写法。5.5 一个真实项目复盘客户分群时踩过的坑最后分享一段具体经历。几个月前我做某平台的用户消费行为分群特征是消费金额、消费频次、活跃天数、页面停留时长、设备类型等十几个字段。第一版我直接标准化后送进K-Means轮廓系数只有0.21简直惨不忍睹。排查时发现两个主要问题一是消费金额严重右偏个别大客户把均值拉高整个K-Means中心都在跟着他们转二是活跃天数和页面停留时长相关性极高等于一个信息被重复计算变相放大了它的权重。处理方式是先对大额消费做对数变换再用RobustScaler标准化所有数值特征相关性高于0.8的特征组只保留业务上更核心的一个。重跑之后轮廓系数到了0.4分出的“低活跃沉默用户”“高频刚需用户”和“偶尔波动用户”三组运营团队可以直接对应不同的触达策略。这次经历给我的收获是聚类效果不好时先别急着换算法把数据洗一洗、把相关特征清理掉效果往往就能起来一大截。回到最初的话题特征提取、特征选择、聚类分析这三件事从来不是孤立的知识点。特征提取解决“信息太多怎么浓缩”特征选择解决“信息太多怎么删减”聚类分析解决“浓缩或删减之后样本到底长什么样”。真正做项目时它们是同一个决策链条上的不同环节。希望这篇整理能帮你少走我当年走过的弯路下次再看到“先降维再聚类”这类套路时能多想一层这里用的应该是提取还是选择顺序背后是什么逻辑想通了代码跑出来的结果才真正有说服力。
在模式识别与机器学习这条路上特征提取、特征选择与聚类分析这三个名字经常一起出现但真要问它们各自解决什么问题很多刚开始接触的同学都会卡壳。L10这一讲把三个主题放在一起我最早以为只是课程章节的安排直到自己动手做数据项目才明白这其实是一条完整链路前端决定你用哪些信息描述样本中部决定哪些信息值得留下后端决定样本天然能分成几类。这篇文章就是把这条链路拆开揉碎讲清楚原理、公式、代码和踩过的坑适合正在跟机器学习课程的学生也适合做数据分析、算法建模但想系统补一补特征工程这块短板的朋友。1. 特征提取把高维信息压缩成有用的低维表达1.1 为什么要做特征提取它和特征选择的本质区别先说一个最容易被混淆的点特征提取和特征选择都是在降维但做法完全不同。特征选择是从一堆原始特征里挑出几个留下比如你有年龄、收入、职业、城市四个字段选择就是决定只用其中两三个剩下的直接丢掉。特征提取则不是挑而是把原始特征通过某种变换组合成新的特征新特征往往已经失去了原来的业务含义但它携带的信息量比任何单一原始特征都大。我常拿整理房间来打比方。特征选择像扔东西太乱太占地方的杂物扔掉空间自然清爽特征提取像把所有零碎物品重新收纳进几个大抽屉空间变小了但里面的东西还在只是你没法一眼看出每个抽屉具体装了什么。数学上特征提取就是找一个映射把原始特征空间映射到更低维的空间比如主成分分析PCA、线性判别分析LDA、非负矩阵分解NMF、自编码器都属于这一类。什么时候必须用特征提取最典型的场景是图像、文本、语音。一张图片原始像素可能就是几千、几万维直接用这些维度建模不但计算量爆炸而且很多像素之间高度相关模型学到的往往是噪音而不是结构。这种情况下特征选择反而不太适用因为单个像素本身携带的信息太弱你没法靠挑选几千个像素来代表一张图。必须通过卷积、池化、矩阵分解这类操作先把信息揉成高层特征。1.2 PCA的完整推导与实战参数PCA是特征提取里最基础也最常用的方法没有之一。它的核心思想非常直白找一个方向让所有样本投影到这个方向上之后样本之间的差异方差尽可能大。因为方差大的方向承载的信息多方差小的方向承载的信息少丢掉方差小的方向信息损失最小。具体做法分四步。第一步对原始数据做中心化也就是每个特征减去自己的均值让数据中心落在原点。这里有一个特别容易忽略的前提先做标准化再做中心化。很多初学者上来就PCA结果发现第一主成分被量纲最大的那个特征主导比如收入以万元为单位、年龄以岁为单位时收入列数值天然大PCA就死死盯住收入这个方向。正确做法是先用StandardScaler把每个特征缩放到均值0、方差1再做后续计算。第二步计算协方差矩阵。中心化之后协方差矩阵的对角线是每个特征的方差非对角线是两个特征之间的协方差它刻画了特征之间的线性相关性。第三步对这个协方差矩阵做特征值分解得到特征值和对应的特征向量。特征值衡量的是对应特征向量方向上样本投影的方差大小特征向量本身则给出了这个方向在原始坐标空间里的组合方式。第四步按特征值从大到小排序取前k个特征向量组成投影矩阵用原始数据乘以这个矩阵得到降维后的数据。k怎么选通常会看“累计方差贡献率”。比如你算出前5个特征值占所有特征值总和的比例已经超过90%说明用5维就能保留90%的原始波动信息。import numpy as np from sklearn.preprocessing import StandardScaler from sklearn.decomposition import PCA # 假设 X 是 (样本数, 原始特征数) 的二维数组 X_scaled StandardScaler().fit_transform(X) pca PCA() X_pca_full pca.fit_transform(X_scaled) # 查看每个主成分的方差贡献率 print(pca.explained_variance_ratio_) # 计算累计贡献率 cumsum np.cumsum(pca.explained_variance_ratio_) k np.argmax(cumsum 0.9) 1 print(f累计贡献率超过90%需要 {k} 个主成分)这里我想强调一个实际经验累计贡献率卡90%只是一个经验值不是硬标准。如果你的下游任务是可视化那统一取2或3维能画出来最重要如果是为了后续聚类我曾经遇到贡献率75%左右时聚类效果反而比90%更好因为后面那些维度里装的主要是噪声硬留住它们只会加大聚类的不确定性。建议把不同k值对应的下游指标都跑一遍别只看贡献率曲线。1.3 LDA、NMF与自编码器的适用场景PCA之外另外几个特征提取方法也值得知道。LDA和PCA长得像但有个本质差别PCA是无监督的它不看标签只追求方差最大LDA是监督的它知道每个样本属于哪一类追求的是“类间距离大、类内距离小”。所以如果你手头有标签LDA往往比PCA在后续分类上更高效但它有个限制降维后的维度数最多是类别数减1比如三分类问题LDA最多降到2维。NMF则要求分解出的两个矩阵都是非负的特别适合处理图像、频谱、词频这类本身就是非负计数的数据它能分解出类似“局部特征”的结构在人脸识别里甚至会分解出对应鼻子、嘴巴这类部位的基。自编码器是神经网络版本的特征提取器模型自由度更高能捕捉非线性结构但代价是需要大量数据和调参经验小数据集上未必打得过PCA。2. 特征选择在保留解释性的前提下做减法2.1 Filter、Wrapper、Embedded三种策略怎么选特征选择和特征提取解的问题不一样。很多时候业务的解释性要求不允许你把“年龄收入职业”组合成一个说不清含义的新变量合规、风控、医疗这些领域尤其明显你给业务方看的是一个叫做“PC1”的东西业务方完全没法理解更没法验收。这时候就得用特征选择从原始特征里挑一部分出来建模。主流的特征选择方法分三类Filter过滤法是先给每个特征打一个分按分排序然后选前k个。打分方式有方差、卡方检验、互信息、相关系数等。优点是快适合高维数据缺点是不考虑特征之间的组合效应容易把两个单独看没用、合起来有用的特征一起丢掉。Wrapper包装法是把模型预测效果作为评分标准每次迭代加特征或减特征看效果变化比如递归特征消除RFE. 效果通常更好但计算量大特征一多就慢得让人崩溃。Embedded嵌入法把特征选择融进模型训练过程典型代表是L1正则化它会把不重要的特征系数压到0树模型直接输出feature_importance也算这类。效果和计算量的平衡点最好因此实际项目里用得最多。2.2 常用指标与阈值经验具体操作时几个常用指标的心得要记清楚。方差阈值是最粗的一层过滤。如果一个特征在所有样本上的值几乎不变比如98%的样本都是同一个值那它对区分样本基本没贡献。我一般直接用VarianceThreshold(threshold0)先去掉完全常数特征再用一个自定义阈值去掉近似常数特征这个阈值怎么定得看标准化后的特征经验上0.01左右比较稳但最好结合特征实际含义来调不要一刀切。卡方检验专门用来衡量分类问题里特征与标签是否独立适合处理非负计数型特征。它的问题是样本量一大几乎什么特征都会显示“显著相关”这时不能只看p值更得看效应量。互信息则能捕捉非线性相关性比相关系数更通用比如特征X和标签Y呈抛物线关系线性相关系数接近0但互信息很高这类特征用互信息才筛得出来。Embedded方法里树模型的特征重要性我会留意两件事一是它容易偏好高基数特征比如ID号这种唯一值特别多的列数值型连续特征反而吃亏所以需要结合排列重要性做对比二是L1正则化对特征间的共线性敏感两个强相关特征往往只有一个被选中另一个系数被压到0这不一定代表另一个没用。2.3 特征选择与特征提取的配合策略实际项目里我不会只选其中一种而是按阶段混用。最顺手的一套组合拳是先用Filter快速排除大量噪音特征再用Embedded方法训练一次模型拿到特征重要性排序最后结合业务知识人工核对那批重要性靠前的特征有没有逻辑。比如做用户流失预测模型说“平均登录次数”最重要业务方也认同这个指标和用户粘性强相关那这个特征就留下了。如果模型说某个莫名其妙的技术字段最重要而业务方没人说得清它是什么这种特征优先怀疑是泄漏该查数据血缘就得去查而不是直接采信重要性。需要明确的是选择之后特征完全保留原始含义这给了业务解释极大的便利这是它相对于特征提取的最大优势。缺点则是信息利用率低当原始特征本身就很稀疏、单个特征信息量很弱时怎么挑都挑不出好结果这时候反而应该相信特征提取带来的组合信息。3. 聚类分析无监督学习的核心一环3.1 聚类到底在解决什么问题聚类和分类只有一字之差核心区别是分类有标签聚类没有。聚类的目标是把样本分成若干个组让组内样本尽可能相似、组间样本尽可能不同。你可能没有标签但想知道用户天然能分成几类、文本主题大概有几簇、店铺地址能聚成几个商圈这就是聚类发挥作用的地方。聚类结果本身不是在“预测”什么而是在发现数据结构。所以它的评估标准也和分类不一样分类看准确率聚类看轮廓系数、簇内误差、稳定性这些内部指标。更要命的是聚类的结果是开放的没有绝对正确答案。同样的数据按业务需求不同可能分成3类是合理的分成5类也说得通关键是业务方怎么解读每一类怎么用。这一点让很多习惯了监督学习的人很难受但从业务落地角度反而更灵活——你到底想要粗粒度的几个大分层还是细分的小群体完全取决于分析目标。3.2 K-Means的算法流程、K值确定与常见坑K-Means是最经典、也是我第一个上手的聚类算法。它流程也不复杂先随机选K个点当中心把每个样本分给离它最近的中心形成K个簇再重新计算每个簇的中心也就是簇内所有样本的均值用新中心替换旧中心反复迭代直到中心不再明显变化。做K-Means有几个绕不开的坑。第一K值怎么定。最常用的方法是肘部法则画簇内误差平方和SSE随K变化的曲线找那个误差下降突然变缓的拐点这个拐点对应的K就是“性价比最高的分法”。第二个常用指标是轮廓系数取值为[-1, 1]越接近1说明簇内紧凑、簇间分离得开。实际中我会把肘部、轮廓系数、业务理解三个放在一起对某次客户分群中肘部法则说K4轮廓系数峰值在K6但业务方只想分成高中低三层最后我选择了K3因为这才能直接对应运营策略。算法得分再漂亮业务用不上也是白搭。第二标准化一定不能省。K-Means依赖距离计算如果特征量纲不一致比如“年龄”和“年收入”混在一起后者数值大就会主导距离年龄信息基本被淹没。第三K-Means对初始中心点敏感。不同随机种子可能得到不同聚类结果这是个很隐蔽的坑解决办法是用K-Means初始化它在选初始中心时会让中心之间尽量分散稳定性会好很多。还有一个我自己吃亏过的点离群点是K-Means的隐形炸弹。因为簇中心是所有样本的均值一个离群点就能把中心拉偏聚类结果整个变形。做K-Means之前最好先用箱线图或者聚类算法自带的异常检测模块把极端值处理掉或者改用对离群点更鲁棒的聚类方法。3.3 层次聚类与DBSCAN的选择逻辑K-Means适用场景虽广但有两个天生短板一是需要提前指定K二是它只能发现凸形状的簇遇到月牙形、环形分布的数据K-Means会把它们强行拆碎。层次聚类不需要指定K它有两种方向自底向上的凝聚法最常用。一开始每个样本都是独立簇然后每步把最相似的两个簇合并直到所有样本都在一个簇里为止最后结果用树状图展示。看树状图时你直接在某个高度切一刀就能得到对应的分类数。这种方法的优势是能看出数据的嵌套结构在做生物种群分类、公司组织架构分析时很有价值缺点是复杂度高样本量上万之后就明显变慢。DBSCAN则是按密度聚类。它不需要指定分几类只需要两个参数eps表示邻域半径min_samples表示一个核心点邻域内最少要有多少个点。它会把密度足够高的区域连成簇落在密度稀疏区域的点标记为噪声因此天然能发现环形、月牙形等任意形状的簇还能顺手把离群点挑出来。代价也很实在对eps参数极其敏感eps大了全世界一个簇eps小了全世界都是噪声。而且数据不同区域的密度差异一大一个全局eps根本无法满足所有区域——比如不同城市商圈的密集程度差异极大就导致DBSCAN在这种场景下表现不稳定。选择逻辑就一句话如果数据量大、簇形状接近凸、你愿意花精力去定K优先考虑K-Means如果数据量不大、想看层级结构用层次聚类如果簇形状不规则、噪声又多上DBSCAN。没有哪个算法全面碾压选的是匹配。4. 实操特征工程与聚类分析完整流程4.1 一份可运行的示例代码概念讲得再多不如跑一段完整流程。下面这个示例用模拟数据演示从预处理、PCA降维、特征选择到K-Means聚类的全链路注释里会写清楚每一步的意图。import numpy as np import pandas as pd from sklearn.datasets import make_classification from sklearn.preprocessing import StandardScaler from sklearn.decomposition import PCA from sklearn.feature_selection import SelectKBest, f_classif, VarianceThreshold from sklearn.cluster import KMeans from sklearn.metrics import silhouette_score # 生成1000个样本、20个特征的模拟数据其中5个特征与标签相关 X, y make_classification(n_samples1000, n_features20, n_informative5, n_redundant5, random_state42) X pd.DataFrame(X, columns[ffeat_{i} for i in range(20)]) # 第1步标准化 scaler StandardScaler() X_scaled scaler.fit_transform(X) # 第2步用方差阈值去除近似常数特征 selector_var VarianceThreshold(threshold0.01) X_var selector_var.fit_transform(X_scaled) print(f方差过滤后特征数: {X_var.shape[1]}) # 第3步用F检验选出前8个特征监督信号辅助选择 selector_f SelectKBest(f_classif, k8) X_selected selector_f.fit_transform(X_var, y) # 第4步在特征选择结果上做PCA保留2维便于可视化 pca PCA(n_components2) X_pca pca.fit_transform(X_selected) print(fPCA累计解释方差: {pca.explained_variance_ratio_.sum():.3f}) # 第5步K-Means聚类并用轮廓系数评估 kmeans KMeans(n_clusters3, initk-means, n_init10, random_state42) labels kmeans.fit_predict(X_pca) score silhouette_score(X_pca, labels) print(f轮廓系数: {score:.3f})这段代码刻意把特征选择和PCA串起来用用意在于先用有标签的F检验筛掉对分类几乎无帮助的特征再在剩余特征上做PCA压缩结构。这比直接在20维噪声特征上做PCA要干净得多聚类轮廓系数也会明显高一些。4.2 管线设计思路为什么顺序这么排这套流程的顺序是有讲究的。标准化放第一步是为了消除量纲对距离和方差的干扰这点在任何聚类或降维任务里都是前提。方差过滤放第二步是为了把本来就不携带区分信息的列删掉避免它们稀释后面特征选择的比例。监督式特征选择放第三步听起来有点不合常理——聚类不是无监督吗怎么用标签其实这分场景。如果业务目标是“在无标签样本上做探索”那就不应该用标签筛选特征而是纯靠方差、相关性这些无监督指标来筛但如果你的目标是用聚类做分群而你有历史标签可以做参考那用监督特征选择得到的特征子集往往在业务上更有区分度。两者都说得通核心是清楚自己在做什么。最后说聚类之前的PCA。选择在特征筛选之后再做PCA是为了减少PCA被大量无关维度牵着走的风险。如果直接用原始20维做PCA前几个主成分会被那10个无关特征污染聚类结果自然好不了。先筛后降维等于先保住信号再把信号浓缩。5. 常见问题与排查技巧实录5.1 特征数量到底保留多少这个问题没有标准答案但有标准思路。第一层看方差解释率做到80%-90%通常够用第二层看下游指标比如聚类的轮廓系数、分类的交叉验证得分第三层看计算成本。我的建议是把特征数当成一个超参数画出一条“特征数量-下游得分曲线”选拐点或者平台期而不是拍脑袋定个数。做特征选择时同理选前5个、前10个、前15个各跑一遍观察模型得分增长是否趋缓趋缓之后再加特征纯属浪费算力。5.2 PCA与特征选择混用导致的两个坑第一个坑是可解释性丢失。PCA生成的每个主成分都是全部原始特征的线性组合业务方会直接问“PC1代表什么意思”不好回答。如果项目对解释性要求极高宁可只用特征选择把新特征的事放一放。第二个坑是数据泄漏。如果在做特征选择或PCA之前把整个数据集包括测试集一起做了标准化就用到了测试集的信息这会让评估结果虚高。正确的做法是只在训练集上fit标准化器和PCA再用同一组参数transform测试集。这个细节做Kaggle或真实项目时尤其重要泄漏防住了模型上线表现才能稳住。5.3 聚类结果不稳定换了随机种子类别就不一样这是K-Means的高频问题。如果你已经用了initk-means和固定的random_state结果还是不稳大概率问题出在数据本身特征噪声太多、离群点作祟、或者簇不够凸。我常用的排查顺序是第一步看标准化做了没第二步看离群点处理了没第三步试着换DBSCAN跑一遍如果DBSCAN给出的簇边界看起来更符合直觉那说明数据分布本身不适合K-Means这种硬划分方式。另外对业务分群这种场景别只跑一次就交付多换几个随机种子跑20次看哪些样本的归属频繁变动频繁变动的样本往往在簇的边界上它们是运营策略应该重点关注的高敏人群这个信息本身可比一个稳定到无趣的聚类结果更有价值。5.4 特征尺度差异与异常值同时存在怎么办标准化的前提是数据干净但异常值会让均值和方差失真。假设某个特征99%的值都在0到100之间忽然来一个10000均值被拉高标准化后正常数据反而挤在一个小区域里特征真信号被毁了。这种场景我更喜欢用RobustScaler它按中位数和四分位数缩放对离群点的抗性更强。还有一个土办法是把极端值做截尾处理比如超过99分位数的全部压到99分位数的值上这类处理在业务上最容易被接受因为“封顶”本身也符合很多运营规则的写法。5.5 一个真实项目复盘客户分群时踩过的坑最后分享一段具体经历。几个月前我做某平台的用户消费行为分群特征是消费金额、消费频次、活跃天数、页面停留时长、设备类型等十几个字段。第一版我直接标准化后送进K-Means轮廓系数只有0.21简直惨不忍睹。排查时发现两个主要问题一是消费金额严重右偏个别大客户把均值拉高整个K-Means中心都在跟着他们转二是活跃天数和页面停留时长相关性极高等于一个信息被重复计算变相放大了它的权重。处理方式是先对大额消费做对数变换再用RobustScaler标准化所有数值特征相关性高于0.8的特征组只保留业务上更核心的一个。重跑之后轮廓系数到了0.4分出的“低活跃沉默用户”“高频刚需用户”和“偶尔波动用户”三组运营团队可以直接对应不同的触达策略。这次经历给我的收获是聚类效果不好时先别急着换算法把数据洗一洗、把相关特征清理掉效果往往就能起来一大截。回到最初的话题特征提取、特征选择、聚类分析这三件事从来不是孤立的知识点。特征提取解决“信息太多怎么浓缩”特征选择解决“信息太多怎么删减”聚类分析解决“浓缩或删减之后样本到底长什么样”。真正做项目时它们是同一个决策链条上的不同环节。希望这篇整理能帮你少走我当年走过的弯路下次再看到“先降维再聚类”这类套路时能多想一层这里用的应该是提取还是选择顺序背后是什么逻辑想通了代码跑出来的结果才真正有说服力。
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
