简介《邹博-机器学习全套课件及代码.zip》是一套面向机器学习初学者及进阶学习者的系统课程资料围绕从基础概念、算法原理到项目实践的完整路径组织内容可用于课堂跟学、自学补漏与算法复现。压缩包共613个文件、约174.73MB以Python脚本、Markdown笔记、R代码、C/C头文件与源文件、PDF课件及CSV数据集等为主既包含理论讲义也配有可运行示例与实验数据便于按章节检索和动手练习。课件覆盖线性回归、逻辑回归、决策树、随机森林、支持向量机、K近邻、神经网络、朴素贝叶斯及K-means、DBSCAN等聚类算法并延伸到模型评估、交叉验证、网格搜索与过拟合处理。实战部分结合手写数字识别、文本分类和股票价格预测等案例帮助读者把算法原理落到代码与数据上逐步形成可复用的建模思路。已有1333人学习适合希望系统搭建机器学习知识框架并积累项目经验的人群。1. 机器学习课件的知识地图一条从基础概念到实际应用的复习主线机器学习这四个字听起来很宽泛真正系统梳理一遍会发现骨架其实很固定第一层是数学与概率的基础第二层是以损失函数为核心的建模思路第三层是按模型族展开的算法主线最上面一层是评估、调参与实际应用。这份机器学习课件包把讲义和配套代码放在一起正好对应这四层。多数人复习时的错觉是“能调用现成库跑通就算会了”真正卡人的地方往往在前两层损失函数为什么长这个样子、评估指标为什么这样选。接下来按“地图、模块要点、易错点、复习清单”往下写适合已经完整听过一轮课、想查缺补漏的人也适合拿它当复习索引去对照讲义逐条核对。2. 基础部分数学、损失函数与评估指标里的高频考点这一层最容易被跳过也最容易在考场上翻车。讲义里单独成章的数学推导不是在为难人而是在解释后面每个模型的“为什么”。复习时的判断标准很简单能不能不看书把“假设分布用极大似然推导得到损失函数”这条链条自己走一遍。走不通的地方就是需要回看的地方。2.1 线性代数与概率论在模型里的实际落点线性代数在机器学习里主要解决两件事维度对齐、矩阵分解。维度对齐是第一道门槛特征矩阵通常写成 n×d参数向量是 d×1任何一步矩阵乘法之前都该在心里过一遍形状否则调包时出现的一个 shape 报错就能耗掉半小时。矩阵分解则直接支撑了降维协方差矩阵的特征分解对应 PCA任意矩阵的奇异值分解对应更一般的降维与隐语义建模。概率论出现的频率更高。朴素贝叶斯的整个推导建立在条件独立假设上逻辑回归的交叉熵损失本质是伯努利分布的负对数似然最小二乘则等价于“噪声服从高斯分布时的极大似然估计”。把这几条对应关系记住很多看起来突兀的公式就有了来路。数学工具出现在哪复习深度要求矩阵乘法与转置几乎所有模型的梯度推导能手推梯度形状特征值分解PCA、谱聚类知道为什么取最大特征值方向奇异值分解降维、矩阵补全知道与特征分解的关系条件概率与贝叶斯公式朴素贝叶斯、生成式模型能写出后验正比于似然乘先验高斯分布与极大似然最小二乘、GMM、EM能从似然推到平方损失期望与方差偏差-方差分解、集成学习能解释 bagging 降方差梳理下来会发现讲义里那些“看起来只是数学课内容”的章节其实每一节都在为某个模型提供依据。复习时不妨反向标注每学一个模型回到数学章节找出它用到的那个工具标注一次比读十遍推导更管用。2.2 损失函数与正则化从最小二乘到交叉熵损失函数是整个课程的枢纽。同一个模型换一个损失学到的参数和适用的场景就完全不同。下面这张表是复习时最该背下来的一张损失函数形式要点常见搭配梯度特性平方损失预测减真实值再平方线性回归误差越大梯度越大对异常值敏感交叉熵负对数似然逻辑回归、softmax 分类梯度为预测减真实饱和区仍可学hinge 损失合页形状间隔内才计入SVM只在支持向量处非零指数损失指数衰减AdaBoost对误分类样本惩罚极重一个高频追问是分类问题为什么不用平方损失答案有两层。第一层是梯度平方损失配合 sigmoid 时梯度里会多乘一个 sigmoid 的导数项预测越离谱、导数越接近零梯度反而越小学不动交叉熵把这一项约掉了梯度干净地等于预测减真实。第二层是凸性平方损失加 sigmoid 之后关于参数是非凸的交叉熵则是凸的优化路径更可控。正则化部分要区分 L1 与 L2。L2 让参数整体收缩解稳定但不稀疏L1 在零点附近有尖角容易把不重要的特征权重压到恰好为零天然带特征选择效果。从贝叶斯角度看L2 对应高斯先验L1 对应拉普拉斯先验。两者叠加就是弹性网络用来处理“特征成组相关”的场景。import numpy as np def ridge_closed_form(X, y, alpha): 岭回归闭式解用于对照讲义里的推导结果。 X: (n, d) 特征矩阵已标准化并拼接了全 1 列 y: (n,) 目标值 alpha: L2 正则强度越大参数越保守 n, d X.shape I np.eye(d) I[0, 0] 0.0 # 截距项通常不参与正则前提是第 0 列是全 1 A X.T X alpha * I return np.linalg.solve(A, X.T y) # 用 solve 而不是 inv数值更稳这段代码的价值在于对照讲义里推导出的闭式解、梯度下降的迭代解、以及调包得到的解三者在同一份数据上应当收敛到几乎一样的参数。如果不一样八成是标准化没做、截距项被正则了、或者 alpha 的量级理解错了。alpha 不是“越大越好”的旋钮它和控制模型复杂度的其他手段是一回事最终要靠验证集确定。偏差-方差分解是这一节的收尾考点。高偏差表现为训练集和验证集都差高方差表现为训练集很好、验证集崩掉。前者要加模型容量或减正则后者要加数据、加正则或做集成。这个判断顺序值得刻进习惯里因为它决定了你后面所有调参动作的方向。2.3 评估体系混淆矩阵、ROC/AUC 与交叉验证评估部分最容易被当成“调个函数”跳过实际上它是整个复习里性价比最高的模块。混淆矩阵是根精确率、召回率、F1 都从它派生。精确率回答“判为正的里面有多少真的是正”召回率回答“真正的正例被抓回来多少”两者此消彼长阈值一动全变。ROC 曲线刻画的是阈值扫过时真正例率与假正例率的关系AUC 是曲线下面积可以理解为“随机取一个正例和一个负例模型给正例打分更高的概率”。它在类别相对平衡时很稳但在极度不平衡的数据上会显得过于乐观这时候更该看 PR 曲线和 PR-AUC因为分母里含真正例数量少数类的表现藏不住。交叉验证要分清几种姿势普通 K 折适合独立同分布数据分层 K 折保证每折里类别比例一致分类任务默认该用它留一法在样本极少时用代价是训练次数等于样本数时间序列必须用前向滚动的切分随机打乱等于用未来预测过去属于典型的自欺欺人。from sklearn.model_selection import StratifiedKFold, cross_validate from sklearn.pipeline import make_pipeline from sklearn.preprocessing import StandardScaler from sklearn.linear_model import LogisticRegression # 标准化放进 pipeline保证每一折只用训练部分 fit避免信息泄漏 pipe make_pipeline( StandardScaler(), LogisticRegression(C1.0, max_iter1000, class_weightbalanced) ) cv StratifiedKFold(n_splits5, shuffleTrue, random_state42) scores cross_validate( pipe, X, y, cvcv, scoring[roc_auc, f1, accuracy], return_train_scoreTrue # 同时看训练分数判断是否过拟合 )这段代码有三个参数值得注意。shuffleTrue配合固定的random_state是为了结果可复现否则每次跑出来的分数都在飘class_weightbalanced是不平衡数据的第一道低成本处理比上来就做重采样更稳妥return_train_scoreTrue让训练分数和验证分数同时出现两者差距过大就是过拟合的直接证据。评估这一层真正的考点不是记住公式而是知道“在什么数据形态下哪个指标会骗你”。3. 监督学习主线线性模型、树集成与核方法的对照复习监督学习是课件里篇幅最重的部分但复习时不该按章节顺序平推。更有效的做法是按“模型族”归类每一族抓住一条主线线性模型抓损失与正则树模型抓分裂准则与集成方式核方法抓间隔与对偶。三族之间的对照关系理清了零散的知识点会自动归位。3.1 线性回归与逻辑回归的推导链条线性回归的推导链条是假设输出是输入的线性组合加高斯噪声写出似然取负对数得到平方损失求导令其为零得闭式解样本量大或特征维度高时改用梯度下降。逻辑回归把线性输出过一层 sigmoid 压到 0 到 1把输出解释成正类的概率损失换成伯努利负对数似然也就是交叉熵此时没有闭式解只能迭代。这条链条上有两个必须能自己说清的点。一是为什么逻辑回归的输出能当概率用因为它建模的是条件概率的对数几率是输入的线性函数sigmoid 只是把这个关系反解出来。二是为什么它叫“回归”却做分类名字来自它回归的是对数几率不是标签本身。import numpy as np def train_logreg(X, y, lr0.1, epochs500, l20.0): 手写逻辑回归的批量梯度下降用于对照讲义推导。 X: (n, d) 已标准化 y: (n,) 取值为 0/1 lr: 学习率太大会震荡发散太小收敛慢 l2: L2 正则系数只作用在权重上不作用在偏置上 n, d X.shape w, b np.zeros(d), 0.0 for _ in range(epochs): z np.clip(X w b, -500, 500) # 防止 exp 溢出 p 1.0 / (1.0 np.exp(-z)) grad_w X.T (p - y) / n l2 * w grad_b np.mean(p - y) w - lr * grad_w b - lr * grad_b return w, b代码里最值得记的不是循环本身而是那行np.clip。当特征没标准化、或者学习率设大了z会冲到几百exp直接溢出成 inf训练全程都是 nan很多人以为是自己推导错了其实是数值问题。另外/n是对样本数取平均让梯度量级和数据规模解耦正则项不加到b上是因为偏置只控制决策边界的位置不该被收缩。把这段手写版和调包版在同一份数据上跑参数接近说明推导链条真的通了。3.2 决策树与集成RF、GBDT 的关键差异决策树的核心是三个选择用什么准则选分裂点、什么时候停止生长、怎么剪枝。分类常用信息增益或基尼指数回归常用平方误差下降。信息增益偏向取值多的特征基尼指数计算更快且没有对数实践中更常见。树的优点是可解释、不需要特征缩放、能处理非线性与交互缺点是单棵树方差极大换个样本就长成另一个样子。集成方法正是冲着这个缺点去的。Bagging 的思路是并行训练多棵树再投票用平均降方差Boosting 的思路是串行训练每棵新树专注于前面没拟合好的部分用累加降偏差。随机森林在 bagging 基础上再加一层特征随机进一步削弱树之间的相关性GBDT 则是拟合负梯度残差配合学习率控制每棵树的贡献。维度随机森林GBDTXGBoost 类实现训练方式并行串行串行但特征层面可并行主要降低方差偏差偏差兼顾正则关键超参树数量、最大深度、特征采样比例树数量、学习率、树深加上正则项、行列采样比例过拟合信号树越多通常越稳树太多会过拟合早停是主要防线缺失值一般需先填充一般需先填充有默认分裂方向这张表里最后一行经常被忽略不同实现对缺失值的处理策略不一样复习时不要拿一个库的行为去套另一个。另外树模型“不需要标准化”这句话只对纯树模型成立一旦进了 pipeline、和线性模型或距离类模型混用标准化还是得加否则同一份预处理代码在两处行为不一致。3.3 SVM 与核方法间隔、对偶与支持向量SVM 的出发点不是“拟合得最准”而是“分得最稳”在能把两类分开的所有超平面里选那个到最近样本距离最大的。这个距离就是间隔落在间隔边界上的样本就是支持向量。软间隔引入松弛变量和惩罚系数 CC 越大越不容忍误分类越容易过拟合C 越小容忍度越高边界越平滑。对偶形式是这一节的难点。通过拉格朗日乘子把带约束的原始问题转成对偶问题后会发现决策函数只依赖样本之间的内积这就给核技巧留了口子把内积换成一个核函数等于把数据隐式映射到高维空间再找线性边界而计算量还停留在原空间。常用的有线性核、多项式核、RBF 核RBF 多一个 gamma 参数控制影响半径gamma 大则单个样本影响范围小边界扭曲容易过拟合。复习到这里要能回答一个对照问题为什么 SVM 在大规模数据上不如树集成流行一是核矩阵规模随样本数平方增长二是多分类需要额外组合策略三是对参数和核选择敏感。理解这个“为什么不用”比多背两条公式更能说明你真的懂了。4. 无监督与特征工程聚类、EM 与降维的实际要点无监督部分在课件里的占比通常小于监督部分但实际工作中用到的频率很高尤其是降维和聚类经常出现在建模前的探索环节。这一块的特点是没有标签所以“对不对”没有唯一答案只能靠内部指标和业务解释双重验证。复习时要把重点放在“算法假设了什么”而不是“调哪个参数”。4.1 K-Means 与 GMM/EM 的对照K-Means 的流程极其简单随机选 k 个中心把每个样本分给最近的中心用每簇均值更新中心重复到收敛。它优化的目标是最小化簇内平方误差因此隐含假设簇是球形、大小相近的。初始化敏感是它的老毛病k-means 通过让初始中心尽量分散来缓解实践中至少要跑多次取最优。高斯混合模型换了个思路不把样本硬性分配给某一簇而是给出属于每个簇的概率数据被假设为若干高斯分布的混合。求解用 EM 算法E 步算每个样本属于各成分的后验概率M 步用这些概率加权重估均值、协方差和混合系数交替直到似然不再明显上升。梳理下来会发现K-Means 可以看作 GMM 的一个特例当协方差被固定为各向同性的同一个值、且后验概率被硬性取成 0/1 时EM 就退化成了 K-Means 的迭代。这个对照关系是这一节最值钱的考点它同时解释了两件事为什么 K-Means 只能给出球形簇为什么 GMM 计算更贵但能表达椭圆簇。# EM 的 E 步核心片段用于对照讲义中的后验公式 import numpy as np def e_step(X, means, covs, weights): 计算每个样本属于各高斯成分的后验概率。 X: (n, d)means: (k, d)covs: (k, d, d)weights: (k,) 返回 (n, k) 的责任度矩阵每行和为 1 n, k X.shape[0], len(weights) resp np.zeros((n, k)) for j in range(k): diff X - means[j] inv np.linalg.inv(covs[j]) # 协方差近奇异时需加小对角项 det np.linalg.det(covs[j]) norm 1.0 / np.sqrt((2 * np.pi) ** X.shape[1] * det) resp[:, j] weights[j] * norm * np.exp(-0.5 * np.einsum(ni,ij,nj-n, diff, inv, diff)) return resp / resp.sum(axis1, keepdimsTrue) # 归一化成后验这段代码里最容易出问题的是np.linalg.inv(covs[j])。当某个成分只分到极少数样本、甚至只剩一两个点时协方差矩阵接近奇异求逆会炸。工程上的补救是给对角线加一个很小的数或者限制协方差为对角形式。einsum那一行是算马氏距离的平方形状标注写成ni,ij,nj-n就是为了避免维度写错如果这里维度写反了程序不报错但结果会悄悄变成一堆 nan。4.2 PCA、SVD 与标准化的先后顺序PCA 的目标是找一组正交方向让数据投影上去之后方差最大。求解过程是中心化算协方差矩阵做特征分解取最大的几个特征值对应的特征向量作为主成分。解释方差比等于某个特征值除以特征值总和用来决定保留几个主成分常见的经验阈值是累计 85% 到 95%。标准化这一步不能省。PCA 对尺度极度敏感如果一个特征以万为单位、另一个以小数计协方差矩阵会被前者主导所谓“主成分”其实只是那一个特征。是否标准化取决于特征是否同量纲但只要量纲不同就必须先标准化再降维。SVD 是更一般的形式任意矩阵都能分解不需要先算协方差矩阵数值上也更稳定。当数据矩阵已经中心化时SVD 得到的右奇异向量与协方差矩阵的特征向量一致奇异值的平方与特征值成比例。所以“PCA 用特征分解实现”和“PCA 用 SVD 实现”说的是同一件事的两种算法路径很多库内部走的是后者。import numpy as np Xc X - X.mean(axis0) # 中心化漏掉这步整个结果就偏了 cov Xc.T Xc / (Xc.shape[0] - 1) # 无偏协方差估计 eigvals, eigvecs np.linalg.eigh(cov) # eigh 专用于对称矩阵比 eig 稳 order np.argsort(eigvals)[::-1] # 默认升序必须反转 eigvals, eigvecs eigvals[order], eigvecs[:, order] explained_ratio eigvals / eigvals.sum() # 用累计和决定保留几维三个细节值得单独记。eigh而不是eig因为协方差矩阵是对称的专用函数保证返回实数并按升序排好argsort之后必须反转否则你取到的“第一主成分”其实是方差最小的方向/ (n-1)是样本协方差用/ n在大样本下差别不大但小样本时会影响解释方差比的具体数值和讲义对不上时先查这里。4.3 特征工程与一个可复现的最小流程特征工程这部分讲义通常讲得比较散复习时建议自己串成一条流水线缺失值处理、类别编码、数值缩放、特征筛选。顺序不是随便排的编码要在缩放之前筛选要放在交叉验证内部否则筛选时用到了验证集信息评估结果会虚高。独热编码适合低基数类别高基数时容易炸维度可以考虑目标编码或频次编码但目标编码必须做折内计算不然就是标准的数据泄漏。数值缩放里标准化适合近似高斯的特征归一化适合有明确上下界的特征树模型可以跳过缩放但混在 pipeline 里时统一做掉更省心。from sklearn.compose import ColumnTransformer from sklearn.pipeline import Pipeline from sklearn.impute import SimpleImputer from sklearn.preprocessing import StandardScaler, OneHotEncoder num_chain Pipeline([ (fill, SimpleImputer(strategymedian)), # 中位数比均值抗异常值 (scale, StandardScaler()), ]) cat_chain Pipeline([ (fill, SimpleImputer(strategymost_frequent)), (encode, OneHotEncoder(handle_unknownignore)), # 未见类别不报错 ]) prep ColumnTransformer([ (num, num_chain, num_cols), (cat, cat_chain, cat_cols), ])把预处理整体包成ColumnTransformer的最大好处是交叉验证时每一折的填充、缩放、编码参数都只在训练部分估计验证部分只做变换。如果先在全量数据上fit再切分缺失值中位数、标准化均值、编码类别表里全都混进了验证集的信息分数看起来漂亮上线就崩。handle_unknownignore是给线上新出现的类别留的后路不开这个参数遇到没见过的取值会直接抛异常。5. 易漏点与易错点复习时最容易出错的五个地方这些点单独看不难但它们有一个共同特征出问题的时候程序不报错分数还挺好看直到换个数据集或者上线才暴露。复习阶段把这些提前过一遍比多刷两套题更省事。5.1 数据与流程层面最容易出错的三处易漏点一在全量数据上做预处理再划分训练测试。为什么漏调包时fit_transform和transform长得太像几行代码就能把顺序写反而且跑通不报错分数甚至更高。 怎么补凡是涉及“从数据中估计参数”的操作包括填充值、缩放参数、编码映射、特征筛选、过采样一律塞进 pipeline让交叉验证来驱动。写完代码先自查一句验证集的任何统计量有没有进入训练过程。易漏点二时间序列用随机 K 折。为什么漏cross_val_score默认就是随机切接口太顺手很多人不会去想数据有没有时序结构。 怎么补时间序列一律用前向滚动切分训练集永远在验证集之前。同理同一个人、同一台设备产生的多条记录属于分组数据要用分组切分否则同一个体的样本同时出现在训练和验证里指标会虚高得离谱。易漏点三正则化强度与特征尺度不匹配。为什么漏L1/L2 惩罚的是参数绝对值未标准化的特征对应的参数天然就小于是被正则化“放过”重要特征反而被压没了。 怎么补做正则化之前先标准化。调参时不要凭经验拍一个 C 或 alpha用对数尺度的网格搜索配合交叉验证观察验证分数随参数变化的曲线而不是只看最优点那一个数。5.2 指标与调参层面最容易出错的两处易漏点四类别不平衡时只看准确率。为什么漏准确率是默认指标报告里最显眼而 99% 负样本的数据上全预测为负也有 99% 的准确率。 怎么补先看混淆矩阵再选指标。关心“抓全”就看召回关心“别误伤”就看精确率两者都要就看 F1 或 PR-AUC。阈值不要用默认的 0.5按业务成本在验证集上扫一遍选定后固化成配置文件别每次上线重新拍。易漏点五把模型输出当成校准过的概率。为什么漏predict_proba返回的就是一个 0 到 1 的数看起来天然是概率没人会怀疑它。 怎么补区分“排序能力”和“概率可信度”。AUC 高只说明排序好不代表预测 0.8 的样本真有 80% 是正例。SVM 根本不直接输出概率需要额外的校准步骤树集成的概率往往偏保守或偏激进。凡是要拿概率做决策的场景先画一条可靠性曲线看看再决定要不要做校准。提示这五条的共同点是“错了也不会立刻报错”。复习时与其反复看不报错的正常流程不如专门记一遍这些静默失败的情形。6. 复习清单三轮自查与一个能立刻执行的动作复习最怕的状态是“书都看过合上什么都说不出来”。给一个可操作的三轮节奏比笼统地说“多复习几遍”有用得多。轮次目标具体动作自检标准第一轮建立骨架只看目录和章节标题自己画一张模块关系图能说出每个模型属于哪一族、解决什么问题第二轮打通推导合上讲义手推三个核心最小二乘、逻辑回归梯度、SVM 间隔推不出来就回看对应小节标记为待补第三轮验证细节改课件代码里的关键参数观察指标怎么动能解释每一次变化的方向和原因第一轮的关键是“不看内容先画图”。画不出来的分支就是你的知识断层比通读一遍更有指向性。第二轮别贪多挑三个最有代表性的推导就够因为这三个覆盖了平方损失、交叉熵、间隔三类建模思路其余模型大多是它们的变形。第三轮最容易被跳过但它的收益最高把正则系数调大两个数量级、把树的数量翻十倍、把 K 折改成 3 折看指标怎么变你才会真正记住那些参数的物理含义。再给一个每天十分钟的固定动作随机挑一个模型用四句话回答“假设是什么、损失是什么、梯度或分裂准则是什么、用什么指标评估”。四句话里有任何一句卡住当天就只补那一句对应的小节不扩散。这个方法的妙处在于它强制你把模型当成一个完整链条来记而不是一堆散落的公式。# 复习自检用同一份数据上手写版与调包版结果应当接近 # 差距过大时按 标准化 - 截距正则 - 收敛轮数 - 学习率 的顺序排查 w_hand, b_hand train_logreg(X_train, y_train, lr0.1, epochs2000, l21e-3) clf LogisticRegression(C1000, max_iter2000).fit(X_train, y_train) print(np.allclose(w_hand, clf.coef_[0], atol0.05)) # C 与 l2 是倒数关系换算要对上这段对照脚本我建议每个人都跑一次。C和l2是倒数关系C1000大致对应很小的正则强度换算对不上时两个结果会差很远很多人以为是推导写错了其实是参数语义没对齐。跑通之后再改lr和epochs观察收敛曲线你对“学习率太大会震荡”这句话的理解会从文字变成手感。从那以后我每复习一个模型都强制走一遍“假设、损失、梯度、评估”四问答不全就不往下翻宁可少看两章也不留半懂不懂的尾巴。这份课件包的价值不在于它讲了多少而在于它给了一条能自己走完的完整链路讲义负责讲清推导配套代码负责让你验证推导。按上面的三轮节奏过一遍再拿这份清单逐条打勾剩下的就是重复到熟练。希望帮到你。本文还有配套的精品资源点击获取
简介《邹博-机器学习全套课件及代码.zip》是一套面向机器学习初学者及进阶学习者的系统课程资料围绕从基础概念、算法原理到项目实践的完整路径组织内容可用于课堂跟学、自学补漏与算法复现。压缩包共613个文件、约174.73MB以Python脚本、Markdown笔记、R代码、C/C头文件与源文件、PDF课件及CSV数据集等为主既包含理论讲义也配有可运行示例与实验数据便于按章节检索和动手练习。课件覆盖线性回归、逻辑回归、决策树、随机森林、支持向量机、K近邻、神经网络、朴素贝叶斯及K-means、DBSCAN等聚类算法并延伸到模型评估、交叉验证、网格搜索与过拟合处理。实战部分结合手写数字识别、文本分类和股票价格预测等案例帮助读者把算法原理落到代码与数据上逐步形成可复用的建模思路。已有1333人学习适合希望系统搭建机器学习知识框架并积累项目经验的人群。1. 机器学习课件的知识地图一条从基础概念到实际应用的复习主线机器学习这四个字听起来很宽泛真正系统梳理一遍会发现骨架其实很固定第一层是数学与概率的基础第二层是以损失函数为核心的建模思路第三层是按模型族展开的算法主线最上面一层是评估、调参与实际应用。这份机器学习课件包把讲义和配套代码放在一起正好对应这四层。多数人复习时的错觉是“能调用现成库跑通就算会了”真正卡人的地方往往在前两层损失函数为什么长这个样子、评估指标为什么这样选。接下来按“地图、模块要点、易错点、复习清单”往下写适合已经完整听过一轮课、想查缺补漏的人也适合拿它当复习索引去对照讲义逐条核对。2. 基础部分数学、损失函数与评估指标里的高频考点这一层最容易被跳过也最容易在考场上翻车。讲义里单独成章的数学推导不是在为难人而是在解释后面每个模型的“为什么”。复习时的判断标准很简单能不能不看书把“假设分布用极大似然推导得到损失函数”这条链条自己走一遍。走不通的地方就是需要回看的地方。2.1 线性代数与概率论在模型里的实际落点线性代数在机器学习里主要解决两件事维度对齐、矩阵分解。维度对齐是第一道门槛特征矩阵通常写成 n×d参数向量是 d×1任何一步矩阵乘法之前都该在心里过一遍形状否则调包时出现的一个 shape 报错就能耗掉半小时。矩阵分解则直接支撑了降维协方差矩阵的特征分解对应 PCA任意矩阵的奇异值分解对应更一般的降维与隐语义建模。概率论出现的频率更高。朴素贝叶斯的整个推导建立在条件独立假设上逻辑回归的交叉熵损失本质是伯努利分布的负对数似然最小二乘则等价于“噪声服从高斯分布时的极大似然估计”。把这几条对应关系记住很多看起来突兀的公式就有了来路。数学工具出现在哪复习深度要求矩阵乘法与转置几乎所有模型的梯度推导能手推梯度形状特征值分解PCA、谱聚类知道为什么取最大特征值方向奇异值分解降维、矩阵补全知道与特征分解的关系条件概率与贝叶斯公式朴素贝叶斯、生成式模型能写出后验正比于似然乘先验高斯分布与极大似然最小二乘、GMM、EM能从似然推到平方损失期望与方差偏差-方差分解、集成学习能解释 bagging 降方差梳理下来会发现讲义里那些“看起来只是数学课内容”的章节其实每一节都在为某个模型提供依据。复习时不妨反向标注每学一个模型回到数学章节找出它用到的那个工具标注一次比读十遍推导更管用。2.2 损失函数与正则化从最小二乘到交叉熵损失函数是整个课程的枢纽。同一个模型换一个损失学到的参数和适用的场景就完全不同。下面这张表是复习时最该背下来的一张损失函数形式要点常见搭配梯度特性平方损失预测减真实值再平方线性回归误差越大梯度越大对异常值敏感交叉熵负对数似然逻辑回归、softmax 分类梯度为预测减真实饱和区仍可学hinge 损失合页形状间隔内才计入SVM只在支持向量处非零指数损失指数衰减AdaBoost对误分类样本惩罚极重一个高频追问是分类问题为什么不用平方损失答案有两层。第一层是梯度平方损失配合 sigmoid 时梯度里会多乘一个 sigmoid 的导数项预测越离谱、导数越接近零梯度反而越小学不动交叉熵把这一项约掉了梯度干净地等于预测减真实。第二层是凸性平方损失加 sigmoid 之后关于参数是非凸的交叉熵则是凸的优化路径更可控。正则化部分要区分 L1 与 L2。L2 让参数整体收缩解稳定但不稀疏L1 在零点附近有尖角容易把不重要的特征权重压到恰好为零天然带特征选择效果。从贝叶斯角度看L2 对应高斯先验L1 对应拉普拉斯先验。两者叠加就是弹性网络用来处理“特征成组相关”的场景。import numpy as np def ridge_closed_form(X, y, alpha): 岭回归闭式解用于对照讲义里的推导结果。 X: (n, d) 特征矩阵已标准化并拼接了全 1 列 y: (n,) 目标值 alpha: L2 正则强度越大参数越保守 n, d X.shape I np.eye(d) I[0, 0] 0.0 # 截距项通常不参与正则前提是第 0 列是全 1 A X.T X alpha * I return np.linalg.solve(A, X.T y) # 用 solve 而不是 inv数值更稳这段代码的价值在于对照讲义里推导出的闭式解、梯度下降的迭代解、以及调包得到的解三者在同一份数据上应当收敛到几乎一样的参数。如果不一样八成是标准化没做、截距项被正则了、或者 alpha 的量级理解错了。alpha 不是“越大越好”的旋钮它和控制模型复杂度的其他手段是一回事最终要靠验证集确定。偏差-方差分解是这一节的收尾考点。高偏差表现为训练集和验证集都差高方差表现为训练集很好、验证集崩掉。前者要加模型容量或减正则后者要加数据、加正则或做集成。这个判断顺序值得刻进习惯里因为它决定了你后面所有调参动作的方向。2.3 评估体系混淆矩阵、ROC/AUC 与交叉验证评估部分最容易被当成“调个函数”跳过实际上它是整个复习里性价比最高的模块。混淆矩阵是根精确率、召回率、F1 都从它派生。精确率回答“判为正的里面有多少真的是正”召回率回答“真正的正例被抓回来多少”两者此消彼长阈值一动全变。ROC 曲线刻画的是阈值扫过时真正例率与假正例率的关系AUC 是曲线下面积可以理解为“随机取一个正例和一个负例模型给正例打分更高的概率”。它在类别相对平衡时很稳但在极度不平衡的数据上会显得过于乐观这时候更该看 PR 曲线和 PR-AUC因为分母里含真正例数量少数类的表现藏不住。交叉验证要分清几种姿势普通 K 折适合独立同分布数据分层 K 折保证每折里类别比例一致分类任务默认该用它留一法在样本极少时用代价是训练次数等于样本数时间序列必须用前向滚动的切分随机打乱等于用未来预测过去属于典型的自欺欺人。from sklearn.model_selection import StratifiedKFold, cross_validate from sklearn.pipeline import make_pipeline from sklearn.preprocessing import StandardScaler from sklearn.linear_model import LogisticRegression # 标准化放进 pipeline保证每一折只用训练部分 fit避免信息泄漏 pipe make_pipeline( StandardScaler(), LogisticRegression(C1.0, max_iter1000, class_weightbalanced) ) cv StratifiedKFold(n_splits5, shuffleTrue, random_state42) scores cross_validate( pipe, X, y, cvcv, scoring[roc_auc, f1, accuracy], return_train_scoreTrue # 同时看训练分数判断是否过拟合 )这段代码有三个参数值得注意。shuffleTrue配合固定的random_state是为了结果可复现否则每次跑出来的分数都在飘class_weightbalanced是不平衡数据的第一道低成本处理比上来就做重采样更稳妥return_train_scoreTrue让训练分数和验证分数同时出现两者差距过大就是过拟合的直接证据。评估这一层真正的考点不是记住公式而是知道“在什么数据形态下哪个指标会骗你”。3. 监督学习主线线性模型、树集成与核方法的对照复习监督学习是课件里篇幅最重的部分但复习时不该按章节顺序平推。更有效的做法是按“模型族”归类每一族抓住一条主线线性模型抓损失与正则树模型抓分裂准则与集成方式核方法抓间隔与对偶。三族之间的对照关系理清了零散的知识点会自动归位。3.1 线性回归与逻辑回归的推导链条线性回归的推导链条是假设输出是输入的线性组合加高斯噪声写出似然取负对数得到平方损失求导令其为零得闭式解样本量大或特征维度高时改用梯度下降。逻辑回归把线性输出过一层 sigmoid 压到 0 到 1把输出解释成正类的概率损失换成伯努利负对数似然也就是交叉熵此时没有闭式解只能迭代。这条链条上有两个必须能自己说清的点。一是为什么逻辑回归的输出能当概率用因为它建模的是条件概率的对数几率是输入的线性函数sigmoid 只是把这个关系反解出来。二是为什么它叫“回归”却做分类名字来自它回归的是对数几率不是标签本身。import numpy as np def train_logreg(X, y, lr0.1, epochs500, l20.0): 手写逻辑回归的批量梯度下降用于对照讲义推导。 X: (n, d) 已标准化 y: (n,) 取值为 0/1 lr: 学习率太大会震荡发散太小收敛慢 l2: L2 正则系数只作用在权重上不作用在偏置上 n, d X.shape w, b np.zeros(d), 0.0 for _ in range(epochs): z np.clip(X w b, -500, 500) # 防止 exp 溢出 p 1.0 / (1.0 np.exp(-z)) grad_w X.T (p - y) / n l2 * w grad_b np.mean(p - y) w - lr * grad_w b - lr * grad_b return w, b代码里最值得记的不是循环本身而是那行np.clip。当特征没标准化、或者学习率设大了z会冲到几百exp直接溢出成 inf训练全程都是 nan很多人以为是自己推导错了其实是数值问题。另外/n是对样本数取平均让梯度量级和数据规模解耦正则项不加到b上是因为偏置只控制决策边界的位置不该被收缩。把这段手写版和调包版在同一份数据上跑参数接近说明推导链条真的通了。3.2 决策树与集成RF、GBDT 的关键差异决策树的核心是三个选择用什么准则选分裂点、什么时候停止生长、怎么剪枝。分类常用信息增益或基尼指数回归常用平方误差下降。信息增益偏向取值多的特征基尼指数计算更快且没有对数实践中更常见。树的优点是可解释、不需要特征缩放、能处理非线性与交互缺点是单棵树方差极大换个样本就长成另一个样子。集成方法正是冲着这个缺点去的。Bagging 的思路是并行训练多棵树再投票用平均降方差Boosting 的思路是串行训练每棵新树专注于前面没拟合好的部分用累加降偏差。随机森林在 bagging 基础上再加一层特征随机进一步削弱树之间的相关性GBDT 则是拟合负梯度残差配合学习率控制每棵树的贡献。维度随机森林GBDTXGBoost 类实现训练方式并行串行串行但特征层面可并行主要降低方差偏差偏差兼顾正则关键超参树数量、最大深度、特征采样比例树数量、学习率、树深加上正则项、行列采样比例过拟合信号树越多通常越稳树太多会过拟合早停是主要防线缺失值一般需先填充一般需先填充有默认分裂方向这张表里最后一行经常被忽略不同实现对缺失值的处理策略不一样复习时不要拿一个库的行为去套另一个。另外树模型“不需要标准化”这句话只对纯树模型成立一旦进了 pipeline、和线性模型或距离类模型混用标准化还是得加否则同一份预处理代码在两处行为不一致。3.3 SVM 与核方法间隔、对偶与支持向量SVM 的出发点不是“拟合得最准”而是“分得最稳”在能把两类分开的所有超平面里选那个到最近样本距离最大的。这个距离就是间隔落在间隔边界上的样本就是支持向量。软间隔引入松弛变量和惩罚系数 CC 越大越不容忍误分类越容易过拟合C 越小容忍度越高边界越平滑。对偶形式是这一节的难点。通过拉格朗日乘子把带约束的原始问题转成对偶问题后会发现决策函数只依赖样本之间的内积这就给核技巧留了口子把内积换成一个核函数等于把数据隐式映射到高维空间再找线性边界而计算量还停留在原空间。常用的有线性核、多项式核、RBF 核RBF 多一个 gamma 参数控制影响半径gamma 大则单个样本影响范围小边界扭曲容易过拟合。复习到这里要能回答一个对照问题为什么 SVM 在大规模数据上不如树集成流行一是核矩阵规模随样本数平方增长二是多分类需要额外组合策略三是对参数和核选择敏感。理解这个“为什么不用”比多背两条公式更能说明你真的懂了。4. 无监督与特征工程聚类、EM 与降维的实际要点无监督部分在课件里的占比通常小于监督部分但实际工作中用到的频率很高尤其是降维和聚类经常出现在建模前的探索环节。这一块的特点是没有标签所以“对不对”没有唯一答案只能靠内部指标和业务解释双重验证。复习时要把重点放在“算法假设了什么”而不是“调哪个参数”。4.1 K-Means 与 GMM/EM 的对照K-Means 的流程极其简单随机选 k 个中心把每个样本分给最近的中心用每簇均值更新中心重复到收敛。它优化的目标是最小化簇内平方误差因此隐含假设簇是球形、大小相近的。初始化敏感是它的老毛病k-means 通过让初始中心尽量分散来缓解实践中至少要跑多次取最优。高斯混合模型换了个思路不把样本硬性分配给某一簇而是给出属于每个簇的概率数据被假设为若干高斯分布的混合。求解用 EM 算法E 步算每个样本属于各成分的后验概率M 步用这些概率加权重估均值、协方差和混合系数交替直到似然不再明显上升。梳理下来会发现K-Means 可以看作 GMM 的一个特例当协方差被固定为各向同性的同一个值、且后验概率被硬性取成 0/1 时EM 就退化成了 K-Means 的迭代。这个对照关系是这一节最值钱的考点它同时解释了两件事为什么 K-Means 只能给出球形簇为什么 GMM 计算更贵但能表达椭圆簇。# EM 的 E 步核心片段用于对照讲义中的后验公式 import numpy as np def e_step(X, means, covs, weights): 计算每个样本属于各高斯成分的后验概率。 X: (n, d)means: (k, d)covs: (k, d, d)weights: (k,) 返回 (n, k) 的责任度矩阵每行和为 1 n, k X.shape[0], len(weights) resp np.zeros((n, k)) for j in range(k): diff X - means[j] inv np.linalg.inv(covs[j]) # 协方差近奇异时需加小对角项 det np.linalg.det(covs[j]) norm 1.0 / np.sqrt((2 * np.pi) ** X.shape[1] * det) resp[:, j] weights[j] * norm * np.exp(-0.5 * np.einsum(ni,ij,nj-n, diff, inv, diff)) return resp / resp.sum(axis1, keepdimsTrue) # 归一化成后验这段代码里最容易出问题的是np.linalg.inv(covs[j])。当某个成分只分到极少数样本、甚至只剩一两个点时协方差矩阵接近奇异求逆会炸。工程上的补救是给对角线加一个很小的数或者限制协方差为对角形式。einsum那一行是算马氏距离的平方形状标注写成ni,ij,nj-n就是为了避免维度写错如果这里维度写反了程序不报错但结果会悄悄变成一堆 nan。4.2 PCA、SVD 与标准化的先后顺序PCA 的目标是找一组正交方向让数据投影上去之后方差最大。求解过程是中心化算协方差矩阵做特征分解取最大的几个特征值对应的特征向量作为主成分。解释方差比等于某个特征值除以特征值总和用来决定保留几个主成分常见的经验阈值是累计 85% 到 95%。标准化这一步不能省。PCA 对尺度极度敏感如果一个特征以万为单位、另一个以小数计协方差矩阵会被前者主导所谓“主成分”其实只是那一个特征。是否标准化取决于特征是否同量纲但只要量纲不同就必须先标准化再降维。SVD 是更一般的形式任意矩阵都能分解不需要先算协方差矩阵数值上也更稳定。当数据矩阵已经中心化时SVD 得到的右奇异向量与协方差矩阵的特征向量一致奇异值的平方与特征值成比例。所以“PCA 用特征分解实现”和“PCA 用 SVD 实现”说的是同一件事的两种算法路径很多库内部走的是后者。import numpy as np Xc X - X.mean(axis0) # 中心化漏掉这步整个结果就偏了 cov Xc.T Xc / (Xc.shape[0] - 1) # 无偏协方差估计 eigvals, eigvecs np.linalg.eigh(cov) # eigh 专用于对称矩阵比 eig 稳 order np.argsort(eigvals)[::-1] # 默认升序必须反转 eigvals, eigvecs eigvals[order], eigvecs[:, order] explained_ratio eigvals / eigvals.sum() # 用累计和决定保留几维三个细节值得单独记。eigh而不是eig因为协方差矩阵是对称的专用函数保证返回实数并按升序排好argsort之后必须反转否则你取到的“第一主成分”其实是方差最小的方向/ (n-1)是样本协方差用/ n在大样本下差别不大但小样本时会影响解释方差比的具体数值和讲义对不上时先查这里。4.3 特征工程与一个可复现的最小流程特征工程这部分讲义通常讲得比较散复习时建议自己串成一条流水线缺失值处理、类别编码、数值缩放、特征筛选。顺序不是随便排的编码要在缩放之前筛选要放在交叉验证内部否则筛选时用到了验证集信息评估结果会虚高。独热编码适合低基数类别高基数时容易炸维度可以考虑目标编码或频次编码但目标编码必须做折内计算不然就是标准的数据泄漏。数值缩放里标准化适合近似高斯的特征归一化适合有明确上下界的特征树模型可以跳过缩放但混在 pipeline 里时统一做掉更省心。from sklearn.compose import ColumnTransformer from sklearn.pipeline import Pipeline from sklearn.impute import SimpleImputer from sklearn.preprocessing import StandardScaler, OneHotEncoder num_chain Pipeline([ (fill, SimpleImputer(strategymedian)), # 中位数比均值抗异常值 (scale, StandardScaler()), ]) cat_chain Pipeline([ (fill, SimpleImputer(strategymost_frequent)), (encode, OneHotEncoder(handle_unknownignore)), # 未见类别不报错 ]) prep ColumnTransformer([ (num, num_chain, num_cols), (cat, cat_chain, cat_cols), ])把预处理整体包成ColumnTransformer的最大好处是交叉验证时每一折的填充、缩放、编码参数都只在训练部分估计验证部分只做变换。如果先在全量数据上fit再切分缺失值中位数、标准化均值、编码类别表里全都混进了验证集的信息分数看起来漂亮上线就崩。handle_unknownignore是给线上新出现的类别留的后路不开这个参数遇到没见过的取值会直接抛异常。5. 易漏点与易错点复习时最容易出错的五个地方这些点单独看不难但它们有一个共同特征出问题的时候程序不报错分数还挺好看直到换个数据集或者上线才暴露。复习阶段把这些提前过一遍比多刷两套题更省事。5.1 数据与流程层面最容易出错的三处易漏点一在全量数据上做预处理再划分训练测试。为什么漏调包时fit_transform和transform长得太像几行代码就能把顺序写反而且跑通不报错分数甚至更高。 怎么补凡是涉及“从数据中估计参数”的操作包括填充值、缩放参数、编码映射、特征筛选、过采样一律塞进 pipeline让交叉验证来驱动。写完代码先自查一句验证集的任何统计量有没有进入训练过程。易漏点二时间序列用随机 K 折。为什么漏cross_val_score默认就是随机切接口太顺手很多人不会去想数据有没有时序结构。 怎么补时间序列一律用前向滚动切分训练集永远在验证集之前。同理同一个人、同一台设备产生的多条记录属于分组数据要用分组切分否则同一个体的样本同时出现在训练和验证里指标会虚高得离谱。易漏点三正则化强度与特征尺度不匹配。为什么漏L1/L2 惩罚的是参数绝对值未标准化的特征对应的参数天然就小于是被正则化“放过”重要特征反而被压没了。 怎么补做正则化之前先标准化。调参时不要凭经验拍一个 C 或 alpha用对数尺度的网格搜索配合交叉验证观察验证分数随参数变化的曲线而不是只看最优点那一个数。5.2 指标与调参层面最容易出错的两处易漏点四类别不平衡时只看准确率。为什么漏准确率是默认指标报告里最显眼而 99% 负样本的数据上全预测为负也有 99% 的准确率。 怎么补先看混淆矩阵再选指标。关心“抓全”就看召回关心“别误伤”就看精确率两者都要就看 F1 或 PR-AUC。阈值不要用默认的 0.5按业务成本在验证集上扫一遍选定后固化成配置文件别每次上线重新拍。易漏点五把模型输出当成校准过的概率。为什么漏predict_proba返回的就是一个 0 到 1 的数看起来天然是概率没人会怀疑它。 怎么补区分“排序能力”和“概率可信度”。AUC 高只说明排序好不代表预测 0.8 的样本真有 80% 是正例。SVM 根本不直接输出概率需要额外的校准步骤树集成的概率往往偏保守或偏激进。凡是要拿概率做决策的场景先画一条可靠性曲线看看再决定要不要做校准。提示这五条的共同点是“错了也不会立刻报错”。复习时与其反复看不报错的正常流程不如专门记一遍这些静默失败的情形。6. 复习清单三轮自查与一个能立刻执行的动作复习最怕的状态是“书都看过合上什么都说不出来”。给一个可操作的三轮节奏比笼统地说“多复习几遍”有用得多。轮次目标具体动作自检标准第一轮建立骨架只看目录和章节标题自己画一张模块关系图能说出每个模型属于哪一族、解决什么问题第二轮打通推导合上讲义手推三个核心最小二乘、逻辑回归梯度、SVM 间隔推不出来就回看对应小节标记为待补第三轮验证细节改课件代码里的关键参数观察指标怎么动能解释每一次变化的方向和原因第一轮的关键是“不看内容先画图”。画不出来的分支就是你的知识断层比通读一遍更有指向性。第二轮别贪多挑三个最有代表性的推导就够因为这三个覆盖了平方损失、交叉熵、间隔三类建模思路其余模型大多是它们的变形。第三轮最容易被跳过但它的收益最高把正则系数调大两个数量级、把树的数量翻十倍、把 K 折改成 3 折看指标怎么变你才会真正记住那些参数的物理含义。再给一个每天十分钟的固定动作随机挑一个模型用四句话回答“假设是什么、损失是什么、梯度或分裂准则是什么、用什么指标评估”。四句话里有任何一句卡住当天就只补那一句对应的小节不扩散。这个方法的妙处在于它强制你把模型当成一个完整链条来记而不是一堆散落的公式。# 复习自检用同一份数据上手写版与调包版结果应当接近 # 差距过大时按 标准化 - 截距正则 - 收敛轮数 - 学习率 的顺序排查 w_hand, b_hand train_logreg(X_train, y_train, lr0.1, epochs2000, l21e-3) clf LogisticRegression(C1000, max_iter2000).fit(X_train, y_train) print(np.allclose(w_hand, clf.coef_[0], atol0.05)) # C 与 l2 是倒数关系换算要对上这段对照脚本我建议每个人都跑一次。C和l2是倒数关系C1000大致对应很小的正则强度换算对不上时两个结果会差很远很多人以为是推导写错了其实是参数语义没对齐。跑通之后再改lr和epochs观察收敛曲线你对“学习率太大会震荡”这句话的理解会从文字变成手感。从那以后我每复习一个模型都强制走一遍“假设、损失、梯度、评估”四问答不全就不往下翻宁可少看两章也不留半懂不懂的尾巴。这份课件包的价值不在于它讲了多少而在于它给了一条能自己走完的完整链路讲义负责讲清推导配套代码负责让你验证推导。按上面的三轮节奏过一遍再拿这份清单逐条打勾剩下的就是重复到熟练。希望帮到你。本文还有配套的精品资源点击获取
