简介《机器学习期末复习题及答案》是一份面向高校机器学习课程期末备考、需快速梳理核心考点与查漏补缺的学生以及想集中巩固基础概念的自学者的复习资料。内容以单选题、多选题、名词解释、简答题和编程题等形式组织覆盖数据集划分、欠拟合与过拟合、K近邻、朴素贝叶斯、支持向量机核函数、决策树生成算法、线性回归、聚类、数据清洗、性能评估、均方误差与神经网络等高频知识点并附答案解析与编程步骤提示。资源包为1个docx文档约20KB体量轻便适合打印或导入笔记软件随时翻阅。目前已有1764人学习下载说明其考点归纳较受关注。读者可借助它系统复核概念、对照答案理解错因并通过简答与编程题强化从原理到解题思路的串联适合考前冲刺与二轮复习使用。1. 机器学习期末复习题及答案背后真正被考的是三件事搜「机器学习期末复习题及答案」的人多半处在两种状态一种是考前一晚想找原题对答案另一种是已经刷过吴恩达机器学习作业、周志华机器学习习题却不确定自己写的算不算标准答案。这门课的期末卷有个特点——答案对不对取决于你有没有把假设空间、损失函数、优化目标这三件事交代清楚。同一道「逻辑回归为什么不用平方损失」的题只写「因为非凸」拿一半分补上凸性推导和梯度形式才是满分。所以下面不打算给一份答案册而是按题型把「考什么、怎么答、答完怎么自查」拆开先啃泛化误差界这类数学推导再过监督学习算法的手算与代码复现然后是无监督、集成与评估指标的判分细节最后落到一套可执行的自测流程。2. 泛化误差界类推导题从 Hoeffding 不等式到手写答案泛化误差界是期末卷里区分度最高的一类题也是「机器学习数学理论」这个搜索词的源头。它难在符号多、条件多但题型其实很固定给一个假设空间、一个损失函数让你写出泛化误差以多大概率不超过经验风险加某个项。答题时先把三样东西摆出来评卷人一眼就知道你会。2.1 先分清经验风险、泛化误差与泛化误差界经验风险是模型在训练集上的平均损失写成 $\hat{R}(h)\frac{1}{m}\sum_{i1}^{m}\ell(h(x_i),y_i)$它是个能算出来的数。泛化误差 $R(h)\mathbb{E}_{(x,y)\sim D}[\ell(h(x),y)]$ 是对真实分布的期望算不出来只能估。泛化误差界就是给 $R(h)-\hat{R}(h)$ 这个差值找一个与样本量 $m$ 和假设空间复杂度相关的上界。注意区分两个方向一个是固定假设 $h$ 的界用 Hoeffding 不等式就能推另一个是对整个假设空间 $\mathcal{H}$ 一致成立的界需要 VC 维或 Rademacher 复杂度来刻画容量。考试里如果题目说「对所有 $h\in\mathcal{H}$ 以概率 $1-\delta$ 成立」你只写 Hoeffding 一定扣分因为要对 $|\mathcal{H}|$ 做 union bound。2.2 三类不等式在期末卷上的适用场景工具刻画对象典型形式适用题型Hoeffding 不等式单个假设的有界损失$P(\hat{R}-R\ge\epsilon)\le e^{-2m\epsilon^2}$给固定分类器估样本量union bound 有限假设空间$\lvert\mathcal{H}\rvert$ 个假设$R\le\hat{R}\sqrt{\frac{\ln\lvert\mathcal{H}\rvert\ln(1/\delta)}{2m}}$有限假设集一致收敛VC 维无限假设空间的容量$R\le\hat{R}O\left(\sqrt{\frac{d\ln(m/d)\ln(1/\delta)}{m}}\right)$线性分类器、区间族这张表的用法很直接题目给「有限个分类器」就用第二行给「线性分类器族」就用 VC 维那行。损失必须有界这是 Hoeffding 的前提如果损失无界答案里要主动说明改用 Bernstein 或截断损失这句话往往是加分点。2.3 用 Python 把泛化误差界画出来光背公式没有体感跑一段代码看界随样本量的收缩速度考试时对数量级会有直觉。import numpy as np def hoeffding_bound(m, delta): 单个假设的泛化误差上界增量: sqrt(ln(1/delta) / (2m)) return np.sqrt(np.log(1.0 / delta) / (2.0 * m)) def finite_class_bound(m, delta, n_hyp): 有限假设空间: sqrt((ln|H| ln(1/delta)) / (2m)) return np.sqrt((np.log(n_hyp) np.log(1.0 / delta)) / (2.0 * m)) for m in [100, 1000, 10000, 100000]: b1 hoeffding_bound(m, 0.05) # 单个假设 b2 finite_class_bound(m, 0.05, 1000) # 1000 个假设 print(fm{m:7d} 单假设{b1:.4f} 有限类{b2:.4f}) # 观察点m 每扩大 10 倍界大约缩小到原来的 1/sqrt(10) ≈ 0.316逻辑说明hoeffding_bound对应单假设情形finite_class_bound多了一项 $\ln|\mathcal{H}|$。参数上m是样本量delta是置信参数n_hyp是假设个数。运行后你会看到一个反直觉结论——把假设数从 1 加到 1000界只从 0.12 涨到 0.17 左右因为复杂度项在根号里被 $2m$ 除掉了。这正是期末简答题爱问的「为什么假设空间大不一定过拟合严重」。2.4 推导题的答题结构模板把推导写成四段式几乎不会丢步骤分。第一段声明假设样本 i.i.d.、损失有界在 $[0,1]$、给定置信度 $\delta$。第二段写单点不等式用 Hoeffding 得到 $P(|\hat{R}-R|\ge\epsilon)\le 2e^{-2m\epsilon^2}$。第三段对假设空间做 union bound把右端乘上 $|\mathcal{H}|$。第四段令 $2|\mathcal{H}|e^{-2m\epsilon^2}\delta$ 反解 $\epsilon\sqrt{\frac{\ln|\mathcal{H}|\ln(2/\delta)}{2m}}$结论写成 $R(h)\le\hat{R}(h)\epsilon$。每一步都要写清「因为什么所以什么」而不是直接甩结论。批卷时最常见的扣分点是漏掉 union bound 的系数 2或者忘记说明损失有界。最后可以补一句样本复杂度的推论要让 $\epsilon\le0.1$、$\delta0.05$、$|\mathcal{H}|10^3$需要 $m\ge\frac{\ln 10^3\ln 40}{2\times0.01}\approx480$ 个样本这类数字题在卷面上很常见。3. 监督学习算法题线性回归、逻辑回归、决策树的答案怎么写全监督学习部分是卷面主体题型从「写出损失函数」到「手算一次梯度更新」都有。难度不在概念而在于答案完整度损失函数、优化方法、闭式解是否存在、正则化形式这四项缺一项就掉一档。下面按算法逐个过。3.1 线性回归闭式解与梯度下降两条路都要会模型写成 $h_\theta(x)\theta^\top x$平方损失 $J(\theta)\frac{1}{2m}|X\theta-y|^2$。闭式解由 $\nabla_\theta J0$ 得 $\theta^*(X^\top X)^{-1}X^\top y$前提是 $X^\top X$ 可逆不可逆时用伪逆或加岭回归项 $\lambda I$。梯度下降的更新式是 $\theta\leftarrow\theta-\alpha\frac{1}{m}X^\top(X\theta-y)$。考试里如果问「什么时候用闭式解什么时候用梯度下降」标准答法是特征维度 $d$ 小于样本量 $m$ 且 $X^\top X$ 条件数可接受时闭式解一次到位$d$ 很大比如十万维稀疏特征时矩阵求逆是 $O(d^3)$改用梯度下降或随机梯度下降。这句话把复杂度也带上了比只答「数据量大用梯度下降」扎实。3.2 逻辑回归从最大似然到交叉熵损失逻辑回归的输出是 $P(y1|x)\sigma(\theta^\top x)$$\sigma(z)1/(1e^{-z})$。从伯努利似然出发取负对数得到交叉熵损失 $J(\theta)-\frac{1}{m}\sum[y_i\log\hat{y}_i(1-y_i)\log(1-\hat{y}_i)]$梯度恰好是 $\frac{1}{m}X^\top(\hat{y}-y)$形式和线性回归一样区别只在 $\hat{y}$ 过了 sigmoid。必答的一句是交叉熵损失对 $\theta$ 是凸的而把平方损失套在 sigmoid 上会得到非凸目标且梯度含 $\sigma(z)$ 因子饱和区梯度趋近于零。把这两点都写出来才算回答完整。多分类情形写 softmax 加交叉熵梯度同样是 $\hat{y}-y$ 的形式。3.3 决策树信息增益、增益率、基尼指数的手算流程决策树的手算题几乎是必考。给定一张小表先算根节点的经验熵 $H(D)-\sum_k\frac{|C_k|}{|D|}\log_2\frac{|C_k|}{|D|}$再对每个特征算条件熵信息增益 $g(D,A)H(D)-H(D|A)$。ID3 选增益最大的C4.5 用增益率 $g_R\frac{g(D,A)}{H_A(D)}$ 惩罚取值多的特征CART 用基尼指数 $Gini(p)1-\sum p_k^2$。答题时把中间结果列全每个类别的计数、每个特征每个取值的子集划分、每步的熵值。评卷按步骤给分只写最终选哪个特征即使对了也拿不到过程分。一个常见陷阱是连续特征的处理答案要提到用二分法找切分点枚举相邻取值中点取增益最大的那个。3.4 用 sklearn 交叉验证答案是否自洽手算完可以用代码复核也方便检查自己哪一步算错。from sklearn.datasets import load_breast_cancer from sklearn.linear_model import LogisticRegression, Ridge from sklearn.tree import DecisionTreeClassifier from sklearn.model_selection import cross_val_score from sklearn.preprocessing import StandardScaler from sklearn.pipeline import make_pipeline X, y load_breast_cancer(return_X_yTrue) models { ridge: make_pipeline(StandardScaler(), Ridge(alpha1.0)), logistic: make_pipeline(StandardScaler(), LogisticRegression(max_iter1000, C1.0)), tree: DecisionTreeClassifier(max_depth4, criteriongini, random_state0), } for name, clf in models.items(): if name ridge: # 回归器用 R2 评估 scores cross_val_score(clf, X, y, cv5, scoringr2) else: scores cross_val_score(clf, X, y, cv5, scoringaccuracy) print(f{name:9s} mean{scores.mean():.4f} std{scores.std():.4f})逻辑说明StandardScaler放在make_pipeline里保证标准化只在训练折上拟合避免数据泄漏——这一点在「模型评估」简答题里经常被问到。cv5是五折交叉验证输出mean和std两个值std大说明模型对划分敏感。参数C是逻辑回归的 L2 强度倒数alpha是岭回归的 L2 系数调这两个值可以观察正则化对泛化的影响。决策树限制max_depth4是为了防止完全生长导致训练准确率 100%、验证准确率下降这个现象正好用来回答「过拟合的表现」。算法损失函数优化方式是否有闭式解正则化形式线性回归平方损失正规方程 / GD有L2岭、L1Lasso逻辑回归交叉熵GD / 牛顿法 / L-BFGS无L2 / L1 / 弹性网决策树信息增益等分裂准则贪心递归划分无预剪枝 / 后剪枝这张表建议考前默写一遍卷面上让你「对比三个算法」的题把五行填满基本就是满分答案的骨架。4. 无监督、集成与模型评估题最容易被判错的答案细节这部分题目的特点是「看起来都会写出来就丢分」。原因是很多结论有前提条件答题时把前提丢掉答案就从正确变成错误。下面按四类高频题拆。4.1 K-means 与 EM 的答案差异在哪K-means 常被说成 EM 的特例这句话本身没错但要答对必须补上假设K-means 假设每个簇是球形的、各向同性且方差相同等价于在高斯混合模型上做硬分配。EM 的 E 步算后验责任度 $\gamma_{ik}\frac{\pi_k\mathcal{N}(x_i|\mu_k,\Sigma_k)}{\sum_j\pi_j\mathcal{N}(x_i|\mu_j,\Sigma_j)}$M 步更新参数是软分配K-means 把责任度取成 0/1。必答的第二点两者都只能收敛到局部最优对初始化敏感实践中用 K-means 或多次随机重启取最优目标值。第三点K-means 的目标函数是簇内平方和单调不增所以收敛性可以证明EM 的目标是似然下界也是单调不减。把「单调性」和「局部最优」这两句写出来答案档次明显不一样。4.2 Bagging 与 Boosting 的偏差方差不背反常见错答是「Bagging 降偏差Boosting 降方差」恰好说反。正确表述Bagging 对基学习器做自助采样后平均主要降低方差对偏差影响小适合强学习器如深树Boosting 串行地关注前一轮错分样本主要降低偏差但迭代次数过多会放大方差需要用学习率和轮数控制。配套的公式是偏差-方差分解期望泛化误差 $ \text{bias}^2\text{variance}\text{noise}$。答题时可以写「随机森林在此基础上加特征随机进一步降方差代价是偏差略升」。如果题目给了一条随树数量增加而验证误差先降后平的曲线标准解释是方差被平均掉后趋于稳定此时再加树收益递减。4.3 混淆矩阵、ROC 与校准集评估指标题几乎年年出现。先把四个量摆正TP、FP、FN、TN。精确率 $P\frac{TP}{TPFP}$召回率 $R\frac{TP}{TPFN}$F1 是调和平均。ROC 曲线以 FPR 为横轴、TPR 为纵轴AUC 等于随机取一对正负样本、正样本得分更高的概率这个解释比「曲线下面积」更能拿分。容易丢分的是类别不平衡场景此时准确率会误导应该看 PR 曲线或 AUC。另外概率输出的模型逻辑回归、神经网络常被问「预测概率准不准」答案是校准用可靠性曲线和 Brier 分数衡量常用 Platt 缩放或等渗回归做后校准。把「校准集」这个词和 Brier 分数一起写进答案说明你清楚区分了排序能力和概率可靠性。from sklearn.datasets import load_breast_cancer from sklearn.linear_model import LogisticRegression from sklearn.model_selection import train_test_split from sklearn.metrics import roc_auc_score, brier_score_loss, confusion_matrix from sklearn.calibration import calibration_curve from sklearn.preprocessing import StandardScaler X, y load_breast_cancer(return_X_yTrue) Xtr, Xte, ytr, yte train_test_split(X, y, test_size0.3, stratifyy, random_state42) scaler StandardScaler().fit(Xtr) clf LogisticRegression(max_iter1000).fit(scaler.transform(Xtr), ytr) p clf.predict_proba(scaler.transform(Xte))[:, 1] print(混淆矩阵:\n, confusion_matrix(yte, (p 0.5).astype(int))) print(fAUC{roc_auc_score(yte, p):.4f} Brier{brier_score_loss(yte, p):.4f}) frac_pos, mean_pred calibration_curve(yte, p, n_bins10) for mp, fp in zip(mean_pred, frac_pos): print(f预测概率{mp:.3f} 实际正例比例{fp:.3f})逻辑说明stratifyy保证训练测试集类别比例一致类别不平衡时这一步不能省。brier_score_loss越小说明概率越准AUC 只看排序两者一起看才能判断是否需要校准。calibration_curve把预测概率分箱输出每个箱的均值概率和实际正例比例两者越接近说明校准越好。参数n_bins10控制分箱数样本少时可以降到 5避免每箱样本过少导致曲线抖动。指标公式关注点适用场景准确率$(TPTN)/N$整体正确率类别均衡精确率 / 召回率$TP/(TPFP)$、$TP/(TPFN)$误报与漏报权衡检索、医疗筛查F1$2PR/(PR)$精确率与召回率平衡类别不平衡AUCROC 曲线下面积排序能力阈值无关评估Brier$\frac{1}{N}\sum(\hat{p}-y)^2$概率校准需要可信概率4.4 偏差-方差分解的推导写法推导题从期望平方误差出发$\mathbb{E}[(y-\hat{f}(x))^2]\mathbb{E}[y^2]-2\mathbb{E}[y\hat{f}]E[\hat{f}^2]$把 $yf(x)\epsilon$、$\mathbb{E}[\epsilon]0$、$\text{Var}(\epsilon)\sigma^2$ 代进去整理出 $(\mathbb{E}[\hat{f}]-f)^2\mathbb{E}[(\hat{f}-\mathbb{E}[\hat{f}])^2]\sigma^2$三项依次是偏差平方、方差、不可约噪声。答题关键是把 $\hat{f}$ 的期望和 $y$ 的噪声分开处理很多人在交叉项上卡住。写完再补一句结论噪声项与模型无关调模型只能压前两项模型复杂度上升通常降偏差升方差这就是正则化存在的理由。如果题目要求画图横轴写模型复杂度纵轴写误差三条曲线分别是偏差平方、方差、总误差总误差呈 U 形最低点即最优复杂度。5. 把复习题变成可执行自测脚本的四个技巧光看不写考场上手会生。临近一周最有效的做法是把复习题拆成可自动判分的小题库边写边暴露盲点。第一个技巧是按题型建目录而不是按章节。目录分四类推导题、手算题、对比题、代码题每类给一个难度标签。推导题重点检查前提声明和 union bound 系数手算题把中间熵值、梯度值单独记一行对比题强制自己填满上面那几张表代码题只留关键行比如cross_val_score和calibration_curve的调用。第二个技巧是给每道题写「三行答案」。第一行结论第二行依据第三行边界条件。比如「逻辑回归用交叉熵不用平方损失」——结论是交叉熵凸依据是负对数似然加 sigmoid 的复合仍凸边界条件是损失有界且样本独立。三行写不出来说明这道题还没过关。# 简易题库自测把题目、参考答案关键词、自评分放一起 BANK [ { q: 写出有限假设空间的泛化误差界, keys: [union bound, sqrt, ln|H|, delta], mine: , # 自己默写后填这里 }, { q: 推导逻辑回归的梯度, keys: [sigmoid, 交叉熵, X^T(y_hat - y)], mine: , }, { q: 解释 Bagging 为什么主要降方差, keys: [自助采样, 平均, 弱相关, 方差], mine: , }, ] def score(item): 命中关键词比例作为自评分低于 0.6 标红重做 hit [k for k in item[keys] if k.lower() in item[mine].lower()] return len(hit) / len(item[keys]), hit for it in BANK: s, hit score(it) flag 重做 if s 0.6 else 过关 print(f[{flag}] {it[q]} 得分{s:.2f} 命中{hit})逻辑说明BANK里每道题配一组关键词score用关键词命中率作为粗判分mine填自己默写的答案。参数上keys要写成你答题时必须出现的技术词比如泛化误差界那题必须有sqrt和ln|H|没有就说明公式没记住。低于 0.6 的题第二天重做避免只在脑子里过一遍的假熟悉。第三个技巧是把易错点做成检查清单考前二十分钟只看它。易错点正确写法泛化误差界漏 union bound 系数右端乘 $\lvert\mathcal{H}\rvert$ 或 $2\lvert\mathcal{H}\rvert$说 Bagging 降偏差改为降方差Boosting 降偏差逻辑回归说平方损失也行强调平方损失配 sigmoid 非凸决策树只写最终特征补全每个特征的条件熵过程类别不平衡只看准确率改用 F1、AUC 或 PR 曲线概率模型不提校准补 Brier 分数与可靠性曲线第四个技巧是给自己限时。推导题 12 分钟、手算题 8 分钟、对比题 6 分钟用手机计时超时就标记考场上遇到同类题先跳过。练到最后你看到「以概率 $1-\delta$ 对所有 $h$」这句话手会直接去写 union bound看到「概率输出是否可信」会先想到校准而不是 AUC这种条件反射才是复习题真正要练出来的东西。本文还有配套的精品资源点击获取
简介《机器学习期末复习题及答案》是一份面向高校机器学习课程期末备考、需快速梳理核心考点与查漏补缺的学生以及想集中巩固基础概念的自学者的复习资料。内容以单选题、多选题、名词解释、简答题和编程题等形式组织覆盖数据集划分、欠拟合与过拟合、K近邻、朴素贝叶斯、支持向量机核函数、决策树生成算法、线性回归、聚类、数据清洗、性能评估、均方误差与神经网络等高频知识点并附答案解析与编程步骤提示。资源包为1个docx文档约20KB体量轻便适合打印或导入笔记软件随时翻阅。目前已有1764人学习下载说明其考点归纳较受关注。读者可借助它系统复核概念、对照答案理解错因并通过简答与编程题强化从原理到解题思路的串联适合考前冲刺与二轮复习使用。1. 机器学习期末复习题及答案背后真正被考的是三件事搜「机器学习期末复习题及答案」的人多半处在两种状态一种是考前一晚想找原题对答案另一种是已经刷过吴恩达机器学习作业、周志华机器学习习题却不确定自己写的算不算标准答案。这门课的期末卷有个特点——答案对不对取决于你有没有把假设空间、损失函数、优化目标这三件事交代清楚。同一道「逻辑回归为什么不用平方损失」的题只写「因为非凸」拿一半分补上凸性推导和梯度形式才是满分。所以下面不打算给一份答案册而是按题型把「考什么、怎么答、答完怎么自查」拆开先啃泛化误差界这类数学推导再过监督学习算法的手算与代码复现然后是无监督、集成与评估指标的判分细节最后落到一套可执行的自测流程。2. 泛化误差界类推导题从 Hoeffding 不等式到手写答案泛化误差界是期末卷里区分度最高的一类题也是「机器学习数学理论」这个搜索词的源头。它难在符号多、条件多但题型其实很固定给一个假设空间、一个损失函数让你写出泛化误差以多大概率不超过经验风险加某个项。答题时先把三样东西摆出来评卷人一眼就知道你会。2.1 先分清经验风险、泛化误差与泛化误差界经验风险是模型在训练集上的平均损失写成 $\hat{R}(h)\frac{1}{m}\sum_{i1}^{m}\ell(h(x_i),y_i)$它是个能算出来的数。泛化误差 $R(h)\mathbb{E}_{(x,y)\sim D}[\ell(h(x),y)]$ 是对真实分布的期望算不出来只能估。泛化误差界就是给 $R(h)-\hat{R}(h)$ 这个差值找一个与样本量 $m$ 和假设空间复杂度相关的上界。注意区分两个方向一个是固定假设 $h$ 的界用 Hoeffding 不等式就能推另一个是对整个假设空间 $\mathcal{H}$ 一致成立的界需要 VC 维或 Rademacher 复杂度来刻画容量。考试里如果题目说「对所有 $h\in\mathcal{H}$ 以概率 $1-\delta$ 成立」你只写 Hoeffding 一定扣分因为要对 $|\mathcal{H}|$ 做 union bound。2.2 三类不等式在期末卷上的适用场景工具刻画对象典型形式适用题型Hoeffding 不等式单个假设的有界损失$P(\hat{R}-R\ge\epsilon)\le e^{-2m\epsilon^2}$给固定分类器估样本量union bound 有限假设空间$\lvert\mathcal{H}\rvert$ 个假设$R\le\hat{R}\sqrt{\frac{\ln\lvert\mathcal{H}\rvert\ln(1/\delta)}{2m}}$有限假设集一致收敛VC 维无限假设空间的容量$R\le\hat{R}O\left(\sqrt{\frac{d\ln(m/d)\ln(1/\delta)}{m}}\right)$线性分类器、区间族这张表的用法很直接题目给「有限个分类器」就用第二行给「线性分类器族」就用 VC 维那行。损失必须有界这是 Hoeffding 的前提如果损失无界答案里要主动说明改用 Bernstein 或截断损失这句话往往是加分点。2.3 用 Python 把泛化误差界画出来光背公式没有体感跑一段代码看界随样本量的收缩速度考试时对数量级会有直觉。import numpy as np def hoeffding_bound(m, delta): 单个假设的泛化误差上界增量: sqrt(ln(1/delta) / (2m)) return np.sqrt(np.log(1.0 / delta) / (2.0 * m)) def finite_class_bound(m, delta, n_hyp): 有限假设空间: sqrt((ln|H| ln(1/delta)) / (2m)) return np.sqrt((np.log(n_hyp) np.log(1.0 / delta)) / (2.0 * m)) for m in [100, 1000, 10000, 100000]: b1 hoeffding_bound(m, 0.05) # 单个假设 b2 finite_class_bound(m, 0.05, 1000) # 1000 个假设 print(fm{m:7d} 单假设{b1:.4f} 有限类{b2:.4f}) # 观察点m 每扩大 10 倍界大约缩小到原来的 1/sqrt(10) ≈ 0.316逻辑说明hoeffding_bound对应单假设情形finite_class_bound多了一项 $\ln|\mathcal{H}|$。参数上m是样本量delta是置信参数n_hyp是假设个数。运行后你会看到一个反直觉结论——把假设数从 1 加到 1000界只从 0.12 涨到 0.17 左右因为复杂度项在根号里被 $2m$ 除掉了。这正是期末简答题爱问的「为什么假设空间大不一定过拟合严重」。2.4 推导题的答题结构模板把推导写成四段式几乎不会丢步骤分。第一段声明假设样本 i.i.d.、损失有界在 $[0,1]$、给定置信度 $\delta$。第二段写单点不等式用 Hoeffding 得到 $P(|\hat{R}-R|\ge\epsilon)\le 2e^{-2m\epsilon^2}$。第三段对假设空间做 union bound把右端乘上 $|\mathcal{H}|$。第四段令 $2|\mathcal{H}|e^{-2m\epsilon^2}\delta$ 反解 $\epsilon\sqrt{\frac{\ln|\mathcal{H}|\ln(2/\delta)}{2m}}$结论写成 $R(h)\le\hat{R}(h)\epsilon$。每一步都要写清「因为什么所以什么」而不是直接甩结论。批卷时最常见的扣分点是漏掉 union bound 的系数 2或者忘记说明损失有界。最后可以补一句样本复杂度的推论要让 $\epsilon\le0.1$、$\delta0.05$、$|\mathcal{H}|10^3$需要 $m\ge\frac{\ln 10^3\ln 40}{2\times0.01}\approx480$ 个样本这类数字题在卷面上很常见。3. 监督学习算法题线性回归、逻辑回归、决策树的答案怎么写全监督学习部分是卷面主体题型从「写出损失函数」到「手算一次梯度更新」都有。难度不在概念而在于答案完整度损失函数、优化方法、闭式解是否存在、正则化形式这四项缺一项就掉一档。下面按算法逐个过。3.1 线性回归闭式解与梯度下降两条路都要会模型写成 $h_\theta(x)\theta^\top x$平方损失 $J(\theta)\frac{1}{2m}|X\theta-y|^2$。闭式解由 $\nabla_\theta J0$ 得 $\theta^*(X^\top X)^{-1}X^\top y$前提是 $X^\top X$ 可逆不可逆时用伪逆或加岭回归项 $\lambda I$。梯度下降的更新式是 $\theta\leftarrow\theta-\alpha\frac{1}{m}X^\top(X\theta-y)$。考试里如果问「什么时候用闭式解什么时候用梯度下降」标准答法是特征维度 $d$ 小于样本量 $m$ 且 $X^\top X$ 条件数可接受时闭式解一次到位$d$ 很大比如十万维稀疏特征时矩阵求逆是 $O(d^3)$改用梯度下降或随机梯度下降。这句话把复杂度也带上了比只答「数据量大用梯度下降」扎实。3.2 逻辑回归从最大似然到交叉熵损失逻辑回归的输出是 $P(y1|x)\sigma(\theta^\top x)$$\sigma(z)1/(1e^{-z})$。从伯努利似然出发取负对数得到交叉熵损失 $J(\theta)-\frac{1}{m}\sum[y_i\log\hat{y}_i(1-y_i)\log(1-\hat{y}_i)]$梯度恰好是 $\frac{1}{m}X^\top(\hat{y}-y)$形式和线性回归一样区别只在 $\hat{y}$ 过了 sigmoid。必答的一句是交叉熵损失对 $\theta$ 是凸的而把平方损失套在 sigmoid 上会得到非凸目标且梯度含 $\sigma(z)$ 因子饱和区梯度趋近于零。把这两点都写出来才算回答完整。多分类情形写 softmax 加交叉熵梯度同样是 $\hat{y}-y$ 的形式。3.3 决策树信息增益、增益率、基尼指数的手算流程决策树的手算题几乎是必考。给定一张小表先算根节点的经验熵 $H(D)-\sum_k\frac{|C_k|}{|D|}\log_2\frac{|C_k|}{|D|}$再对每个特征算条件熵信息增益 $g(D,A)H(D)-H(D|A)$。ID3 选增益最大的C4.5 用增益率 $g_R\frac{g(D,A)}{H_A(D)}$ 惩罚取值多的特征CART 用基尼指数 $Gini(p)1-\sum p_k^2$。答题时把中间结果列全每个类别的计数、每个特征每个取值的子集划分、每步的熵值。评卷按步骤给分只写最终选哪个特征即使对了也拿不到过程分。一个常见陷阱是连续特征的处理答案要提到用二分法找切分点枚举相邻取值中点取增益最大的那个。3.4 用 sklearn 交叉验证答案是否自洽手算完可以用代码复核也方便检查自己哪一步算错。from sklearn.datasets import load_breast_cancer from sklearn.linear_model import LogisticRegression, Ridge from sklearn.tree import DecisionTreeClassifier from sklearn.model_selection import cross_val_score from sklearn.preprocessing import StandardScaler from sklearn.pipeline import make_pipeline X, y load_breast_cancer(return_X_yTrue) models { ridge: make_pipeline(StandardScaler(), Ridge(alpha1.0)), logistic: make_pipeline(StandardScaler(), LogisticRegression(max_iter1000, C1.0)), tree: DecisionTreeClassifier(max_depth4, criteriongini, random_state0), } for name, clf in models.items(): if name ridge: # 回归器用 R2 评估 scores cross_val_score(clf, X, y, cv5, scoringr2) else: scores cross_val_score(clf, X, y, cv5, scoringaccuracy) print(f{name:9s} mean{scores.mean():.4f} std{scores.std():.4f})逻辑说明StandardScaler放在make_pipeline里保证标准化只在训练折上拟合避免数据泄漏——这一点在「模型评估」简答题里经常被问到。cv5是五折交叉验证输出mean和std两个值std大说明模型对划分敏感。参数C是逻辑回归的 L2 强度倒数alpha是岭回归的 L2 系数调这两个值可以观察正则化对泛化的影响。决策树限制max_depth4是为了防止完全生长导致训练准确率 100%、验证准确率下降这个现象正好用来回答「过拟合的表现」。算法损失函数优化方式是否有闭式解正则化形式线性回归平方损失正规方程 / GD有L2岭、L1Lasso逻辑回归交叉熵GD / 牛顿法 / L-BFGS无L2 / L1 / 弹性网决策树信息增益等分裂准则贪心递归划分无预剪枝 / 后剪枝这张表建议考前默写一遍卷面上让你「对比三个算法」的题把五行填满基本就是满分答案的骨架。4. 无监督、集成与模型评估题最容易被判错的答案细节这部分题目的特点是「看起来都会写出来就丢分」。原因是很多结论有前提条件答题时把前提丢掉答案就从正确变成错误。下面按四类高频题拆。4.1 K-means 与 EM 的答案差异在哪K-means 常被说成 EM 的特例这句话本身没错但要答对必须补上假设K-means 假设每个簇是球形的、各向同性且方差相同等价于在高斯混合模型上做硬分配。EM 的 E 步算后验责任度 $\gamma_{ik}\frac{\pi_k\mathcal{N}(x_i|\mu_k,\Sigma_k)}{\sum_j\pi_j\mathcal{N}(x_i|\mu_j,\Sigma_j)}$M 步更新参数是软分配K-means 把责任度取成 0/1。必答的第二点两者都只能收敛到局部最优对初始化敏感实践中用 K-means 或多次随机重启取最优目标值。第三点K-means 的目标函数是簇内平方和单调不增所以收敛性可以证明EM 的目标是似然下界也是单调不减。把「单调性」和「局部最优」这两句写出来答案档次明显不一样。4.2 Bagging 与 Boosting 的偏差方差不背反常见错答是「Bagging 降偏差Boosting 降方差」恰好说反。正确表述Bagging 对基学习器做自助采样后平均主要降低方差对偏差影响小适合强学习器如深树Boosting 串行地关注前一轮错分样本主要降低偏差但迭代次数过多会放大方差需要用学习率和轮数控制。配套的公式是偏差-方差分解期望泛化误差 $ \text{bias}^2\text{variance}\text{noise}$。答题时可以写「随机森林在此基础上加特征随机进一步降方差代价是偏差略升」。如果题目给了一条随树数量增加而验证误差先降后平的曲线标准解释是方差被平均掉后趋于稳定此时再加树收益递减。4.3 混淆矩阵、ROC 与校准集评估指标题几乎年年出现。先把四个量摆正TP、FP、FN、TN。精确率 $P\frac{TP}{TPFP}$召回率 $R\frac{TP}{TPFN}$F1 是调和平均。ROC 曲线以 FPR 为横轴、TPR 为纵轴AUC 等于随机取一对正负样本、正样本得分更高的概率这个解释比「曲线下面积」更能拿分。容易丢分的是类别不平衡场景此时准确率会误导应该看 PR 曲线或 AUC。另外概率输出的模型逻辑回归、神经网络常被问「预测概率准不准」答案是校准用可靠性曲线和 Brier 分数衡量常用 Platt 缩放或等渗回归做后校准。把「校准集」这个词和 Brier 分数一起写进答案说明你清楚区分了排序能力和概率可靠性。from sklearn.datasets import load_breast_cancer from sklearn.linear_model import LogisticRegression from sklearn.model_selection import train_test_split from sklearn.metrics import roc_auc_score, brier_score_loss, confusion_matrix from sklearn.calibration import calibration_curve from sklearn.preprocessing import StandardScaler X, y load_breast_cancer(return_X_yTrue) Xtr, Xte, ytr, yte train_test_split(X, y, test_size0.3, stratifyy, random_state42) scaler StandardScaler().fit(Xtr) clf LogisticRegression(max_iter1000).fit(scaler.transform(Xtr), ytr) p clf.predict_proba(scaler.transform(Xte))[:, 1] print(混淆矩阵:\n, confusion_matrix(yte, (p 0.5).astype(int))) print(fAUC{roc_auc_score(yte, p):.4f} Brier{brier_score_loss(yte, p):.4f}) frac_pos, mean_pred calibration_curve(yte, p, n_bins10) for mp, fp in zip(mean_pred, frac_pos): print(f预测概率{mp:.3f} 实际正例比例{fp:.3f})逻辑说明stratifyy保证训练测试集类别比例一致类别不平衡时这一步不能省。brier_score_loss越小说明概率越准AUC 只看排序两者一起看才能判断是否需要校准。calibration_curve把预测概率分箱输出每个箱的均值概率和实际正例比例两者越接近说明校准越好。参数n_bins10控制分箱数样本少时可以降到 5避免每箱样本过少导致曲线抖动。指标公式关注点适用场景准确率$(TPTN)/N$整体正确率类别均衡精确率 / 召回率$TP/(TPFP)$、$TP/(TPFN)$误报与漏报权衡检索、医疗筛查F1$2PR/(PR)$精确率与召回率平衡类别不平衡AUCROC 曲线下面积排序能力阈值无关评估Brier$\frac{1}{N}\sum(\hat{p}-y)^2$概率校准需要可信概率4.4 偏差-方差分解的推导写法推导题从期望平方误差出发$\mathbb{E}[(y-\hat{f}(x))^2]\mathbb{E}[y^2]-2\mathbb{E}[y\hat{f}]E[\hat{f}^2]$把 $yf(x)\epsilon$、$\mathbb{E}[\epsilon]0$、$\text{Var}(\epsilon)\sigma^2$ 代进去整理出 $(\mathbb{E}[\hat{f}]-f)^2\mathbb{E}[(\hat{f}-\mathbb{E}[\hat{f}])^2]\sigma^2$三项依次是偏差平方、方差、不可约噪声。答题关键是把 $\hat{f}$ 的期望和 $y$ 的噪声分开处理很多人在交叉项上卡住。写完再补一句结论噪声项与模型无关调模型只能压前两项模型复杂度上升通常降偏差升方差这就是正则化存在的理由。如果题目要求画图横轴写模型复杂度纵轴写误差三条曲线分别是偏差平方、方差、总误差总误差呈 U 形最低点即最优复杂度。5. 把复习题变成可执行自测脚本的四个技巧光看不写考场上手会生。临近一周最有效的做法是把复习题拆成可自动判分的小题库边写边暴露盲点。第一个技巧是按题型建目录而不是按章节。目录分四类推导题、手算题、对比题、代码题每类给一个难度标签。推导题重点检查前提声明和 union bound 系数手算题把中间熵值、梯度值单独记一行对比题强制自己填满上面那几张表代码题只留关键行比如cross_val_score和calibration_curve的调用。第二个技巧是给每道题写「三行答案」。第一行结论第二行依据第三行边界条件。比如「逻辑回归用交叉熵不用平方损失」——结论是交叉熵凸依据是负对数似然加 sigmoid 的复合仍凸边界条件是损失有界且样本独立。三行写不出来说明这道题还没过关。# 简易题库自测把题目、参考答案关键词、自评分放一起 BANK [ { q: 写出有限假设空间的泛化误差界, keys: [union bound, sqrt, ln|H|, delta], mine: , # 自己默写后填这里 }, { q: 推导逻辑回归的梯度, keys: [sigmoid, 交叉熵, X^T(y_hat - y)], mine: , }, { q: 解释 Bagging 为什么主要降方差, keys: [自助采样, 平均, 弱相关, 方差], mine: , }, ] def score(item): 命中关键词比例作为自评分低于 0.6 标红重做 hit [k for k in item[keys] if k.lower() in item[mine].lower()] return len(hit) / len(item[keys]), hit for it in BANK: s, hit score(it) flag 重做 if s 0.6 else 过关 print(f[{flag}] {it[q]} 得分{s:.2f} 命中{hit})逻辑说明BANK里每道题配一组关键词score用关键词命中率作为粗判分mine填自己默写的答案。参数上keys要写成你答题时必须出现的技术词比如泛化误差界那题必须有sqrt和ln|H|没有就说明公式没记住。低于 0.6 的题第二天重做避免只在脑子里过一遍的假熟悉。第三个技巧是把易错点做成检查清单考前二十分钟只看它。易错点正确写法泛化误差界漏 union bound 系数右端乘 $\lvert\mathcal{H}\rvert$ 或 $2\lvert\mathcal{H}\rvert$说 Bagging 降偏差改为降方差Boosting 降偏差逻辑回归说平方损失也行强调平方损失配 sigmoid 非凸决策树只写最终特征补全每个特征的条件熵过程类别不平衡只看准确率改用 F1、AUC 或 PR 曲线概率模型不提校准补 Brier 分数与可靠性曲线第四个技巧是给自己限时。推导题 12 分钟、手算题 8 分钟、对比题 6 分钟用手机计时超时就标记考场上遇到同类题先跳过。练到最后你看到「以概率 $1-\delta$ 对所有 $h$」这句话手会直接去写 union bound看到「概率输出是否可信」会先想到校准而不是 AUC这种条件反射才是复习题真正要练出来的东西。本文还有配套的精品资源点击获取
