简介面向正在学习吴恩达机器学习课程、需要课后编程练习与复盘对照的高校学生和自学者这份压缩包把作业、答案、课堂讲义与中文笔记整合在一起可解决练习缺参考答案、知识点分散、打印复习不便等问题。包内共 1028 个文件以 623 个 .m 脚本、146 个 .txt 说明、103 个 .mat 数据、61 个 .ipynb 笔记本和 44 个 .pdf 文档为主整体约 202.33MB涵盖线性回归、逻辑回归、PCA 人脸数据处理、K-means 图像压缩及 Exercise7 等典型练习场景。作业分无答案与有答案两版其中有答案又细分为三版并附可直接打印的题目合并版 PDF课堂讲义与中文个人笔记同样支持打印便于边做题边查漏补缺。已有 2538 人学习下载适合按课程章节推进、对照多版答案理解实现差异并借助 .mat 数据与 Notebook 复现实验过程。1. 一份双版本作业考的是你能不能把公式写成代码很多人拿到这套机器学习作业第一反应是先翻有答案版从头看到尾看懂每一行然后觉得自己会了。真到面试现场面试官让你手写一段带正则化的代价函数或者随口问一句「你的 theta 是几维」立刻就露馅。这份资源的价值恰恰在双版本无答案版逼你把公式变成能跑的代码有答案版给你一次逐行对照的机会个人笔记则是把对照出来的差异沉淀成自己的东西。它适合三类人正在系统过一遍机器学习基础的自学者、准备算法岗或数据岗面试的应届生、以及带项目但要补理论底子的开发者。拿分的逻辑很简单——形状写对、公式写对、指标选对三件事占掉大部分分数。2. 考点分布八次作业对应四类面试题先把这张地图记住。作业本身是练习但每一份作业背后都对应一类面试题知道自己正在练的是哪一类比闷头写完八份更值钱。作业主题对应面试考点出现频率1单变量与多变量线性回归梯度下降、正规方程、特征缩放高2逻辑回归与正则化sigmoid、交叉熵、决策边界、lambda 取值极高3多分类与前向传播one-vs-all、softmax、维度检查高4神经网络反向传播链式法则、梯度检验、参数初始化极高5正则化回归与偏差方差学习曲线、欠拟合与过拟合、lambda 调参极高6SVM 与文本分类核函数、C 与 sigma、精确率与召回率中高7K-means 与 PCA初始化、肘部法、方差保留率中8异常检测与协同过滤高斯阈值、F1 选阈值、矩阵分解中把这张表按面试分值折算一下基础推导类大约占两成场景选择类占四成调参排错类占四成。也就是说八份作业里真正拉开差距的不是「能不能推导出梯度」而是「给你一个不收敛的模型你从哪儿开始查」。作业 5 和作业 8 看着不起眼反而是排错类问题的主要素材来源别跳过。2.1 四类题型的答题骨架第一类是手写推导比如「写出带正则化的逻辑回归代价函数并对 theta_j 求偏导」。这类题面试官只看两件事正则项有没有跳过偏置、除以 m 的位置对不对。第二类是形状题「X 是 m×n 还是 m×(n1)」「theta 几维」「反向传播里 delta 的维度和哪一层对齐」答错基本就结束了因为它说明你从没自己跑通过一遍。第三类是排错题给你一段损失不下降的代码让你找 bug。第四类是场景题比如「样本正负比 1:99你用准确率评估合适吗」。2.2 无答案版怎么练三次跑不通原则无答案版不是让你从零发明算法而是让你在不偷看的情况下把公式落到代码里。建议同一份作业写三遍第一遍只照着讲义公式写允许报错把报错信息抄进笔记第二遍打印每个中间变量的形状和前三行数值确认矩阵乘法的顺序没反第三遍拿一个只有三四条样本的极小数据集手工算一遍代价和梯度和代码输出对照差在小数点后第三位以内才算过。这三遍的意义在于逼你暴露「以为懂了其实没懂」的地方。血泪经验是绝大多数人的卡点不在数学而在X theta和theta X的先后、以及求和轴选错。这类错误只有自己撞过一次才记得住。2.3 有答案版怎么核对照三层不要通读有答案版最忌讳通读。通读会产生强烈的「我会了」的错觉但那是理解别人的代码不是自己能写。正确的用法是拿自己的版本和答案做三层对照形状层看每个变量的维度是否一致数值层在同一个初始点上比较第一次迭代后的代价差距大就说明公式里少了一项或者多除了一次 m写法层看对方有没有做向量化把 for 循环改成矩阵运算的部分抄进笔记并写一句「为什么能这么改」。对照完不要立刻删掉自己的版本把它留在旁边。等过两周再回来重写一遍如果还是卡在同一个地方那个地方就是你的真实短板面试前重点补它。3. 高频考点回归与正则化的作答模板回归是整条链路的地基正则化是面试官最爱追问的钩子。这一章的内容在作业 1、2、5 里反复出现练透一次能覆盖三份作业。3.1 形状先对齐theta、X、y 的约定先把约定固定下来X 是 m×(n1)第一列全为 1 的偏置列y 是长度为 m 的向量theta 是长度为 n1 的向量。所有公式都建立在这个约定上一旦换约定写法全变所以面试时最好先声明一句「我这里 X 的第一列是偏置列」面试官会觉得你写过真代码。被问到「为什么要单独加一列 1」时答法不是「方便」而是「把偏置项 b 吸收进参数向量使假设函数统一写成内积形式梯度也能一次性用矩阵乘法算完省掉一个独立的更新分支」。这个回答同时解释了向量化的动机比背定义有效。3.2 正则化为什么偏置项不进求和这是最高频的一个追问。标准答法分两层从数学上看偏置只控制曲线的平移不控制弯曲程度惩罚它对降低模型复杂度没有帮助从优化结果上看如果真的惩罚偏置模型会倾向于用放大某个特征权重的方式来补偿被压小的平移量反而让解更不稳定。所以求和从 j1 开始theta_0 单独放行。代码里怎么体现这一点看下面这段。import numpy as np def cost_reg(theta, X, y, lam): # theta: (n1,), X: (m, n1) 第一列是全 1 的偏置列, y: (m,) m y.size h X theta # (m,) 一次算完所有样本的预测 err h - y # 正则项从 theta[1:] 开始跳过偏置 reg lam / (2 * m) * np.sum(theta[1:] ** 2) return (err err) / (2 * m) reg def grad_reg(theta, X, y, lam): m y.size err X theta - y g (X.T err) / m # (n1,) 未加正则的梯度 # 用 0 占位拼回 n1 维保证偏置项不被惩罚 reg_vec np.r_[0.0, theta[1:]] * (lam / m) return g reg_vecX.T err这一步是把「对每个参数 j 求和所有样本的误差乘特征」压成一次矩阵乘法结果形状正好是 (n1,)和 theta 对齐可以直接做theta - alpha * g。np.r_的作用是在前面补一个 0让正则向量和 theta 维度一致如果不补直接加会报维度错误。注意正则项的系数是lam / m而不是lam因为原始代价里已经有 1/(2m)求导后剩 1/m。逻辑回归只需要把X theta换成sigmoid(X theta)其余结构完全不变。这一点在面试里值得主动说出来等于告诉对方你理解的是框架而不是死记。3.3 真题演练损失不下降从哪儿开始查题目一段梯度下降代码跑了 500 轮代价一直在 0.69 附近抖动。给出你的排查顺序。答题思路按四步走每步都要说出「为什么先查这个」。第一步查学习率把 alpha 缩小十倍再跑如果代价开始单调下降说明步子迈大了第二步查特征缩放如果不同特征的量级差了几个数量级等高线会被拉成细长椭圆同一个学习率对某个维度过大、对另一个过小这是作业 1 里最经典的坑第三步查更新是否同步也就是有没有在算完新 theta 之前就把它用到下一个参数的更新里第四步才是查公式本身比如正则项多除了一个 m、或者梯度符号写反。面试官最想听的是第一步和第二步的顺序因为这说明你有工程直觉而不是只会背公式。补一句「如果四步都排除我会用数值梯度做一次梯度检验」基本就收尾了。3.4 特征缩放为什么能救命被问到「为什么归一化之后收敛快」不要只说「数据在同一量级」要说「梯度下降的收敛速度取决于 Hessian 的条件数特征量级差异会让条件数变大等高线变成狭长的椭圆梯度方向几乎垂直于最优方向于是在峡谷两侧来回震荡」。这句话说完整比你贴十行代码有用。实践中常用的两种做法均值归一化(x - mean) / (max - min)以及标准化(x - mean) / std。作业里多用前者工程上多用后者因为标准化对异常值没那么敏感。回答时补一句「训练集算出的均值和方差要保存下来预测时用同一组参数」这是面试官常埋的追问点。4. 高频考点从反向传播到无监督的选择题如果说前一章考的是「会不会写」这一章考的是「知不知道什么时候用哪个」。作业 3 到作业 8 的内容基本都在这条线上。4.1 前向传播维度检查表神经网络的题一半的分数在维度上。养成一个习惯每写一层就写出它的输入输出形状。假设第 l 层有 s_l 个单元那么权重矩阵 W 的形状是 (s_l, s_{l-1})偏置 b 是 (s_l, 1)激活值 a 是 (s_l, 1)。注意这里 W 是「后一维在前」和很多人直觉相反但只有这样W a_prev才能成立。面试里常见的追问是「样本按列排还是按行排」。两种都行但必须前后一致按行排时一次前向是A_prev W.T b.T按列排时是W A_prev b。答错这个不会有人怪你但前后不一致会被认为没真正跑通过代码。4.2 反向传播链式法则的答题模板反向传播的题面试官一般不要你推完整套只要你说清「误差怎么从输出层往回传」。模板是三句话先算输出层的误差 delta它等于预测减真值再乘激活函数的导数再把这一层的 delta 用转置后的权重传回前一层逐元素乘上前一层激活的导数最后用「前一层的激活值乘以本层 delta」得到权重梯度。def backprop_grad(params, X, y, sizes, lam): # sizes [输入维, 隐藏层维, 输出维]示例为三层网络 W1, b1, W2, b2 unpack(params, sizes) m X.shape[0] # 前向保留中间激活反向时要用 A1 sigmoid(X W1.T b1) # (m, h) A2 sigmoid(A1 W2.T b2) # (m, out) # 输出层误差多分类用 softmaxcross entropy 时可简化为 A2 - Y d2 (A2 - y) / m # (m, out) # 传回隐藏层d2 W2 得 (m, h)再乘本层激活的导数 d1 (d2 W2) * A1 * (1 - A1) # sigmoid 导数 a*(1-a) gW2 d1.T A1 if False else d2.T A1 # (out, h) gb2 d2.sum(axis0, keepdimsTrue) gW1 d1.T X # (h, in) gb1 d1.sum(axis0, keepdimsTrue) # 只对权重加正则偏置同样跳过 gW2 lam / m * W2 gW1 lam / m * W1 return pack(gW1, gb1, gW2, gb2)关键在三处注释A1 * (1 - A1)是 sigmoid 的导数用激活值本身就能算不必重新过一遍函数d1.T X之所以能把所有样本的梯度一次算完是因为它对样本维度做了求和sum(axis0, keepdimsTrue)里的keepdims不能省否则偏置梯度会掉成一位数组和参数形状对不上。最后那两行正则只加在权重上和上一章的逻辑一致。提示面试现场写这段时先把 shapes 用注释标出来再写式子。写错一个转置很常见但形状标了却写错说明是理解问题形状没标写错至少还能解释成笔误。4.3 偏差与方差学习曲线的四种读法作业 5 的核心是判断模型处于高偏差还是高方差以及对应的补救动作。四种典型形态记牢训练误差高、验证误差也高且两者接近是高偏差加特征或加多项式项训练误差低、验证误差明显高是高方差加样本或加正则训练误差高、验证误差更高但差距不大是偏差为主先加复杂度两者都低且接近是刚好可以停手。这道题的高分点在于补一句「如果加样本之后验证误差降得很慢说明模型已经接近高偏差区间继续加数据性价比很低」。这句话体现的是成本意识比单纯背四条结论更打动人。4.4 SVM 与无监督四个小问的答法SVM 的常考题是「C 和 sigma 各自调大调小会发生什么」。答法C 是惩罚系数C 大意味着不容忍误分类间隔变窄容易过拟合C 小则容忍更多错分间隔宽更偏向欠拟合。sigma 是高斯核的带宽sigma 大核函数平缓模型简单sigma 小核函数尖锐边界贴着样本走容易过拟合。两句话说完再补一句「实际调参时先固定一个扫另一个」就够了。K-means 的常考题是「为什么结果不稳定」。答法是初始化敏感可能落入局部最优解决办法是多次随机初始化取代价最小的那次再补一句 K 的选择可以用肘部法但肘部法只是启发式最终还是要看业务上可解释的簇数。PCA 的常考题是「PCA 和特征选择的区别」。答法特征选择是保留原特征的一个子集可解释性还在PCA 是把原特征线性组合成新的正交方向降维更彻底但失去了物理含义。追问答「怎么定主成分个数」答累计方差贡献率达到 95% 或 99%或者看碎石图的拐点。异常检测的常考题是「阈值怎么定」。标准答法是不要用准确率因为异常样本极少用验证集上的 F1 扫一遍 epsilon取最大值。作业 8 里专门练过这个流程面试时把「为什么不用准确率」讲清楚比报出 F1 具体数值重要。5. 易错点五个最容易在面试现场翻车的点这些坑几乎每一届都有人踩而且踩的时候往往不自知。5.1 把正则化加到了偏置上错在哪代码里直接写theta * lam / m整列相加。为什么错偏置只控制平移惩罚它会让模型用放大特征权重的方式补偿反而削弱正则效果。面试官问这一句本质是在确认你知不知道正则化惩罚的是什么。怎么答对写公式时明确从 j1 开始写代码时用np.r_[0.0, theta[1:]]占位同时补一句「有些实现为了方便会把偏置也正则影响很小但默认约定是不加」。5.2 用准确率评价偏斜数据集错在哪正负样本 1:99 的分类任务模型全预测成负类准确率 99%答「模型效果很好」。为什么错准确率在类别极不均衡时被多数类主导完全反映不出少数类的识别能力。怎么答对改口说用精确率和召回率并解释二者的取舍精确率高意味着误报少召回率高意味着漏报少如果两者都要兼顾用 F1。再补一句「阈值不是固定的 0.5要按业务代价调」这一句是加分项。5.3 把 PCA 当成特征选择错在哪说「PCA 是从原特征里挑出最重要的几个」。为什么错PCA 得到的是原特征的线性组合新维度和原特征不是一对一关系可解释性已经丢了。怎么答对明确区分三件事——特征选择保留子集、PCA 做线性变换降维、自编码器做非线性降维。答完再补一句「如果下游需要解释每个特征的影响我不会用 PCA」。5.4 反向传播里漏掉梯度检验也漏掉除以 m错在哪手写反向传播时代价用了 1/(2m)梯度却忘了除 m导致梯度大了一个数量级训练直接炸。为什么错代价和梯度的缩放系数必须匹配这是纯代数一致性不是调参能救的。怎么答对写完先做一次数值梯度检验(J(thetaeps) - J(theta-eps)) / (2*eps)和解析梯度逐个比相对误差小于 1e-7 才算对。面试时主动提梯度检验等于告诉对方你调试过真实的网络。5.5 学习曲线的横轴理解反了错在哪被问「加更多训练样本会怎样」时答「训练误差会下降」。为什么错样本变多模型更难拟合全部数据训练误差通常是上升的验证误差则下降并逐渐逼近训练误差。怎么答对先说两条曲线的走向再说「如果两条曲线很快就贴在一起且都停在较高位置说明是高偏差加样本没用得加特征」。这个结论比走势本身更值钱。6. 答题技巧把八份作业压成三张答题卡练到最后你会发现八份作业真正需要背下来的东西并不多。我的做法是把它们压缩成三张答题卡每张只写「触发条件 三句回答 一个代码锚点」。第一张是形状卡。触发条件是任何涉及矩阵运算的题三句话是X 的形状、theta 的形状、中间结果的形状代码锚点是X.T err那一行。第二张是指标卡。触发条件是「效果怎么评估」三句话是类别是否均衡、选精确率还是召回率还是 F1、阈值怎么定代码锚点是扫 epsilon 取最大 F1 的那个循环。第三张是排错卡。触发条件是「模型不收敛或效果差」三句话是先看学习率、再看特征量级、最后看偏差方差代码锚点是数值梯度检验。答题卡触发条件三句回答的关键词代码锚点形状卡涉及矩阵运算X 形状、theta 形状、中间结果形状X.T err指标卡效果怎么评估类别均衡、P/R/F1、阈值扫 epsilon 取最大 F1排错卡不收敛或效果差学习率、特征量级、偏差方差数值梯度检验押题方向上有五组连环追问最值得准备。第一组从「写一下逻辑回归的代价函数」追到「为什么不用平方误差」答案是平方误差配合 sigmoid 会得到非凸函数容易陷入局部最优。第二组从「什么是正则化」追到「lambda 取多大」答案是用验证集扫lambda 过大导致欠拟合表现为训练误差和验证误差同时偏高。第三组从「神经网络为什么需要非线性激活」追到「全用线性会怎样」答案是多层线性叠加等价于单层线性深度失去意义。第四组从「SVM 为什么能用核函数」追到「核函数的选择」答案是核函数把样本映射到高维而不显式计算映射高斯核适合边界复杂但样本量中等的场景。第五组从「异常检测和 supervised 分类有什么区别」追到「什么时候用哪个」答案是异常样本极少且形态多变时用异常检测有充足标注且异常类型固定时用分类。从那以后我每次准备这类面试都强制走一遍「先闭卷写代码再对答案最后压成卡片」的流程不允许自己只看不写。看得懂和写得出之间隔着一整个太平洋而无答案版存在的意义就是让你提前在那片海里呛几口水。希望帮到你。本文还有配套的精品资源点击获取
简介面向正在学习吴恩达机器学习课程、需要课后编程练习与复盘对照的高校学生和自学者这份压缩包把作业、答案、课堂讲义与中文笔记整合在一起可解决练习缺参考答案、知识点分散、打印复习不便等问题。包内共 1028 个文件以 623 个 .m 脚本、146 个 .txt 说明、103 个 .mat 数据、61 个 .ipynb 笔记本和 44 个 .pdf 文档为主整体约 202.33MB涵盖线性回归、逻辑回归、PCA 人脸数据处理、K-means 图像压缩及 Exercise7 等典型练习场景。作业分无答案与有答案两版其中有答案又细分为三版并附可直接打印的题目合并版 PDF课堂讲义与中文个人笔记同样支持打印便于边做题边查漏补缺。已有 2538 人学习下载适合按课程章节推进、对照多版答案理解实现差异并借助 .mat 数据与 Notebook 复现实验过程。1. 一份双版本作业考的是你能不能把公式写成代码很多人拿到这套机器学习作业第一反应是先翻有答案版从头看到尾看懂每一行然后觉得自己会了。真到面试现场面试官让你手写一段带正则化的代价函数或者随口问一句「你的 theta 是几维」立刻就露馅。这份资源的价值恰恰在双版本无答案版逼你把公式变成能跑的代码有答案版给你一次逐行对照的机会个人笔记则是把对照出来的差异沉淀成自己的东西。它适合三类人正在系统过一遍机器学习基础的自学者、准备算法岗或数据岗面试的应届生、以及带项目但要补理论底子的开发者。拿分的逻辑很简单——形状写对、公式写对、指标选对三件事占掉大部分分数。2. 考点分布八次作业对应四类面试题先把这张地图记住。作业本身是练习但每一份作业背后都对应一类面试题知道自己正在练的是哪一类比闷头写完八份更值钱。作业主题对应面试考点出现频率1单变量与多变量线性回归梯度下降、正规方程、特征缩放高2逻辑回归与正则化sigmoid、交叉熵、决策边界、lambda 取值极高3多分类与前向传播one-vs-all、softmax、维度检查高4神经网络反向传播链式法则、梯度检验、参数初始化极高5正则化回归与偏差方差学习曲线、欠拟合与过拟合、lambda 调参极高6SVM 与文本分类核函数、C 与 sigma、精确率与召回率中高7K-means 与 PCA初始化、肘部法、方差保留率中8异常检测与协同过滤高斯阈值、F1 选阈值、矩阵分解中把这张表按面试分值折算一下基础推导类大约占两成场景选择类占四成调参排错类占四成。也就是说八份作业里真正拉开差距的不是「能不能推导出梯度」而是「给你一个不收敛的模型你从哪儿开始查」。作业 5 和作业 8 看着不起眼反而是排错类问题的主要素材来源别跳过。2.1 四类题型的答题骨架第一类是手写推导比如「写出带正则化的逻辑回归代价函数并对 theta_j 求偏导」。这类题面试官只看两件事正则项有没有跳过偏置、除以 m 的位置对不对。第二类是形状题「X 是 m×n 还是 m×(n1)」「theta 几维」「反向传播里 delta 的维度和哪一层对齐」答错基本就结束了因为它说明你从没自己跑通过一遍。第三类是排错题给你一段损失不下降的代码让你找 bug。第四类是场景题比如「样本正负比 1:99你用准确率评估合适吗」。2.2 无答案版怎么练三次跑不通原则无答案版不是让你从零发明算法而是让你在不偷看的情况下把公式落到代码里。建议同一份作业写三遍第一遍只照着讲义公式写允许报错把报错信息抄进笔记第二遍打印每个中间变量的形状和前三行数值确认矩阵乘法的顺序没反第三遍拿一个只有三四条样本的极小数据集手工算一遍代价和梯度和代码输出对照差在小数点后第三位以内才算过。这三遍的意义在于逼你暴露「以为懂了其实没懂」的地方。血泪经验是绝大多数人的卡点不在数学而在X theta和theta X的先后、以及求和轴选错。这类错误只有自己撞过一次才记得住。2.3 有答案版怎么核对照三层不要通读有答案版最忌讳通读。通读会产生强烈的「我会了」的错觉但那是理解别人的代码不是自己能写。正确的用法是拿自己的版本和答案做三层对照形状层看每个变量的维度是否一致数值层在同一个初始点上比较第一次迭代后的代价差距大就说明公式里少了一项或者多除了一次 m写法层看对方有没有做向量化把 for 循环改成矩阵运算的部分抄进笔记并写一句「为什么能这么改」。对照完不要立刻删掉自己的版本把它留在旁边。等过两周再回来重写一遍如果还是卡在同一个地方那个地方就是你的真实短板面试前重点补它。3. 高频考点回归与正则化的作答模板回归是整条链路的地基正则化是面试官最爱追问的钩子。这一章的内容在作业 1、2、5 里反复出现练透一次能覆盖三份作业。3.1 形状先对齐theta、X、y 的约定先把约定固定下来X 是 m×(n1)第一列全为 1 的偏置列y 是长度为 m 的向量theta 是长度为 n1 的向量。所有公式都建立在这个约定上一旦换约定写法全变所以面试时最好先声明一句「我这里 X 的第一列是偏置列」面试官会觉得你写过真代码。被问到「为什么要单独加一列 1」时答法不是「方便」而是「把偏置项 b 吸收进参数向量使假设函数统一写成内积形式梯度也能一次性用矩阵乘法算完省掉一个独立的更新分支」。这个回答同时解释了向量化的动机比背定义有效。3.2 正则化为什么偏置项不进求和这是最高频的一个追问。标准答法分两层从数学上看偏置只控制曲线的平移不控制弯曲程度惩罚它对降低模型复杂度没有帮助从优化结果上看如果真的惩罚偏置模型会倾向于用放大某个特征权重的方式来补偿被压小的平移量反而让解更不稳定。所以求和从 j1 开始theta_0 单独放行。代码里怎么体现这一点看下面这段。import numpy as np def cost_reg(theta, X, y, lam): # theta: (n1,), X: (m, n1) 第一列是全 1 的偏置列, y: (m,) m y.size h X theta # (m,) 一次算完所有样本的预测 err h - y # 正则项从 theta[1:] 开始跳过偏置 reg lam / (2 * m) * np.sum(theta[1:] ** 2) return (err err) / (2 * m) reg def grad_reg(theta, X, y, lam): m y.size err X theta - y g (X.T err) / m # (n1,) 未加正则的梯度 # 用 0 占位拼回 n1 维保证偏置项不被惩罚 reg_vec np.r_[0.0, theta[1:]] * (lam / m) return g reg_vecX.T err这一步是把「对每个参数 j 求和所有样本的误差乘特征」压成一次矩阵乘法结果形状正好是 (n1,)和 theta 对齐可以直接做theta - alpha * g。np.r_的作用是在前面补一个 0让正则向量和 theta 维度一致如果不补直接加会报维度错误。注意正则项的系数是lam / m而不是lam因为原始代价里已经有 1/(2m)求导后剩 1/m。逻辑回归只需要把X theta换成sigmoid(X theta)其余结构完全不变。这一点在面试里值得主动说出来等于告诉对方你理解的是框架而不是死记。3.3 真题演练损失不下降从哪儿开始查题目一段梯度下降代码跑了 500 轮代价一直在 0.69 附近抖动。给出你的排查顺序。答题思路按四步走每步都要说出「为什么先查这个」。第一步查学习率把 alpha 缩小十倍再跑如果代价开始单调下降说明步子迈大了第二步查特征缩放如果不同特征的量级差了几个数量级等高线会被拉成细长椭圆同一个学习率对某个维度过大、对另一个过小这是作业 1 里最经典的坑第三步查更新是否同步也就是有没有在算完新 theta 之前就把它用到下一个参数的更新里第四步才是查公式本身比如正则项多除了一个 m、或者梯度符号写反。面试官最想听的是第一步和第二步的顺序因为这说明你有工程直觉而不是只会背公式。补一句「如果四步都排除我会用数值梯度做一次梯度检验」基本就收尾了。3.4 特征缩放为什么能救命被问到「为什么归一化之后收敛快」不要只说「数据在同一量级」要说「梯度下降的收敛速度取决于 Hessian 的条件数特征量级差异会让条件数变大等高线变成狭长的椭圆梯度方向几乎垂直于最优方向于是在峡谷两侧来回震荡」。这句话说完整比你贴十行代码有用。实践中常用的两种做法均值归一化(x - mean) / (max - min)以及标准化(x - mean) / std。作业里多用前者工程上多用后者因为标准化对异常值没那么敏感。回答时补一句「训练集算出的均值和方差要保存下来预测时用同一组参数」这是面试官常埋的追问点。4. 高频考点从反向传播到无监督的选择题如果说前一章考的是「会不会写」这一章考的是「知不知道什么时候用哪个」。作业 3 到作业 8 的内容基本都在这条线上。4.1 前向传播维度检查表神经网络的题一半的分数在维度上。养成一个习惯每写一层就写出它的输入输出形状。假设第 l 层有 s_l 个单元那么权重矩阵 W 的形状是 (s_l, s_{l-1})偏置 b 是 (s_l, 1)激活值 a 是 (s_l, 1)。注意这里 W 是「后一维在前」和很多人直觉相反但只有这样W a_prev才能成立。面试里常见的追问是「样本按列排还是按行排」。两种都行但必须前后一致按行排时一次前向是A_prev W.T b.T按列排时是W A_prev b。答错这个不会有人怪你但前后不一致会被认为没真正跑通过代码。4.2 反向传播链式法则的答题模板反向传播的题面试官一般不要你推完整套只要你说清「误差怎么从输出层往回传」。模板是三句话先算输出层的误差 delta它等于预测减真值再乘激活函数的导数再把这一层的 delta 用转置后的权重传回前一层逐元素乘上前一层激活的导数最后用「前一层的激活值乘以本层 delta」得到权重梯度。def backprop_grad(params, X, y, sizes, lam): # sizes [输入维, 隐藏层维, 输出维]示例为三层网络 W1, b1, W2, b2 unpack(params, sizes) m X.shape[0] # 前向保留中间激活反向时要用 A1 sigmoid(X W1.T b1) # (m, h) A2 sigmoid(A1 W2.T b2) # (m, out) # 输出层误差多分类用 softmaxcross entropy 时可简化为 A2 - Y d2 (A2 - y) / m # (m, out) # 传回隐藏层d2 W2 得 (m, h)再乘本层激活的导数 d1 (d2 W2) * A1 * (1 - A1) # sigmoid 导数 a*(1-a) gW2 d1.T A1 if False else d2.T A1 # (out, h) gb2 d2.sum(axis0, keepdimsTrue) gW1 d1.T X # (h, in) gb1 d1.sum(axis0, keepdimsTrue) # 只对权重加正则偏置同样跳过 gW2 lam / m * W2 gW1 lam / m * W1 return pack(gW1, gb1, gW2, gb2)关键在三处注释A1 * (1 - A1)是 sigmoid 的导数用激活值本身就能算不必重新过一遍函数d1.T X之所以能把所有样本的梯度一次算完是因为它对样本维度做了求和sum(axis0, keepdimsTrue)里的keepdims不能省否则偏置梯度会掉成一位数组和参数形状对不上。最后那两行正则只加在权重上和上一章的逻辑一致。提示面试现场写这段时先把 shapes 用注释标出来再写式子。写错一个转置很常见但形状标了却写错说明是理解问题形状没标写错至少还能解释成笔误。4.3 偏差与方差学习曲线的四种读法作业 5 的核心是判断模型处于高偏差还是高方差以及对应的补救动作。四种典型形态记牢训练误差高、验证误差也高且两者接近是高偏差加特征或加多项式项训练误差低、验证误差明显高是高方差加样本或加正则训练误差高、验证误差更高但差距不大是偏差为主先加复杂度两者都低且接近是刚好可以停手。这道题的高分点在于补一句「如果加样本之后验证误差降得很慢说明模型已经接近高偏差区间继续加数据性价比很低」。这句话体现的是成本意识比单纯背四条结论更打动人。4.4 SVM 与无监督四个小问的答法SVM 的常考题是「C 和 sigma 各自调大调小会发生什么」。答法C 是惩罚系数C 大意味着不容忍误分类间隔变窄容易过拟合C 小则容忍更多错分间隔宽更偏向欠拟合。sigma 是高斯核的带宽sigma 大核函数平缓模型简单sigma 小核函数尖锐边界贴着样本走容易过拟合。两句话说完再补一句「实际调参时先固定一个扫另一个」就够了。K-means 的常考题是「为什么结果不稳定」。答法是初始化敏感可能落入局部最优解决办法是多次随机初始化取代价最小的那次再补一句 K 的选择可以用肘部法但肘部法只是启发式最终还是要看业务上可解释的簇数。PCA 的常考题是「PCA 和特征选择的区别」。答法特征选择是保留原特征的一个子集可解释性还在PCA 是把原特征线性组合成新的正交方向降维更彻底但失去了物理含义。追问答「怎么定主成分个数」答累计方差贡献率达到 95% 或 99%或者看碎石图的拐点。异常检测的常考题是「阈值怎么定」。标准答法是不要用准确率因为异常样本极少用验证集上的 F1 扫一遍 epsilon取最大值。作业 8 里专门练过这个流程面试时把「为什么不用准确率」讲清楚比报出 F1 具体数值重要。5. 易错点五个最容易在面试现场翻车的点这些坑几乎每一届都有人踩而且踩的时候往往不自知。5.1 把正则化加到了偏置上错在哪代码里直接写theta * lam / m整列相加。为什么错偏置只控制平移惩罚它会让模型用放大特征权重的方式补偿反而削弱正则效果。面试官问这一句本质是在确认你知不知道正则化惩罚的是什么。怎么答对写公式时明确从 j1 开始写代码时用np.r_[0.0, theta[1:]]占位同时补一句「有些实现为了方便会把偏置也正则影响很小但默认约定是不加」。5.2 用准确率评价偏斜数据集错在哪正负样本 1:99 的分类任务模型全预测成负类准确率 99%答「模型效果很好」。为什么错准确率在类别极不均衡时被多数类主导完全反映不出少数类的识别能力。怎么答对改口说用精确率和召回率并解释二者的取舍精确率高意味着误报少召回率高意味着漏报少如果两者都要兼顾用 F1。再补一句「阈值不是固定的 0.5要按业务代价调」这一句是加分项。5.3 把 PCA 当成特征选择错在哪说「PCA 是从原特征里挑出最重要的几个」。为什么错PCA 得到的是原特征的线性组合新维度和原特征不是一对一关系可解释性已经丢了。怎么答对明确区分三件事——特征选择保留子集、PCA 做线性变换降维、自编码器做非线性降维。答完再补一句「如果下游需要解释每个特征的影响我不会用 PCA」。5.4 反向传播里漏掉梯度检验也漏掉除以 m错在哪手写反向传播时代价用了 1/(2m)梯度却忘了除 m导致梯度大了一个数量级训练直接炸。为什么错代价和梯度的缩放系数必须匹配这是纯代数一致性不是调参能救的。怎么答对写完先做一次数值梯度检验(J(thetaeps) - J(theta-eps)) / (2*eps)和解析梯度逐个比相对误差小于 1e-7 才算对。面试时主动提梯度检验等于告诉对方你调试过真实的网络。5.5 学习曲线的横轴理解反了错在哪被问「加更多训练样本会怎样」时答「训练误差会下降」。为什么错样本变多模型更难拟合全部数据训练误差通常是上升的验证误差则下降并逐渐逼近训练误差。怎么答对先说两条曲线的走向再说「如果两条曲线很快就贴在一起且都停在较高位置说明是高偏差加样本没用得加特征」。这个结论比走势本身更值钱。6. 答题技巧把八份作业压成三张答题卡练到最后你会发现八份作业真正需要背下来的东西并不多。我的做法是把它们压缩成三张答题卡每张只写「触发条件 三句回答 一个代码锚点」。第一张是形状卡。触发条件是任何涉及矩阵运算的题三句话是X 的形状、theta 的形状、中间结果的形状代码锚点是X.T err那一行。第二张是指标卡。触发条件是「效果怎么评估」三句话是类别是否均衡、选精确率还是召回率还是 F1、阈值怎么定代码锚点是扫 epsilon 取最大 F1 的那个循环。第三张是排错卡。触发条件是「模型不收敛或效果差」三句话是先看学习率、再看特征量级、最后看偏差方差代码锚点是数值梯度检验。答题卡触发条件三句回答的关键词代码锚点形状卡涉及矩阵运算X 形状、theta 形状、中间结果形状X.T err指标卡效果怎么评估类别均衡、P/R/F1、阈值扫 epsilon 取最大 F1排错卡不收敛或效果差学习率、特征量级、偏差方差数值梯度检验押题方向上有五组连环追问最值得准备。第一组从「写一下逻辑回归的代价函数」追到「为什么不用平方误差」答案是平方误差配合 sigmoid 会得到非凸函数容易陷入局部最优。第二组从「什么是正则化」追到「lambda 取多大」答案是用验证集扫lambda 过大导致欠拟合表现为训练误差和验证误差同时偏高。第三组从「神经网络为什么需要非线性激活」追到「全用线性会怎样」答案是多层线性叠加等价于单层线性深度失去意义。第四组从「SVM 为什么能用核函数」追到「核函数的选择」答案是核函数把样本映射到高维而不显式计算映射高斯核适合边界复杂但样本量中等的场景。第五组从「异常检测和 supervised 分类有什么区别」追到「什么时候用哪个」答案是异常样本极少且形态多变时用异常检测有充足标注且异常类型固定时用分类。从那以后我每次准备这类面试都强制走一遍「先闭卷写代码再对答案最后压成卡片」的流程不允许自己只看不写。看得懂和写得出之间隔着一整个太平洋而无答案版存在的意义就是让你提前在那片海里呛几口水。希望帮到你。本文还有配套的精品资源点击获取
