1. 从“调包”到“调参”为什么第二课才是机器学习真正拉开差距的地方很多人学机器学习第一课学完线性回归和逻辑回归觉得自己已经“入门”了——梯度下降会写了损失函数会算了sklearn 的fit和predict也调通了。然后兴冲冲地打开第二课结果发现画风突变神经网络、前向传播、反向传播、激活函数、多分类、模型评估、偏差方差、正则化……信息量直接翻倍。我见过不少人在这一课卡住不是因为数学太难而是因为第一课建立起来的“调包思维”在这里彻底失效了。第一课的核心是“把数据喂给模型模型吐出一个结果”本质上还是在处理线性关系。但第二课要解决的是非线性问题——比如图像识别、语音识别、自然语言处理这些东西用一条直线或者一个平面根本分不开。神经网络之所以能处理这些问题靠的是多层非线性变换的叠加。你可以把它想象成第一课是拿一把直尺画线第二课是拿一整套曲线板可以拼出任意形状的边界。这一课还有一个容易被忽视的价值它教你如何判断一个模型到底是“真的学到了东西”还是“只是背下了答案”。偏差方差诊断、学习曲线、正则化、评估指标的选择这些东西在实际工作中比模型本身更重要。我见过太多人训练集准确率 99%测试集准确率 60%然后一脸茫然地问我“为什么”。答案就在这一课里。所以这篇内容不是简单的课程笔记复述而是把第二课里那些“老师讲了但没展开”“PPT 上有但没解释清楚”“你觉得自己懂了但一上手就错”的地方用从业者的视角重新拆一遍。适合已经学完第一课、准备进入神经网络和模型评估阶段的人也适合学过但觉得“好像懂了又好像没懂”的人拿来查漏补缺。2. 神经网络不是黑箱从单个神经元到多层网络的完整推演2.1 单个神经元到底在算什么很多人第一次看到神经网络的图觉得那些圆圈和连线很神秘。其实一个神经元做的事情非常简单它把输入向量和权重向量做点积加上偏置然后过一个激活函数。用公式写就是a g(w·x b)其中g是激活函数。这里的关键在于激活函数。如果没有激活函数多层神经网络等价于一层线性变换——你叠多少层都没用因为线性变换的复合还是线性变换。这就像你把一张纸反复对折它还是那张纸不会变成三维物体。激活函数的作用就是引入非线性让网络有能力拟合任意复杂的函数。第二课里最常用的激活函数是 ReLU也就是g(z) max(0, z)。为什么选它而不是 sigmoid 或者 tanh原因很实际sigmoid 在输入很大或很小时梯度接近零反向传播的时候梯度会消失深层网络根本训练不动。ReLU 在正区间的梯度恒为 1梯度不会衰减计算也简单所以成了默认选择。当然 ReLU 也有缺点负区间梯度为零可能导致某些神经元“死掉”所以后来有了 Leaky ReLU 之类的变体但这是后话。我自己的经验是如果你在做一个全连接网络不知道选什么激活函数隐藏层先用 ReLU输出层根据任务选。二分类用 sigmoid多分类用 softmax回归用线性。这个默认组合能解决 80% 的问题。2.2 前向传播数据是怎么一层层传下去的前向传播就是从输入层开始每一层做一次线性变换加激活把结果传给下一层直到输出层。听起来简单但实际写代码的时候有几个细节容易出错。第一个细节是维度匹配。假设输入是 784 维比如 28x28 的灰度图展平第一层有 128 个神经元那么权重矩阵 W1 的形状是(128, 784)偏置 b1 的形状是(128,)。计算的时候是W1 x b1得到 128 维的向量。如果你把 W1 写成了(784, 128)程序不会报错但结果完全不对。我建议每次写网络的时候先把每一层的维度在纸上画一遍确认矩阵乘法能对上。第二个细节是批量处理。实际训练的时候不会一次只喂一个样本而是一次喂一批比如 64 个样本。这时候输入矩阵的形状是(64, 784)计算变成X W1.T b1得到(64, 128)。注意这里 W1 需要转置因为矩阵乘法的规则是(64, 784) (784, 128) (64, 128)。这个转置很容易搞混我见过不少人在这里卡了半天。第三个细节是输出层的处理。如果是多分类任务输出层通常有 K 个神经元K 是类别数然后用 softmax 把输出变成概率分布。softmax 的公式是a_i exp(z_i) / sum(exp(z_j))。这里有一个数值稳定性的坑如果 z_i 很大exp(z_i) 会溢出。解决办法是先减去最大值即z_i - max(z)这样指数最大是 0不会溢出。这个技巧在几乎所有深度学习框架里都有实现但你自己写的时候一定要注意。2.3 反向传播梯度到底是怎么算出来的反向传播是第二课里最让人头疼的部分但其实它的核心思想只有一个链式法则。你不需要记住所有公式只需要理解“误差从输出层往回传每一层根据误差调整自己的权重”。具体来说假设损失函数是 L输出层的输出是 a那么输出层的误差项是delta dL/da * g(z)。然后这个误差项往前一层传变成delta_prev (W.T delta) * g(z_prev)。权重梯度是dW delta a_prev.T偏置梯度是db sum(delta)。这里的关键是理解“误差项”的含义。它表示的是这个神经元的输出对最终损失的贡献有多大。如果误差项大说明这个神经元“责任大”它的权重需要大幅调整如果误差项小说明它“责任小”微调即可。我在实际教学中发现很多人卡在“为什么需要转置”“为什么需要乘激活函数的导数”这两个问题上。对于第一个问题你可以这样理解前向传播是z W a_prev所以dz/dW a_prev而dL/dW dL/dz * dz/dW delta a_prev.T。对于第二个问题因为a g(z)所以dL/dz dL/da * da/dz dL/da * g(z)。把这两个推导自己动手写一遍比看十遍公式都有用。还有一个实践中的坑梯度消失和梯度爆炸。如果网络很深反向传播的时候梯度会连乘很多次。如果每层的梯度都小于 1连乘之后趋近于零前面的层几乎不更新如果都大于 1连乘之后爆炸权重变成 NaN。解决办法包括用 ReLU 激活函数、做权重初始化比如 Xavier 或 He 初始化、加 Batch Normalization、用残差连接。这些技巧在第二课里可能只是提了一句但实际工作中缺一不可。2.4 多分类与 softmax 回归的实操细节多分类是第二课里一个完整的实战案例。假设你要做一个手写数字识别输入是 28x28 的图片输出是 0-9 十个类别。网络结构可以是输入层 784 维隐藏层 128 维ReLU输出层 10 维softmax。损失函数用交叉熵公式是L -sum(y_i * log(a_i))其中 y 是 one-hot 编码的真实标签a 是 softmax 输出的概率。交叉熵的好处是当预测正确且置信度高时损失接近零当预测错误时损失会很大梯度也大学习速度快。这里有一个容易忽略的点softmax 加交叉熵的梯度非常简洁就是delta a - y。也就是说输出层的误差项等于预测概率减去真实标签。这个结论在推导的时候需要用到 softmax 的导数但最终结果出奇地简单。如果你自己写反向传播可以直接用这个结论省去很多计算。还有一个实操建议标签一定要做 one-hot 编码。如果你直接用整数标签交叉熵的计算会出错。比如真实标签是 3你不能直接拿log(a[3])当损失因为 softmax 输出的是一个概率分布你需要把标签也变成分布的形式。这个坑我见过太多人踩了。3. 模型评估为什么你的准确率 99% 但上线就崩3.1 训练集、验证集、测试集的正确切分方式很多人拿到数据之后随手切个 80% 训练、20% 测试然后就开始调模型。这种做法在数据量大的时候问题不大但在数据量小的时候会导致评估结果极不稳定。正确的做法是切三份训练集用来训练参数验证集用来选超参数比如学习率、正则化系数、网络层数测试集只在最后用一次用来估计泛化误差。切分的比例没有固定标准常见的是 60/20/20 或者 70/15/15。如果数据量很大比如百万级验证集和测试集可以小一点比如 98/1/1。如果数据量很小比如几百条可以考虑交叉验证把数据分成 K 份每次拿 K-1 份训练1 份验证轮流做 K 次取平均。这里有一个隐蔽的坑数据泄露。比如你在切分之前做了归一化用的是全量数据的均值和方差那么验证集和测试集的信息就泄露到了训练过程中。正确的做法是先用训练集算出均值和方差然后用这个均值和方差去归一化验证集和测试集。同理任何涉及全局统计量的预处理比如 PCA、特征选择都应该只在训练集上做然后应用到其他集合。我自己的习惯是在切分数据之前先打乱顺序然后固定随机种子。这样每次运行的结果可复现方便对比不同模型的效果。如果不固定种子你可能会发现同一个模型两次运行的结果差了好几个百分点然后陷入“到底哪个才是真实性能”的困惑。3.2 偏差与方差诊断模型问题的核心框架偏差和方差是第二课里最重要的概念之一但很多人只是记住了定义不知道怎么用。简单来说偏差高意味着模型太简单连训练集都拟合不好欠拟合方差高意味着模型太复杂训练集拟合得很好但验证集很差过拟合。诊断的方法很简单看训练误差和验证误差的差距。如果训练误差很高验证误差也很高说明偏差高需要增加模型复杂度加层、加神经元、加特征。如果训练误差很低验证误差很高说明方差高需要增加数据量、加正则化、简化模型。这里有一个反直觉的点增加数据量通常能降低方差但对偏差帮助不大。如果你发现模型欠拟合加再多数据也没用得换更复杂的模型。反过来如果你发现模型过拟合加数据是最有效的手段之一但加正则化可能更划算因为收集数据是有成本的。还有一个实操技巧画学习曲线。横轴是训练样本数纵轴是误差画两条线一条训练误差一条验证误差。如果两条线随着样本增加逐渐靠拢说明方差高加数据有用如果两条线平行且距离很远说明偏差高加数据没用。这个图在调试模型的时候非常直观建议养成习惯。3.3 正则化L2、Dropout 与早停的取舍正则化是解决过拟合的主要手段。第二课里介绍了 L2 正则化和 Dropout实际工作中还有早停、数据增强、Batch Normalization 等。L2 正则化的做法是在损失函数里加上权重的平方和即L L_original lambda * sum(W^2)。这样权重会被迫变小模型变得更“平滑”不容易过拟合。lambda 是超参数控制正则化强度。lambda 太大模型会欠拟合lambda 太小正则化效果不明显。通常从 0.01 或 0.001 开始试。Dropout 的做法是训练时随机“关掉”一部分神经元让网络不能依赖某些特定的路径。这相当于每次训练一个不同的子网络最后做集成。Dropout 的概率通常设 0.5输入层可以设小一点比如 0.2。注意 Dropout 只在训练时用测试时要关掉并且要把输出按比例放大或者训练时按比例缩小保持期望一致。早停的做法是在验证误差开始上升的时候停止训练。这相当于用验证集来“选”一个最好的迭代次数。早停的优点是简单有效不需要改损失函数缺点是如果验证集太小可能停得太早或太晚。我自己的经验是先加 L2 正则化如果效果不够再加 Dropout最后考虑早停。数据增强在图像任务里几乎是必选项但在表格数据里不太好做。Batch Normalization 主要是加速训练和稳定梯度对正则化也有一定帮助但不要把它当正则化手段来用。3.4 评估指标的选择准确率不是万能的准确率是最直观的指标但在类别不平衡的时候会骗人。比如一个二分类任务正样本占 1%负样本占 99%模型只要全部预测为负准确率就有 99%但这样的模型毫无用处。这时候需要用精确率和召回率。精确率是“预测为正的样本里有多少是真的正”召回率是“真的正样本里有多少被预测出来了”。这两个指标通常此消彼长提高一个会降低另一个。F1 分数是两者的调和平均用来综合衡量。还有一个指标是 AUC-ROC它衡量的是模型在不同阈值下的排序能力。AUC 越接近 1模型越好0.5 相当于随机猜测。AUC 的好处是不受阈值影响也不受类别比例影响所以在类别不平衡的时候很常用。选择哪个指标取决于业务场景。比如垃圾邮件过滤你更在意精确率因为把正常邮件误判为垃圾邮件的代价很高比如疾病筛查你更在意召回率因为漏掉一个病人的代价很高。没有“最好”的指标只有“最适合”的指标。4. 从课程案例到真实项目那些 PPT 上不会写的坑4.1 数据预处理归一化和标准化的选择课程里的案例通常用的是已经处理好的数据但真实项目里数据预处理往往占了 70% 的时间。最常见的问题是特征尺度差异太大。比如一个特征范围是 0-1另一个是 0-10000梯度下降的时候会走“之”字形收敛很慢。解决办法是归一化或标准化。归一化是把数据缩放到 [0, 1]公式是(x - min) / (max - min)。标准化是把数据变成均值为 0、方差为 1公式是(x - mean) / std。两者的选择没有绝对标准但一般来说如果数据分布接近正态用标准化如果数据有明确的边界比如图像像素值用归一化。这里有一个坑归一化和标准化的参数min、max、mean、std必须从训练集算然后应用到验证集和测试集。如果你对全量数据算参数就泄露了信息。这个坑我在实际项目中见过不止一次很多人直到模型上线效果不对才回头发现。还有一个坑缺失值处理。课程里通常假设数据是完整的但真实数据里缺失值很常见。处理方法包括删除缺失行、用均值/中位数/众数填充、用模型预测填充。选择哪种方法取决于缺失的比例和缺失的机制。如果缺失比例很低比如小于 5%直接删除影响不大如果缺失比例很高可能需要把“是否缺失”也作为一个特征。4.2 超参数调优网格搜索、随机搜索与贝叶斯优化超参数调优是第二课里没有详细展开但实际工作中非常重要的环节。常见的超参数包括学习率、正则化系数、网络层数、每层神经元数、批量大小、迭代次数。网格搜索是最笨但最可靠的方法把每个超参数的可能取值列出来组合起来逐个试。缺点是组合爆炸比如 5 个超参数各 5 个取值就是 3125 次训练计算成本太高。随机搜索是网格搜索的改进版不从网格里取点而是从分布里随机采样。理论证明随机搜索比网格搜索更高效因为不是所有超参数都同等重要。通常随机搜索试 60-100 次就能找到不错的配置。贝叶斯优化是更高级的方法根据之前的实验结果建立概率模型预测哪些超参数组合可能更好然后有针对性地采样。贝叶斯优化的效率更高但实现起来更复杂通常需要借助专门的库。我自己的经验是先用随机搜索粗调找到大致范围再用网格搜索细调。学习率是最重要的超参数通常按对数尺度搜索比如 0.1、0.01、0.001、0.0001。批量大小通常选 32、64、128、256太大的批量可能导致泛化变差太小的批量训练不稳定。4.3 训练过程中的常见异常与排查思路训练神经网络的时候你可能会遇到各种奇怪的现象。这里列几个我实际遇到过的损失不下降。可能的原因学习率太小、梯度消失、数据没有归一化、标签编码错误。排查方法先检查数据再检查梯度最后调学习率。损失变成 NaN。可能的原因学习率太大、梯度爆炸、log(0) 或除以零。排查方法降低学习率、加梯度裁剪、检查损失函数里的数值稳定性。训练误差下降但验证误差上升。这是典型的过拟合。解决办法加正则化、加数据、简化模型、早停。训练误差和验证误差都很高。这是欠拟合。解决办法增加模型复杂度、减少正则化、检查特征是否足够。训练误差波动很大。可能的原因批量太小、学习率太大。解决办法增大批量、降低学习率。这些排查思路不是万能的但能覆盖大部分常见问题。关键是要养成“先看数据再看模型最后调参数”的习惯不要一上来就瞎调超参数。4.4 从课程作业到工程落地的差距课程作业通常给你一个干净的数据集、一个明确的目标、一个固定的评估指标。但真实项目里这些东西往往都不明确。你可能需要自己定义问题、自己收集数据、自己设计评估指标。一个典型的差距是课程作业里模型训练完就结束了但真实项目里模型训练完只是开始。你需要考虑模型怎么部署、怎么监控、怎么更新。模型上线之后数据分布可能会变化比如用户行为改变导致模型效果下降这叫数据漂移。你需要定期用新数据重新训练模型或者设计在线学习机制。还有一个差距是计算资源。课程作业里你可以随便用 GPU但真实项目里你可能只有 CPU或者 GPU 内存有限。这时候你需要考虑模型压缩、量化、剪枝等技术在保持效果的前提下减少计算量。我自己的体会是课程教你的是“理想情况下怎么做”真实项目教你的是“资源有限的情况下怎么妥协”。两者都重要但后者往往更决定项目成败。5. 学完第二课之后下一步该往哪里走第二课覆盖了神经网络的基础、模型评估的方法、以及一些工程实践的入门知识。学完这一课你应该能够搭建一个全连接网络解决分类或回归问题、诊断模型的偏差和方差、选择合适的正则化手段、评估模型性能。但这一课只是深度学习的起点。接下来你可以往几个方向深入卷积神经网络处理图像、循环神经网络和 Transformer处理序列、强化学习处理决策问题、生成模型处理生成任务。每个方向都有对应的课程和资料但基础都是这一课里的东西。如果你问我最应该先深入哪个方向我会说先把这一课的东西真正动手做一遍。不要只看视频、只看笔记要自己写代码、自己调参、自己踩坑。我见过太多人视频看完了觉得懂了一上手发现连数据预处理都搞不定。机器学习的门槛不在理论在实践。还有一个建议养成记录实验的习惯。每次训练模型记录超参数、训练误差、验证误差、测试误差、训练时间。这样你才能对比不同配置的效果才能积累经验。我自己的实验记录已经攒了几百条每次遇到新问题先翻翻以前的记录往往能找到类似的案例。最后说一个心态问题第二课的内容确实多第一遍学不懂很正常。我自己的经验是第一遍先过一遍不求全懂只求知道有哪些概念第二遍动手写代码遇到不懂的再回头查第三遍尝试用自己的话把核心概念讲清楚能讲清楚才算真懂。这个过程可能需要几周甚至几个月但值得。
1. 从“调包”到“调参”为什么第二课才是机器学习真正拉开差距的地方很多人学机器学习第一课学完线性回归和逻辑回归觉得自己已经“入门”了——梯度下降会写了损失函数会算了sklearn 的fit和predict也调通了。然后兴冲冲地打开第二课结果发现画风突变神经网络、前向传播、反向传播、激活函数、多分类、模型评估、偏差方差、正则化……信息量直接翻倍。我见过不少人在这一课卡住不是因为数学太难而是因为第一课建立起来的“调包思维”在这里彻底失效了。第一课的核心是“把数据喂给模型模型吐出一个结果”本质上还是在处理线性关系。但第二课要解决的是非线性问题——比如图像识别、语音识别、自然语言处理这些东西用一条直线或者一个平面根本分不开。神经网络之所以能处理这些问题靠的是多层非线性变换的叠加。你可以把它想象成第一课是拿一把直尺画线第二课是拿一整套曲线板可以拼出任意形状的边界。这一课还有一个容易被忽视的价值它教你如何判断一个模型到底是“真的学到了东西”还是“只是背下了答案”。偏差方差诊断、学习曲线、正则化、评估指标的选择这些东西在实际工作中比模型本身更重要。我见过太多人训练集准确率 99%测试集准确率 60%然后一脸茫然地问我“为什么”。答案就在这一课里。所以这篇内容不是简单的课程笔记复述而是把第二课里那些“老师讲了但没展开”“PPT 上有但没解释清楚”“你觉得自己懂了但一上手就错”的地方用从业者的视角重新拆一遍。适合已经学完第一课、准备进入神经网络和模型评估阶段的人也适合学过但觉得“好像懂了又好像没懂”的人拿来查漏补缺。2. 神经网络不是黑箱从单个神经元到多层网络的完整推演2.1 单个神经元到底在算什么很多人第一次看到神经网络的图觉得那些圆圈和连线很神秘。其实一个神经元做的事情非常简单它把输入向量和权重向量做点积加上偏置然后过一个激活函数。用公式写就是a g(w·x b)其中g是激活函数。这里的关键在于激活函数。如果没有激活函数多层神经网络等价于一层线性变换——你叠多少层都没用因为线性变换的复合还是线性变换。这就像你把一张纸反复对折它还是那张纸不会变成三维物体。激活函数的作用就是引入非线性让网络有能力拟合任意复杂的函数。第二课里最常用的激活函数是 ReLU也就是g(z) max(0, z)。为什么选它而不是 sigmoid 或者 tanh原因很实际sigmoid 在输入很大或很小时梯度接近零反向传播的时候梯度会消失深层网络根本训练不动。ReLU 在正区间的梯度恒为 1梯度不会衰减计算也简单所以成了默认选择。当然 ReLU 也有缺点负区间梯度为零可能导致某些神经元“死掉”所以后来有了 Leaky ReLU 之类的变体但这是后话。我自己的经验是如果你在做一个全连接网络不知道选什么激活函数隐藏层先用 ReLU输出层根据任务选。二分类用 sigmoid多分类用 softmax回归用线性。这个默认组合能解决 80% 的问题。2.2 前向传播数据是怎么一层层传下去的前向传播就是从输入层开始每一层做一次线性变换加激活把结果传给下一层直到输出层。听起来简单但实际写代码的时候有几个细节容易出错。第一个细节是维度匹配。假设输入是 784 维比如 28x28 的灰度图展平第一层有 128 个神经元那么权重矩阵 W1 的形状是(128, 784)偏置 b1 的形状是(128,)。计算的时候是W1 x b1得到 128 维的向量。如果你把 W1 写成了(784, 128)程序不会报错但结果完全不对。我建议每次写网络的时候先把每一层的维度在纸上画一遍确认矩阵乘法能对上。第二个细节是批量处理。实际训练的时候不会一次只喂一个样本而是一次喂一批比如 64 个样本。这时候输入矩阵的形状是(64, 784)计算变成X W1.T b1得到(64, 128)。注意这里 W1 需要转置因为矩阵乘法的规则是(64, 784) (784, 128) (64, 128)。这个转置很容易搞混我见过不少人在这里卡了半天。第三个细节是输出层的处理。如果是多分类任务输出层通常有 K 个神经元K 是类别数然后用 softmax 把输出变成概率分布。softmax 的公式是a_i exp(z_i) / sum(exp(z_j))。这里有一个数值稳定性的坑如果 z_i 很大exp(z_i) 会溢出。解决办法是先减去最大值即z_i - max(z)这样指数最大是 0不会溢出。这个技巧在几乎所有深度学习框架里都有实现但你自己写的时候一定要注意。2.3 反向传播梯度到底是怎么算出来的反向传播是第二课里最让人头疼的部分但其实它的核心思想只有一个链式法则。你不需要记住所有公式只需要理解“误差从输出层往回传每一层根据误差调整自己的权重”。具体来说假设损失函数是 L输出层的输出是 a那么输出层的误差项是delta dL/da * g(z)。然后这个误差项往前一层传变成delta_prev (W.T delta) * g(z_prev)。权重梯度是dW delta a_prev.T偏置梯度是db sum(delta)。这里的关键是理解“误差项”的含义。它表示的是这个神经元的输出对最终损失的贡献有多大。如果误差项大说明这个神经元“责任大”它的权重需要大幅调整如果误差项小说明它“责任小”微调即可。我在实际教学中发现很多人卡在“为什么需要转置”“为什么需要乘激活函数的导数”这两个问题上。对于第一个问题你可以这样理解前向传播是z W a_prev所以dz/dW a_prev而dL/dW dL/dz * dz/dW delta a_prev.T。对于第二个问题因为a g(z)所以dL/dz dL/da * da/dz dL/da * g(z)。把这两个推导自己动手写一遍比看十遍公式都有用。还有一个实践中的坑梯度消失和梯度爆炸。如果网络很深反向传播的时候梯度会连乘很多次。如果每层的梯度都小于 1连乘之后趋近于零前面的层几乎不更新如果都大于 1连乘之后爆炸权重变成 NaN。解决办法包括用 ReLU 激活函数、做权重初始化比如 Xavier 或 He 初始化、加 Batch Normalization、用残差连接。这些技巧在第二课里可能只是提了一句但实际工作中缺一不可。2.4 多分类与 softmax 回归的实操细节多分类是第二课里一个完整的实战案例。假设你要做一个手写数字识别输入是 28x28 的图片输出是 0-9 十个类别。网络结构可以是输入层 784 维隐藏层 128 维ReLU输出层 10 维softmax。损失函数用交叉熵公式是L -sum(y_i * log(a_i))其中 y 是 one-hot 编码的真实标签a 是 softmax 输出的概率。交叉熵的好处是当预测正确且置信度高时损失接近零当预测错误时损失会很大梯度也大学习速度快。这里有一个容易忽略的点softmax 加交叉熵的梯度非常简洁就是delta a - y。也就是说输出层的误差项等于预测概率减去真实标签。这个结论在推导的时候需要用到 softmax 的导数但最终结果出奇地简单。如果你自己写反向传播可以直接用这个结论省去很多计算。还有一个实操建议标签一定要做 one-hot 编码。如果你直接用整数标签交叉熵的计算会出错。比如真实标签是 3你不能直接拿log(a[3])当损失因为 softmax 输出的是一个概率分布你需要把标签也变成分布的形式。这个坑我见过太多人踩了。3. 模型评估为什么你的准确率 99% 但上线就崩3.1 训练集、验证集、测试集的正确切分方式很多人拿到数据之后随手切个 80% 训练、20% 测试然后就开始调模型。这种做法在数据量大的时候问题不大但在数据量小的时候会导致评估结果极不稳定。正确的做法是切三份训练集用来训练参数验证集用来选超参数比如学习率、正则化系数、网络层数测试集只在最后用一次用来估计泛化误差。切分的比例没有固定标准常见的是 60/20/20 或者 70/15/15。如果数据量很大比如百万级验证集和测试集可以小一点比如 98/1/1。如果数据量很小比如几百条可以考虑交叉验证把数据分成 K 份每次拿 K-1 份训练1 份验证轮流做 K 次取平均。这里有一个隐蔽的坑数据泄露。比如你在切分之前做了归一化用的是全量数据的均值和方差那么验证集和测试集的信息就泄露到了训练过程中。正确的做法是先用训练集算出均值和方差然后用这个均值和方差去归一化验证集和测试集。同理任何涉及全局统计量的预处理比如 PCA、特征选择都应该只在训练集上做然后应用到其他集合。我自己的习惯是在切分数据之前先打乱顺序然后固定随机种子。这样每次运行的结果可复现方便对比不同模型的效果。如果不固定种子你可能会发现同一个模型两次运行的结果差了好几个百分点然后陷入“到底哪个才是真实性能”的困惑。3.2 偏差与方差诊断模型问题的核心框架偏差和方差是第二课里最重要的概念之一但很多人只是记住了定义不知道怎么用。简单来说偏差高意味着模型太简单连训练集都拟合不好欠拟合方差高意味着模型太复杂训练集拟合得很好但验证集很差过拟合。诊断的方法很简单看训练误差和验证误差的差距。如果训练误差很高验证误差也很高说明偏差高需要增加模型复杂度加层、加神经元、加特征。如果训练误差很低验证误差很高说明方差高需要增加数据量、加正则化、简化模型。这里有一个反直觉的点增加数据量通常能降低方差但对偏差帮助不大。如果你发现模型欠拟合加再多数据也没用得换更复杂的模型。反过来如果你发现模型过拟合加数据是最有效的手段之一但加正则化可能更划算因为收集数据是有成本的。还有一个实操技巧画学习曲线。横轴是训练样本数纵轴是误差画两条线一条训练误差一条验证误差。如果两条线随着样本增加逐渐靠拢说明方差高加数据有用如果两条线平行且距离很远说明偏差高加数据没用。这个图在调试模型的时候非常直观建议养成习惯。3.3 正则化L2、Dropout 与早停的取舍正则化是解决过拟合的主要手段。第二课里介绍了 L2 正则化和 Dropout实际工作中还有早停、数据增强、Batch Normalization 等。L2 正则化的做法是在损失函数里加上权重的平方和即L L_original lambda * sum(W^2)。这样权重会被迫变小模型变得更“平滑”不容易过拟合。lambda 是超参数控制正则化强度。lambda 太大模型会欠拟合lambda 太小正则化效果不明显。通常从 0.01 或 0.001 开始试。Dropout 的做法是训练时随机“关掉”一部分神经元让网络不能依赖某些特定的路径。这相当于每次训练一个不同的子网络最后做集成。Dropout 的概率通常设 0.5输入层可以设小一点比如 0.2。注意 Dropout 只在训练时用测试时要关掉并且要把输出按比例放大或者训练时按比例缩小保持期望一致。早停的做法是在验证误差开始上升的时候停止训练。这相当于用验证集来“选”一个最好的迭代次数。早停的优点是简单有效不需要改损失函数缺点是如果验证集太小可能停得太早或太晚。我自己的经验是先加 L2 正则化如果效果不够再加 Dropout最后考虑早停。数据增强在图像任务里几乎是必选项但在表格数据里不太好做。Batch Normalization 主要是加速训练和稳定梯度对正则化也有一定帮助但不要把它当正则化手段来用。3.4 评估指标的选择准确率不是万能的准确率是最直观的指标但在类别不平衡的时候会骗人。比如一个二分类任务正样本占 1%负样本占 99%模型只要全部预测为负准确率就有 99%但这样的模型毫无用处。这时候需要用精确率和召回率。精确率是“预测为正的样本里有多少是真的正”召回率是“真的正样本里有多少被预测出来了”。这两个指标通常此消彼长提高一个会降低另一个。F1 分数是两者的调和平均用来综合衡量。还有一个指标是 AUC-ROC它衡量的是模型在不同阈值下的排序能力。AUC 越接近 1模型越好0.5 相当于随机猜测。AUC 的好处是不受阈值影响也不受类别比例影响所以在类别不平衡的时候很常用。选择哪个指标取决于业务场景。比如垃圾邮件过滤你更在意精确率因为把正常邮件误判为垃圾邮件的代价很高比如疾病筛查你更在意召回率因为漏掉一个病人的代价很高。没有“最好”的指标只有“最适合”的指标。4. 从课程案例到真实项目那些 PPT 上不会写的坑4.1 数据预处理归一化和标准化的选择课程里的案例通常用的是已经处理好的数据但真实项目里数据预处理往往占了 70% 的时间。最常见的问题是特征尺度差异太大。比如一个特征范围是 0-1另一个是 0-10000梯度下降的时候会走“之”字形收敛很慢。解决办法是归一化或标准化。归一化是把数据缩放到 [0, 1]公式是(x - min) / (max - min)。标准化是把数据变成均值为 0、方差为 1公式是(x - mean) / std。两者的选择没有绝对标准但一般来说如果数据分布接近正态用标准化如果数据有明确的边界比如图像像素值用归一化。这里有一个坑归一化和标准化的参数min、max、mean、std必须从训练集算然后应用到验证集和测试集。如果你对全量数据算参数就泄露了信息。这个坑我在实际项目中见过不止一次很多人直到模型上线效果不对才回头发现。还有一个坑缺失值处理。课程里通常假设数据是完整的但真实数据里缺失值很常见。处理方法包括删除缺失行、用均值/中位数/众数填充、用模型预测填充。选择哪种方法取决于缺失的比例和缺失的机制。如果缺失比例很低比如小于 5%直接删除影响不大如果缺失比例很高可能需要把“是否缺失”也作为一个特征。4.2 超参数调优网格搜索、随机搜索与贝叶斯优化超参数调优是第二课里没有详细展开但实际工作中非常重要的环节。常见的超参数包括学习率、正则化系数、网络层数、每层神经元数、批量大小、迭代次数。网格搜索是最笨但最可靠的方法把每个超参数的可能取值列出来组合起来逐个试。缺点是组合爆炸比如 5 个超参数各 5 个取值就是 3125 次训练计算成本太高。随机搜索是网格搜索的改进版不从网格里取点而是从分布里随机采样。理论证明随机搜索比网格搜索更高效因为不是所有超参数都同等重要。通常随机搜索试 60-100 次就能找到不错的配置。贝叶斯优化是更高级的方法根据之前的实验结果建立概率模型预测哪些超参数组合可能更好然后有针对性地采样。贝叶斯优化的效率更高但实现起来更复杂通常需要借助专门的库。我自己的经验是先用随机搜索粗调找到大致范围再用网格搜索细调。学习率是最重要的超参数通常按对数尺度搜索比如 0.1、0.01、0.001、0.0001。批量大小通常选 32、64、128、256太大的批量可能导致泛化变差太小的批量训练不稳定。4.3 训练过程中的常见异常与排查思路训练神经网络的时候你可能会遇到各种奇怪的现象。这里列几个我实际遇到过的损失不下降。可能的原因学习率太小、梯度消失、数据没有归一化、标签编码错误。排查方法先检查数据再检查梯度最后调学习率。损失变成 NaN。可能的原因学习率太大、梯度爆炸、log(0) 或除以零。排查方法降低学习率、加梯度裁剪、检查损失函数里的数值稳定性。训练误差下降但验证误差上升。这是典型的过拟合。解决办法加正则化、加数据、简化模型、早停。训练误差和验证误差都很高。这是欠拟合。解决办法增加模型复杂度、减少正则化、检查特征是否足够。训练误差波动很大。可能的原因批量太小、学习率太大。解决办法增大批量、降低学习率。这些排查思路不是万能的但能覆盖大部分常见问题。关键是要养成“先看数据再看模型最后调参数”的习惯不要一上来就瞎调超参数。4.4 从课程作业到工程落地的差距课程作业通常给你一个干净的数据集、一个明确的目标、一个固定的评估指标。但真实项目里这些东西往往都不明确。你可能需要自己定义问题、自己收集数据、自己设计评估指标。一个典型的差距是课程作业里模型训练完就结束了但真实项目里模型训练完只是开始。你需要考虑模型怎么部署、怎么监控、怎么更新。模型上线之后数据分布可能会变化比如用户行为改变导致模型效果下降这叫数据漂移。你需要定期用新数据重新训练模型或者设计在线学习机制。还有一个差距是计算资源。课程作业里你可以随便用 GPU但真实项目里你可能只有 CPU或者 GPU 内存有限。这时候你需要考虑模型压缩、量化、剪枝等技术在保持效果的前提下减少计算量。我自己的体会是课程教你的是“理想情况下怎么做”真实项目教你的是“资源有限的情况下怎么妥协”。两者都重要但后者往往更决定项目成败。5. 学完第二课之后下一步该往哪里走第二课覆盖了神经网络的基础、模型评估的方法、以及一些工程实践的入门知识。学完这一课你应该能够搭建一个全连接网络解决分类或回归问题、诊断模型的偏差和方差、选择合适的正则化手段、评估模型性能。但这一课只是深度学习的起点。接下来你可以往几个方向深入卷积神经网络处理图像、循环神经网络和 Transformer处理序列、强化学习处理决策问题、生成模型处理生成任务。每个方向都有对应的课程和资料但基础都是这一课里的东西。如果你问我最应该先深入哪个方向我会说先把这一课的东西真正动手做一遍。不要只看视频、只看笔记要自己写代码、自己调参、自己踩坑。我见过太多人视频看完了觉得懂了一上手发现连数据预处理都搞不定。机器学习的门槛不在理论在实践。还有一个建议养成记录实验的习惯。每次训练模型记录超参数、训练误差、验证误差、测试误差、训练时间。这样你才能对比不同配置的效果才能积累经验。我自己的实验记录已经攒了几百条每次遇到新问题先翻翻以前的记录往往能找到类似的案例。最后说一个心态问题第二课的内容确实多第一遍学不懂很正常。我自己的经验是第一遍先过一遍不求全懂只求知道有哪些概念第二遍动手写代码遇到不懂的再回头查第三遍尝试用自己的话把核心概念讲清楚能讲清楚才算真懂。这个过程可能需要几周甚至几个月但值得。
