CS231n这门课的Spring 2020版Assignment1做到SVM Classifier这一节的时候很多人第一次意识到“原来我连一个简单的线性分类器都没真正写明白”。作业目标很直接在CIFAR-10数据集上从零实现一个多类线性SVM分类器包括Hinge Loss的计算、解析梯度推导、梯度数值验证以及用SGD把权重训练出来最后对测试图片做分类。听起来不复杂但真正动手时无数细节会冒出来为什么损失里有max(0,·)为什么梯度里要分正确类和其他类为什么学习率差一点结果就天差地别这些坑如果不踩一遍后面学Softmax、两层神经网络也会根基不稳。这篇文章适合正在做CS231n作业的人、想系统补一遍线性分类器原理的人以及那些作业做完了但想回头看“当时我到底在算什么”的人。我会沿着作业的完整流程走一遍把每个关键选择的理由、每个容易翻车的细节、以及我实际验证过的调试经验都写清楚希望能帮你少走几小时弯路。1. 先从整体看Assignment1里SVM在哪个位置1.1 整个Assignment1的作业地图Spring 2020版的Assignment1一共四个任务按顺序是KNN分类器、SVM线性分类器、Softmax线性分类器、两层神经网络。当时课程设计者显然是想让同学们先接触最简单的非参数方法KNN然后转向参数化方法SVM和Softmax最后用两层神经网络收尾形成一个递进关系。SVM这条线的位置非常关键。它在KNN之后出现意味着你已经知道“用像素距离做分类”有多笨拙KNN在CIFAR-10上即便调好参数测试准确率也就是20%~30%左右而且预测时要遍历全部训练样本慢得不行。SVM登场后你用训练数据学出一个权重矩阵W预测时只做一次矩阵乘法和argmax速度快了几个数量级准确率也能稳稳到30%~40%。这个对比本身就是作业想教给你的第一课分类器不只有“记忆训练样本”这一条路更好的思路是“学习一个从像素到类别的映射函数”。1.2 为什么用SVM而不是直接上神经网络很多初学会问既然最终目标是深度学习为什么不直接跳过SVM去学CNN这个问题我当时也问过自己。但实际做完之后我才明白线性SVM其实是理解神经网络的最小必要模型。一个线性分类器做的事情是 f(x) Wx b其中W是权重矩阵x是输入图像拉成的向量。神经网络无非是在这外面套了好几层非线性变换。如果你连“损失函数如何驱动W更新”都没亲手实现过后面看反向传播会像看天书。Hinge Loss的梯度只有两种值要么是0要么是某个累加量逻辑非常简单。把这个梯度的来龙去脉吃透了再回头看Softmax的交叉熵损失、再看两层的反向传播会发现很多概念都是一脉相承的。另外还有一个现实原因CS231n作业里提供了完整的代码框架包括数据加载、图像预处理、数值梯度检查工具等。你只需要在关键位置填上损失和梯度实现。但这个“只填几十行代码”的过程恰恰是整个作业最考验人的地方因为框架不会告诉你哪一步该向量化、哪一步该用mask矩阵这些都要你自己摸索。1.3 本次SVM作业与后续作业的联系做SVM时你会在CIFAR-10上完成一个完整的训练闭环定义损失 - 算梯度 - 更新权重 - 循环迭代 - 评估准确率。这个闭环在Assignment2的卷积神经网络、Assignment3的Transformer里会反复出现。而且作业里要求你做的“网格搜索超参数”在后面的作业里也经常要用到。还有一个更直接的联系做完SVM之后你会马上做Softmax。两者的数据准备、训练逻辑几乎一模一样唯一的变化是损失函数从Hinge Loss换成交叉熵。如果你把SVM这一步做得足够扎实做Softmax可能只需要改一个损失函数再加上数值稳定处理。很多同学后期速度快是因为SVM阶段已经把工程框架吃透了。2. 核心原理拆解多类SVM的损失与梯度2.1 多类Hinge Loss怎么读先约定符号。训练集有N张图片每张图片x_i被拉成长度为D的向量。类别数是C在CIFAR-10里C10。我们要学一个权重矩阵W形状是 C x D还有偏置b形状是 C x 1。对于第i张图片每个类别会得到一个得分 s_j W_j·x_i b_j其中j遍历所有类别。对于这张图片的正确类别y_i我们希望它的得分 s_{y_i} 比其他所有类别的得分都要高。多类SVM的损失定义为L_i Σ_{j≠y_i} max(0, s_j - s_{y_i} Δ)这里的Δ是margin课程作业里默认设成1。这个式子的意思是对于每个错误类别如果它的得分比正确类得分还高或者说差距没超过margin我们就要惩罚如果它比正确类低出至少Δ那这个错误类别的“坏影响”就是0不产生损失。用一个生活化的比方假设班级里有一个“正确答案”同学得分越高越好。你要求“错误答案”同学的得分最多只能比正确答案低一点点低于margin低得越多越安全。如果某个错误答案居然压过了正确答案或者差距不够大那就要记一笔账。SVM训练的本质就是不断让正确类的得分“碾压”所有错误类。2.2 为什么选max(0,·)这种形式Hinge Loss用max(0,·)有几个关键理由。第一它天然稀疏对于大量样本正确类和其他类的得分差距已经很安全损失和梯度都是0这时候它们对W的更新没有贡献相当于模型在“忽略”这些已经做对的样本。这种稀疏性让SVM的训练带有一种“只关注最难样本”的特性。第二它对“已经分类正确的样本”不产生额外的推动。软间隔SVM的哲学是“只要边界合适就好不需要把所有样本都推到离边界无穷远”。如果换成一个处处有梯度的损失函数比如平方损失那模型会花大量算力去优化那些已经做得不错的样本反而容易过拟合。第三max(0,·)在0点不可导但在实际实现中我们通常选取次梯度。作业里其实不需要处理这个数学细节因为代码实现时只需要判断条件是否满足大于0就取梯度否则就是0。提示margin Δ的取值固定为1时正则化强度λ实际上控制了“间隔偏好”和“边界宽度”的平衡。Δ越大要求正确类和错误类的得分差越大模型越难满足决策边界越保守。2.3 正则化不希望W只看一张图如果损失只包含上面的L_i模型会出现一个严重问题它会把训练样本记得死死的权重w的范数变得很大对噪声也特别敏感。为了缓解过拟合作业里在损失函数中加上了L2正则项L (1/N) * Σ_i L_i λ * Σ_k W_k^2正则项的本质是“惩罚权重过大”。为什么权重过大会导致过拟合可以这样想如果W的某个分量特别大那么输入x中对应的像素稍微变化一点得分就会剧烈波动。这相当于模型在“放大镜下”看待像素的微小差异很容易把噪声也当作模式。加上正则项后模型被迫用更小的权重、更平滑的边界去拟合训练数据。实际调参时你会发现λ的选择对最终准确率有非常直接的影响。λ太小训练集准确率可能很高但测试集上掉下来λ太大训练集准确率会明显受限因为模型太“保守”了。CIFAR-10上线性SVM比较合适的λ大概在1e-3到1e-2这个量级但具体值还是要通过网格搜索确认。2.4 梯度推导让W知道往哪走这里是最容易卡住的地方。我们需要计算的是损失函数对W的偏导。因为每个样本i只影响它自己的那部分损失我们先看单个样本的梯度再把所有样本的梯度累加。对于第i个样本设正确类得分为 s_{y_i}错误类别j的得分为 s_j。如果 s_j - s_{y_i} 1 0那么这个错误类别“激活”了损失。此时从 s_j 的角度看损失对 s_j 的偏导是 1从 s_{y_i} 的角度看因为 s_j - s_{y_i} 1 中 s_{y_i} 带负号所以损失对 s_{y_i} 的偏导是 -1又因为 s_j W_j·x_i所以损失对W_j的梯度是 x_i转置后对W_{y_i}的梯度是 -x_i。把所有激活的错误类别加起来设正确类之外有m个类别被激活即它们的得分与正确类得分的差不超过margin那么这一样本对正确类权重W_{y_i}的梯度贡献是 -m * x_i对每个被激活的错误类别权重W_j的梯度贡献是 1 * x_i对未被激活的类别梯度为0。这个逻辑用代码写起来非常简洁def svm_loss_vectorized(W, X, y, reg): num_train X.shape[0] num_classes W.shape[0] scores X.dot(W.T) # 形状 (N, C) correct_class_scores scores[np.arange(num_train), y].reshape(-1, 1) margins np.maximum(0, scores - correct_class_scores 1) margins[np.arange(num_train), y] 0 # 正确类自身不计入损失 loss np.sum(margins) / num_train loss reg * np.sum(W * W) # 计算梯度 binary margins binary[margins 0] 1 row_sum np.sum(binary, axis1) binary[np.arange(num_train), y] - row_sum dW binary.T.dot(X) / num_train 2 * reg * W return loss, dW我看很多初学者在算梯度时喜欢先对每个类别循环再对每个样本循环。其实正确的直觉是对每个样本先找出哪些错误类别“越界”了然后所有越界类别共享同一个gradient方向xi的方向而正确类别要吸收负梯度 越界类别数的相反数。批量计算时我们用矩阵操作把每个样本的越界情况记录下来再乘上X就得到了dW。数值梯度验证是作业的标准动作。做法是在某个很小的epsilon下用 (L(weps) - L(w-eps)) / (2*eps) 近似梯度再跟解析梯度比较相对误差。这个验证通过一遍基本可以确认损失和梯度实现没有低级错误。需要注意正则项也要算进梯度里否则你验证半天都会差一项。3. 实操过程从数据准备到训练闭环3.1 数据加载与预处理作业刚开始会让你加载CIFAR-10数据集。这里数据已经提前处理成numpy数组训练集是50000x3072测试集是10000x3072。3072 32323对应3通道彩色图像按RGB排列后拉平的向量。加载后第一件事就是均值减法。你计算训练集所有样本的每个像素均值得到一个3072维的均值向量然后在训练集和测试集上都减去这个均值。这一步非常关键因为减去均值后数据的中心在原点附近线性分类器学起来更容易收敛。如果不做均值减法你会看到损失下降异常缓慢准确率也上不去因为模型还要额外花力气去补偿像素的整体偏移。还有一个小细节作业里通常会把图像像素值从[0,255]缩放到[0,1]吗实际上CS231n的SVM作业并没有强制做归一化因为均值减法之后数值范围已经是[-127.5,127.5]这个量级配合合适的学习率比如1e-3到1e-2是可以工作的。但如果你用的是原始0-255像素学习率要相应调大否则更新步长太小。我个人习惯在减去均值后再除以标准差这样能让损失面更“圆”调参更加鲁棒。数据划分方面作业会要求从训练集里切出一部分作为验证集通常是50000中取5000做val剩下45000做train。验证集的用途是挑选超参数等超参数定下来后最后才在测试集上跑一次报告最终精度。一定不要用测试集调参这是作业反复强调的红线。3.2 朴素实现先写对再写快作业框架一开始会让你用双重循环实现损失函数。虽然它慢但它逻辑直白非常适合对照公式检查。我建议哪怕你已经有能力写向量化版本也先在草稿纸上或者注释里把双重循环版本写一遍因为它是你后面调试向量化实现的“参照物”。伪代码如下for i in range(num_train): scores_i X[i].dot(W.T) correct_score scores_i[y[i]] for j in range(num_classes): if j y[i]: continue margin scores_i[j] - correct_score 1 if margin 0: loss margin dW[j] X[i] dW[y[i]] - X[i]这个版本有两点值得注意。第一loss最后要除以N并加上正则项但梯度累加时我们先把每个样本的贡献加起来最后统一除以N再加正则梯度。第二在双重循环里每个样本的dW[y[i]]会被多次减法更新每个错误类别j则单独加一次这跟数学推导完全对应。写完朴素版后用作业提供的gradient_check工具验证一次。如果数值梯度跟解析梯度的相对误差在1e-5以下有的版本要求1e-6就说明实现对了。我第一次做的时候正则项忘记在数值验证里也加导致误差一直卡在1e-2级别折腾了半小时才反应过来。3.3 数值梯度验证为什么可靠数值梯度的思想很简单梯度是损失函数在权重空间某个点上的变化率。如果解析梯度算的是对的那么用极限定义去逼近得到的结果应该非常接近。作业封装好的check_gradient函数通常会随机选几个点对每个点生成一个小扰动计算 (f(theta h) - f(theta - h)) / (2h)。中心差分比单边差分更准确误差是O(h^2)。这个验证最大的价值是把你从“公式推导错误”中拯救出来。很多人算梯度时会把符号写反比如把正确类的负梯度写成正梯度数值验证能立刻暴露这个问题。唯一要留意的是验证时如果某个样本的loss正好落在hinge的“断点”附近max(0,·)的次梯度定义可能导致数值梯度与解析梯度稍有偏差这时可以换一个随机初始化的W重新验证。注意数值梯度验证时如果相对误差在1e-2左右往往是实现了但符号反了如果在1e-5左右基本可以说梯度实现正确。3.4 向量化实现真正理解矩阵运算双重循环版本在45000训练样本、10个类别上跑一次可能就要零点几秒而训练过程要跑几百次迭代那会慢到怀疑人生。向量化的目标是把所有样本的损失和梯度用矩阵乘法一次性算出来。向量化的核心就两行先算出所有样本对所有类别的得分矩阵scores形状(N, C)然后用广播机制把正确类别得分扩展到每一列然后算margins。梯度部分构建一个跟margins同形状的binary矩阵激活位置为1接着对行求和再把每个样本正确类位置的数值变成负的行求和数。这样每一行都表示这个样本的“权重分配”正确类分到负数越界类别分到正数其他为0。最后用binary.T.dot(X)累加所有样本的贡献。我测过一次向量化版本比双重循环快30到100倍而且代码更简洁。很多初学者一开始觉得向量化难主要是没把“每一行表示一个样本的权重分配方案”这个中间结果想清楚。一旦想明白了后面写Softmax的梯度也会非常顺手。3.5 SGD训练循环与学习率作业要求用完全批量梯度下降还是小批量SGD我记得Assignment1里给了SGD的框架batch size默认是200。SGD的核心是不用全部45000个样本算梯度而是每次随机抽一小批用这一批的梯度近似全量梯度。训练循环长得像这样learning_rate 1e-3 num_iters 1500 batch_size 200 for it in range(num_iters): idx np.random.choice(num_train, batch_size) X_batch X_train[idx] y_batch y_train[idx] loss, grad svm_loss_vectorized(W, X_batch, y_batch, reg) W - learning_rate * grad if it % 100 0: train_acc evaluate(W, X_train, y_train) val_acc evaluate(W, X_val, y_val)学习率是最难调的超参数。它太大损失会发散表现为loss直接变成NaN或者震荡剧烈它太小损失下降像蜗牛到训练结束精度仍然很低。我个人的经验是先试几个相差10倍的学习率1e-4、1e-3、1e-2看哪个在100次迭代内能让损失稳定下降然后在那个量级附近再细化搜索。SGD的随机性意味着每次跑的结果不完全一样但同一组超参数下最终精度波动不会太大。如果某次运行得到特别差的结果先别急着调参重新跑一次可能就正常了。作业里还要求记录loss的变化曲线通常你会看到loss前期下降很快后面逐渐平缓这是正常的收敛形态。3.6 训练完怎么检查权重可视化作业里有一个很直观的可视化步骤把训练好的W每一行重新reshape成32x32x3然后显示出来就能看到每个类别学到的“模板”。比如模型学到的“飞机”权重模板可能带有蓝色背景“车”的模板可能更亮一些“青蛙”的模板可能带着绿色调。因为CIFAR-10的像素是RGB三通道可视化时你把每一行W加回均值向量再归一化到[0,255]范围内显示即可。看到权重模板的那一刻你对“线性分类器到底学到了什么”会有非常直观的理解。它没有学到复杂的物体结构它学到的只是每个类别在像素空间中的平均模式。这也是为什么线性SVM在CIFAR-10上只能做到40%左右的原因因为图像本质上是线性不可分的。4. 调参实验与结果分析4.1 学习率与正则化强度的网格搜索作业要求你在验证集上搜索超参数。常见的做法是把learning_rate和reg各取几个值比如learning_rate在[1e-7, 5e-6, 1e-5, 5e-4]里选reg在[1e-3, 1e-2, 1e-1, 0.5]里选两两组合训练。但要注意SVM作业里的学习率其实会因为数据预处理方式不同而有巨大差异。如果你做了标准化学习率通常取1e-2到1e-1如果你只做了均值减法学习率1e-3左右更安全。我建议先固定reg1e-2只搜学习率找到学习率的大致量级后再固定这个学习率搜reg。这种“坐标下降”式搜索比全网格搜索高效很多因为不同超参数的影响不是完全独立的。4.2 观察损失曲线判断收敛训练时每100轮打印一次loss、train_acc、val_acc。合格的loss曲线应该是稳步下降的而且最终train_acc和val_acc的差距不能太大。如果train_acc很高但val_acc明显低说明过拟合应该增大reg。如果两个acc都低说明欠拟合可能是学习率太小或者迭代不够。如果loss来回震荡说明学习率偏大应该调小。这里有个容易被忽略的点SGD的batch size会影响梯度噪声从而影响可用的学习率。batch size越大梯度估计越准可以适当调大学习率batch size越小梯度噪声越大学习率要小一些。作业默认batch size200在这个设置下learning_rate1e-2配合标准化预处理表现不错如果用的是原始像素最好把学习率降到1e-4左右。4.3 最终精度预期不要抱不切实际的期望线性SVM在CIFAR-10上的水平经过好好调参训练集准确率大概在40%~45%验证集大概在35%~40%测试集能到35%~38%就非常不错了。很多初学者会不甘心试图用更大迭代次数或更极端的超参数把测试精度冲到40%以上。但线性模型的capacity就那么多再挣扎也很难突破45%。这个结果本身是有教育意义的它告诉你在图像分类任务中直接从原始像素做线性分类是有天花板。真正让精度发生质变的是特征工程比如HOG特征、颜色直方图以及后面的非线性神经网络。你在这个作业里体验到的“调参带来几个百分点的提升”会帮助你建立对模型容量的直觉。4.4 与KNN的对比做完SVM后作业会让你比较SVM和KNN的精度与速度。KNN在CIFAR-10上调整k值后最多能到28%左右而SVM轻松到38%。更关键的是预测速度KNN需要把测试样本和所有训练样本算距离预测一张图可能要遍历45000个样本SVM只需要做一次矩阵乘法预测10000张测试图也就几秒钟。这个对比让我当时印象很深一个模型哪怕精度稍微高点如果每次预测都这么慢实际部署根本不可用。这也是为什么作业要在开头放KNN目的就是让你亲身体验为什么业界不用KNN做大规模图像分类。4.5 一个常见的误解SVM是“支持向量机”吗线性SVM的作业实现的是软间隔多类SVM的简化版但你并没有在代码里显式找到“支持向量”。它其实是用梯度下降优化了SVM的目标函数等价于训练了一个带Hinge Loss的线性模型。真正的支持向量是那些落在margin边界附近、对决策边界有影响的训练样本。在作业的SGD实现里支持向量的概念是隐式的它们就是对loss贡献不为0的那些样本。如果将来你去看SVM的原始优化理论会发现有KKT条件、对偶求解等完全不同的推导路线。但CS231n课程刻意选择了“损失函数梯度下降”这条路线因为它跟深度学习的训练方式完全一致这才是这门课的核心目的。5. 常见问题与排查技巧实录5.1 损失变成NaNNaN几乎是每个做这个作业的人都会遇到的第一个问题。原因通常是学习率设得太大导致权重更新后得分变得巨大Hinge Loss里的得分差值溢出或者梯度数值爆炸。解决办法很简单调低学习率。如果学习率已经很低还是NaN检查一下是不是输入数据里有NaN值或者标准化时除的是0某个通道标准差为0。还有一个不太容易想到的坑如果你的梯度实现里把正则项梯度写成了2 * reg * W但在损失里用了np.sum(W*W)这没问题。但如果你误把正则项梯度写成reg * W数值梯度验证会通过不了但训练时不太会NaN而是精度很低。所以看到NaN先怀疑学习率看到精度异常再回头检查梯度公式。5.2 梯度检查永远过不了数值梯度验证不过常见有三种原因。第一种解析梯度里漏了正则项或者正则项梯度写错。第二种梯度的符号搞反了比如把 dW[y[i]] 写成了 X[i] 而不是 - X[i]。第三种检查时选的W维度太小数值梯度因为浮点精度问题匹配不上这种情况可以增大W的scale乘以10再试。我踩过的一个很隐蔽的坑是在向量化实现里我用margins本身作为binary矩阵但margins里存的可能是小数比如0.5而我需要的是0/1标记。必须单独用一个 0 的布尔矩阵来标记激活位置不能复用margins。如果直接用margins当梯度系数数值梯度检查也过不了。下面是问题排查速查表现象可能原因优先排查动作lossNaN学习率太大或梯度爆炸学习率降到1e-5试一次梯度检查相对误差1e-2梯度符号错或漏正则项逐项对比朴素实现训练集准确率低学习率太小或迭代不够增大学习率或增大迭代次数训练集高验证集低过拟合reg太小增大regloss震荡不下降学习率偏大学习率减半再试精度稳定但上不去模型容量天花板换特征或加深模型5.3 学习率怎么找比较稳我推荐一个非常省事的方法先不训练只观察初始loss和梯度。在第一次迭代时loss应该接近设定值附近。然后你用一个“安全”的学习率比如1e-3跑100次迭代画出loss下降曲线。如果loss在前几十次迭代下降明显说明学习率可用。如果loss几乎不动就调大10倍再试。如果loss爆炸就调小10倍。用这种“对数尺度搜索”两三次就能定位到合适量级比盲目网格搜索高效得多。5.4 记住不要在测试集上调参这个问题我见很多人犯过。他们为了刷高测试精度频繁在测试集上评估修改模型。这个做法的恶果是最后你报告的数字是“被调参污染”的数字不能反映模型泛化能力。作业里明确要求所有超参数选择都要在验证集上做最后只在测试集上跑一次。一个实际经验你把学习率、reg、迭代次数确定后可以在验证集上多跑几次取平均因为SGD随机性会导致单次结果有波动。最后再用最好的超参数组合在训练集验证集的全量数据上重新训练一遍如果作业允许再到测试集上评估。这个流程跟真实竞赛里的做法一致能最大程度保证结果的可靠性。5.5 一个调试小技巧过拟合单个样本当你把SVM从零实现完但不确定整个训练流程是否正常时一个很有效的测试是只让模型过拟合10个训练样本。如果模型能做到在这10个样本上准确率100%通常几十次迭代就行说明损失、梯度、更新过程基本没有问题。如果连10个样本都过拟合不了那一定是某个环节出了错。这个技巧在后面的神经网络作业里也特别有用建议养成本能。结尾这门作业带给我的东西做完了CS231n Spring 2020 Assignment1的SVM Classifier之后我自己最大的收获不是“我会算Hinge Loss了”而是终于建立起了“损失函数 - 梯度 - 参数更新”这个闭环的心智模型。以前看论文里写“我们用梯度下降优化目标函数”总觉得这句话轻飘飘真正自己动手写过一遍才发现里面的细节多得惊人数据预处理方式会改变可用的学习率范围向量化实现要时刻警惕维度变化正则化强度一个数量级的差别就能让验证集准确率波动好几个点。如果你正在做这个作业我的建议是不要急着抄代码哪怕你是参考别人实现也一定要在自己的笔记本上把每一行代码对应的数学含义写出来。尤其是那个binary矩阵的构造逻辑你彻底想明白它就等于理解了一半线性分类器。另外作业做完后非常推荐把SVM改成Softmax你会看到两者的代码结构几乎完全一样只是损失和梯度变了一下这个对比能让你对损失函数的作用有更深的认识。最后留一个小技巧做完SVM后你可以把CIFAR-10的原始像素换成一阶的图像特征比如色彩直方图加梯度直方图再用同一个向量化SVM训练你会发现准确率能一下子冲到45%以上。这个实验能最直观地让你理解“数据表达”和“模型能力”的关系也为后面学CNN时“特征自动学习”的价值做了一次很好的铺垫。
CS231n这门课的Spring 2020版Assignment1做到SVM Classifier这一节的时候很多人第一次意识到“原来我连一个简单的线性分类器都没真正写明白”。作业目标很直接在CIFAR-10数据集上从零实现一个多类线性SVM分类器包括Hinge Loss的计算、解析梯度推导、梯度数值验证以及用SGD把权重训练出来最后对测试图片做分类。听起来不复杂但真正动手时无数细节会冒出来为什么损失里有max(0,·)为什么梯度里要分正确类和其他类为什么学习率差一点结果就天差地别这些坑如果不踩一遍后面学Softmax、两层神经网络也会根基不稳。这篇文章适合正在做CS231n作业的人、想系统补一遍线性分类器原理的人以及那些作业做完了但想回头看“当时我到底在算什么”的人。我会沿着作业的完整流程走一遍把每个关键选择的理由、每个容易翻车的细节、以及我实际验证过的调试经验都写清楚希望能帮你少走几小时弯路。1. 先从整体看Assignment1里SVM在哪个位置1.1 整个Assignment1的作业地图Spring 2020版的Assignment1一共四个任务按顺序是KNN分类器、SVM线性分类器、Softmax线性分类器、两层神经网络。当时课程设计者显然是想让同学们先接触最简单的非参数方法KNN然后转向参数化方法SVM和Softmax最后用两层神经网络收尾形成一个递进关系。SVM这条线的位置非常关键。它在KNN之后出现意味着你已经知道“用像素距离做分类”有多笨拙KNN在CIFAR-10上即便调好参数测试准确率也就是20%~30%左右而且预测时要遍历全部训练样本慢得不行。SVM登场后你用训练数据学出一个权重矩阵W预测时只做一次矩阵乘法和argmax速度快了几个数量级准确率也能稳稳到30%~40%。这个对比本身就是作业想教给你的第一课分类器不只有“记忆训练样本”这一条路更好的思路是“学习一个从像素到类别的映射函数”。1.2 为什么用SVM而不是直接上神经网络很多初学会问既然最终目标是深度学习为什么不直接跳过SVM去学CNN这个问题我当时也问过自己。但实际做完之后我才明白线性SVM其实是理解神经网络的最小必要模型。一个线性分类器做的事情是 f(x) Wx b其中W是权重矩阵x是输入图像拉成的向量。神经网络无非是在这外面套了好几层非线性变换。如果你连“损失函数如何驱动W更新”都没亲手实现过后面看反向传播会像看天书。Hinge Loss的梯度只有两种值要么是0要么是某个累加量逻辑非常简单。把这个梯度的来龙去脉吃透了再回头看Softmax的交叉熵损失、再看两层的反向传播会发现很多概念都是一脉相承的。另外还有一个现实原因CS231n作业里提供了完整的代码框架包括数据加载、图像预处理、数值梯度检查工具等。你只需要在关键位置填上损失和梯度实现。但这个“只填几十行代码”的过程恰恰是整个作业最考验人的地方因为框架不会告诉你哪一步该向量化、哪一步该用mask矩阵这些都要你自己摸索。1.3 本次SVM作业与后续作业的联系做SVM时你会在CIFAR-10上完成一个完整的训练闭环定义损失 - 算梯度 - 更新权重 - 循环迭代 - 评估准确率。这个闭环在Assignment2的卷积神经网络、Assignment3的Transformer里会反复出现。而且作业里要求你做的“网格搜索超参数”在后面的作业里也经常要用到。还有一个更直接的联系做完SVM之后你会马上做Softmax。两者的数据准备、训练逻辑几乎一模一样唯一的变化是损失函数从Hinge Loss换成交叉熵。如果你把SVM这一步做得足够扎实做Softmax可能只需要改一个损失函数再加上数值稳定处理。很多同学后期速度快是因为SVM阶段已经把工程框架吃透了。2. 核心原理拆解多类SVM的损失与梯度2.1 多类Hinge Loss怎么读先约定符号。训练集有N张图片每张图片x_i被拉成长度为D的向量。类别数是C在CIFAR-10里C10。我们要学一个权重矩阵W形状是 C x D还有偏置b形状是 C x 1。对于第i张图片每个类别会得到一个得分 s_j W_j·x_i b_j其中j遍历所有类别。对于这张图片的正确类别y_i我们希望它的得分 s_{y_i} 比其他所有类别的得分都要高。多类SVM的损失定义为L_i Σ_{j≠y_i} max(0, s_j - s_{y_i} Δ)这里的Δ是margin课程作业里默认设成1。这个式子的意思是对于每个错误类别如果它的得分比正确类得分还高或者说差距没超过margin我们就要惩罚如果它比正确类低出至少Δ那这个错误类别的“坏影响”就是0不产生损失。用一个生活化的比方假设班级里有一个“正确答案”同学得分越高越好。你要求“错误答案”同学的得分最多只能比正确答案低一点点低于margin低得越多越安全。如果某个错误答案居然压过了正确答案或者差距不够大那就要记一笔账。SVM训练的本质就是不断让正确类的得分“碾压”所有错误类。2.2 为什么选max(0,·)这种形式Hinge Loss用max(0,·)有几个关键理由。第一它天然稀疏对于大量样本正确类和其他类的得分差距已经很安全损失和梯度都是0这时候它们对W的更新没有贡献相当于模型在“忽略”这些已经做对的样本。这种稀疏性让SVM的训练带有一种“只关注最难样本”的特性。第二它对“已经分类正确的样本”不产生额外的推动。软间隔SVM的哲学是“只要边界合适就好不需要把所有样本都推到离边界无穷远”。如果换成一个处处有梯度的损失函数比如平方损失那模型会花大量算力去优化那些已经做得不错的样本反而容易过拟合。第三max(0,·)在0点不可导但在实际实现中我们通常选取次梯度。作业里其实不需要处理这个数学细节因为代码实现时只需要判断条件是否满足大于0就取梯度否则就是0。提示margin Δ的取值固定为1时正则化强度λ实际上控制了“间隔偏好”和“边界宽度”的平衡。Δ越大要求正确类和错误类的得分差越大模型越难满足决策边界越保守。2.3 正则化不希望W只看一张图如果损失只包含上面的L_i模型会出现一个严重问题它会把训练样本记得死死的权重w的范数变得很大对噪声也特别敏感。为了缓解过拟合作业里在损失函数中加上了L2正则项L (1/N) * Σ_i L_i λ * Σ_k W_k^2正则项的本质是“惩罚权重过大”。为什么权重过大会导致过拟合可以这样想如果W的某个分量特别大那么输入x中对应的像素稍微变化一点得分就会剧烈波动。这相当于模型在“放大镜下”看待像素的微小差异很容易把噪声也当作模式。加上正则项后模型被迫用更小的权重、更平滑的边界去拟合训练数据。实际调参时你会发现λ的选择对最终准确率有非常直接的影响。λ太小训练集准确率可能很高但测试集上掉下来λ太大训练集准确率会明显受限因为模型太“保守”了。CIFAR-10上线性SVM比较合适的λ大概在1e-3到1e-2这个量级但具体值还是要通过网格搜索确认。2.4 梯度推导让W知道往哪走这里是最容易卡住的地方。我们需要计算的是损失函数对W的偏导。因为每个样本i只影响它自己的那部分损失我们先看单个样本的梯度再把所有样本的梯度累加。对于第i个样本设正确类得分为 s_{y_i}错误类别j的得分为 s_j。如果 s_j - s_{y_i} 1 0那么这个错误类别“激活”了损失。此时从 s_j 的角度看损失对 s_j 的偏导是 1从 s_{y_i} 的角度看因为 s_j - s_{y_i} 1 中 s_{y_i} 带负号所以损失对 s_{y_i} 的偏导是 -1又因为 s_j W_j·x_i所以损失对W_j的梯度是 x_i转置后对W_{y_i}的梯度是 -x_i。把所有激活的错误类别加起来设正确类之外有m个类别被激活即它们的得分与正确类得分的差不超过margin那么这一样本对正确类权重W_{y_i}的梯度贡献是 -m * x_i对每个被激活的错误类别权重W_j的梯度贡献是 1 * x_i对未被激活的类别梯度为0。这个逻辑用代码写起来非常简洁def svm_loss_vectorized(W, X, y, reg): num_train X.shape[0] num_classes W.shape[0] scores X.dot(W.T) # 形状 (N, C) correct_class_scores scores[np.arange(num_train), y].reshape(-1, 1) margins np.maximum(0, scores - correct_class_scores 1) margins[np.arange(num_train), y] 0 # 正确类自身不计入损失 loss np.sum(margins) / num_train loss reg * np.sum(W * W) # 计算梯度 binary margins binary[margins 0] 1 row_sum np.sum(binary, axis1) binary[np.arange(num_train), y] - row_sum dW binary.T.dot(X) / num_train 2 * reg * W return loss, dW我看很多初学者在算梯度时喜欢先对每个类别循环再对每个样本循环。其实正确的直觉是对每个样本先找出哪些错误类别“越界”了然后所有越界类别共享同一个gradient方向xi的方向而正确类别要吸收负梯度 越界类别数的相反数。批量计算时我们用矩阵操作把每个样本的越界情况记录下来再乘上X就得到了dW。数值梯度验证是作业的标准动作。做法是在某个很小的epsilon下用 (L(weps) - L(w-eps)) / (2*eps) 近似梯度再跟解析梯度比较相对误差。这个验证通过一遍基本可以确认损失和梯度实现没有低级错误。需要注意正则项也要算进梯度里否则你验证半天都会差一项。3. 实操过程从数据准备到训练闭环3.1 数据加载与预处理作业刚开始会让你加载CIFAR-10数据集。这里数据已经提前处理成numpy数组训练集是50000x3072测试集是10000x3072。3072 32323对应3通道彩色图像按RGB排列后拉平的向量。加载后第一件事就是均值减法。你计算训练集所有样本的每个像素均值得到一个3072维的均值向量然后在训练集和测试集上都减去这个均值。这一步非常关键因为减去均值后数据的中心在原点附近线性分类器学起来更容易收敛。如果不做均值减法你会看到损失下降异常缓慢准确率也上不去因为模型还要额外花力气去补偿像素的整体偏移。还有一个小细节作业里通常会把图像像素值从[0,255]缩放到[0,1]吗实际上CS231n的SVM作业并没有强制做归一化因为均值减法之后数值范围已经是[-127.5,127.5]这个量级配合合适的学习率比如1e-3到1e-2是可以工作的。但如果你用的是原始0-255像素学习率要相应调大否则更新步长太小。我个人习惯在减去均值后再除以标准差这样能让损失面更“圆”调参更加鲁棒。数据划分方面作业会要求从训练集里切出一部分作为验证集通常是50000中取5000做val剩下45000做train。验证集的用途是挑选超参数等超参数定下来后最后才在测试集上跑一次报告最终精度。一定不要用测试集调参这是作业反复强调的红线。3.2 朴素实现先写对再写快作业框架一开始会让你用双重循环实现损失函数。虽然它慢但它逻辑直白非常适合对照公式检查。我建议哪怕你已经有能力写向量化版本也先在草稿纸上或者注释里把双重循环版本写一遍因为它是你后面调试向量化实现的“参照物”。伪代码如下for i in range(num_train): scores_i X[i].dot(W.T) correct_score scores_i[y[i]] for j in range(num_classes): if j y[i]: continue margin scores_i[j] - correct_score 1 if margin 0: loss margin dW[j] X[i] dW[y[i]] - X[i]这个版本有两点值得注意。第一loss最后要除以N并加上正则项但梯度累加时我们先把每个样本的贡献加起来最后统一除以N再加正则梯度。第二在双重循环里每个样本的dW[y[i]]会被多次减法更新每个错误类别j则单独加一次这跟数学推导完全对应。写完朴素版后用作业提供的gradient_check工具验证一次。如果数值梯度跟解析梯度的相对误差在1e-5以下有的版本要求1e-6就说明实现对了。我第一次做的时候正则项忘记在数值验证里也加导致误差一直卡在1e-2级别折腾了半小时才反应过来。3.3 数值梯度验证为什么可靠数值梯度的思想很简单梯度是损失函数在权重空间某个点上的变化率。如果解析梯度算的是对的那么用极限定义去逼近得到的结果应该非常接近。作业封装好的check_gradient函数通常会随机选几个点对每个点生成一个小扰动计算 (f(theta h) - f(theta - h)) / (2h)。中心差分比单边差分更准确误差是O(h^2)。这个验证最大的价值是把你从“公式推导错误”中拯救出来。很多人算梯度时会把符号写反比如把正确类的负梯度写成正梯度数值验证能立刻暴露这个问题。唯一要留意的是验证时如果某个样本的loss正好落在hinge的“断点”附近max(0,·)的次梯度定义可能导致数值梯度与解析梯度稍有偏差这时可以换一个随机初始化的W重新验证。注意数值梯度验证时如果相对误差在1e-2左右往往是实现了但符号反了如果在1e-5左右基本可以说梯度实现正确。3.4 向量化实现真正理解矩阵运算双重循环版本在45000训练样本、10个类别上跑一次可能就要零点几秒而训练过程要跑几百次迭代那会慢到怀疑人生。向量化的目标是把所有样本的损失和梯度用矩阵乘法一次性算出来。向量化的核心就两行先算出所有样本对所有类别的得分矩阵scores形状(N, C)然后用广播机制把正确类别得分扩展到每一列然后算margins。梯度部分构建一个跟margins同形状的binary矩阵激活位置为1接着对行求和再把每个样本正确类位置的数值变成负的行求和数。这样每一行都表示这个样本的“权重分配”正确类分到负数越界类别分到正数其他为0。最后用binary.T.dot(X)累加所有样本的贡献。我测过一次向量化版本比双重循环快30到100倍而且代码更简洁。很多初学者一开始觉得向量化难主要是没把“每一行表示一个样本的权重分配方案”这个中间结果想清楚。一旦想明白了后面写Softmax的梯度也会非常顺手。3.5 SGD训练循环与学习率作业要求用完全批量梯度下降还是小批量SGD我记得Assignment1里给了SGD的框架batch size默认是200。SGD的核心是不用全部45000个样本算梯度而是每次随机抽一小批用这一批的梯度近似全量梯度。训练循环长得像这样learning_rate 1e-3 num_iters 1500 batch_size 200 for it in range(num_iters): idx np.random.choice(num_train, batch_size) X_batch X_train[idx] y_batch y_train[idx] loss, grad svm_loss_vectorized(W, X_batch, y_batch, reg) W - learning_rate * grad if it % 100 0: train_acc evaluate(W, X_train, y_train) val_acc evaluate(W, X_val, y_val)学习率是最难调的超参数。它太大损失会发散表现为loss直接变成NaN或者震荡剧烈它太小损失下降像蜗牛到训练结束精度仍然很低。我个人的经验是先试几个相差10倍的学习率1e-4、1e-3、1e-2看哪个在100次迭代内能让损失稳定下降然后在那个量级附近再细化搜索。SGD的随机性意味着每次跑的结果不完全一样但同一组超参数下最终精度波动不会太大。如果某次运行得到特别差的结果先别急着调参重新跑一次可能就正常了。作业里还要求记录loss的变化曲线通常你会看到loss前期下降很快后面逐渐平缓这是正常的收敛形态。3.6 训练完怎么检查权重可视化作业里有一个很直观的可视化步骤把训练好的W每一行重新reshape成32x32x3然后显示出来就能看到每个类别学到的“模板”。比如模型学到的“飞机”权重模板可能带有蓝色背景“车”的模板可能更亮一些“青蛙”的模板可能带着绿色调。因为CIFAR-10的像素是RGB三通道可视化时你把每一行W加回均值向量再归一化到[0,255]范围内显示即可。看到权重模板的那一刻你对“线性分类器到底学到了什么”会有非常直观的理解。它没有学到复杂的物体结构它学到的只是每个类别在像素空间中的平均模式。这也是为什么线性SVM在CIFAR-10上只能做到40%左右的原因因为图像本质上是线性不可分的。4. 调参实验与结果分析4.1 学习率与正则化强度的网格搜索作业要求你在验证集上搜索超参数。常见的做法是把learning_rate和reg各取几个值比如learning_rate在[1e-7, 5e-6, 1e-5, 5e-4]里选reg在[1e-3, 1e-2, 1e-1, 0.5]里选两两组合训练。但要注意SVM作业里的学习率其实会因为数据预处理方式不同而有巨大差异。如果你做了标准化学习率通常取1e-2到1e-1如果你只做了均值减法学习率1e-3左右更安全。我建议先固定reg1e-2只搜学习率找到学习率的大致量级后再固定这个学习率搜reg。这种“坐标下降”式搜索比全网格搜索高效很多因为不同超参数的影响不是完全独立的。4.2 观察损失曲线判断收敛训练时每100轮打印一次loss、train_acc、val_acc。合格的loss曲线应该是稳步下降的而且最终train_acc和val_acc的差距不能太大。如果train_acc很高但val_acc明显低说明过拟合应该增大reg。如果两个acc都低说明欠拟合可能是学习率太小或者迭代不够。如果loss来回震荡说明学习率偏大应该调小。这里有个容易被忽略的点SGD的batch size会影响梯度噪声从而影响可用的学习率。batch size越大梯度估计越准可以适当调大学习率batch size越小梯度噪声越大学习率要小一些。作业默认batch size200在这个设置下learning_rate1e-2配合标准化预处理表现不错如果用的是原始像素最好把学习率降到1e-4左右。4.3 最终精度预期不要抱不切实际的期望线性SVM在CIFAR-10上的水平经过好好调参训练集准确率大概在40%~45%验证集大概在35%~40%测试集能到35%~38%就非常不错了。很多初学者会不甘心试图用更大迭代次数或更极端的超参数把测试精度冲到40%以上。但线性模型的capacity就那么多再挣扎也很难突破45%。这个结果本身是有教育意义的它告诉你在图像分类任务中直接从原始像素做线性分类是有天花板。真正让精度发生质变的是特征工程比如HOG特征、颜色直方图以及后面的非线性神经网络。你在这个作业里体验到的“调参带来几个百分点的提升”会帮助你建立对模型容量的直觉。4.4 与KNN的对比做完SVM后作业会让你比较SVM和KNN的精度与速度。KNN在CIFAR-10上调整k值后最多能到28%左右而SVM轻松到38%。更关键的是预测速度KNN需要把测试样本和所有训练样本算距离预测一张图可能要遍历45000个样本SVM只需要做一次矩阵乘法预测10000张测试图也就几秒钟。这个对比让我当时印象很深一个模型哪怕精度稍微高点如果每次预测都这么慢实际部署根本不可用。这也是为什么作业要在开头放KNN目的就是让你亲身体验为什么业界不用KNN做大规模图像分类。4.5 一个常见的误解SVM是“支持向量机”吗线性SVM的作业实现的是软间隔多类SVM的简化版但你并没有在代码里显式找到“支持向量”。它其实是用梯度下降优化了SVM的目标函数等价于训练了一个带Hinge Loss的线性模型。真正的支持向量是那些落在margin边界附近、对决策边界有影响的训练样本。在作业的SGD实现里支持向量的概念是隐式的它们就是对loss贡献不为0的那些样本。如果将来你去看SVM的原始优化理论会发现有KKT条件、对偶求解等完全不同的推导路线。但CS231n课程刻意选择了“损失函数梯度下降”这条路线因为它跟深度学习的训练方式完全一致这才是这门课的核心目的。5. 常见问题与排查技巧实录5.1 损失变成NaNNaN几乎是每个做这个作业的人都会遇到的第一个问题。原因通常是学习率设得太大导致权重更新后得分变得巨大Hinge Loss里的得分差值溢出或者梯度数值爆炸。解决办法很简单调低学习率。如果学习率已经很低还是NaN检查一下是不是输入数据里有NaN值或者标准化时除的是0某个通道标准差为0。还有一个不太容易想到的坑如果你的梯度实现里把正则项梯度写成了2 * reg * W但在损失里用了np.sum(W*W)这没问题。但如果你误把正则项梯度写成reg * W数值梯度验证会通过不了但训练时不太会NaN而是精度很低。所以看到NaN先怀疑学习率看到精度异常再回头检查梯度公式。5.2 梯度检查永远过不了数值梯度验证不过常见有三种原因。第一种解析梯度里漏了正则项或者正则项梯度写错。第二种梯度的符号搞反了比如把 dW[y[i]] 写成了 X[i] 而不是 - X[i]。第三种检查时选的W维度太小数值梯度因为浮点精度问题匹配不上这种情况可以增大W的scale乘以10再试。我踩过的一个很隐蔽的坑是在向量化实现里我用margins本身作为binary矩阵但margins里存的可能是小数比如0.5而我需要的是0/1标记。必须单独用一个 0 的布尔矩阵来标记激活位置不能复用margins。如果直接用margins当梯度系数数值梯度检查也过不了。下面是问题排查速查表现象可能原因优先排查动作lossNaN学习率太大或梯度爆炸学习率降到1e-5试一次梯度检查相对误差1e-2梯度符号错或漏正则项逐项对比朴素实现训练集准确率低学习率太小或迭代不够增大学习率或增大迭代次数训练集高验证集低过拟合reg太小增大regloss震荡不下降学习率偏大学习率减半再试精度稳定但上不去模型容量天花板换特征或加深模型5.3 学习率怎么找比较稳我推荐一个非常省事的方法先不训练只观察初始loss和梯度。在第一次迭代时loss应该接近设定值附近。然后你用一个“安全”的学习率比如1e-3跑100次迭代画出loss下降曲线。如果loss在前几十次迭代下降明显说明学习率可用。如果loss几乎不动就调大10倍再试。如果loss爆炸就调小10倍。用这种“对数尺度搜索”两三次就能定位到合适量级比盲目网格搜索高效得多。5.4 记住不要在测试集上调参这个问题我见很多人犯过。他们为了刷高测试精度频繁在测试集上评估修改模型。这个做法的恶果是最后你报告的数字是“被调参污染”的数字不能反映模型泛化能力。作业里明确要求所有超参数选择都要在验证集上做最后只在测试集上跑一次。一个实际经验你把学习率、reg、迭代次数确定后可以在验证集上多跑几次取平均因为SGD随机性会导致单次结果有波动。最后再用最好的超参数组合在训练集验证集的全量数据上重新训练一遍如果作业允许再到测试集上评估。这个流程跟真实竞赛里的做法一致能最大程度保证结果的可靠性。5.5 一个调试小技巧过拟合单个样本当你把SVM从零实现完但不确定整个训练流程是否正常时一个很有效的测试是只让模型过拟合10个训练样本。如果模型能做到在这10个样本上准确率100%通常几十次迭代就行说明损失、梯度、更新过程基本没有问题。如果连10个样本都过拟合不了那一定是某个环节出了错。这个技巧在后面的神经网络作业里也特别有用建议养成本能。结尾这门作业带给我的东西做完了CS231n Spring 2020 Assignment1的SVM Classifier之后我自己最大的收获不是“我会算Hinge Loss了”而是终于建立起了“损失函数 - 梯度 - 参数更新”这个闭环的心智模型。以前看论文里写“我们用梯度下降优化目标函数”总觉得这句话轻飘飘真正自己动手写过一遍才发现里面的细节多得惊人数据预处理方式会改变可用的学习率范围向量化实现要时刻警惕维度变化正则化强度一个数量级的差别就能让验证集准确率波动好几个点。如果你正在做这个作业我的建议是不要急着抄代码哪怕你是参考别人实现也一定要在自己的笔记本上把每一行代码对应的数学含义写出来。尤其是那个binary矩阵的构造逻辑你彻底想明白它就等于理解了一半线性分类器。另外作业做完后非常推荐把SVM改成Softmax你会看到两者的代码结构几乎完全一样只是损失和梯度变了一下这个对比能让你对损失函数的作用有更深的认识。最后留一个小技巧做完SVM后你可以把CIFAR-10的原始像素换成一阶的图像特征比如色彩直方图加梯度直方图再用同一个向量化SVM训练你会发现准确率能一下子冲到45%以上。这个实验能最直观地让你理解“数据表达”和“模型能力”的关系也为后面学CNN时“特征自动学习”的价值做了一次很好的铺垫。
