1. 从零搭网络这件事为什么值得反复折腾很多人学神经网络卡在第一步教程里全是model.fit()两行代码跑完准确率还挺高但问他反向传播到底在算什么答不上来。我自己也经历过这个阶段——调包调得飞起一到要改结构、换损失函数、排查梯度异常整个人就懵了。后来我逼着自己用纯Python和NumPy把前馈网络、卷积网络、循环网络各写了一遍才真正把那些公式和代码对应上。这篇是Python神经网络从零开始系列的第十一篇前面十篇我们陆续搭了单层感知机、多层前馈网络、手写数字识别、损失函数、优化器、正则化、批归一化、卷积层、池化层、循环单元这些零件。到这一篇我想做一件更整的事把前馈神经网络从输入到输出高维向量的完整链路串起来讲透同时把反向传播的每一个梯度推导落到代码上。关键词里出现了前馈神经网络神经网络反向传播详解人脸识别图像进入神经网络到输出高维度向量的过程这三个词其实指向同一件事——一张图或者一组特征是怎么一步步变成一串数字向量的以及这串向量背后的参数是怎么被训练出来的。适合谁看如果你已经会Python基础语法装过numpy看过一些神经网络的概念但没自己手写过反向传播这篇就是给你准备的。如果你已经能调包训练模型但想搞清楚底层在干什么这篇也能帮你把黑盒拆开。我会尽量用生活化的类比解释矩阵运算和链式法则同时给出可以直接跑的代码。全文不依赖任何深度学习框架只用NumPy这样每一行计算你都能追踪。先说清楚一个前提从零实现的价值不在于替代PyTorch或TensorFlow而在于建立直觉。当你自己算过一次梯度、调过一次学习率、见过一次梯度爆炸再用框架时排查问题的速度完全不一样。这是我反复折腾这件事的最大理由。2. 前馈网络的正向链路一张图怎么变成一串向量2.1 从像素到特征输入的预处理不是可有可无假设我们处理一张人脸图像尺寸是112×112的灰度图。原始输入是一个二维数组值域0到255。第一步是把它拉平成一个长度为12544的一维向量然后归一化到0到1之间。这一步看起来简单但坑不少。归一化的目的是让所有输入特征处于同一量级。如果像素值在0到255而某个手工特征在0到1网络在初始化权重后大数值输入会导致激活值爆炸梯度也跟着失控。我习惯用x x / 255.0如果数据分布偏斜严重还会做零均值化x (x - mean) / std。零均值化的好处是让激活值围绕0分布配合ReLU时梯度更稳定。import numpy as np def preprocess_image(img): # img: (H, W) 灰度图值域0-255 x img.astype(np.float32) / 255.0 x x.flatten() # 拉平成 (H*W,) mean x.mean() std x.std() 1e-8 x (x - mean) / std return x这里加1e-8是防止除零这是我从实际调试里养成的习惯。曾经有一次整批图像都是纯色std为0整个网络输出全是NaN排查了半天才发现是这里的问题。2.2 全连接层的矩阵表达为什么是Wxb一个全连接层的核心计算是y Wx b。假设输入维度是12544输出维度是256那么W的形状是(256, 12544)b的形状是(256,)。为什么W是(输出, 输入)而不是反过来因为我们要做的是W x矩阵乘法要求W的列数等于x的行数所以W必须是(输出维度, 输入维度)。class Linear: def __init__(self, in_features, out_features): # He初始化适合ReLU self.W np.random.randn(out_features, in_features) * np.sqrt(2.0 / in_features) self.b np.zeros(out_features) self.x None self.dW None self.db None def forward(self, x): self.x x return self.W x self.b def backward(self, grad_output): self.dW np.outer(grad_output, self.x) self.db grad_output return self.W.T grad_outputHe初始化里乘以sqrt(2/in_features)是有讲究的。如果直接用标准正态初始化深层网络的激活值方差会逐层衰减或放大。He初始化让每层输出的方差保持稳定这是Kaiming He在2015年提出的配合ReLU效果很好。我试过用sqrt(1/in_features)的Xavier初始化配ReLU训练初期收敛明显慢一些。2.3 激活函数ReLU为什么成了默认选择没有激活函数多层全连接堆叠起来等价于一层线性变换再深也没用。ReLU的定义是max(0, x)导数在x0时为1x0时为0。它的优势是计算简单、梯度不饱和正区间相比Sigmoid在深层网络里梯度消失问题轻很多。class ReLU: def __init__(self): self.mask None def forward(self, x): self.mask (x 0) return x * self.mask def backward(self, grad_output): return grad_output * self.mask注意backward里用的是forward时保存的mask而不是重新判断x 0。因为反向传播时输入可能已经被修改用保存的mask更安全。这个细节我在早期实现时踩过坑当时在backward里重新算结果因为原地操作导致结果不对。2.4 堆叠成网络从12544维到128维向量的完整流程现在把层堆起来。一个典型的前馈网络可能是12544 - 512 - 256 - 128。最后一层输出128维向量这个向量就是图像的高维特征表示可以用于人脸比对、检索或者分类。class MLP: def __init__(self, dims): self.layers [] for i in range(len(dims) - 1): self.layers.append(Linear(dims[i], dims[i1])) if i len(dims) - 2: self.layers.append(ReLU()) def forward(self, x): for layer in self.layers: x layer.forward(x) return x前向传播的过程本质上是一系列矩阵乘法和非线性变换的交替。每一层都在做线性投影非线性激活逐步把原始像素空间映射到一个语义更集中的特征空间。128维向量里每一维可能对应某种抽象特征比如脸型、肤色、五官比例等。这就是关键词里人脸识别图像进入神经网络到输出高维度向量的过程的实际含义。3. 反向传播的梯度推导链式法则到底怎么落地3.1 损失函数从输出向量到标量训练需要有一个标量损失。假设我们做分类最后一层输出128维再接一个分类头输出10类用交叉熵损失。交叉熵的公式是L -sum(y_true * log(y_pred))其中y_pred是softmax后的概率。def softmax(x): x x - np.max(x) # 数值稳定 exp_x np.exp(x) return exp_x / exp_x.sum() def cross_entropy_loss(logits, label): probs softmax(logits) loss -np.log(probs[label] 1e-12) return loss, probsnp.max(x)这一步是数值稳定技巧。如果不减最大值exp可能溢出成inf。这个技巧几乎所有框架内部都做了自己实现时千万别省。3.2 输出层梯度softmax加交叉熵的优雅导数softmax加交叉熵的组合有一个非常漂亮的导数dL/dlogits probs - one_hot(label)。也就是说预测概率减去真实标签的one-hot向量。这个结果比单独求softmax的雅可比矩阵再乘交叉熵导数简单太多也是为什么分类任务偏爱这个组合。def softmax_cross_entropy_backward(probs, label): grad probs.copy() grad[label] - 1.0 return grad我第一次推导这个结果时觉得不可思议后来用链式法则一步步展开才确认。这个梯度意味着如果预测正确且概率接近1梯度接近0如果预测错误梯度大小与错误程度成正比。直观上很合理。3.3 逐层回传全连接层和ReLU的梯度计算有了输出层梯度就可以逐层往回传。对于全连接层y Wx b已知dL/dy则dL/dW dL/dy x.T外积形式dL/db dL/dydL/dx W.T dL/dy对于ReLUdL/dx dL/dy * (x 0)。def backward(self, grad): # 从最后一层往前 for layer in reversed(self.layers): grad layer.backward(grad) return grad这里的关键是顺序反向传播必须严格按前向的逆序进行。因为每一层的梯度依赖后一层的梯度顺序错了结果就全错。我在调试时习惯打印每层梯度的范数如果某一层范数突然变成0或者爆炸就能快速定位问题。3.4 参数更新梯度下降的每一步拿到所有层的dW和db后用梯度下降更新def step(self, lr): for layer in self.layers: if hasattr(layer, W): layer.W - lr * layer.dW layer.b - lr * layer.db学习率lr的选择很关键。太大导致震荡不收敛太小收敛慢。我一般从0.01开始试配合Adam优化器可以到0.001。纯SGD的话0.01到0.1之间比较常见。这里有个经验如果损失曲线在前几个epoch就剧烈震荡先把学习率除以10。4. 训练循环里的那些坑从损失不下降到梯度爆炸4.1 损失不下降的排查顺序损失不下降是最常见的问题。我的排查顺序是先看数据预处理对不对再看标签有没有对齐然后看初始化最后看学习率。有一次我训练一个人脸特征网络损失一直卡在2.3左右10类分类的随机水平查了两小时发现是标签和图像错位了——数据加载时shuffle了图像没shuffle标签。这种低级错误在实际项目里非常常见。另一个常见原因是初始化。如果所有W初始化为0所有神经元输出相同梯度也相同网络永远学不到东西。这叫对称性问题。所以初始化必须随机。4.2 梯度爆炸与梯度消失的识别梯度爆炸的表现是损失变成NaN或者参数值突然变得极大。梯度消失的表现是靠近输入的层梯度接近0参数几乎不更新。识别方法很简单在backward里打印每层梯度的L2范数。for i, layer in enumerate(reversed(self.layers)): if hasattr(layer, dW): print(flayer {i} grad norm: {np.linalg.norm(layer.dW):.6f})如果发现梯度范数逐层指数衰减就是梯度消失指数增长就是爆炸。梯度爆炸可以用梯度裁剪解决def clip_gradients(self, max_norm5.0): total_norm 0 for layer in self.layers: if hasattr(layer, dW): total_norm np.sum(layer.dW ** 2) total_norm np.sqrt(total_norm) if total_norm max_norm: scale max_norm / (total_norm 1e-6) for layer in self.layers: if hasattr(layer, dW): layer.dW * scale layer.db * scale梯度裁剪在RNN里几乎是必备的前馈网络里如果层数很深也建议加上。4.3 批大小与学习率的联动批大小影响梯度的噪声程度。批太小梯度噪声大训练不稳定批太大梯度太准容易陷入尖锐极小值泛化差。经验上批大小翻倍学习率也可以适当放大但不是线性关系。我一般用32或64的批大小配合0.001的学习率起步。还有一个细节批归一化BatchNorm对批大小敏感。如果批太小比如2BatchNorm的统计量不准效果反而变差。这时候可以考虑用LayerNorm或者GroupNorm。这些归一化层我们在前面几篇已经实现过这里不展开。4.4 过拟合的早期信号与应对训练集损失下降但验证集损失上升就是过拟合的信号。应对手段有加L2正则、加Dropout、数据增强、早停。L2正则是在损失里加lambda * sum(W**2)梯度里对应加lambda * W。Dropout是在训练时随机置零一部分神经元推理时按比例缩放。class Dropout: def __init__(self, p0.5): self.p p self.mask None def forward(self, x, trainingTrue): if not training: return x self.mask (np.random.rand(*x.shape) self.p) / (1 - self.p) return x * self.mask def backward(self, grad): return grad * self.mask注意推理时要关闭Dropout否则结果会随机波动。这个training标志在框架里是自动切换的自己实现时要手动管理。5. 从特征向量到实际应用人脸识别里的向量比对5.1 高维向量的相似度度量前面网络输出的128维向量在人脸识别里通常要做L2归一化然后用余弦相似度比对。余弦相似度是两向量点积除以模长乘积归一化后就是点积。def cosine_similarity(a, b): a a / (np.linalg.norm(a) 1e-8) b b / (np.linalg.norm(b) 1e-8) return np.dot(a, b)阈值一般设在0.5到0.7之间具体看业务对误拒和误受的容忍度。我做过的一个项目里阈值0.6时误拒率约3%误受率约0.1%。这个权衡需要根据场景调整。5.2 训练目标分类还是度量学习如果只是分类用softmax交叉熵就够了。但如果要做人脸比对分类损失不够——它只保证类间可分不保证类内紧凑。这时候要用度量学习比如三元组损失Triplet Loss拉近同类样本距离推远异类样本距离。def triplet_loss(anchor, positive, negative, margin0.3): pos_dist np.sum((anchor - positive) ** 2) neg_dist np.sum((anchor - negative) ** 2) loss max(0, pos_dist - neg_dist margin) return loss三元组损失的难点在样本挖掘。随机选的三元组大部分满足pos_dist margin neg_dist损失为0没有梯度。所以要选难样本——那些容易混淆的。这个我们在后续篇目会详细讲。5.3 推理阶段的批处理与加速实际部署时一张一张推理太慢要批处理。把多张图堆成一个矩阵一次前向算出所有特征向量。矩阵运算的并行性在这里体现得很明显批大小64比批大小1快几十倍。def extract_features(model, images): # images: (N, H*W) features model.forward(images.T).T # 假设forward支持批量 norms np.linalg.norm(features, axis1, keepdimsTrue) return features / (norms 1e-8)注意这里的维度处理。如果Linear层是按单样本写的批量时要转置。我在实现时习惯让Linear支持批量即输入是(N, in_features)W是(out, in)输出是(N, out)。这样更符合实际使用。6. 自己实现和调包的分界线在哪里写了这么多最后聊聊我自己的体会。从零实现神经网络最大的收获不是我会写而是我知道框架在干什么。当PyTorch报一个维度不匹配的错误我能立刻反应是哪一层的输入输出对不上当损失不下降我知道从数据、初始化、学习率、梯度这几个方向排查当模型过拟合我知道该加什么正则。但实际项目里我不会用自己写的NumPy网络去训练大模型。原因很简单没有GPU加速没有自动微分没有成熟的优化器实现。自己实现的版本适合小规模验证和学习生产环境还是用框架。这个分界线要清楚。如果你跟着这个系列一路写下来建议做一件事拿一个真实的小数据集比如MNIST或者CIFAR-10的子集用自己写的网络训练到能跑通然后换成PyTorch训练同样的结构对比两者的损失曲线和准确率。你会发现当超参数一致时结果应该非常接近。如果差很多说明你的实现里有bug。这个对比过程本身就是最好的调试练习。另外关键词里提到的卷积神经网络算法原理LSTM神经网络图神经网络这些都是在前馈网络基础上的扩展。前馈网络是地基地基打牢了上面盖什么楼都稳。我见过太多人直接上手Transformer结果连矩阵乘法的维度都搞不清调参全靠玄学。慢就是快把这一篇的每个梯度推导自己手算一遍比看十篇教程都管用。最后分享一个小技巧调试反向传播时用数值梯度做校验。对某个参数w计算(L(weps) - L(w-eps)) / (2*eps)和反向传播算出的梯度对比误差应该在1e-6以内。这个方法叫梯度检验是排查反向传播bug的终极武器。我每次写完新的层都会用它验一遍能省下大量排查时间。
1. 从零搭网络这件事为什么值得反复折腾很多人学神经网络卡在第一步教程里全是model.fit()两行代码跑完准确率还挺高但问他反向传播到底在算什么答不上来。我自己也经历过这个阶段——调包调得飞起一到要改结构、换损失函数、排查梯度异常整个人就懵了。后来我逼着自己用纯Python和NumPy把前馈网络、卷积网络、循环网络各写了一遍才真正把那些公式和代码对应上。这篇是Python神经网络从零开始系列的第十一篇前面十篇我们陆续搭了单层感知机、多层前馈网络、手写数字识别、损失函数、优化器、正则化、批归一化、卷积层、池化层、循环单元这些零件。到这一篇我想做一件更整的事把前馈神经网络从输入到输出高维向量的完整链路串起来讲透同时把反向传播的每一个梯度推导落到代码上。关键词里出现了前馈神经网络神经网络反向传播详解人脸识别图像进入神经网络到输出高维度向量的过程这三个词其实指向同一件事——一张图或者一组特征是怎么一步步变成一串数字向量的以及这串向量背后的参数是怎么被训练出来的。适合谁看如果你已经会Python基础语法装过numpy看过一些神经网络的概念但没自己手写过反向传播这篇就是给你准备的。如果你已经能调包训练模型但想搞清楚底层在干什么这篇也能帮你把黑盒拆开。我会尽量用生活化的类比解释矩阵运算和链式法则同时给出可以直接跑的代码。全文不依赖任何深度学习框架只用NumPy这样每一行计算你都能追踪。先说清楚一个前提从零实现的价值不在于替代PyTorch或TensorFlow而在于建立直觉。当你自己算过一次梯度、调过一次学习率、见过一次梯度爆炸再用框架时排查问题的速度完全不一样。这是我反复折腾这件事的最大理由。2. 前馈网络的正向链路一张图怎么变成一串向量2.1 从像素到特征输入的预处理不是可有可无假设我们处理一张人脸图像尺寸是112×112的灰度图。原始输入是一个二维数组值域0到255。第一步是把它拉平成一个长度为12544的一维向量然后归一化到0到1之间。这一步看起来简单但坑不少。归一化的目的是让所有输入特征处于同一量级。如果像素值在0到255而某个手工特征在0到1网络在初始化权重后大数值输入会导致激活值爆炸梯度也跟着失控。我习惯用x x / 255.0如果数据分布偏斜严重还会做零均值化x (x - mean) / std。零均值化的好处是让激活值围绕0分布配合ReLU时梯度更稳定。import numpy as np def preprocess_image(img): # img: (H, W) 灰度图值域0-255 x img.astype(np.float32) / 255.0 x x.flatten() # 拉平成 (H*W,) mean x.mean() std x.std() 1e-8 x (x - mean) / std return x这里加1e-8是防止除零这是我从实际调试里养成的习惯。曾经有一次整批图像都是纯色std为0整个网络输出全是NaN排查了半天才发现是这里的问题。2.2 全连接层的矩阵表达为什么是Wxb一个全连接层的核心计算是y Wx b。假设输入维度是12544输出维度是256那么W的形状是(256, 12544)b的形状是(256,)。为什么W是(输出, 输入)而不是反过来因为我们要做的是W x矩阵乘法要求W的列数等于x的行数所以W必须是(输出维度, 输入维度)。class Linear: def __init__(self, in_features, out_features): # He初始化适合ReLU self.W np.random.randn(out_features, in_features) * np.sqrt(2.0 / in_features) self.b np.zeros(out_features) self.x None self.dW None self.db None def forward(self, x): self.x x return self.W x self.b def backward(self, grad_output): self.dW np.outer(grad_output, self.x) self.db grad_output return self.W.T grad_outputHe初始化里乘以sqrt(2/in_features)是有讲究的。如果直接用标准正态初始化深层网络的激活值方差会逐层衰减或放大。He初始化让每层输出的方差保持稳定这是Kaiming He在2015年提出的配合ReLU效果很好。我试过用sqrt(1/in_features)的Xavier初始化配ReLU训练初期收敛明显慢一些。2.3 激活函数ReLU为什么成了默认选择没有激活函数多层全连接堆叠起来等价于一层线性变换再深也没用。ReLU的定义是max(0, x)导数在x0时为1x0时为0。它的优势是计算简单、梯度不饱和正区间相比Sigmoid在深层网络里梯度消失问题轻很多。class ReLU: def __init__(self): self.mask None def forward(self, x): self.mask (x 0) return x * self.mask def backward(self, grad_output): return grad_output * self.mask注意backward里用的是forward时保存的mask而不是重新判断x 0。因为反向传播时输入可能已经被修改用保存的mask更安全。这个细节我在早期实现时踩过坑当时在backward里重新算结果因为原地操作导致结果不对。2.4 堆叠成网络从12544维到128维向量的完整流程现在把层堆起来。一个典型的前馈网络可能是12544 - 512 - 256 - 128。最后一层输出128维向量这个向量就是图像的高维特征表示可以用于人脸比对、检索或者分类。class MLP: def __init__(self, dims): self.layers [] for i in range(len(dims) - 1): self.layers.append(Linear(dims[i], dims[i1])) if i len(dims) - 2: self.layers.append(ReLU()) def forward(self, x): for layer in self.layers: x layer.forward(x) return x前向传播的过程本质上是一系列矩阵乘法和非线性变换的交替。每一层都在做线性投影非线性激活逐步把原始像素空间映射到一个语义更集中的特征空间。128维向量里每一维可能对应某种抽象特征比如脸型、肤色、五官比例等。这就是关键词里人脸识别图像进入神经网络到输出高维度向量的过程的实际含义。3. 反向传播的梯度推导链式法则到底怎么落地3.1 损失函数从输出向量到标量训练需要有一个标量损失。假设我们做分类最后一层输出128维再接一个分类头输出10类用交叉熵损失。交叉熵的公式是L -sum(y_true * log(y_pred))其中y_pred是softmax后的概率。def softmax(x): x x - np.max(x) # 数值稳定 exp_x np.exp(x) return exp_x / exp_x.sum() def cross_entropy_loss(logits, label): probs softmax(logits) loss -np.log(probs[label] 1e-12) return loss, probsnp.max(x)这一步是数值稳定技巧。如果不减最大值exp可能溢出成inf。这个技巧几乎所有框架内部都做了自己实现时千万别省。3.2 输出层梯度softmax加交叉熵的优雅导数softmax加交叉熵的组合有一个非常漂亮的导数dL/dlogits probs - one_hot(label)。也就是说预测概率减去真实标签的one-hot向量。这个结果比单独求softmax的雅可比矩阵再乘交叉熵导数简单太多也是为什么分类任务偏爱这个组合。def softmax_cross_entropy_backward(probs, label): grad probs.copy() grad[label] - 1.0 return grad我第一次推导这个结果时觉得不可思议后来用链式法则一步步展开才确认。这个梯度意味着如果预测正确且概率接近1梯度接近0如果预测错误梯度大小与错误程度成正比。直观上很合理。3.3 逐层回传全连接层和ReLU的梯度计算有了输出层梯度就可以逐层往回传。对于全连接层y Wx b已知dL/dy则dL/dW dL/dy x.T外积形式dL/db dL/dydL/dx W.T dL/dy对于ReLUdL/dx dL/dy * (x 0)。def backward(self, grad): # 从最后一层往前 for layer in reversed(self.layers): grad layer.backward(grad) return grad这里的关键是顺序反向传播必须严格按前向的逆序进行。因为每一层的梯度依赖后一层的梯度顺序错了结果就全错。我在调试时习惯打印每层梯度的范数如果某一层范数突然变成0或者爆炸就能快速定位问题。3.4 参数更新梯度下降的每一步拿到所有层的dW和db后用梯度下降更新def step(self, lr): for layer in self.layers: if hasattr(layer, W): layer.W - lr * layer.dW layer.b - lr * layer.db学习率lr的选择很关键。太大导致震荡不收敛太小收敛慢。我一般从0.01开始试配合Adam优化器可以到0.001。纯SGD的话0.01到0.1之间比较常见。这里有个经验如果损失曲线在前几个epoch就剧烈震荡先把学习率除以10。4. 训练循环里的那些坑从损失不下降到梯度爆炸4.1 损失不下降的排查顺序损失不下降是最常见的问题。我的排查顺序是先看数据预处理对不对再看标签有没有对齐然后看初始化最后看学习率。有一次我训练一个人脸特征网络损失一直卡在2.3左右10类分类的随机水平查了两小时发现是标签和图像错位了——数据加载时shuffle了图像没shuffle标签。这种低级错误在实际项目里非常常见。另一个常见原因是初始化。如果所有W初始化为0所有神经元输出相同梯度也相同网络永远学不到东西。这叫对称性问题。所以初始化必须随机。4.2 梯度爆炸与梯度消失的识别梯度爆炸的表现是损失变成NaN或者参数值突然变得极大。梯度消失的表现是靠近输入的层梯度接近0参数几乎不更新。识别方法很简单在backward里打印每层梯度的L2范数。for i, layer in enumerate(reversed(self.layers)): if hasattr(layer, dW): print(flayer {i} grad norm: {np.linalg.norm(layer.dW):.6f})如果发现梯度范数逐层指数衰减就是梯度消失指数增长就是爆炸。梯度爆炸可以用梯度裁剪解决def clip_gradients(self, max_norm5.0): total_norm 0 for layer in self.layers: if hasattr(layer, dW): total_norm np.sum(layer.dW ** 2) total_norm np.sqrt(total_norm) if total_norm max_norm: scale max_norm / (total_norm 1e-6) for layer in self.layers: if hasattr(layer, dW): layer.dW * scale layer.db * scale梯度裁剪在RNN里几乎是必备的前馈网络里如果层数很深也建议加上。4.3 批大小与学习率的联动批大小影响梯度的噪声程度。批太小梯度噪声大训练不稳定批太大梯度太准容易陷入尖锐极小值泛化差。经验上批大小翻倍学习率也可以适当放大但不是线性关系。我一般用32或64的批大小配合0.001的学习率起步。还有一个细节批归一化BatchNorm对批大小敏感。如果批太小比如2BatchNorm的统计量不准效果反而变差。这时候可以考虑用LayerNorm或者GroupNorm。这些归一化层我们在前面几篇已经实现过这里不展开。4.4 过拟合的早期信号与应对训练集损失下降但验证集损失上升就是过拟合的信号。应对手段有加L2正则、加Dropout、数据增强、早停。L2正则是在损失里加lambda * sum(W**2)梯度里对应加lambda * W。Dropout是在训练时随机置零一部分神经元推理时按比例缩放。class Dropout: def __init__(self, p0.5): self.p p self.mask None def forward(self, x, trainingTrue): if not training: return x self.mask (np.random.rand(*x.shape) self.p) / (1 - self.p) return x * self.mask def backward(self, grad): return grad * self.mask注意推理时要关闭Dropout否则结果会随机波动。这个training标志在框架里是自动切换的自己实现时要手动管理。5. 从特征向量到实际应用人脸识别里的向量比对5.1 高维向量的相似度度量前面网络输出的128维向量在人脸识别里通常要做L2归一化然后用余弦相似度比对。余弦相似度是两向量点积除以模长乘积归一化后就是点积。def cosine_similarity(a, b): a a / (np.linalg.norm(a) 1e-8) b b / (np.linalg.norm(b) 1e-8) return np.dot(a, b)阈值一般设在0.5到0.7之间具体看业务对误拒和误受的容忍度。我做过的一个项目里阈值0.6时误拒率约3%误受率约0.1%。这个权衡需要根据场景调整。5.2 训练目标分类还是度量学习如果只是分类用softmax交叉熵就够了。但如果要做人脸比对分类损失不够——它只保证类间可分不保证类内紧凑。这时候要用度量学习比如三元组损失Triplet Loss拉近同类样本距离推远异类样本距离。def triplet_loss(anchor, positive, negative, margin0.3): pos_dist np.sum((anchor - positive) ** 2) neg_dist np.sum((anchor - negative) ** 2) loss max(0, pos_dist - neg_dist margin) return loss三元组损失的难点在样本挖掘。随机选的三元组大部分满足pos_dist margin neg_dist损失为0没有梯度。所以要选难样本——那些容易混淆的。这个我们在后续篇目会详细讲。5.3 推理阶段的批处理与加速实际部署时一张一张推理太慢要批处理。把多张图堆成一个矩阵一次前向算出所有特征向量。矩阵运算的并行性在这里体现得很明显批大小64比批大小1快几十倍。def extract_features(model, images): # images: (N, H*W) features model.forward(images.T).T # 假设forward支持批量 norms np.linalg.norm(features, axis1, keepdimsTrue) return features / (norms 1e-8)注意这里的维度处理。如果Linear层是按单样本写的批量时要转置。我在实现时习惯让Linear支持批量即输入是(N, in_features)W是(out, in)输出是(N, out)。这样更符合实际使用。6. 自己实现和调包的分界线在哪里写了这么多最后聊聊我自己的体会。从零实现神经网络最大的收获不是我会写而是我知道框架在干什么。当PyTorch报一个维度不匹配的错误我能立刻反应是哪一层的输入输出对不上当损失不下降我知道从数据、初始化、学习率、梯度这几个方向排查当模型过拟合我知道该加什么正则。但实际项目里我不会用自己写的NumPy网络去训练大模型。原因很简单没有GPU加速没有自动微分没有成熟的优化器实现。自己实现的版本适合小规模验证和学习生产环境还是用框架。这个分界线要清楚。如果你跟着这个系列一路写下来建议做一件事拿一个真实的小数据集比如MNIST或者CIFAR-10的子集用自己写的网络训练到能跑通然后换成PyTorch训练同样的结构对比两者的损失曲线和准确率。你会发现当超参数一致时结果应该非常接近。如果差很多说明你的实现里有bug。这个对比过程本身就是最好的调试练习。另外关键词里提到的卷积神经网络算法原理LSTM神经网络图神经网络这些都是在前馈网络基础上的扩展。前馈网络是地基地基打牢了上面盖什么楼都稳。我见过太多人直接上手Transformer结果连矩阵乘法的维度都搞不清调参全靠玄学。慢就是快把这一篇的每个梯度推导自己手算一遍比看十篇教程都管用。最后分享一个小技巧调试反向传播时用数值梯度做校验。对某个参数w计算(L(weps) - L(w-eps)) / (2*eps)和反向传播算出的梯度对比误差应该在1e-6以内。这个方法叫梯度检验是排查反向传播bug的终极武器。我每次写完新的层都会用它验一遍能省下大量排查时间。
