1. 从“CNN 101”说起为什么极简神经网络又火了最近技术圈里“CNN 101”这个说法被反复提起我一开始以为是某个新出的课程编号后来翻了一圈才发现它指的是一类极简卷积神经网络实现——用最少的代码、最少的层数把卷积神经网络的核心机制跑通。配合“手慢无”这种字眼其实反映了一个很现实的需求很多人想入门深度学习但被各种框架和论文劝退了。我自己带过不少刚入行的朋友发现一个共性痛点大家都能背出“卷积、池化、全连接”这几个词但真让他从零写一个能跑的手写数字识别往往卡在张量维度对不上、反向传播梯度消失、训练不收敛这些地方。而“CNN 101”这类极简实现恰恰是解决这个痛点的最佳切入点——它不追求SOTA精度只追求每一行代码你都能看懂为什么这么写。这篇文章我会围绕“极简神经网络”这个核心把CNN从结构设计、前向传播、反向传播到实操训练完整拆一遍。适合两类人一是刚学完BP神经网络、想过渡到CNN的初学者二是用过现成框架但说不清底层原理的开发者。我会尽量用生活化的类比把卷积、池化这些概念讲透同时给出可以直接复现的代码和参数计算过程。先明确一个基础认知卷积神经网络本质上是一种带有“局部连接”和“权值共享”特性的前馈神经网络。普通全连接网络里每个输入神经元都连到下一层每个神经元参数量爆炸CNN通过卷积核在空间上滑动让同一组权重在不同位置复用参数量骤降。这就是为什么CNN特别适合处理图像、时序这类有局部相关性的数据。2. 极简CNN的整体设计思路拆解2.1 为什么选择“极简”而不是直接上ResNet很多人会问现在都有ResNet、EfficientNet了为什么还要学极简CNN我的回答是你连3层网络都调不通给你50层你也调不通。极简CNN的价值在于它把变量控制到了最少——没有残差连接、没有BatchNorm、没有Dropout只有卷积、激活、池化、全连接这四样东西。这样当模型不收敛时你能快速定位是学习率问题、初始化问题还是数据问题而不是被一堆trick干扰。从工程角度看极简CNN的典型结构是这样的输入层 → 卷积层 → 激活函数 → 池化层 → 展平 → 全连接层 → 输出层。以MNIST手写数字为例输入是28×28的单通道图像经过一个5×5卷积核假设输出6个通道再经过2×2最大池化然后展平接全连接最后输出10类。这个结构在1998年LeCun的LeNet-5里就已经验证过至今仍是入门首选。注意极简不等于简陋。卷积核数量、池化窗口大小、全连接层维度这三个参数的选择直接决定模型能不能学到东西。后面我会给出具体的计算过程。2.2 前馈神经网络与CNN的本质区别热搜词里出现了“前馈神经网络”和“CNN卷积神经网络”这两个概念经常被混淆。简单说前馈神经网络Feedforward Neural Network是一个大类CNN是它的一个特化子类。前馈指的是信息单向流动没有循环连接而CNN在前馈的基础上增加了卷积操作和权值共享。用生活类比前馈神经网络像是一个“全科医生”每个症状都要单独问一遍CNN像是一个“专科医生”拿着一个固定的检查模板卷积核在病人身上逐区域扫描发现异常就记录下来。这个“扫描模板”就是卷积核它的权重在整个图像上共享所以参数量远小于全连接。从数学上看全连接层的计算是 y Wx b其中W的维度是输出维度 × 输入维度卷积层的计算是 y W * x b其中W是卷积核它在空间上滑动做点积。假设输入是28×28784维全连接层输出256维参数量是784×256≈20万而一个5×5卷积核输出6通道参数量只有5×5×6150。这个差距就是CNN高效的根本原因。2.3 一维卷积与二维卷积的适用场景热搜里还提到了“一维卷积神经网络介绍的文献”这里有必要区分一下。二维卷积Conv2D处理的是图像这类有高度和宽度两个空间维度的数据一维卷积Conv1D处理的是序列数据比如文本、音频、股票价格时间序列。它们的核心原理完全一样只是卷积核的滑动维度不同。举个例子如果你要做股票价格预测输入是一段时间序列用Conv1D就比Conv2D更合适因为时间只有一个维度。热搜词里那个“基于时间序列分解和多尺度CNN的股票预测”用的就是这类思路。而“小波Elman神经网络”则是另一种时序处理方案Elman网络属于循环神经网络RNN的变体和CNN是两条技术路线。选择建议图像用Conv2D文本和时序用Conv1D视频用Conv3D。不要为了用CNN而用CNN如果数据没有局部相关性全连接网络反而更直接。3. 核心细节解析卷积、池化与反向传播3.1 卷积核到底在“卷”什么“卷积”这个词听起来很数学其实操作很简单拿一个小矩阵卷积核在大矩阵输入特征图上从左到右、从上到下滑动每次滑动时把重叠区域的元素相乘再求和得到输出特征图上的一个值。这个过程叫互相关严格数学意义上的卷积还需要翻转核但深度学习里通常省略翻转直接叫卷积。假设输入是5×5的矩阵卷积核是3×3步长stride为1不补零padding0那么输出尺寸是 (5-3)/1 1 3即3×3。如果加上padding1输入边缘补一圈零变成7×7输出就是 (7-3)/1 1 5保持尺寸不变。这个公式很重要输出尺寸 (输入尺寸 - 卷积核尺寸 2×padding) / stride 1。卷积核的数值就是需要学习的权重。初始时随机生成通过反向传播不断调整。一个卷积核只能提取一种特征比如垂直边缘所以要多个卷积核并行每个负责一种特征。这就是“输出通道数”的含义。实操心得卷积核尺寸一般选3×3或5×5。3×3堆叠两层比5×5一层效果更好因为参数量更少且非线性更强。这是VGG网络的核心发现。3.2 池化层降维与特征不变性池化层的作用是降低特征图的空间尺寸减少计算量同时提供一定的平移不变性。最常见的是最大池化Max Pooling在2×2的窗口里取最大值。为什么取最大值因为最大值代表这个区域最显著的特征即使图像稍微平移最大值可能还在同一个窗口里所以模型对小幅平移不敏感。平均池化Average Pooling是取窗口平均值保留整体信息但弱化显著特征。实践中最大池化更常用因为图像识别更关注“有没有某个特征”而不是“特征的平均强度”。池化层没有需要学习的参数它只是固定的下采样操作。这一点和卷积层不同卷积层的权重是要训练的。池化窗口通常选2×2步长等于窗口大小这样每次尺寸减半。比如28×28经过2×2池化变成14×14。3.3 反向传播在CNN里怎么走反向传播的核心是链式法则从损失函数出发逐层往回求梯度然后用梯度更新权重。在CNN里难点在于卷积层的梯度计算。全连接层的梯度很直接dW dZ × X^T。卷积层因为有权值共享梯度需要对所有滑动位置求和。具体来说卷积核的梯度等于输出特征图的梯度与对应输入区域的卷积。这个推导过程在“神经网络反向传播详解”类资料里都有但初学者容易卡在维度匹配上。我的建议是先手推一个3×3输入、2×2卷积核的简单例子把每个位置的梯度算一遍比看十篇推导都管用。另一个关键点是梯度消失。极简CNN层数少梯度消失不明显但如果用Sigmoid激活函数深层网络仍会出问题。所以现在默认用ReLUf(x)max(0,x)它的导数在正区间恒为1梯度能稳定传回去。注意反向传播前一定要把梯度清零zero_grad否则梯度会累加。这是PyTorch新手最常踩的坑之一。4. 实操过程从零搭建一个极简CNN4.1 环境准备与数据加载我用PyTorch来演示因为它的动态图机制对调试最友好。环境只需要Python 3.8、PyTorch 1.10、torchvision。数据用MNISTtorchvision自带下载。import torch import torch.nn as nn import torch.optim as optim from torchvision import datasets, transforms from torch.utils.data import DataLoader # 数据预处理转张量 归一化 transform transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,)) ]) train_dataset datasets.MNIST(root./data, trainTrue, downloadTrue, transformtransform) test_dataset datasets.MNIST(root./data, trainFalse, transformtransform) train_loader DataLoader(train_dataset, batch_size64, shuffleTrue) test_loader DataLoader(test_dataset, batch_size1000, shuffleFalse)归一化参数0.1307和0.3081是MNIST的全局均值和标准差直接用即可。batch_size选64是经验值太小梯度震荡太大内存吃紧且泛化变差。4.2 网络结构定义与参数计算class SimpleCNN(nn.Module): def __init__(self): super(SimpleCNN, self).__init__() self.conv1 nn.Conv2d(in_channels1, out_channels6, kernel_size5, stride1, padding0) self.pool nn.MaxPool2d(kernel_size2, stride2) self.conv2 nn.Conv2d(in_channels6, out_channels16, kernel_size5, stride1, padding0) self.fc1 nn.Linear(16 * 4 * 4, 120) self.fc2 nn.Linear(120, 84) self.fc3 nn.Linear(84, 10) self.relu nn.ReLU() def forward(self, x): x self.pool(self.relu(self.conv1(x))) x self.pool(self.relu(self.conv2(x))) x x.view(-1, 16 * 4 * 4) x self.relu(self.fc1(x)) x self.relu(self.fc2(x)) x self.fc3(x) return x现在算一下维度变化输入28×28 → conv15×5无padding→ 24×24 → pool2×2→ 12×12 → conv25×5→ 8×8 → pool → 4×4。所以展平后是16×4×4256维。这个计算必须准确否则全连接层会报维度错误。参数量统计conv1是1×6×5×56156conv2是6×16×5×5162416fc1是256×12012030840fc2是120×848410164fc3是84×1010850。总参数约4.4万非常轻量。4.3 训练循环与关键参数设置device torch.device(cuda if torch.cuda.is_available() else cpu) model SimpleCNN().to(device) criterion nn.CrossEntropyLoss() optimizer optim.SGD(model.parameters(), lr0.01, momentum0.9) for epoch in range(10): model.train() for batch_idx, (data, target) in enumerate(train_loader): data, target data.to(device), target.to(device) optimizer.zero_grad() output model(data) loss criterion(output, target) loss.backward() optimizer.step() print(fEpoch {epoch1}, Loss: {loss.item():.4f})学习率0.01配SGD动量0.9是LeNet时代的经典配置实测在MNIST上10轮能到98%以上准确率。如果你想更快收敛可以换Adam学习率设0.001。但SGD泛化通常更好建议入门先用SGD理解梯度更新过程。实操心得训练时一定要切换model.train()和model.eval()。Dropout和BatchNorm在两种模式下行为不同虽然极简CNN没用这些层但养成习惯很重要。4.4 测试与结果验证model.eval() correct 0 with torch.no_grad(): for data, target in test_loader: data, target data.to(device), target.to(device) output model(data) pred output.argmax(dim1) correct pred.eq(target).sum().item() print(fAccuracy: {100. * correct / len(test_loader.dataset):.2f}%)测试时用torch.no_grad()关闭梯度计算节省显存并加速。最终准确率应该在98.5%左右。如果低于95%检查归一化是否做了、学习率是否太大、数据是否打乱。5. 常见问题与排查技巧实录5.1 维度不匹配报错怎么快速定位这是新手最高频的问题。报错信息通常是“RuntimeError: size mismatch”。排查步骤第一在forward里每层后面打印x.shape第二对照公式算一遍输出尺寸第三检查view(-1, N)里的N是否等于上一层输出通道数×高×宽。我自己的习惯是在__init__里就把每层输出尺寸注释写清楚比如“# 28→24→12→8→4”这样写view的时候不会错。5.2 损失不下降的五个原因现象可能原因解决方法Loss震荡不降学习率太大降到0.001或0.0001Loss缓慢下降学习率太小升到0.01或0.1Loss恒定不变梯度消失/初始化问题换ReLU用Xavier初始化Loss下降但准确率低过拟合加Dropout或数据增强Loss为NaN学习率过大或除零检查归一化和损失函数5.3 过拟合与欠拟合的判断训练准确率高但测试准确率低就是过拟合。极简CNN参数量少过拟合不严重但如果训练轮数太多仍会出现。解决办法早停验证集loss开始上升就停、加L2正则weight_decay1e-4、数据增强随机旋转平移。欠拟合则是训练准确率也低说明模型容量不够或训练不够。可以增加卷积核数量、增加层数、延长训练轮数。避坑技巧不要一上来就调超参数。先把模型跑通确认能过拟合一个小数据集比如100张图再逐步加数据。这是调试神经网络的黄金法则。6. 从极简CNN延伸出去的学习路径极简CNN跑通之后下一步可以往三个方向走。第一是经典网络复现LeNet-5、AlexNet、VGG理解卷积核堆叠和通道数变化的设计哲学。第二是现代技巧BatchNorm、Dropout、残差连接这些是ResNet之后的标准配置。第三是领域迁移把Conv2D换成Conv1D做时序预测或者用预训练模型做迁移学习。热搜里提到的“seq2seq模型”和“LSTM神经网络”是另一条线属于序列到序列的学习和CNN处理空间特征形成互补。如果你做的是图像描述生成、机器翻译这类任务往往是CNN提特征加LSTM解码的组合。我个人在实际操作中的体会是不要贪多把极简CNN的每一行代码都手敲一遍比看十个教程都管用。尤其是反向传播那部分手动推一次梯度你对深度学习的理解会上一个台阶。后续想扩展的话可以试着把MNIST换成CIFAR-10那个数据集有彩色三通道卷积核维度会变正好检验你是否真的理解了通道机制。
1. 从“CNN 101”说起为什么极简神经网络又火了最近技术圈里“CNN 101”这个说法被反复提起我一开始以为是某个新出的课程编号后来翻了一圈才发现它指的是一类极简卷积神经网络实现——用最少的代码、最少的层数把卷积神经网络的核心机制跑通。配合“手慢无”这种字眼其实反映了一个很现实的需求很多人想入门深度学习但被各种框架和论文劝退了。我自己带过不少刚入行的朋友发现一个共性痛点大家都能背出“卷积、池化、全连接”这几个词但真让他从零写一个能跑的手写数字识别往往卡在张量维度对不上、反向传播梯度消失、训练不收敛这些地方。而“CNN 101”这类极简实现恰恰是解决这个痛点的最佳切入点——它不追求SOTA精度只追求每一行代码你都能看懂为什么这么写。这篇文章我会围绕“极简神经网络”这个核心把CNN从结构设计、前向传播、反向传播到实操训练完整拆一遍。适合两类人一是刚学完BP神经网络、想过渡到CNN的初学者二是用过现成框架但说不清底层原理的开发者。我会尽量用生活化的类比把卷积、池化这些概念讲透同时给出可以直接复现的代码和参数计算过程。先明确一个基础认知卷积神经网络本质上是一种带有“局部连接”和“权值共享”特性的前馈神经网络。普通全连接网络里每个输入神经元都连到下一层每个神经元参数量爆炸CNN通过卷积核在空间上滑动让同一组权重在不同位置复用参数量骤降。这就是为什么CNN特别适合处理图像、时序这类有局部相关性的数据。2. 极简CNN的整体设计思路拆解2.1 为什么选择“极简”而不是直接上ResNet很多人会问现在都有ResNet、EfficientNet了为什么还要学极简CNN我的回答是你连3层网络都调不通给你50层你也调不通。极简CNN的价值在于它把变量控制到了最少——没有残差连接、没有BatchNorm、没有Dropout只有卷积、激活、池化、全连接这四样东西。这样当模型不收敛时你能快速定位是学习率问题、初始化问题还是数据问题而不是被一堆trick干扰。从工程角度看极简CNN的典型结构是这样的输入层 → 卷积层 → 激活函数 → 池化层 → 展平 → 全连接层 → 输出层。以MNIST手写数字为例输入是28×28的单通道图像经过一个5×5卷积核假设输出6个通道再经过2×2最大池化然后展平接全连接最后输出10类。这个结构在1998年LeCun的LeNet-5里就已经验证过至今仍是入门首选。注意极简不等于简陋。卷积核数量、池化窗口大小、全连接层维度这三个参数的选择直接决定模型能不能学到东西。后面我会给出具体的计算过程。2.2 前馈神经网络与CNN的本质区别热搜词里出现了“前馈神经网络”和“CNN卷积神经网络”这两个概念经常被混淆。简单说前馈神经网络Feedforward Neural Network是一个大类CNN是它的一个特化子类。前馈指的是信息单向流动没有循环连接而CNN在前馈的基础上增加了卷积操作和权值共享。用生活类比前馈神经网络像是一个“全科医生”每个症状都要单独问一遍CNN像是一个“专科医生”拿着一个固定的检查模板卷积核在病人身上逐区域扫描发现异常就记录下来。这个“扫描模板”就是卷积核它的权重在整个图像上共享所以参数量远小于全连接。从数学上看全连接层的计算是 y Wx b其中W的维度是输出维度 × 输入维度卷积层的计算是 y W * x b其中W是卷积核它在空间上滑动做点积。假设输入是28×28784维全连接层输出256维参数量是784×256≈20万而一个5×5卷积核输出6通道参数量只有5×5×6150。这个差距就是CNN高效的根本原因。2.3 一维卷积与二维卷积的适用场景热搜里还提到了“一维卷积神经网络介绍的文献”这里有必要区分一下。二维卷积Conv2D处理的是图像这类有高度和宽度两个空间维度的数据一维卷积Conv1D处理的是序列数据比如文本、音频、股票价格时间序列。它们的核心原理完全一样只是卷积核的滑动维度不同。举个例子如果你要做股票价格预测输入是一段时间序列用Conv1D就比Conv2D更合适因为时间只有一个维度。热搜词里那个“基于时间序列分解和多尺度CNN的股票预测”用的就是这类思路。而“小波Elman神经网络”则是另一种时序处理方案Elman网络属于循环神经网络RNN的变体和CNN是两条技术路线。选择建议图像用Conv2D文本和时序用Conv1D视频用Conv3D。不要为了用CNN而用CNN如果数据没有局部相关性全连接网络反而更直接。3. 核心细节解析卷积、池化与反向传播3.1 卷积核到底在“卷”什么“卷积”这个词听起来很数学其实操作很简单拿一个小矩阵卷积核在大矩阵输入特征图上从左到右、从上到下滑动每次滑动时把重叠区域的元素相乘再求和得到输出特征图上的一个值。这个过程叫互相关严格数学意义上的卷积还需要翻转核但深度学习里通常省略翻转直接叫卷积。假设输入是5×5的矩阵卷积核是3×3步长stride为1不补零padding0那么输出尺寸是 (5-3)/1 1 3即3×3。如果加上padding1输入边缘补一圈零变成7×7输出就是 (7-3)/1 1 5保持尺寸不变。这个公式很重要输出尺寸 (输入尺寸 - 卷积核尺寸 2×padding) / stride 1。卷积核的数值就是需要学习的权重。初始时随机生成通过反向传播不断调整。一个卷积核只能提取一种特征比如垂直边缘所以要多个卷积核并行每个负责一种特征。这就是“输出通道数”的含义。实操心得卷积核尺寸一般选3×3或5×5。3×3堆叠两层比5×5一层效果更好因为参数量更少且非线性更强。这是VGG网络的核心发现。3.2 池化层降维与特征不变性池化层的作用是降低特征图的空间尺寸减少计算量同时提供一定的平移不变性。最常见的是最大池化Max Pooling在2×2的窗口里取最大值。为什么取最大值因为最大值代表这个区域最显著的特征即使图像稍微平移最大值可能还在同一个窗口里所以模型对小幅平移不敏感。平均池化Average Pooling是取窗口平均值保留整体信息但弱化显著特征。实践中最大池化更常用因为图像识别更关注“有没有某个特征”而不是“特征的平均强度”。池化层没有需要学习的参数它只是固定的下采样操作。这一点和卷积层不同卷积层的权重是要训练的。池化窗口通常选2×2步长等于窗口大小这样每次尺寸减半。比如28×28经过2×2池化变成14×14。3.3 反向传播在CNN里怎么走反向传播的核心是链式法则从损失函数出发逐层往回求梯度然后用梯度更新权重。在CNN里难点在于卷积层的梯度计算。全连接层的梯度很直接dW dZ × X^T。卷积层因为有权值共享梯度需要对所有滑动位置求和。具体来说卷积核的梯度等于输出特征图的梯度与对应输入区域的卷积。这个推导过程在“神经网络反向传播详解”类资料里都有但初学者容易卡在维度匹配上。我的建议是先手推一个3×3输入、2×2卷积核的简单例子把每个位置的梯度算一遍比看十篇推导都管用。另一个关键点是梯度消失。极简CNN层数少梯度消失不明显但如果用Sigmoid激活函数深层网络仍会出问题。所以现在默认用ReLUf(x)max(0,x)它的导数在正区间恒为1梯度能稳定传回去。注意反向传播前一定要把梯度清零zero_grad否则梯度会累加。这是PyTorch新手最常踩的坑之一。4. 实操过程从零搭建一个极简CNN4.1 环境准备与数据加载我用PyTorch来演示因为它的动态图机制对调试最友好。环境只需要Python 3.8、PyTorch 1.10、torchvision。数据用MNISTtorchvision自带下载。import torch import torch.nn as nn import torch.optim as optim from torchvision import datasets, transforms from torch.utils.data import DataLoader # 数据预处理转张量 归一化 transform transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,)) ]) train_dataset datasets.MNIST(root./data, trainTrue, downloadTrue, transformtransform) test_dataset datasets.MNIST(root./data, trainFalse, transformtransform) train_loader DataLoader(train_dataset, batch_size64, shuffleTrue) test_loader DataLoader(test_dataset, batch_size1000, shuffleFalse)归一化参数0.1307和0.3081是MNIST的全局均值和标准差直接用即可。batch_size选64是经验值太小梯度震荡太大内存吃紧且泛化变差。4.2 网络结构定义与参数计算class SimpleCNN(nn.Module): def __init__(self): super(SimpleCNN, self).__init__() self.conv1 nn.Conv2d(in_channels1, out_channels6, kernel_size5, stride1, padding0) self.pool nn.MaxPool2d(kernel_size2, stride2) self.conv2 nn.Conv2d(in_channels6, out_channels16, kernel_size5, stride1, padding0) self.fc1 nn.Linear(16 * 4 * 4, 120) self.fc2 nn.Linear(120, 84) self.fc3 nn.Linear(84, 10) self.relu nn.ReLU() def forward(self, x): x self.pool(self.relu(self.conv1(x))) x self.pool(self.relu(self.conv2(x))) x x.view(-1, 16 * 4 * 4) x self.relu(self.fc1(x)) x self.relu(self.fc2(x)) x self.fc3(x) return x现在算一下维度变化输入28×28 → conv15×5无padding→ 24×24 → pool2×2→ 12×12 → conv25×5→ 8×8 → pool → 4×4。所以展平后是16×4×4256维。这个计算必须准确否则全连接层会报维度错误。参数量统计conv1是1×6×5×56156conv2是6×16×5×5162416fc1是256×12012030840fc2是120×848410164fc3是84×1010850。总参数约4.4万非常轻量。4.3 训练循环与关键参数设置device torch.device(cuda if torch.cuda.is_available() else cpu) model SimpleCNN().to(device) criterion nn.CrossEntropyLoss() optimizer optim.SGD(model.parameters(), lr0.01, momentum0.9) for epoch in range(10): model.train() for batch_idx, (data, target) in enumerate(train_loader): data, target data.to(device), target.to(device) optimizer.zero_grad() output model(data) loss criterion(output, target) loss.backward() optimizer.step() print(fEpoch {epoch1}, Loss: {loss.item():.4f})学习率0.01配SGD动量0.9是LeNet时代的经典配置实测在MNIST上10轮能到98%以上准确率。如果你想更快收敛可以换Adam学习率设0.001。但SGD泛化通常更好建议入门先用SGD理解梯度更新过程。实操心得训练时一定要切换model.train()和model.eval()。Dropout和BatchNorm在两种模式下行为不同虽然极简CNN没用这些层但养成习惯很重要。4.4 测试与结果验证model.eval() correct 0 with torch.no_grad(): for data, target in test_loader: data, target data.to(device), target.to(device) output model(data) pred output.argmax(dim1) correct pred.eq(target).sum().item() print(fAccuracy: {100. * correct / len(test_loader.dataset):.2f}%)测试时用torch.no_grad()关闭梯度计算节省显存并加速。最终准确率应该在98.5%左右。如果低于95%检查归一化是否做了、学习率是否太大、数据是否打乱。5. 常见问题与排查技巧实录5.1 维度不匹配报错怎么快速定位这是新手最高频的问题。报错信息通常是“RuntimeError: size mismatch”。排查步骤第一在forward里每层后面打印x.shape第二对照公式算一遍输出尺寸第三检查view(-1, N)里的N是否等于上一层输出通道数×高×宽。我自己的习惯是在__init__里就把每层输出尺寸注释写清楚比如“# 28→24→12→8→4”这样写view的时候不会错。5.2 损失不下降的五个原因现象可能原因解决方法Loss震荡不降学习率太大降到0.001或0.0001Loss缓慢下降学习率太小升到0.01或0.1Loss恒定不变梯度消失/初始化问题换ReLU用Xavier初始化Loss下降但准确率低过拟合加Dropout或数据增强Loss为NaN学习率过大或除零检查归一化和损失函数5.3 过拟合与欠拟合的判断训练准确率高但测试准确率低就是过拟合。极简CNN参数量少过拟合不严重但如果训练轮数太多仍会出现。解决办法早停验证集loss开始上升就停、加L2正则weight_decay1e-4、数据增强随机旋转平移。欠拟合则是训练准确率也低说明模型容量不够或训练不够。可以增加卷积核数量、增加层数、延长训练轮数。避坑技巧不要一上来就调超参数。先把模型跑通确认能过拟合一个小数据集比如100张图再逐步加数据。这是调试神经网络的黄金法则。6. 从极简CNN延伸出去的学习路径极简CNN跑通之后下一步可以往三个方向走。第一是经典网络复现LeNet-5、AlexNet、VGG理解卷积核堆叠和通道数变化的设计哲学。第二是现代技巧BatchNorm、Dropout、残差连接这些是ResNet之后的标准配置。第三是领域迁移把Conv2D换成Conv1D做时序预测或者用预训练模型做迁移学习。热搜里提到的“seq2seq模型”和“LSTM神经网络”是另一条线属于序列到序列的学习和CNN处理空间特征形成互补。如果你做的是图像描述生成、机器翻译这类任务往往是CNN提特征加LSTM解码的组合。我个人在实际操作中的体会是不要贪多把极简CNN的每一行代码都手敲一遍比看十个教程都管用。尤其是反向传播那部分手动推一次梯度你对深度学习的理解会上一个台阶。后续想扩展的话可以试着把MNIST换成CIFAR-10那个数据集有彩色三通道卷积核维度会变正好检验你是否真的理解了通道机制。
