CNN 卷积神经网络基础算子

CNN 卷积神经网络基础算子分为：卷积类、激活函数、池化、归一化、拼接 / 逐元素运算、全连接、损失输出。1、Convolution 卷积（Conv）最核心算子作用：滑动卷积核，提取图像局部特征。浅层提取边缘、纹理；深层提取物体轮廓。变种：Conv2d普通二维卷积Conv1×1点卷积：改变通道数，降维、升维DepthwiseConv 深度可分离卷积（MobileNet）2、Activation 激活函数（给网络引入非线性）如果没有激活，无论堆叠多少层网络等价于单层矩阵运算，无法学习复杂特征。ReLU：\(max(0,x)\)，小于 0 置 0，速度快，最常用ReLU6、LeakyReLU：改善 ReLU 负区间直接置 0 问题Sigmoid：输出 0~1，早期使用，容易梯度消失Tanh：输出‑1~13、Pooling 池化（下采样）缩小特征图宽高，降低计算量，增加微小位移鲁棒性MaxPool 最大池化：取窗口最大值，保留显著特征AvgPool 平均池化：取窗口平均值，平滑特征Global Average Pooling (GAP)：全局平均池化，整张特征图每个通道求均值，替代全连接4、Normalization 归一化算子加速训练，防止梯度爆炸 / 消失BatchNorm（BN，批归一化）：最主流；对每一批数据做归一化缩放