深度学习机器学习人工智能【免费下载链接】mxnetLightweight, Portable, Flexible Distributed/Mobile Deep Learning with Dynamic, Mutation-aware Dataflow Dep Scheduler; for Python, R, Julia, Scala, Go, Javascript and more项目地址https://gitcode.com/gh_mirrors/mxnet1/mxnet点击查看免费下载Gluon 是 MXNet 的命令式深度学习接口其中mxnet.gluon.nn模块为开发者提供了覆盖全场景的内置神经网络层Layer/Block从顺序容器、全连接与卷积、池化、归一化到嵌入与高级激活函数一应俱全。本文以 docs/python_docs/python/api/gluon/nn/index.rst 的官方 API 索引为骨架逐类梳理gluon.nn与gluon.contrib.nn两个模块中的全部内置层并结合仓库源码 python/mxnet/gluon/nn/ 剖析每个层的核心参数、默认值、输入输出形状与底层算子调用帮助你按图索骥地搭建、调试和优化 Gluon 网络。模块概览两个模块、一套体系根据官方文档Gluon 提供的大量内置神经网络层分布在两个模块中mxnet.gluon.nn核心神经网络层包含顺序容器、基础层、卷积层、池化层、归一化层、嵌入层与高级激活层mxnet.gluon.contrib.nn实验性/贡献层包含并发容器、恒等映射、稀疏嵌入、跨卡同步批归一化SyncBatchNorm与像素重排PixelShuffle等。两个模块的导出关系可在源码中直接验证python/mxnet/gluon/nn/init.py 从block、basic_layers、conv_layers、activations四个文件通配导出全部类python/mxnet/gluon/contrib/nn/init.py 仅从basic_layers一个文件导出。也就是说gluon.nn的实现实际上被组织为三个物理文件基础层 basic_layers.py、卷积与池化层 conv_layers.py、激活层 activations.py。理解这一文件布局可以帮你快速定位源码。顺序容器Sequential 与 HybridSequentialgluon.nn提供两种顺序容器用于把多个层按顺序堆叠成网络类基类适用场景nn.SequentialBlock普通命令式网络子层可以为任意Blocknn.HybridSequentialHybridBlock需要hybridize()符号化加速的网络源码 python/mxnet/gluon/nn/basic_layers.py 显示两者都通过add(*blocks)注册子块forward/hybrid_forward依次把输入传递给每个子块from mxnet import gluon, nd from mxnet.gluon import nn net nn.Sequential() with net.name_scope(): net.add(nn.Dense(10, activationrelu)) net.add(nn.Dense(20)) net.initialize() net(nd.random.uniform(shape(4, 5))) # 输出形状 (4, 20)两个要点值得注意name_scope命名规范官方文档示例中强调使用 net 的 name_scope 给子 Block 合适的名字。在name_scope内注册的子层会自动获得带前缀的参数名如dense0_weight这对参数保存、加载与调试至关重要。混合化的选择Sequential.hybridize()会对子层递归生效。源码中有一段值得注意的逻辑basic_layers.py如果Sequential的所有子层都是HybridBlock会发出警告提示改用HybridSequential以获得更好性能。因此若你的网络全部由gluon.nn内置层构成直接使用HybridSequential并在训练前调用net.hybridize()是最佳实践。另外Sequential支持__getitem__与__len__可以像列表一样按下标访问或切片子层。基础层Basic Layers基础层是网络搭建的积木官方 API 索引列出六种层核心作用nn.Dense全连接层nn.Activation显式应用激活函数nn.Dropout随机置零部分神经元缓解过拟合nn.Flatten展平输入为二维nn.Lambda把算子/表达式包装成Blocknn.HybridLambda把算子/表达式包装成HybridBlockDense全连接层Dense实现output activation(dot(input, weight) bias)basic_layers.py。其核心参数与默认值如下参数默认值说明units必填输出维度activationNone激活函数名如relu不指定则为线性use_biasTrue是否使用偏置向量flattenTrue为True时把除第一维外的所有维度折叠输入(batch, x1, ..., xn)→ 输出(batch, units)为False时只作用于最后一维输入(x1, ..., xn, in_units)→ 输出(x1, ..., xn, units)dtypefloat32参数数据类型weight_initializerNone权重初始化器bias_initializerzeros偏置初始化器in_units0输入维度不指定时延迟到第一次forward由输入形状推断从源码看Dense底层调用的是FullyConnected算子np 模式下为npx.fully_connected参数weight形状为(units, in_units)bias形状为(units,)两者都使用allow_deferred_initTrue支持延迟初始化。文档特别提示输入必须是秩为 2 的张量当flattenFalse时例外必要时先用Flatten层手动转换。Dropout随机失活Dropout(rate, axes())在训练时以概率rate随机将输入单元置 0basic_layers.py。rate必须位于 0 与 1 之间axes用于指定共享 dropout 掩码的轴如 NLP 中整行丢弃。源码中当rate 0时调用Dropout算子rate 0时直接走恒等拷贝因此rate0不会带来额外开销。Activation 与 Lambda 系列nn.Activation(activation)只接受一个字符串参数如relu、sigmoid、tanh通过F.Activation(x, act_type...)实现activations.py。Dense、_Conv内部的activation参数本质上就是包了一个Activation子层源码中self.act Activation(activation, prefixactivation_)。nn.Lambda(function)可以把算子名如tanh或任意函数包装为Blockbasic_layers.pyblock nn.Lambda(lambda x: nd.LeakyReLU(x, slope0.1))nn.HybridLambda(function)是 Hybrid 版本函数签名须为def function(F, data, *args)F为符号或 NDArray 前端从而同时支持符号与命令式执行basic_layers.py。卷积层Convolutional Layersgluon.nn提供 1D/2D/3D 三个维度的卷积及其转置版本共 6 个类Conv1D、Conv2D、Conv3D、Conv1DTranspose、Conv2DTranspose、Conv3DTranspose。它们共享同一个私有基类_Convconv_layers.py核心参数完全一致参数默认值说明channels必填输出通道数滤波器数量kernel_size必填卷积窗口尺寸可传 int 或 n 元 tuplestrides各维度1步长padding各维度0输入两侧隐式补零数量dilation各维度1空洞卷积扩张率groups1分组卷积groups2等价于两个并排卷积各自处理一半通道layoutNCW/NCHW/NCDHW数据维度顺序in_channels0输入通道数不指定则延迟推断activationNone卷积后紧跟的激活函数use_biasTrue是否使用偏置weight_initializer/bias_initializerNone/zeros参数初始化器各维度可用的layout有严格限制源码中以assert强制Conv1D/Conv1DTranspose仅NCWConv2D/Conv2DTransposeNCHW或NHWCConv3D/Conv3DTransposeNCDHW或NDHWC。一个值得留意的实现细节_Conv在初始化时通过_infer_weight_shape用空 shape 的 symbol 推断权重形状conv_layers.py从而在in_channels未指定时也能建立正确的参数形状并延迟到首次forward再完成初始化。输出尺寸计算公式源码文档原文标准卷积以 2D 为例输入(N, C, H, W)out_height floor((height 2*padding[0] - dilation[0]*(kernel_size[0]-1) - 1) / stride[0]) 1 out_width floor((width 2*padding[1] - dilation[1]*(kernel_size[1]-1) - 1) / stride[1]) 1转置卷积以 2D 为例out_height (height-1)*strides[0] - 2*padding[0] kernel_size[0] output_padding[0] out_width (width-1)*strides[1] - 2*padding[1] kernel_size[1] output_padding[1]转置卷积又称反卷积常用于从低分辨率特征恢复高分辨率输出如生成模型、语义分割。Conv*DTranspose独有的output_padding参数控制输出侧隐式补零在_Conv.__init__中以adj关键字传给Deconvolution算子。典型用法conv nn.Conv2D(channels32, kernel_size(3, 3), strides(2, 2), padding(1, 1), activationrelu) x nd.random.uniform(shape(1, 3, 224, 224)) print(conv(x).shape) # (1, 32, 112, 112)池化层Pooling Layers池化层家族是gluon.nn中规模最大的一组共 12 个类全部继承私有基类_Poolingconv_layers.pyMax 池化MaxPool1D、MaxPool2D、MaxPool3D平均池化AvgPool1D、AvgPool2D、AvgPool3D全局最大池化GlobalMaxPool1D、GlobalMaxPool2D、GlobalMaxPool3D全局平均池化GlobalAvgPool1D、GlobalAvgPool2D、GlobalAvgPool3D反射填充ReflectionPad2D。局部池化层Max/Avg的核心参数参数默认值说明pool_size2 或(2, 2)等池化窗口大小stridesNone下采样因子None时默认等于pool_sizepadding0两侧隐式补零layout同卷积NCW/NCHW/NCDHW等ceil_modeFalse为True时输出形状用 ceil 而非 floor 计算count_include_padTrue仅 Avg为False时计算平均值排除填充元素源码中_Pooling会把ceil_mode映射为pooling_conventionfull或valid传给底层Pooling算子这一点在排查输出形状异常时很有用。输出尺寸公式以 2D 为例out_height floor((height 2*padding[0] - pool_size[0]) / strides[0]) 1 out_width floor((width 2*padding[1] - pool_size[1]) / strides[1]) 1全局池化Global*不需要pool_size其输出在每个通道上只有一个元素——例如GlobalAvgPool2D输出形状为(batch, channels, 1, 1)在 CNN 分类头Dense之前替代Flatten是常见做法可大幅减少参数量。ReflectionPad2D(padding)使用输入边界的反射值填充输出尺寸为(H_in 2*padding, W_in 2*padding)内部调用F.pad(x, modereflect, ...)conv_layers.py常用于风格迁移等需要保持边界信息平滑的场景。归一化层Normalization LayersAPI 索引列出三种归一化层BatchNorm、InstanceNorm、LayerNorm源码 basic_layers.py 中还有第四种GroupNorm一并导出。BatchNorm批归一化BatchNorm在每个 mini-batch 内将激活归一化到均值接近 0、标准差接近 1Ioffe Szegedy, 2014。参数与默认值参数默认值说明axis1归一化轴通常为通道轴Conv2D(layoutNCHW)后设axis1NHWC则设axis3momentum0.9滑动均值/方差的动量epsilon1e-5加在方差上的小量防止除零centerTrue是否加beta偏移scaleTrue是否乘gamma缩放下一层为线性层时可关闭use_global_statsFalse为True时使用全局滑动统计退化为 scale-shift 算子推理场景beta_initializerzerosbeta 初始化gamma_initializeronesgamma 初始化running_mean_initializer/running_variance_initializerzeros/ones滑动统计量初始化in_channels0通道数不指定则延迟推断从源码可以看出BatchNorm的参数管理细节gamma/beta的grad_req分别由scale/center决定关闭时为null不参与求导running_mean/running_var恒为grad_reqnullbasic_layers.py。此外BatchNorm.cast()有个特殊处理当被转换为float16时滑动统计量会回退到float32以保持数值稳定basic_layers.py这是训练混合精度模型时的重要行为。InstanceNorm / LayerNorm / GroupNormInstanceNorm(axis1, epsilon1e-5, centerTrue, scaleFalse, ...)实例归一化沿除 batch 与通道轴外的维度归一化scale默认False常用于风格迁移参考 Ulyanov et al., 2016。源码对非axis1的情况通过swapaxes交换通道轴后再调用InstanceNorm算子basic_layers.py。LayerNorm(axis-1, epsilon1e-5, centerTrue, scaleTrue, ...)层归一化默认沿最后一维归一化常用于 Transformer、RNN 等序列模型参考 Ba et al., 2016。其数学形式为out (x - mean(x, axis)) / sqrt(Var(x, axis) epsilon) * gamma betaGroupNorm(num_groups1, epsilon1e-5, centerTrue, scaleTrue, ...)组归一化把通道轴分成num_groups组分别归一化gamma/beta形状为(num_groups,)参考 Wu He, 2018。在小 batch 场景下是BatchNorm的常用替代。这些归一化层的源码 docstring 中均附带可直接运行验证的mx.nd.array数值示例见 basic_layers.py 的 InstanceNorm 示例与 basic_layers.py 的 LayerNorm 示例可以对照公式自行校验。嵌入层Embedding Layersnn.Embedding(input_dim, output_dim, dtypefloat32, weight_initializerNone, sparse_gradFalse)把非负整数索引/词元转换为固定维度的稠密向量例如[4, 20] - [[0.25, 0.1], [0.6, -0.2]]basic_layers.py。参数说明input_dim词表大小即最大整数索引 1output_dim嵌入向量的维度sparse_grad为True时权重的梯度为row_sparseNDArray仅 SGD、AdaGrad、Adam 等部分优化器支持稀疏梯度源码中sparse_gradTrue会把参数grad_stype设为row_sparse底层调用F.Embedding算子。输入为(N-1)维张量输出为(x1, ..., xN-1, output_dim)维张量。高级激活层Advanced Activation LayersAPI 索引列出 5 种带参数的激活层LeakyReLU、PReLU、ELU、SELU、Swish源码 activations.py 中还有GELU一并导出。层参数数学形式LeakyReLUalpha≥ 0必填f(x) alpha*x (x0); x (x0)PReLUalpha_initializer默认Constant(0.25)与 LeakyReLU 相同但alpha是可学习参数ELUalpha默认1.0Clevert et al., 2016 的指数线性单元SELU无自归一化指数线性单元Klambauer et al., 2017Swishbeta默认1.0swish(x) x * sigmoid(beta*x)Ramachandran et al., 2017一个有趣的实现细节ELU、SELU、GELU、PReLU底层都复用了F.LeakyReLU算子仅通过act_type区分elu、selu、gelu、preluSwish则由x * sigmoid(beta*x)组合实现activations.py。这意味着这些激活层都是可混合化Hybrid的hybridize()后会被编译进符号图。contrib.nn扩展层速览mxnet.gluon.contrib.nn提供面向特殊场景的贡献层源码 python/mxnet/gluon/contrib/nn/basic_layers.pyConcurrent/HybridConcurrent把输入同时喂给所有子块并把输出在指定轴axis默认-1上拼接。HybridConcurrent与Identity组合可实现残差连接。Identity恒等映射块直接透传输入常与HybridConcurrent搭配构成残差分支。SparseEmbedding专为分布式训练超大词表设计的稀疏嵌入权重与梯度均为RowSparseNDArray适合推荐系统等场景。SyncBatchNorm跨 GPU 同步批归一化把整个 mini-batch跨所有设备的统计量一起归一化注意当前实现不支持 FP16 训练FP16 推理请改用标准nn.BatchNorm。num_devices默认取可见 GPU 数。PixelShuffle1D/2D/3D像素重排上采样把通道维分组重排到空间维例如(N, f²C, H, W) - (N, C, fH, fW)。它是转置卷积之外可学习的上采样方案可缓解转置卷积常见的棋盘格伪影参考 Shi et al., 2016。实战组合一个完整的 CNN 示例综合以上层族一个典型的图像分类网络可以这样组织参照 example/image-classification/ 中的 Gluon 训练脚本风格from mxnet import gluon, nd from mxnet.gluon import nn net nn.HybridSequential() with net.name_scope(): net.add(nn.Conv2D(channels32, kernel_size3, padding1, activationrelu)) net.add(nn.BatchNorm()) net.add(nn.MaxPool2D(pool_size2, strides2)) net.add(nn.Conv2D(channels64, kernel_size3, padding1, activationrelu)) net.add(nn.BatchNorm()) net.add(nn.MaxPool2D(pool_size2, strides2)) net.add(nn.Flatten()) net.add(nn.Dense(units128, activationrelu)) net.add(nn.Dropout(rate0.5)) net.add(nn.Dense(units10)) net.initialize() net.hybridize() # 所有子层均为 HybridBlock可安全混合化 out net(nd.random.uniform(shape(2, 3, 32, 32))) print(out.shape) # (2, 10)关键点回顾用nn.HybridSequential并在训练前hybridize()编译为符号图以获得更好的执行性能卷积后紧跟BatchNorm时注意axis与layout匹配NCHW 下axis1分类头用FlattenDense或GlobalAvgPool2DDense过渡到固定维度输出。这些层的正确性由仓库测试持续保障例如 tests/python/unittest/test_gluon.py 中对nn.Conv2D、nn.Dense、nn.BatchNorm、nn.Dropout、nn.Flatten、nn.Activation、nn.GlobalAvgPool2D等层有上百处直接调用验证可作为你学习每个层输入输出约定的参考用例。更进一步你可以在 docs/python_docs/python/api/gluon/nn/index.rst 的 API Reference 一节查阅每个类的完整成员签名与文档。赞分享深度学习机器学习人工智能【免费下载链接】mxnetLightweight, Portable, Flexible Distributed/Mobile Deep Learning with Dynamic, Mutation-aware Dataflow Dep Scheduler; for Python, R, Julia, Scala, Go, Javascript and more项目地址https://gitcode.com/gh_mirrors/mxnet1/mxnet点击查看免费下载相关推荐Apache MXNet Gluon nn 模块全解内置神经网络层分类与源码级参数指南Apache MXNet Gluon nn 模块全解内置神经网络层分类与源码级参数指南 本篇技术指南围绕 Apache MXNet 的 gluon.nn 模块深度学习人工智能机器学习分布式训练MXNet Gluon nn 模块全解析神经网络层的分类体系与源码级使用指南MXNet Gluon nn 模块全解析神经网络层的分类体系与源码级使用指南 本文以 MXNet 官方 API 文档 docs/python_docs/pyt人工智能深度学习机器学习MXNet Gluon RNN 循环神经网络模块全解析内置循环单元、组合修饰 Cell 与高层循环层实战指南MXNet Gluon RNN 循环神经网络模块全解析内置循环单元、组合修饰 Cell 与高层循环层实战指南 mxnet.gluon.rnn 是 Apache人工智能深度学习机器学习创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
深度学习机器学习人工智能【免费下载链接】mxnetLightweight, Portable, Flexible Distributed/Mobile Deep Learning with Dynamic, Mutation-aware Dataflow Dep Scheduler; for Python, R, Julia, Scala, Go, Javascript and more项目地址https://gitcode.com/gh_mirrors/mxnet1/mxnet点击查看免费下载Gluon 是 MXNet 的命令式深度学习接口其中mxnet.gluon.nn模块为开发者提供了覆盖全场景的内置神经网络层Layer/Block从顺序容器、全连接与卷积、池化、归一化到嵌入与高级激活函数一应俱全。本文以 docs/python_docs/python/api/gluon/nn/index.rst 的官方 API 索引为骨架逐类梳理gluon.nn与gluon.contrib.nn两个模块中的全部内置层并结合仓库源码 python/mxnet/gluon/nn/ 剖析每个层的核心参数、默认值、输入输出形状与底层算子调用帮助你按图索骥地搭建、调试和优化 Gluon 网络。模块概览两个模块、一套体系根据官方文档Gluon 提供的大量内置神经网络层分布在两个模块中mxnet.gluon.nn核心神经网络层包含顺序容器、基础层、卷积层、池化层、归一化层、嵌入层与高级激活层mxnet.gluon.contrib.nn实验性/贡献层包含并发容器、恒等映射、稀疏嵌入、跨卡同步批归一化SyncBatchNorm与像素重排PixelShuffle等。两个模块的导出关系可在源码中直接验证python/mxnet/gluon/nn/init.py 从block、basic_layers、conv_layers、activations四个文件通配导出全部类python/mxnet/gluon/contrib/nn/init.py 仅从basic_layers一个文件导出。也就是说gluon.nn的实现实际上被组织为三个物理文件基础层 basic_layers.py、卷积与池化层 conv_layers.py、激活层 activations.py。理解这一文件布局可以帮你快速定位源码。顺序容器Sequential 与 HybridSequentialgluon.nn提供两种顺序容器用于把多个层按顺序堆叠成网络类基类适用场景nn.SequentialBlock普通命令式网络子层可以为任意Blocknn.HybridSequentialHybridBlock需要hybridize()符号化加速的网络源码 python/mxnet/gluon/nn/basic_layers.py 显示两者都通过add(*blocks)注册子块forward/hybrid_forward依次把输入传递给每个子块from mxnet import gluon, nd from mxnet.gluon import nn net nn.Sequential() with net.name_scope(): net.add(nn.Dense(10, activationrelu)) net.add(nn.Dense(20)) net.initialize() net(nd.random.uniform(shape(4, 5))) # 输出形状 (4, 20)两个要点值得注意name_scope命名规范官方文档示例中强调使用 net 的 name_scope 给子 Block 合适的名字。在name_scope内注册的子层会自动获得带前缀的参数名如dense0_weight这对参数保存、加载与调试至关重要。混合化的选择Sequential.hybridize()会对子层递归生效。源码中有一段值得注意的逻辑basic_layers.py如果Sequential的所有子层都是HybridBlock会发出警告提示改用HybridSequential以获得更好性能。因此若你的网络全部由gluon.nn内置层构成直接使用HybridSequential并在训练前调用net.hybridize()是最佳实践。另外Sequential支持__getitem__与__len__可以像列表一样按下标访问或切片子层。基础层Basic Layers基础层是网络搭建的积木官方 API 索引列出六种层核心作用nn.Dense全连接层nn.Activation显式应用激活函数nn.Dropout随机置零部分神经元缓解过拟合nn.Flatten展平输入为二维nn.Lambda把算子/表达式包装成Blocknn.HybridLambda把算子/表达式包装成HybridBlockDense全连接层Dense实现output activation(dot(input, weight) bias)basic_layers.py。其核心参数与默认值如下参数默认值说明units必填输出维度activationNone激活函数名如relu不指定则为线性use_biasTrue是否使用偏置向量flattenTrue为True时把除第一维外的所有维度折叠输入(batch, x1, ..., xn)→ 输出(batch, units)为False时只作用于最后一维输入(x1, ..., xn, in_units)→ 输出(x1, ..., xn, units)dtypefloat32参数数据类型weight_initializerNone权重初始化器bias_initializerzeros偏置初始化器in_units0输入维度不指定时延迟到第一次forward由输入形状推断从源码看Dense底层调用的是FullyConnected算子np 模式下为npx.fully_connected参数weight形状为(units, in_units)bias形状为(units,)两者都使用allow_deferred_initTrue支持延迟初始化。文档特别提示输入必须是秩为 2 的张量当flattenFalse时例外必要时先用Flatten层手动转换。Dropout随机失活Dropout(rate, axes())在训练时以概率rate随机将输入单元置 0basic_layers.py。rate必须位于 0 与 1 之间axes用于指定共享 dropout 掩码的轴如 NLP 中整行丢弃。源码中当rate 0时调用Dropout算子rate 0时直接走恒等拷贝因此rate0不会带来额外开销。Activation 与 Lambda 系列nn.Activation(activation)只接受一个字符串参数如relu、sigmoid、tanh通过F.Activation(x, act_type...)实现activations.py。Dense、_Conv内部的activation参数本质上就是包了一个Activation子层源码中self.act Activation(activation, prefixactivation_)。nn.Lambda(function)可以把算子名如tanh或任意函数包装为Blockbasic_layers.pyblock nn.Lambda(lambda x: nd.LeakyReLU(x, slope0.1))nn.HybridLambda(function)是 Hybrid 版本函数签名须为def function(F, data, *args)F为符号或 NDArray 前端从而同时支持符号与命令式执行basic_layers.py。卷积层Convolutional Layersgluon.nn提供 1D/2D/3D 三个维度的卷积及其转置版本共 6 个类Conv1D、Conv2D、Conv3D、Conv1DTranspose、Conv2DTranspose、Conv3DTranspose。它们共享同一个私有基类_Convconv_layers.py核心参数完全一致参数默认值说明channels必填输出通道数滤波器数量kernel_size必填卷积窗口尺寸可传 int 或 n 元 tuplestrides各维度1步长padding各维度0输入两侧隐式补零数量dilation各维度1空洞卷积扩张率groups1分组卷积groups2等价于两个并排卷积各自处理一半通道layoutNCW/NCHW/NCDHW数据维度顺序in_channels0输入通道数不指定则延迟推断activationNone卷积后紧跟的激活函数use_biasTrue是否使用偏置weight_initializer/bias_initializerNone/zeros参数初始化器各维度可用的layout有严格限制源码中以assert强制Conv1D/Conv1DTranspose仅NCWConv2D/Conv2DTransposeNCHW或NHWCConv3D/Conv3DTransposeNCDHW或NDHWC。一个值得留意的实现细节_Conv在初始化时通过_infer_weight_shape用空 shape 的 symbol 推断权重形状conv_layers.py从而在in_channels未指定时也能建立正确的参数形状并延迟到首次forward再完成初始化。输出尺寸计算公式源码文档原文标准卷积以 2D 为例输入(N, C, H, W)out_height floor((height 2*padding[0] - dilation[0]*(kernel_size[0]-1) - 1) / stride[0]) 1 out_width floor((width 2*padding[1] - dilation[1]*(kernel_size[1]-1) - 1) / stride[1]) 1转置卷积以 2D 为例out_height (height-1)*strides[0] - 2*padding[0] kernel_size[0] output_padding[0] out_width (width-1)*strides[1] - 2*padding[1] kernel_size[1] output_padding[1]转置卷积又称反卷积常用于从低分辨率特征恢复高分辨率输出如生成模型、语义分割。Conv*DTranspose独有的output_padding参数控制输出侧隐式补零在_Conv.__init__中以adj关键字传给Deconvolution算子。典型用法conv nn.Conv2D(channels32, kernel_size(3, 3), strides(2, 2), padding(1, 1), activationrelu) x nd.random.uniform(shape(1, 3, 224, 224)) print(conv(x).shape) # (1, 32, 112, 112)池化层Pooling Layers池化层家族是gluon.nn中规模最大的一组共 12 个类全部继承私有基类_Poolingconv_layers.pyMax 池化MaxPool1D、MaxPool2D、MaxPool3D平均池化AvgPool1D、AvgPool2D、AvgPool3D全局最大池化GlobalMaxPool1D、GlobalMaxPool2D、GlobalMaxPool3D全局平均池化GlobalAvgPool1D、GlobalAvgPool2D、GlobalAvgPool3D反射填充ReflectionPad2D。局部池化层Max/Avg的核心参数参数默认值说明pool_size2 或(2, 2)等池化窗口大小stridesNone下采样因子None时默认等于pool_sizepadding0两侧隐式补零layout同卷积NCW/NCHW/NCDHW等ceil_modeFalse为True时输出形状用 ceil 而非 floor 计算count_include_padTrue仅 Avg为False时计算平均值排除填充元素源码中_Pooling会把ceil_mode映射为pooling_conventionfull或valid传给底层Pooling算子这一点在排查输出形状异常时很有用。输出尺寸公式以 2D 为例out_height floor((height 2*padding[0] - pool_size[0]) / strides[0]) 1 out_width floor((width 2*padding[1] - pool_size[1]) / strides[1]) 1全局池化Global*不需要pool_size其输出在每个通道上只有一个元素——例如GlobalAvgPool2D输出形状为(batch, channels, 1, 1)在 CNN 分类头Dense之前替代Flatten是常见做法可大幅减少参数量。ReflectionPad2D(padding)使用输入边界的反射值填充输出尺寸为(H_in 2*padding, W_in 2*padding)内部调用F.pad(x, modereflect, ...)conv_layers.py常用于风格迁移等需要保持边界信息平滑的场景。归一化层Normalization LayersAPI 索引列出三种归一化层BatchNorm、InstanceNorm、LayerNorm源码 basic_layers.py 中还有第四种GroupNorm一并导出。BatchNorm批归一化BatchNorm在每个 mini-batch 内将激活归一化到均值接近 0、标准差接近 1Ioffe Szegedy, 2014。参数与默认值参数默认值说明axis1归一化轴通常为通道轴Conv2D(layoutNCHW)后设axis1NHWC则设axis3momentum0.9滑动均值/方差的动量epsilon1e-5加在方差上的小量防止除零centerTrue是否加beta偏移scaleTrue是否乘gamma缩放下一层为线性层时可关闭use_global_statsFalse为True时使用全局滑动统计退化为 scale-shift 算子推理场景beta_initializerzerosbeta 初始化gamma_initializeronesgamma 初始化running_mean_initializer/running_variance_initializerzeros/ones滑动统计量初始化in_channels0通道数不指定则延迟推断从源码可以看出BatchNorm的参数管理细节gamma/beta的grad_req分别由scale/center决定关闭时为null不参与求导running_mean/running_var恒为grad_reqnullbasic_layers.py。此外BatchNorm.cast()有个特殊处理当被转换为float16时滑动统计量会回退到float32以保持数值稳定basic_layers.py这是训练混合精度模型时的重要行为。InstanceNorm / LayerNorm / GroupNormInstanceNorm(axis1, epsilon1e-5, centerTrue, scaleFalse, ...)实例归一化沿除 batch 与通道轴外的维度归一化scale默认False常用于风格迁移参考 Ulyanov et al., 2016。源码对非axis1的情况通过swapaxes交换通道轴后再调用InstanceNorm算子basic_layers.py。LayerNorm(axis-1, epsilon1e-5, centerTrue, scaleTrue, ...)层归一化默认沿最后一维归一化常用于 Transformer、RNN 等序列模型参考 Ba et al., 2016。其数学形式为out (x - mean(x, axis)) / sqrt(Var(x, axis) epsilon) * gamma betaGroupNorm(num_groups1, epsilon1e-5, centerTrue, scaleTrue, ...)组归一化把通道轴分成num_groups组分别归一化gamma/beta形状为(num_groups,)参考 Wu He, 2018。在小 batch 场景下是BatchNorm的常用替代。这些归一化层的源码 docstring 中均附带可直接运行验证的mx.nd.array数值示例见 basic_layers.py 的 InstanceNorm 示例与 basic_layers.py 的 LayerNorm 示例可以对照公式自行校验。嵌入层Embedding Layersnn.Embedding(input_dim, output_dim, dtypefloat32, weight_initializerNone, sparse_gradFalse)把非负整数索引/词元转换为固定维度的稠密向量例如[4, 20] - [[0.25, 0.1], [0.6, -0.2]]basic_layers.py。参数说明input_dim词表大小即最大整数索引 1output_dim嵌入向量的维度sparse_grad为True时权重的梯度为row_sparseNDArray仅 SGD、AdaGrad、Adam 等部分优化器支持稀疏梯度源码中sparse_gradTrue会把参数grad_stype设为row_sparse底层调用F.Embedding算子。输入为(N-1)维张量输出为(x1, ..., xN-1, output_dim)维张量。高级激活层Advanced Activation LayersAPI 索引列出 5 种带参数的激活层LeakyReLU、PReLU、ELU、SELU、Swish源码 activations.py 中还有GELU一并导出。层参数数学形式LeakyReLUalpha≥ 0必填f(x) alpha*x (x0); x (x0)PReLUalpha_initializer默认Constant(0.25)与 LeakyReLU 相同但alpha是可学习参数ELUalpha默认1.0Clevert et al., 2016 的指数线性单元SELU无自归一化指数线性单元Klambauer et al., 2017Swishbeta默认1.0swish(x) x * sigmoid(beta*x)Ramachandran et al., 2017一个有趣的实现细节ELU、SELU、GELU、PReLU底层都复用了F.LeakyReLU算子仅通过act_type区分elu、selu、gelu、preluSwish则由x * sigmoid(beta*x)组合实现activations.py。这意味着这些激活层都是可混合化Hybrid的hybridize()后会被编译进符号图。contrib.nn扩展层速览mxnet.gluon.contrib.nn提供面向特殊场景的贡献层源码 python/mxnet/gluon/contrib/nn/basic_layers.pyConcurrent/HybridConcurrent把输入同时喂给所有子块并把输出在指定轴axis默认-1上拼接。HybridConcurrent与Identity组合可实现残差连接。Identity恒等映射块直接透传输入常与HybridConcurrent搭配构成残差分支。SparseEmbedding专为分布式训练超大词表设计的稀疏嵌入权重与梯度均为RowSparseNDArray适合推荐系统等场景。SyncBatchNorm跨 GPU 同步批归一化把整个 mini-batch跨所有设备的统计量一起归一化注意当前实现不支持 FP16 训练FP16 推理请改用标准nn.BatchNorm。num_devices默认取可见 GPU 数。PixelShuffle1D/2D/3D像素重排上采样把通道维分组重排到空间维例如(N, f²C, H, W) - (N, C, fH, fW)。它是转置卷积之外可学习的上采样方案可缓解转置卷积常见的棋盘格伪影参考 Shi et al., 2016。实战组合一个完整的 CNN 示例综合以上层族一个典型的图像分类网络可以这样组织参照 example/image-classification/ 中的 Gluon 训练脚本风格from mxnet import gluon, nd from mxnet.gluon import nn net nn.HybridSequential() with net.name_scope(): net.add(nn.Conv2D(channels32, kernel_size3, padding1, activationrelu)) net.add(nn.BatchNorm()) net.add(nn.MaxPool2D(pool_size2, strides2)) net.add(nn.Conv2D(channels64, kernel_size3, padding1, activationrelu)) net.add(nn.BatchNorm()) net.add(nn.MaxPool2D(pool_size2, strides2)) net.add(nn.Flatten()) net.add(nn.Dense(units128, activationrelu)) net.add(nn.Dropout(rate0.5)) net.add(nn.Dense(units10)) net.initialize() net.hybridize() # 所有子层均为 HybridBlock可安全混合化 out net(nd.random.uniform(shape(2, 3, 32, 32))) print(out.shape) # (2, 10)关键点回顾用nn.HybridSequential并在训练前hybridize()编译为符号图以获得更好的执行性能卷积后紧跟BatchNorm时注意axis与layout匹配NCHW 下axis1分类头用FlattenDense或GlobalAvgPool2DDense过渡到固定维度输出。这些层的正确性由仓库测试持续保障例如 tests/python/unittest/test_gluon.py 中对nn.Conv2D、nn.Dense、nn.BatchNorm、nn.Dropout、nn.Flatten、nn.Activation、nn.GlobalAvgPool2D等层有上百处直接调用验证可作为你学习每个层输入输出约定的参考用例。更进一步你可以在 docs/python_docs/python/api/gluon/nn/index.rst 的 API Reference 一节查阅每个类的完整成员签名与文档。赞分享深度学习机器学习人工智能【免费下载链接】mxnetLightweight, Portable, Flexible Distributed/Mobile Deep Learning with Dynamic, Mutation-aware Dataflow Dep Scheduler; for Python, R, Julia, Scala, Go, Javascript and more项目地址https://gitcode.com/gh_mirrors/mxnet1/mxnet点击查看免费下载相关推荐Apache MXNet Gluon nn 模块全解内置神经网络层分类与源码级参数指南Apache MXNet Gluon nn 模块全解内置神经网络层分类与源码级参数指南 本篇技术指南围绕 Apache MXNet 的 gluon.nn 模块深度学习人工智能机器学习分布式训练MXNet Gluon nn 模块全解析神经网络层的分类体系与源码级使用指南MXNet Gluon nn 模块全解析神经网络层的分类体系与源码级使用指南 本文以 MXNet 官方 API 文档 docs/python_docs/pyt人工智能深度学习机器学习MXNet Gluon RNN 循环神经网络模块全解析内置循环单元、组合修饰 Cell 与高层循环层实战指南MXNet Gluon RNN 循环神经网络模块全解析内置循环单元、组合修饰 Cell 与高层循环层实战指南 mxnet.gluon.rnn 是 Apache人工智能深度学习机器学习创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
