深度学习人工智能机器学习分布式训练【免费下载链接】mxnetLightweight, Portable, Flexible Distributed/Mobile Deep Learning with Dynamic, Mutation-aware Dataflow Dep Scheduler; for Python, R, Julia, Scala, Go, Javascript and more项目地址https://gitcode.com/gh_mirrors/mx/mxnet点击查看免费下载本指南基于 Apache MXNet 官方入门教程Crash Course开篇《Introduction》展开系统梳理 MXNet 的核心特性、张量ndarray基础、命令式与符号式两种编程范式以及 Gluon 中Block/HybridBlock的混合编程设计。读完本文你将掌握 MXNet 的抽象层级张量 → 块 → 网络、理解hybridize()背后的执行机制并知道如何沿着官方速成课程Crash Course的 8 个章节一步步完成从数据操作、网络构建到 GPU 多卡训练的全流程。MXNet 是什么Apache MXNet 是一个开源的深度学习框架提供了全面且灵活的 API 用于创建深度学习模型。官方入门文档 0-introduction.md 总结了它的五个核心特点快速且可扩展Fast and Scalable轻松支持多 GPU 以及分布式多主机训练任务多语言支持Multiple Programming Language Support提供 Python、Scala、R、Java、C、Julia、Matlab、JavaScript 和 Go 等多种语言接口生态背书Supported由 Apache 软件基金会支持并得到 AWS、Microsoft Azure 以及活跃开源社区的维护可移植Portable支持在广泛的硬件配置与平台上高效部署包括低端设备、物联网设备、无服务器计算serverless和容器环境灵活Flexible同时支持命令式imperative与符号式symbolic两种编程范式即混合编程。需要说明的是多 GPU 与分布式支持多语言绑定跨平台部署等能力在仓库中的实现均有对应支撑例如 src/kvstore 目录下的kvstore_dist.h、kvstore_nccl.h等实现分布式与多卡通信src/storage 目录下cpu_device_storage.h、gpu_device_storage.h支撑异构设备存储。它们共同构成了上述特性的底层基础。基本构建块张量ndarray什么是张量张量Tensor提供了一种通用方式来描述具有任意数量轴的 $n$ 维数组向量是一阶张量矩阵是二阶张量超过两阶的张量没有特殊的数学名称。MXNet 通过np包提供了与 NumPy 兼容的张量实现np.ndarray并在此基础上增加了两个关键能力跨硬件执行np.ndarray支持在 CPU、GPU 以及多 GPU 机器上快速执行而原生 NumPy 只支持 CPU 计算惰性执行lazy executionnp.ndarray的代码执行是惰性的允许自动将多个操作并行化到可用硬件上这是其相对 NumPy 在性能上的重要差异。在 API 层面np与npx共同构成 NP on MXNet 前端其中npx是 NumPy 扩展包。npx.set_np()用于激活 NumPy 风格模式这也是整个 Crash Course 系列中每个 Notebook 的开篇调用。相关的张量方法定义如attach_grad、backward位于 python/mxnet/ndarray/ndarray.pyNumPy 兼容实现位于 python/mxnet/numpy/multiarray.py。一个最小示例来自速成课程第 1 步 1-nparray.mdimport mxnet as mx from mxnet import np, npx npx.set_np() # 激活 NumPy 风格模式 x np.full((2, 3), 1) # 创建 2x3 全 1 矩阵默认 float32 y np.random.uniform(-1, 1, (2, 3)) # 均匀采样随机矩阵 x.shape, x.size, x.dtype # 查询形状、元素个数与数据类型 x * y # 逐元素乘法 np.dot(x, y.T) # 矩阵乘法需转置关于张量操作的完整细节索引切片、asnumpy()与 NumPy 互转、copyto(device)跨设备拷贝等属于速成课程第 1 步的主题这里不展开仅需记住张量是 MXNet 一切计算的基础抽象。两种编程范式命令式 vs 符号式深度学习的编程接口历史上分为两大流派绝大多数框架只选择其一命令式Imperative编程更简单、更易调试。在 Python 中使用命令式编程时大部分代码直观易写由于可以方便地获取并打印所有中间变量的值或使用 Python 内置调试工具因此调试更加容易。Theano 与早期的 TensorFlow 采用符号式Chainer 及其后继 PyTorch 采用命令式。符号式Symbolic编程更高效、更易移植。它可以在编译期对代码进行优化同时能够将程序移植为与 Python 无关的格式从而在非 Python 环境中运行规避 Python 解释器带来的性能开销。MXNet 的设计者希望兼得两者之长用户可以使用纯命令式编程进行开发与调试同时在需要产品级计算性能和部署时将大部分程序转换为符号式执行。这正是混合编程Hybrid Programming理念的由来。块抽象Block 与 HybridBlockBlock所有网络层与网络的基类像 ResNet-152 这类网络设计具有相当高的规律性它们由大量重复或结构相似的层构成块这些块再组合成更复杂的网络结构。一个块可以是单个层、多个层的组合甚至是整个神经网络本身。块抽象的核心价值在于可递归组合——通过定义按需生成任意复杂度块的代码可以用非常紧凑的代码实现复杂网络。从编程角度看块由类表示Block是所有神经网络层的基类。任何子类都必须定义前向传播函数将输入变换为输出并在需要时存储参数。源码中Block类定义于 python/mxnet/gluon/block.py所有内置层nn.Dense、nn.Conv2D、nn.Sequential等都继承自它。API 文档参见 Block 参考文档。HybridBlock桥接两种范式的关键抽象HybridBlock是Block的混合版本定义于 python/mxnet/gluon/block.py。与它配套的还有HybridSequential与HybridConcatenate定义于 python/mxnet/gluon/nn/basic_layers.py 与 python/mxnet/gluon/nn/basic_layers.py。其工作方式如下默认命令式执行与Block/Sequential/Concatenate在命令式编程中的执行方式完全一致调用hybridize()后转为符号式Gluon 会将程序执行转换为符号式风格从而在不牺牲模型实现方式的前提下对计算密集型组件进行优化。hybridize方法的实现位于 python/mxnet/gluon/block.pyBlock与 python/mxnet/gluon/block.pyHybridBlock。一个典型的用法from mxnet import npx from mxnet.gluon import nn npx.set_np() net nn.HybridSequential() net.add(nn.Dense(256, activationrelu), nn.Dense(128, activationrelu), nn.Dense(2)) net.initialize() net(x) # 命令式执行调试期 net.hybridize() # 转为符号式执行部署/性能优化期 net(x) # 现在以符号图方式运行两个范式的能力对比如下维度命令式Block符号式HybridBlock hybridize编写难度低逻辑直观需要理解图/占位符概念调试体验好可直接打印中间值、用 Python 调试器较差逻辑被编译进静态图运行效率一般Python 解释器开销明显高编译期算子级优化可移植性依赖 Python 环境可导出为与 Python 无关的格式JSON params适用场景原型开发、快速迭代产品级推理、跨语言部署一个重要的实践结论是MXNet 所有预定义层都是 HybridBlock因此任何完全由预定义层构成的网络都可以通过调用.hybridize()编译并显著提速——速成课程第 2 步 2-create-nn.md 中给出了对 1000 次前向传播计时对比的命令式/符号式性能基准示例。Gluon灵活且易用的高层前端Gluon 是 MXNet 中面向深度学习的高层命令式前端 API它的核心卖点是从实验到部署一站式覆盖且不牺牲训练速度其底气正是上面提到的混合编程用户同时拥有命令式与符号式两套 API。Gluon 还内置了大量标准任务的先进模型分类、目标检测、语义分割等。Gluon 的神经网络模块分两个来源mxnet.gluon.nn由 MXNet 团队维护的 NN 模块内置层列表见 mxnet.gluon.nn 参考文档mxnet.gluon.contrib.nn由社区贡献的实验性模块。除了层Gluon 生态还覆盖训练所需的几乎全部组件初始化器Initializers 参考文档、损失函数loss 参考文档、优化器optimizers 参考文档、评估指标Metrics 参考文档、数据集与数据加载gluon.data、以及设备管理mx.device中的num_gpus()等见 python/mxnet/device.py。速成课程全览从入门到多 GPU 训练本入门文档是整个 Crash Course 系列的第 0 步。该系列课程索引见 index.rst面向已经熟悉深度学习理论或其他框架的读者各节既可独立学习也可按顺序通读。完整的 8 个章节如下步骤主题文档核心内容0Introduction0-introduction.md框架特性、张量、Block / HybridBlock、Gluon 概览本文1Manipulate data with NP1-nparray.mdnp/npx张量创建、运算、索引、与 NumPy 互转2Create a neural network2-create-nn.mdnn.Dense、nn.Sequential、自定义Block、Parameter、模型保存/加载与可视化3Automatic differentiation3-autograd.mdautograd.record()、attach_grad、backward、自定义算子与执行轨迹记录4Necessary components4-components.md初始化、损失函数、优化器gluon.Trainer、评估指标5Datasets and DataLoader5-datasets.mdDataset/DataLoader、批处理、数据增强、C 后端加载器6Train a Neural Network6-train-nn.md端到端训练数据准备 → 网络构建 → 优化器/损失 → 训练循环 → 测试7Load and Run a NN using GPU7-use-gpus.mdGPU 分配、多 GPU 数据并行训练系列中的训练示例使用了一个植物叶片健康/患病分类数据集配套的prepare_dataset.py工具脚本prepare_dataset.py负责将原始数据重排为 train / validation / test 三个子集随后通过gluon.data.vision.ImageFolderDataset加载。训练部分第 6 步完整演示了mx.autograd.record()mx.autograd.backward(loss)trainer.step(batch_size)的标准训练循环而第 7 步在此基础上用gluon.utils.split_and_load(data, devices)将 batch 切分到多张 GPU 上并行执行——这正是入门文档中多 GPU、可扩展特性的最直观实践。快速上手路线建议只想知道怎么跑通一个模型阅读第 1、2、6 步即可第 6 步的叶片分类示例是完整闭环想理解框架设计哲学重点阅读本入门文档第 0 步与第 2 步中的 HybridBlock 性能对比部分想压榨硬件性能第 5 步的 C 后端 DataLoadertry_nopython参数与第 7 步的多 GPU 数据并行值得深入。下一站入门文档的 Next steps 指引读者继续深入张量表示第 1 步数组操作随后依次经过自动微分第 3 步、训练组件第 4 步、数据加载第 5 步等环节。如需系统学习深度学习与 MXNet 架构官方推荐参考《Dive into Deep Learning》D2L教材。完整课程索引与配置位于 docs/python_docs/python/tutorials/getting-started/crash-course/index.rst。赞分享深度学习人工智能机器学习分布式训练【免费下载链接】mxnetLightweight, Portable, Flexible Distributed/Mobile Deep Learning with Dynamic, Mutation-aware Dataflow Dep Scheduler; for Python, R, Julia, Scala, Go, Javascript and more项目地址https://gitcode.com/gh_mirrors/mx/mxnet点击查看免费下载相关推荐Pyro深度概率编程入门指南与核心概念解析Pyro深度概率编程入门指南与核心概念解析 Pyro是一个基于PyTorch构建的深度概率编程库代表了概率编程语言PPL领域的重要创新。本文将全面介绍P人工智能机器学习深度学习概率编程3 分钟搞定华硕笔记本风扇失控G-Helper 零门槛校准风扇控制曲线3 分钟搞定华硕笔记本风扇失控G Helper 零门槛校准风扇控制曲线 温度只有 39°C风扇却转得像要起飞或者游戏里 GPU 干到 90°C风扇纹丝不桌面应用系统编程Ray Serve 核心概念详解Deployment、Application 与 DeploymentHandle 组合编程指南Ray Serve 核心概念详解Deployment、Application 与 DeploymentHandle 组合编程指南 导读 本文围绕 Ray Se人工智能分布式训练强化学习任务调度模型推理服务创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
深度学习人工智能机器学习分布式训练【免费下载链接】mxnetLightweight, Portable, Flexible Distributed/Mobile Deep Learning with Dynamic, Mutation-aware Dataflow Dep Scheduler; for Python, R, Julia, Scala, Go, Javascript and more项目地址https://gitcode.com/gh_mirrors/mx/mxnet点击查看免费下载本指南基于 Apache MXNet 官方入门教程Crash Course开篇《Introduction》展开系统梳理 MXNet 的核心特性、张量ndarray基础、命令式与符号式两种编程范式以及 Gluon 中Block/HybridBlock的混合编程设计。读完本文你将掌握 MXNet 的抽象层级张量 → 块 → 网络、理解hybridize()背后的执行机制并知道如何沿着官方速成课程Crash Course的 8 个章节一步步完成从数据操作、网络构建到 GPU 多卡训练的全流程。MXNet 是什么Apache MXNet 是一个开源的深度学习框架提供了全面且灵活的 API 用于创建深度学习模型。官方入门文档 0-introduction.md 总结了它的五个核心特点快速且可扩展Fast and Scalable轻松支持多 GPU 以及分布式多主机训练任务多语言支持Multiple Programming Language Support提供 Python、Scala、R、Java、C、Julia、Matlab、JavaScript 和 Go 等多种语言接口生态背书Supported由 Apache 软件基金会支持并得到 AWS、Microsoft Azure 以及活跃开源社区的维护可移植Portable支持在广泛的硬件配置与平台上高效部署包括低端设备、物联网设备、无服务器计算serverless和容器环境灵活Flexible同时支持命令式imperative与符号式symbolic两种编程范式即混合编程。需要说明的是多 GPU 与分布式支持多语言绑定跨平台部署等能力在仓库中的实现均有对应支撑例如 src/kvstore 目录下的kvstore_dist.h、kvstore_nccl.h等实现分布式与多卡通信src/storage 目录下cpu_device_storage.h、gpu_device_storage.h支撑异构设备存储。它们共同构成了上述特性的底层基础。基本构建块张量ndarray什么是张量张量Tensor提供了一种通用方式来描述具有任意数量轴的 $n$ 维数组向量是一阶张量矩阵是二阶张量超过两阶的张量没有特殊的数学名称。MXNet 通过np包提供了与 NumPy 兼容的张量实现np.ndarray并在此基础上增加了两个关键能力跨硬件执行np.ndarray支持在 CPU、GPU 以及多 GPU 机器上快速执行而原生 NumPy 只支持 CPU 计算惰性执行lazy executionnp.ndarray的代码执行是惰性的允许自动将多个操作并行化到可用硬件上这是其相对 NumPy 在性能上的重要差异。在 API 层面np与npx共同构成 NP on MXNet 前端其中npx是 NumPy 扩展包。npx.set_np()用于激活 NumPy 风格模式这也是整个 Crash Course 系列中每个 Notebook 的开篇调用。相关的张量方法定义如attach_grad、backward位于 python/mxnet/ndarray/ndarray.pyNumPy 兼容实现位于 python/mxnet/numpy/multiarray.py。一个最小示例来自速成课程第 1 步 1-nparray.mdimport mxnet as mx from mxnet import np, npx npx.set_np() # 激活 NumPy 风格模式 x np.full((2, 3), 1) # 创建 2x3 全 1 矩阵默认 float32 y np.random.uniform(-1, 1, (2, 3)) # 均匀采样随机矩阵 x.shape, x.size, x.dtype # 查询形状、元素个数与数据类型 x * y # 逐元素乘法 np.dot(x, y.T) # 矩阵乘法需转置关于张量操作的完整细节索引切片、asnumpy()与 NumPy 互转、copyto(device)跨设备拷贝等属于速成课程第 1 步的主题这里不展开仅需记住张量是 MXNet 一切计算的基础抽象。两种编程范式命令式 vs 符号式深度学习的编程接口历史上分为两大流派绝大多数框架只选择其一命令式Imperative编程更简单、更易调试。在 Python 中使用命令式编程时大部分代码直观易写由于可以方便地获取并打印所有中间变量的值或使用 Python 内置调试工具因此调试更加容易。Theano 与早期的 TensorFlow 采用符号式Chainer 及其后继 PyTorch 采用命令式。符号式Symbolic编程更高效、更易移植。它可以在编译期对代码进行优化同时能够将程序移植为与 Python 无关的格式从而在非 Python 环境中运行规避 Python 解释器带来的性能开销。MXNet 的设计者希望兼得两者之长用户可以使用纯命令式编程进行开发与调试同时在需要产品级计算性能和部署时将大部分程序转换为符号式执行。这正是混合编程Hybrid Programming理念的由来。块抽象Block 与 HybridBlockBlock所有网络层与网络的基类像 ResNet-152 这类网络设计具有相当高的规律性它们由大量重复或结构相似的层构成块这些块再组合成更复杂的网络结构。一个块可以是单个层、多个层的组合甚至是整个神经网络本身。块抽象的核心价值在于可递归组合——通过定义按需生成任意复杂度块的代码可以用非常紧凑的代码实现复杂网络。从编程角度看块由类表示Block是所有神经网络层的基类。任何子类都必须定义前向传播函数将输入变换为输出并在需要时存储参数。源码中Block类定义于 python/mxnet/gluon/block.py所有内置层nn.Dense、nn.Conv2D、nn.Sequential等都继承自它。API 文档参见 Block 参考文档。HybridBlock桥接两种范式的关键抽象HybridBlock是Block的混合版本定义于 python/mxnet/gluon/block.py。与它配套的还有HybridSequential与HybridConcatenate定义于 python/mxnet/gluon/nn/basic_layers.py 与 python/mxnet/gluon/nn/basic_layers.py。其工作方式如下默认命令式执行与Block/Sequential/Concatenate在命令式编程中的执行方式完全一致调用hybridize()后转为符号式Gluon 会将程序执行转换为符号式风格从而在不牺牲模型实现方式的前提下对计算密集型组件进行优化。hybridize方法的实现位于 python/mxnet/gluon/block.pyBlock与 python/mxnet/gluon/block.pyHybridBlock。一个典型的用法from mxnet import npx from mxnet.gluon import nn npx.set_np() net nn.HybridSequential() net.add(nn.Dense(256, activationrelu), nn.Dense(128, activationrelu), nn.Dense(2)) net.initialize() net(x) # 命令式执行调试期 net.hybridize() # 转为符号式执行部署/性能优化期 net(x) # 现在以符号图方式运行两个范式的能力对比如下维度命令式Block符号式HybridBlock hybridize编写难度低逻辑直观需要理解图/占位符概念调试体验好可直接打印中间值、用 Python 调试器较差逻辑被编译进静态图运行效率一般Python 解释器开销明显高编译期算子级优化可移植性依赖 Python 环境可导出为与 Python 无关的格式JSON params适用场景原型开发、快速迭代产品级推理、跨语言部署一个重要的实践结论是MXNet 所有预定义层都是 HybridBlock因此任何完全由预定义层构成的网络都可以通过调用.hybridize()编译并显著提速——速成课程第 2 步 2-create-nn.md 中给出了对 1000 次前向传播计时对比的命令式/符号式性能基准示例。Gluon灵活且易用的高层前端Gluon 是 MXNet 中面向深度学习的高层命令式前端 API它的核心卖点是从实验到部署一站式覆盖且不牺牲训练速度其底气正是上面提到的混合编程用户同时拥有命令式与符号式两套 API。Gluon 还内置了大量标准任务的先进模型分类、目标检测、语义分割等。Gluon 的神经网络模块分两个来源mxnet.gluon.nn由 MXNet 团队维护的 NN 模块内置层列表见 mxnet.gluon.nn 参考文档mxnet.gluon.contrib.nn由社区贡献的实验性模块。除了层Gluon 生态还覆盖训练所需的几乎全部组件初始化器Initializers 参考文档、损失函数loss 参考文档、优化器optimizers 参考文档、评估指标Metrics 参考文档、数据集与数据加载gluon.data、以及设备管理mx.device中的num_gpus()等见 python/mxnet/device.py。速成课程全览从入门到多 GPU 训练本入门文档是整个 Crash Course 系列的第 0 步。该系列课程索引见 index.rst面向已经熟悉深度学习理论或其他框架的读者各节既可独立学习也可按顺序通读。完整的 8 个章节如下步骤主题文档核心内容0Introduction0-introduction.md框架特性、张量、Block / HybridBlock、Gluon 概览本文1Manipulate data with NP1-nparray.mdnp/npx张量创建、运算、索引、与 NumPy 互转2Create a neural network2-create-nn.mdnn.Dense、nn.Sequential、自定义Block、Parameter、模型保存/加载与可视化3Automatic differentiation3-autograd.mdautograd.record()、attach_grad、backward、自定义算子与执行轨迹记录4Necessary components4-components.md初始化、损失函数、优化器gluon.Trainer、评估指标5Datasets and DataLoader5-datasets.mdDataset/DataLoader、批处理、数据增强、C 后端加载器6Train a Neural Network6-train-nn.md端到端训练数据准备 → 网络构建 → 优化器/损失 → 训练循环 → 测试7Load and Run a NN using GPU7-use-gpus.mdGPU 分配、多 GPU 数据并行训练系列中的训练示例使用了一个植物叶片健康/患病分类数据集配套的prepare_dataset.py工具脚本prepare_dataset.py负责将原始数据重排为 train / validation / test 三个子集随后通过gluon.data.vision.ImageFolderDataset加载。训练部分第 6 步完整演示了mx.autograd.record()mx.autograd.backward(loss)trainer.step(batch_size)的标准训练循环而第 7 步在此基础上用gluon.utils.split_and_load(data, devices)将 batch 切分到多张 GPU 上并行执行——这正是入门文档中多 GPU、可扩展特性的最直观实践。快速上手路线建议只想知道怎么跑通一个模型阅读第 1、2、6 步即可第 6 步的叶片分类示例是完整闭环想理解框架设计哲学重点阅读本入门文档第 0 步与第 2 步中的 HybridBlock 性能对比部分想压榨硬件性能第 5 步的 C 后端 DataLoadertry_nopython参数与第 7 步的多 GPU 数据并行值得深入。下一站入门文档的 Next steps 指引读者继续深入张量表示第 1 步数组操作随后依次经过自动微分第 3 步、训练组件第 4 步、数据加载第 5 步等环节。如需系统学习深度学习与 MXNet 架构官方推荐参考《Dive into Deep Learning》D2L教材。完整课程索引与配置位于 docs/python_docs/python/tutorials/getting-started/crash-course/index.rst。赞分享深度学习人工智能机器学习分布式训练【免费下载链接】mxnetLightweight, Portable, Flexible Distributed/Mobile Deep Learning with Dynamic, Mutation-aware Dataflow Dep Scheduler; for Python, R, Julia, Scala, Go, Javascript and more项目地址https://gitcode.com/gh_mirrors/mx/mxnet点击查看免费下载相关推荐Pyro深度概率编程入门指南与核心概念解析Pyro深度概率编程入门指南与核心概念解析 Pyro是一个基于PyTorch构建的深度概率编程库代表了概率编程语言PPL领域的重要创新。本文将全面介绍P人工智能机器学习深度学习概率编程3 分钟搞定华硕笔记本风扇失控G-Helper 零门槛校准风扇控制曲线3 分钟搞定华硕笔记本风扇失控G Helper 零门槛校准风扇控制曲线 温度只有 39°C风扇却转得像要起飞或者游戏里 GPU 干到 90°C风扇纹丝不桌面应用系统编程Ray Serve 核心概念详解Deployment、Application 与 DeploymentHandle 组合编程指南Ray Serve 核心概念详解Deployment、Application 与 DeploymentHandle 组合编程指南 导读 本文围绕 Ray Se人工智能分布式训练强化学习任务调度模型推理服务创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
