Burn-Train DDP 分布式数据并行策略详解多设备模型副本、All-Reduce 梯度同步与主设备机制【免费下载链接】burnBurn is a next generation tensor library and Deep Learning Framework that doesnt compromise on flexibility, efficiency and portability.项目地址: https://gitcode.com/GitHub_Trending/bu/burn本文基于 Burn 仓库中crates/burn-train的 DDP 学习策略说明文档及其配套源码完整讲解 Burn 的 Distributed Data ParallelDDP训练策略它如何在每台设备上运行一个模型副本、如何通过all-reduce在节点间同步梯度、主设备main device与次级设备各自承担什么职责以及如何通过ExecutionStrategy::ddp与DistributedContext在Learner上启用该策略。读完本文你可以复现 DDP 的配置方式并对照 ddp/strategy.rs、ddp/worker.rs 等源码理解其线程模型、数据切分与事件处理细节。DDP 是什么每台设备一个模型副本根据 DDP 策略说明DDP 是 Burn 提供的一种学习策略learning strategy其核心工作方式是每台设备训练一个模型副本DDP 会在提供的每台设备上运行同一模型的副本每设备一个线程DDP 为每台本地设备启动一个线程thread节点上的每个线程各跑一份模型all-reduce 同步梯度前向与反向传播完成后梯度通过一次all-reduce集合通信操作在**所有节点上的所有对等方peers**之间同步多节点责任划分DDP 只负责为“本节点内的每台本地设备”启动线程。把 DDP 启动到每一个节点上、并确保各节点的集合通信配置collective configuration一致是用户的责任。从源码结构看这一描述与实现完全对应DdpTrainingStrategy 持有devices: VecDevice与一个DistributedContext其 fit 方法 通过DdpWorker::M::start(...)为每个设备各 spawn 一个线程线程内的 DdpWorker::fit 执行self.learner.fork(self.device)把学习者“分叉”到对应设备并调用self.learner.grad_sharded()启用梯度分片随后进入逐 epoch 的训练循环。DDP 属于burn-train中SupervisedLearningStrategy的一种默认执行策略与单设备、多设备策略并列。在 strategies/base.rs 中ExecutionStrategy枚举定义了三种形态pub enum ExecutionStrategy { /// Training on one device SingleDevice(Device), /// Performs>impl ExecutionStrategy { /// Creates a distributed data parallel (DDP) strategy. pub fn ddp(devices: VecDevice, config: DistributedConfig) - Self { let context DistributedContext::init(devices.clone(), config); Self::DistributedDataParallel { devices, context } } }这里的config即 DistributedConfig它只包含一个字段pub struct DistributedConfig { /// How to execute the all_reduce operation. pub all_reduce_op: ReduceOperation, }其中ReduceOperation是梯度归约方式取值Sum或Mean见 burn-std/src/distributed.rs。DistributedContext::init在 burn-tensor/src/tensor/distributed.rs 中其文档注释说明创建 context 会自动初始化底层分布式通信服务器drop 时保证所有网络资源被干净拆除pub fn init(devices: VecDevice, config: DistributedConfig) - Self { let dispatch_devices devices .iter() .map(|d| d.as_dispatch().clone()) .collect::Vec_(); Dispatch::start_communication_server(dispatch_devices, config); Self { devices } }而DdpTrainingStrategy把_context: DistributedContext作为字段持有strategy.rs注释写明其用途是“保持底层分布式 server 的生命周期锚点创建时拉起通信服务器drop 时自动拆除”——即 context 的生命周期精确覆盖整个训练过程。2. 挂载到 LearnerLearner构建器提供with_training_strategy方法替换默认策略paradigm.rs。不显式设置时默认策略是基于模型所在设备的首设备做单设备训练paradigm.rs。一个启用 DDP 的示例具体导入路径以burn-train的公开再导出为准use burn_core::tensor::distributed::{DistributedConfig, ReduceOperation}; use burn_train::prelude::*; use burn_train::supervised::strategy::ExecutionStrategy; // 本节点参与 DDP 的设备列表例如多张 GPU let devices: VecDevice (0..num_gpus).map(|i| Device::Cuda(i.into())).collect(); // 创建 DDP 执行策略内部会初始化 DistributedContext 并拉起通信服务器 let strategy ExecutionStrategy::ddp( devices, DistributedConfig { all_reduce_op: ReduceOperation::Mean, }, ); // 替换默认训练策略后启动训练 let result learner .with_training_strategy(TrainingStrategy::from(strategy)) .fit(dataloader_train, dataloader_valid);在训练分发处paradigm.rs对ExecutionStrategy::DistributedDataParallel { devices, context }分支会先把每台设备包上自动微分及可选的梯度检查点再构造DdpTrainingStrategy::new(devices, context)并启动训练paradigm.rs。其中autodiff_device会确保设备支持自动微分这是梯度同步能工作的前提。主设备Main Device与次级设备DDP 文档 明确规定了设备角色分工主设备负责验证validation和事件处理event processing——后者是训练 UITUI 渲染器的数据来源第一台设备被选为主设备。源码印证了这一点。在 DdpTrainingStrategy::fit 中// The reference model is always on the first device provided. let main_device self.devices.first().unwrap(); ... // Start worker for main device // First training dataloader corresponds to main device let main_handle DdpWorker::M::start( main_device.clone(), learner.clone(), event_processor.clone(), worker_components.clone(), training_components.checkpointer, // 只有主 worker 拿 checkpointer dataloaders_train.remove(0), Some(dataloader_valid), // 只有主 worker 拿验证集 starting_epoch, peer_count, true, // is_main true ); // Spawn other workers for the other devices, starting with peer id 1 for device in self.devices[1..] { let handle DdpWorker::M::start( device.clone(), ..., None, ..., None, ..., false); }即主 workerpeer 0独占验证 dataloader 和 checkpointer其余 worker 只持有训练数据切片。在 worker.rs 中is_main为 true 的 worker 才会向共享事件处理器发送StartSplit/EndSplit训练事件并执行验证事件处理器本身用ArcMutexSupervisedTrainingEventProcessorM在所有线程间共享最终由主线程解包回收strategy.rs训练结果返回主设备上的模型副本——因为各副本的权重经过 all-reduce 同步后一致取哪一份都等价而主设备副本恰好与事件/UI 状态对齐。数据切分、工作线程与错误传播数据加载器按设备切分fit中调用split_dataloader(dataloader_train, self.devices)strategy.rs注释解释了动机每设备一个 worker因此为每个 worker 的 dataloader 使用固定设备策略使其数据已位于目标设备上无需跨设备搬移数据。验证集则被移到主设备dataloader_valid.to_device(main_device.inner())。Worker 组件与 epoch 屏障所有 worker 共享一个WorkerComponentsstrategy.rsepoch 总数、梯度累积配置、Interrupter、早停策略、EventStoreClient、训练/验证集总样本数以及一个ArcBarrierepoch_barrier用于在早停读取指标前同步所有 worker防止读到缺失或过期指标值见 worker.rs。结果回收与 panic 传播各 worker 完成后由 reaper 线程通过mpsc通道回传结果。任何一个 worker panic主线程会以该 worker 的 panic 消息重新 panicstrategy.rs消息形如Distributed data parallel main worker failed: {msg}或Distributed data parallel worker {id} failed: {msg}panic_message辅助函数会把str/String形式的 payload 转成可读信息。训练若被Interrupter触发中断主线程会记录Training interrupted: {reason}。DDP 单轮 Epoch 的执行细节每轮训练由 DdpTrainEpoch 驱动其 run 方法 体现了 DDP 与单设备训练循环的两点关键差异1. 学习率调度按对等方数量补偿步进。由于整个 batch 被切到各设备上每个 worker 的 dataloader 每轮只吐出1/N的样本。为保持学习率调度曲线与单设备一致每个 dataloader item 会把lr_step()连续调用peer_count次for _ in 0..peer_count { iteration 1; learner.lr_step(); } log::info!(Iteration {iteration}); let mut progress iterator.progress(); progress.items_processed * peer_count; progress.items_total * peer_count;进度计数同样乘上peer_count使 UI 中显示的“已处理样本数”对应全局全设备合计样本数而非本 worker 的切片数。2. 梯度累积与优化器步进。DDP 同样支持grad_accumulation选项设置后使用GradientsAccumulator累积若干步梯度再做optimizer_step否则每步直接learner.optimizer_step(item.grads)epoch.rs。3. 跨 worker 的梯度同步。反向传播产生的梯度在 backend 层通过集合通信完成 all-reduce。底层入口是 burn-tensor/src/tensor/distributed.rs 中的all_reduce函数它调用Dispatch::all_reduce返回一个CollectiveTensor——一个“尚未可安全使用”的集合操作句柄必须调用resolve()内部执行Dispatch::sync_collective才能取回有效张量文档也明确警告调用者必须先同步再使用结果。DistributedContext的 drop 实现distributed.rs则负责在训练结束时调用Dispatch::close_communication_server关闭通信服务器。4. 验证、检查点与早停只在主设备执行。worker 主循环worker.rs的顺序是训练 epoch → 若使用早停等待 epoch 屏障 → 需要检查点/早停时flush()事件处理器 → 检查Interrupter→ 主 worker 执行checkpointer.checkpoint(...)→ 早停判断。验证 epoch 由 DdpValidEpoch 完成模型进入valid()模式逐样本调用InferenceStep::step并把事件送入共享处理器。多节点部署的责任边界回到 DDP 文档 的边界声明DDP 在进程内只为本地设备创建线程跨节点的通信由 backend 的集合通信运行时Dispatch::start_communication_server拉起的通信服务器承担而“把 DDP 启动到每个节点、并保持各节点 collective configuration 一致”由用户负责——例如每个节点运行同一份训练程序、使用相同的DistributedConfig同一all_reduce_op与可互通的通信端点。仓库中的 p2p-remote-training 示例 展示了 Burn 的远程/对等通信后端如何以server [topic]/client [topic]方式跨机连接两端必须使用相同 topic 字符串可以作为多机部署时理解 Burn 通信层的一个参考入口burn-book的 分布式计算章节 也提供了面向用户的分布式训练指引可与本文源码级分析对照阅读。小结DDP 在每台设备运行一个模型副本每设备一个线程反向后以all-reduce跨所有节点的 peers 同步梯度启用方式为ExecutionStrategy::ddp(devices, DistributedConfig { all_reduce_op })Learner::with_training_strategy其中DistributedContext负责通信服务器的创建与拆除第一台设备是主设备独占验证、事件处理TUI与检查点其余设备只跑训练切片每个 worker 的 dataloader 按设备固定切分、lr_step与进度按peer_count补偿使多设备训练的调度与展示与单设备语义保持一致worker 的 panic 会被提升到主线程Interrupter与Barrier保证中断、早停路径下所有 worker 能一致收敛退出跨节点的进程启动与集合通信配置一致性是用户侧的责任。关键源码入口strategy.rs策略与线程编排、worker.rsworker 主循环、epoch.rs训练/验证 epoch、strategies/base.rsExecutionStrategy与TrainingStrategy、burn-tensor/src/tensor/distributed.rsDistributedContext与all_reduce。【免费下载链接】burnBurn is a next generation tensor library and Deep Learning Framework that doesnt compromise on flexibility, efficiency and portability.项目地址: https://gitcode.com/GitHub_Trending/bu/burn创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
Burn-Train DDP 分布式数据并行策略详解多设备模型副本、All-Reduce 梯度同步与主设备机制【免费下载链接】burnBurn is a next generation tensor library and Deep Learning Framework that doesnt compromise on flexibility, efficiency and portability.项目地址: https://gitcode.com/GitHub_Trending/bu/burn本文基于 Burn 仓库中crates/burn-train的 DDP 学习策略说明文档及其配套源码完整讲解 Burn 的 Distributed Data ParallelDDP训练策略它如何在每台设备上运行一个模型副本、如何通过all-reduce在节点间同步梯度、主设备main device与次级设备各自承担什么职责以及如何通过ExecutionStrategy::ddp与DistributedContext在Learner上启用该策略。读完本文你可以复现 DDP 的配置方式并对照 ddp/strategy.rs、ddp/worker.rs 等源码理解其线程模型、数据切分与事件处理细节。DDP 是什么每台设备一个模型副本根据 DDP 策略说明DDP 是 Burn 提供的一种学习策略learning strategy其核心工作方式是每台设备训练一个模型副本DDP 会在提供的每台设备上运行同一模型的副本每设备一个线程DDP 为每台本地设备启动一个线程thread节点上的每个线程各跑一份模型all-reduce 同步梯度前向与反向传播完成后梯度通过一次all-reduce集合通信操作在**所有节点上的所有对等方peers**之间同步多节点责任划分DDP 只负责为“本节点内的每台本地设备”启动线程。把 DDP 启动到每一个节点上、并确保各节点的集合通信配置collective configuration一致是用户的责任。从源码结构看这一描述与实现完全对应DdpTrainingStrategy 持有devices: VecDevice与一个DistributedContext其 fit 方法 通过DdpWorker::M::start(...)为每个设备各 spawn 一个线程线程内的 DdpWorker::fit 执行self.learner.fork(self.device)把学习者“分叉”到对应设备并调用self.learner.grad_sharded()启用梯度分片随后进入逐 epoch 的训练循环。DDP 属于burn-train中SupervisedLearningStrategy的一种默认执行策略与单设备、多设备策略并列。在 strategies/base.rs 中ExecutionStrategy枚举定义了三种形态pub enum ExecutionStrategy { /// Training on one device SingleDevice(Device), /// Performs>impl ExecutionStrategy { /// Creates a distributed data parallel (DDP) strategy. pub fn ddp(devices: VecDevice, config: DistributedConfig) - Self { let context DistributedContext::init(devices.clone(), config); Self::DistributedDataParallel { devices, context } } }这里的config即 DistributedConfig它只包含一个字段pub struct DistributedConfig { /// How to execute the all_reduce operation. pub all_reduce_op: ReduceOperation, }其中ReduceOperation是梯度归约方式取值Sum或Mean见 burn-std/src/distributed.rs。DistributedContext::init在 burn-tensor/src/tensor/distributed.rs 中其文档注释说明创建 context 会自动初始化底层分布式通信服务器drop 时保证所有网络资源被干净拆除pub fn init(devices: VecDevice, config: DistributedConfig) - Self { let dispatch_devices devices .iter() .map(|d| d.as_dispatch().clone()) .collect::Vec_(); Dispatch::start_communication_server(dispatch_devices, config); Self { devices } }而DdpTrainingStrategy把_context: DistributedContext作为字段持有strategy.rs注释写明其用途是“保持底层分布式 server 的生命周期锚点创建时拉起通信服务器drop 时自动拆除”——即 context 的生命周期精确覆盖整个训练过程。2. 挂载到 LearnerLearner构建器提供with_training_strategy方法替换默认策略paradigm.rs。不显式设置时默认策略是基于模型所在设备的首设备做单设备训练paradigm.rs。一个启用 DDP 的示例具体导入路径以burn-train的公开再导出为准use burn_core::tensor::distributed::{DistributedConfig, ReduceOperation}; use burn_train::prelude::*; use burn_train::supervised::strategy::ExecutionStrategy; // 本节点参与 DDP 的设备列表例如多张 GPU let devices: VecDevice (0..num_gpus).map(|i| Device::Cuda(i.into())).collect(); // 创建 DDP 执行策略内部会初始化 DistributedContext 并拉起通信服务器 let strategy ExecutionStrategy::ddp( devices, DistributedConfig { all_reduce_op: ReduceOperation::Mean, }, ); // 替换默认训练策略后启动训练 let result learner .with_training_strategy(TrainingStrategy::from(strategy)) .fit(dataloader_train, dataloader_valid);在训练分发处paradigm.rs对ExecutionStrategy::DistributedDataParallel { devices, context }分支会先把每台设备包上自动微分及可选的梯度检查点再构造DdpTrainingStrategy::new(devices, context)并启动训练paradigm.rs。其中autodiff_device会确保设备支持自动微分这是梯度同步能工作的前提。主设备Main Device与次级设备DDP 文档 明确规定了设备角色分工主设备负责验证validation和事件处理event processing——后者是训练 UITUI 渲染器的数据来源第一台设备被选为主设备。源码印证了这一点。在 DdpTrainingStrategy::fit 中// The reference model is always on the first device provided. let main_device self.devices.first().unwrap(); ... // Start worker for main device // First training dataloader corresponds to main device let main_handle DdpWorker::M::start( main_device.clone(), learner.clone(), event_processor.clone(), worker_components.clone(), training_components.checkpointer, // 只有主 worker 拿 checkpointer dataloaders_train.remove(0), Some(dataloader_valid), // 只有主 worker 拿验证集 starting_epoch, peer_count, true, // is_main true ); // Spawn other workers for the other devices, starting with peer id 1 for device in self.devices[1..] { let handle DdpWorker::M::start( device.clone(), ..., None, ..., None, ..., false); }即主 workerpeer 0独占验证 dataloader 和 checkpointer其余 worker 只持有训练数据切片。在 worker.rs 中is_main为 true 的 worker 才会向共享事件处理器发送StartSplit/EndSplit训练事件并执行验证事件处理器本身用ArcMutexSupervisedTrainingEventProcessorM在所有线程间共享最终由主线程解包回收strategy.rs训练结果返回主设备上的模型副本——因为各副本的权重经过 all-reduce 同步后一致取哪一份都等价而主设备副本恰好与事件/UI 状态对齐。数据切分、工作线程与错误传播数据加载器按设备切分fit中调用split_dataloader(dataloader_train, self.devices)strategy.rs注释解释了动机每设备一个 worker因此为每个 worker 的 dataloader 使用固定设备策略使其数据已位于目标设备上无需跨设备搬移数据。验证集则被移到主设备dataloader_valid.to_device(main_device.inner())。Worker 组件与 epoch 屏障所有 worker 共享一个WorkerComponentsstrategy.rsepoch 总数、梯度累积配置、Interrupter、早停策略、EventStoreClient、训练/验证集总样本数以及一个ArcBarrierepoch_barrier用于在早停读取指标前同步所有 worker防止读到缺失或过期指标值见 worker.rs。结果回收与 panic 传播各 worker 完成后由 reaper 线程通过mpsc通道回传结果。任何一个 worker panic主线程会以该 worker 的 panic 消息重新 panicstrategy.rs消息形如Distributed data parallel main worker failed: {msg}或Distributed data parallel worker {id} failed: {msg}panic_message辅助函数会把str/String形式的 payload 转成可读信息。训练若被Interrupter触发中断主线程会记录Training interrupted: {reason}。DDP 单轮 Epoch 的执行细节每轮训练由 DdpTrainEpoch 驱动其 run 方法 体现了 DDP 与单设备训练循环的两点关键差异1. 学习率调度按对等方数量补偿步进。由于整个 batch 被切到各设备上每个 worker 的 dataloader 每轮只吐出1/N的样本。为保持学习率调度曲线与单设备一致每个 dataloader item 会把lr_step()连续调用peer_count次for _ in 0..peer_count { iteration 1; learner.lr_step(); } log::info!(Iteration {iteration}); let mut progress iterator.progress(); progress.items_processed * peer_count; progress.items_total * peer_count;进度计数同样乘上peer_count使 UI 中显示的“已处理样本数”对应全局全设备合计样本数而非本 worker 的切片数。2. 梯度累积与优化器步进。DDP 同样支持grad_accumulation选项设置后使用GradientsAccumulator累积若干步梯度再做optimizer_step否则每步直接learner.optimizer_step(item.grads)epoch.rs。3. 跨 worker 的梯度同步。反向传播产生的梯度在 backend 层通过集合通信完成 all-reduce。底层入口是 burn-tensor/src/tensor/distributed.rs 中的all_reduce函数它调用Dispatch::all_reduce返回一个CollectiveTensor——一个“尚未可安全使用”的集合操作句柄必须调用resolve()内部执行Dispatch::sync_collective才能取回有效张量文档也明确警告调用者必须先同步再使用结果。DistributedContext的 drop 实现distributed.rs则负责在训练结束时调用Dispatch::close_communication_server关闭通信服务器。4. 验证、检查点与早停只在主设备执行。worker 主循环worker.rs的顺序是训练 epoch → 若使用早停等待 epoch 屏障 → 需要检查点/早停时flush()事件处理器 → 检查Interrupter→ 主 worker 执行checkpointer.checkpoint(...)→ 早停判断。验证 epoch 由 DdpValidEpoch 完成模型进入valid()模式逐样本调用InferenceStep::step并把事件送入共享处理器。多节点部署的责任边界回到 DDP 文档 的边界声明DDP 在进程内只为本地设备创建线程跨节点的通信由 backend 的集合通信运行时Dispatch::start_communication_server拉起的通信服务器承担而“把 DDP 启动到每个节点、并保持各节点 collective configuration 一致”由用户负责——例如每个节点运行同一份训练程序、使用相同的DistributedConfig同一all_reduce_op与可互通的通信端点。仓库中的 p2p-remote-training 示例 展示了 Burn 的远程/对等通信后端如何以server [topic]/client [topic]方式跨机连接两端必须使用相同 topic 字符串可以作为多机部署时理解 Burn 通信层的一个参考入口burn-book的 分布式计算章节 也提供了面向用户的分布式训练指引可与本文源码级分析对照阅读。小结DDP 在每台设备运行一个模型副本每设备一个线程反向后以all-reduce跨所有节点的 peers 同步梯度启用方式为ExecutionStrategy::ddp(devices, DistributedConfig { all_reduce_op })Learner::with_training_strategy其中DistributedContext负责通信服务器的创建与拆除第一台设备是主设备独占验证、事件处理TUI与检查点其余设备只跑训练切片每个 worker 的 dataloader 按设备固定切分、lr_step与进度按peer_count补偿使多设备训练的调度与展示与单设备语义保持一致worker 的 panic 会被提升到主线程Interrupter与Barrier保证中断、早停路径下所有 worker 能一致收敛退出跨节点的进程启动与集合通信配置一致性是用户侧的责任。关键源码入口strategy.rs策略与线程编排、worker.rsworker 主循环、epoch.rs训练/验证 epoch、strategies/base.rsExecutionStrategy与TrainingStrategy、burn-tensor/src/tensor/distributed.rsDistributedContext与all_reduce。【免费下载链接】burnBurn is a next generation tensor library and Deep Learning Framework that doesnt compromise on flexibility, efficiency and portability.项目地址: https://gitcode.com/GitHub_Trending/bu/burn创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
