简介本资源是一套基于PyTorch的深度强化学习算法实践项目面向人工智能方向的研究者、高校学生及工业界算法工程师聚焦连续控制任务中的核心算法复现与工程对比。项目完整实现了DDPG、SAC和TD3三种主流算法配套连续控制训练模块与可视化分析工具可直接用于机器人运动控制、自动驾驶策略仿真及游戏AI开发等典型场景。压缩包共23个文件含10个核心Python源码如SAC.py、DDPG.py、TD3.py及环境配置yaml、9个编译缓存pyc、1份README说明文档、1个txt说明文件、1个docx附赠资料及1个md格式文档总大小仅89KB轻量易部署代码结构清晰、模块解耦明确便于逐算法调试与横向性能对比。目前已有143人学习下载读者可即刻获取可运行的完整训练框架、标准化评估流程及奖励曲线/损失变化等可视化脚本显著降低DRL算法复现门槛与实验分析成本。1. 连续控制任务不是“调参调出来”的DDPG/SAC/TD3 在 PyTorch 里跑通、对齐、能复现才是工业级强化学习落地的第一道门槛你手上有机械臂关节角度反馈、自动驾驶车辆的油门/转向连续输出、或游戏里角色的加速度向量——这些都不是“左/右/跳”这种离散动作而是毫秒级微调的实数向量。这时候用 DQN直接失效。主流方案只有三个DDPG2016、SAC2018、TD32019。但网上搜到的代码90% 要么缺环境适配只跑 Pendulum一换 HalfCheetah 就报错要么训练曲线飘得像心电图要么连 replay buffer 的采样逻辑都写反了。这个项目不是“教你怎么抄代码”而是把 DDPG/SAC/TD3 三套算法在 PyTorch 下统一接口、统一训练循环、统一评估协议地拉通跑完附带可插拔的连续控制任务模块MuJoCo PyBullet 双后端和可视化分析工具训练曲线策略热力图动作分布直方图。适合想把强化学习真正用在机器人伺服控制、车辆纵向跟车、或仿真环境中自主导航的工程师——不是学生交作业是产线调试前要信得过的 baseline。2. 从零搭起 PyTorch 强化学习基座环境、算法骨架与训练循环的最小可信实现2.1 环境封装为什么不用 gym.wrappers而坚持手写 EnvWrapperPyTorch 强化学习项目最常翻车的起点不是算法是环境。gym 3.x 的vector_env接口不兼容老代码gym.make(HalfCheetah-v4)返回的 observation 是 dict 而非 ndarrayreward scaling 缺失导致 SAC 的 entropy term 失效……这些坑靠import gym一行解决不了。本项目采用自研EnvWrapper核心逻辑就三件事状态归一化对每个 obs 维度做 running mean/std非 batch norm避免 policy network 输入尺度爆炸奖励裁剪与缩放按任务设定 reward_scale如 Walker2d 设为 5.0避免 TD error 过大动作空间校验强制 action ∈ [-1, 1]并在 env step 后 rescale 到真实物理范围如 torque: [-10, 10]# env_wrapper.py class EnvWrapper: def __init__(self, env_name, reward_scale1.0, obs_normTrue): self.env gym.make(env_name) self.reward_scale reward_scale self.obs_norm obs_norm self.obs_rms RunningMeanStd(shapeself.env.observation_space.shape) if obs_norm else None def reset(self): obs self.env.reset() if self.obs_norm: obs self._normalize_obs(obs) return obs.astype(np.float32) def step(self, action): # action: [-1,1] → real action space real_action self._rescale_action(action) obs, reward, done, info self.env.step(real_action) if self.obs_norm: obs self._normalize_obs(obs) return obs.astype(np.float32), reward * self.reward_scale, done, info def _rescale_action(self, action): # 假设 env.action_space 是 Box(-1,1,shape(n,)) low, high self.env.action_space.low, self.env.action_space.high return low (action 1) * (high - low) / 2提示RunningMeanStd不是torch.nn.BatchNorm1d—— 它必须在 rollout 过程中在线更新update()方法且不能参与梯度计算。这是 SAC 训练稳定的关键batch norm 会破坏 off-policy 数据的统计特性。2.2 算法骨架为什么 DDPG/SAC/TD3 共享同一套 Actor-Critic 模板三者表面差异大DDPG 用 deterministic policySAC 加 entropy regularizationTD3 加双 critic target policy smoothing但底层结构高度一致Actor 网络输入 state输出 actionDDPG/TD3 是 muSAC 是 mu/log_std再 reparameterizeCritic 网络输入 (state, action)输出 Q 值TD3 用两个 critic 防高估Replay Buffer统一使用PrioritizedReplayBuffer带 PER 权重但 SAC 默认关闭优先级因 entropy loss 已提供探索激励本项目将共性抽成BasePolicy类差异点通过policy_type参数注入# policy/base.py class BasePolicy(nn.Module): def __init__(self, state_dim, action_dim, hidden_dim256, policy_typesac): super().__init__() self.state_dim state_dim self.action_dim action_dim self.policy_type policy_type # shared backbone self.actor_backbone nn.Sequential( nn.Linear(state_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, hidden_dim), nn.ReLU() ) # policy-specific head if policy_type ddpg: self.actor_head nn.Linear(hidden_dim, action_dim) # deterministic mu elif policy_type td3: self.actor_head nn.Linear(hidden_dim, action_dim) # same as DDPG self.critic1 CriticNetwork(state_dim, action_dim, hidden_dim) self.critic2 CriticNetwork(state_dim, action_dim, hidden_dim) elif policy_type sac: self.actor_mu nn.Linear(hidden_dim, action_dim) self.actor_log_std nn.Linear(hidden_dim, action_dim) self.log_std_min, self.log_std_max -20, 2 # clamp range关键设计点TD3 的 target policy smoothing不是在 forward 里加 noise而是在target_policy更新时对 mu 加 clipped Gaussianσ0.2, clip0.5——这是论文 Figure 3 明确要求的否则 critic 高估严重SAC 的 entropy coefficient α不固定而是 learnable parameterlog_alpha nn.Parameter(torch.zeros(1))通过自动调节使实际 entropy 接近目标值target_entropy -action_dim所有 critic 的最后一层不加 activationQ 值无界但 actor 输出层加tanh保证 [-1,1] 输出。2.3 训练循环为什么必须分离 rollout、update、eval 三个 phase很多开源实现把env.step()和optimizer.step()写在同一 loop 里导致rollout 步数 ≠ update 步数比如每 100 step 才 update 一次但 buffer 里存了 1000 条 transitioneval 时用了 training mode 的 dropout/batchnorm导致策略性能虚高多卡训练时 gradient all-reduce 时机错乱本项目强制三阶段解耦阶段触发条件关键操作注意事项Rollout每 episode 结束 or 达到rollout_stepsenv.step()→ 存入 replay bufferbuffer size 动态监控避免 OOMUpdate每update_intervalsteps 或 buffer size min_buffer_sizesample_batch()→compute_loss()→optimizer.step()critic update 频率 ≥ actorSAC 中 1:1TD3 中 2:1Eval每eval_intervalepisodeseval_modeTrue→ 关闭 dropout → 10 episodes 平均 reward使用独立 eval envseed 固定不共享 buffer# trainer.py def train_episode(self): obs self.env.reset() episode_reward 0 for step in range(self.max_episode_steps): # 1. rollout: collect transition with torch.no_grad(): action self.policy.select_action(obs, exploreTrue) # add noise for exploration next_obs, reward, done, _ self.env.step(action) self.replay_buffer.add(obs, action, reward, next_obs, done) obs next_obs episode_reward reward # 2. update: only when buffer is large enough if self.replay_buffer.size self.min_buffer_size and step % self.update_interval 0: self.update() if done: break # 3. eval: every N episodes if self.total_episodes % self.eval_interval 0: eval_reward self.evaluate() self.logger.log({eval/reward: eval_reward})注意select_action(..., exploreTrue)中的 noise 不是简单 Gaussian。DDPG/TD3 用 OU noise时间相关性适合物理系统SAC 用 reparameterized sampling天然探索且 noise scale 随训练衰减noise_scale max(0.1, 0.1 * (1 - epoch/1000))。3. DDPG/SAC/TD3 三算法核心差异与参数配置指南不是调参玄学是数学约束的工程映射3.1 DDPG确定性策略的脆弱性与 Target Network 的生死线DDPG 是三者中最“朴素”的Actor 输出确定性动作 μ(s)Critic 评估 Q(s,μ(s))。但它有两个致命弱点Critic 高估偏差由于 max operator 替换为 argmax即用当前 actor 的 μ(s) 代替所有可能 aQ 值系统性偏高Actor 梯度偏差∇_θ J ≈ E[∇_a Q(s,a)|_{aμ(s)} · ∇_θ μ(s)]若 Q 估不准actor 直接学歪。因此 DDPG 的Target Network 更新不是可选项是生存必需critic_target 和 actor_target 必须存在且用 soft updateτ0.005而非 hard copycritic_target 的输入必须是next_obs和actor_target(next_obs)绝不能用 online actorreplay buffer 的 sample 必须包含next_obs否则无法计算 Bellman residual。# ddpg.py def update_critic(self, batch): obs, act, rew, next_obs, done batch with torch.no_grad(): # ✅ 正确用 target actor 生成 next action next_act self.actor_target(next_obs) q_next self.critic_target(next_obs, next_act).min(dim1, keepdimTrue)[0] q_target rew self.gamma * (1 - done) * q_next q_pred self.critic(obs, act) critic_loss F.mse_loss(q_pred, q_target) self.critic_opt.zero_grad() critic_loss.backward() self.critic_opt.step() def update_actor(self, batch): obs, _, _, _, _ batch # ✅ 正确用 online critic 评估 online actor q self.critic(obs, self.actor(obs)) actor_loss -q.mean() # maximize Q self.actor_opt.zero_grad() actor_loss.backward() self.actor_opt.step()血泪经验如果next_act用的是self.actor(next_obs)online actor训练 10 万步后 reward 仍为 0 —— 因为 actor 在学一个被自己 critic 错误评估的动作形成死循环。3.2 SAC最大熵框架下的温度系数 α 与自动调节机制SAC 的核心创新是最大化期望 reward α·entropy。α 不是超参而是可学习变量若 α 过大 → policy 过于随机reward 低若 α 过小 → entropy collapse探索不足易陷局部最优。本项目实现log_alpha作为 learnable parameter并用以下 loss 更新# sac.py def update_alpha(self, batch): obs, _, _, _, _ batch with torch.no_grad(): # 采样动作并计算 log_prob act, log_pi self.policy.sample_action(obs) # reparameterized alpha_loss -(self.log_alpha * (log_pi self.target_entropy)).mean() self.alpha_opt.zero_grad() alpha_loss.backward() self.alpha_opt.step() self.alpha self.log_alpha.exp().item() # 实时更新 αtarget_entropy设为-action_dim是经验值理论推导见 SAC 原论文 Appendix C但实际任务中可微调对于 2-DoF 机械臂action_dim2target_entropy -2.0对于 17-DoF Humanoidaction_dim17target_entropy -17.0若 reward sparse如倒立摆不掉落才给 reward可设为-action_dim * 0.5增强探索。3.3 TD3双 critic 与 target policy smoothing 的协同防高估TD3 是 DDPG 的鲁棒增强版靠三招压制高估Twin Critic两个独立 critic取 min(Q1,Q2) 作为 target → 消除单个 critic 的 outlierDelayed Policy Updatecritic update 2 次actor update 1 次 → 给 critic 更准的 targetTarget Policy Smoothing对 target actor 的输出加 noiseclip(μ ε, -1, 1)ε~N(0,0.2)clip[-0.5,0.5] → 防止 critic 在尖锐区域过拟合。# td3.py def update_critic(self, batch): obs, act, rew, next_obs, done batch with torch.no_grad(): # ✅ 正确target policy smoothing next_act self.actor_target(next_obs) noise torch.normal(0, 0.2, sizenext_act.shape).clamp(-0.5, 0.5) next_act (next_act noise).clamp(-1, 1) q1_next self.critic1_target(next_obs, next_act) q2_next self.critic2_target(next_obs, next_act) q_next torch.min(q1_next, q2_next) q_target rew self.gamma * (1 - done) * q_next q1_pred self.critic1(obs, act) q2_pred self.critic2(obs, act) critic1_loss F.mse_loss(q1_pred, q_target) critic2_loss F.mse_loss(q2_pred, q_target) self.critic1_opt.zero_grad() critic1_loss.backward() self.critic1_opt.step() self.critic2_opt.zero_grad() critic2_loss.backward() self.critic2_opt.step() def update_actor(self, batch): obs, _, _, _, _ batch # ✅ 正确只用 critic1论文指定 q self.critic1(obs, self.actor(obs)) actor_loss -q.mean() self.actor_opt.zero_grad() actor_loss.backward() self.actor_opt.step()玄学警告noise.clamp(-0.5,0.5)的 clip 值必须严格匹配 action space 的 [-1,1] 范围比例。若 env action 是 [-10,10]此处 clip 应为 [-5,5]否则 smoothing 失效。4. 避坑训练不收敛、曲线震荡、reward 突降的 5 个真实踩坑记录与修复路径4.1 现象SAC 在 HalfCheetah 上 reward 从 3000 骤降到 0且不再恢复原因log_alpha初始化为 0α1.0但 HalfCheetah 的 optimal entropy 远低于此导致 early stage α 过大policy 完全随机agent 学不会 basic locomotion。解决log_alpha初始化为torch.tensor([-2.0])α≈0.135或 warmup 1000 steps 后再启用 α update。4.2 现象TD3 在 Ant-v4 上 critic loss 持续 1e3actor loss 为 nan原因replay buffer 中doneTrue的 transition其next_obs未重置为初始状态gym 的reset()未触发导致next_obs是非法值如 NaNq_next计算爆炸。解决在env.step()后显式检查done若为 True 则next_obs self.env.reset()且done标记为True非 truncated。4.3 现象DDPG 在 Pendulum-v1 上 reward 波动剧烈±500无法稳定在 -150原因OU noise 的 θ 参数过大默认 0.15导致 exploration noise 时间相关性过强在 pendulum 这种快动态系统中引发震荡。解决OU noise 的theta0.05,sigma0.2或直接切换为NormalNoise(scale0.1)对 fast dynamics 更鲁棒。4.4 现象多卡训练时 GPU memory usage 持续增长10 万步后 OOM原因torch.no_grad()未包裹self.actor_target(next_obs)的调用导致 computation graph 保留gradient history 占满显存。解决所有 target network inference 必须在with torch.no_grad():块内且next_obstensor 的requires_gradFalse。4.5 现象eval reward 比 train reward 高 30%但部署后 performance 差原因eval 时未关闭self.policy.train(False)dropout 层仍在随机丢弃导致 eval reward 是期望值平均效果而部署是单次推理最差 case。解决eval 前显式调用self.policy.eval()且确保所有子 module包括 critic都进入 eval mode或干脆移除 policy 中的 dropout强化学习中 dropout 效果存疑。5. 可视化分析工具不只是画曲线而是定位 policy behavior 的黑匣子5.1 动作分布热力图为什么看 histogram 比看 reward curve 更早发现问题reward 是标量掩盖了 policy 的内在行为。例如DDPG 在 Walker2d 上 reward 稳定在 4000但hip_joint动作 histogram 显示 90% 概率输出 -1.0极限 torque说明 policy 学会了“硬扛”而非“柔顺控制”SAC 在 Reacher-v2 上 reward 振荡但gripper_action的 log_std 分布显示从 0.5 降到 0.01说明 entropy collapse 已发生但 reward 尚未反映。本项目提供ActionAnalyzer工具每 1000 step 自动采样 1000 条 transition绘制各 action 维度的 histogram KDE# utils/visualizer.py class ActionAnalyzer: def __init__(self, action_dim, save_dir): self.action_dim action_dim self.save_dir Path(save_dir) self.action_history [[] for _ in range(action_dim)] def record(self, action): # action: (B, D) for d in range(self.action_dim): self.action_history[d].extend(action[:, d].cpu().numpy()) def plot_histograms(self, step): fig, axes plt.subplots(1, self.action_dim, figsize(5*self.action_dim, 4)) for d, ax in enumerate(axes): if len(self.action_history[d]) 0: continue ax.hist(self.action_history[d], bins50, densityTrue, alpha0.7) ax.set_title(fAction Dim {d}) ax.set_xlim(-1.05, 1.05) plt.savefig(self.save_dir / faction_hist_step{step}.png) plt.close()技巧在trainer.py的evaluate()函数中插入analyzer.record(eval_action)即可获得纯 exploitation 下的动作分布对比 rollout 中的 distribution能一眼看出 exploration 是否退化。5.2 Critic Q-value 与 reward-to-go 的残差分析定位 critic 学习瓶颈Critic 的本质是估计 discounted return。若Q(s,a)与实际G_t Σ γ^k r_{tk}残差持续 0.5则说明 critic underfitting。本项目提供QValueDebugger# utils/debugger.py class QValueDebugger: def __init__(self, gamma0.99): self.gamma gamma self.q_preds [] self.g_targets [] def compute_g(self, rewards, dones): # rewards: [r0,r1,...,rT], dones: [False,False,...,True] g 0 g_list [] for r, done in zip(reversed(rewards), reversed(dones)): g r self.gamma * g * (1 - done) g_list.append(g) return list(reversed(g_list)) def add_batch(self, q_pred, rewards, dones): g_target self.compute_g(rewards, dones) # pad to same length min_len min(len(q_pred), len(g_target)) self.q_preds.extend(q_pred[:min_len].cpu().numpy()) self.g_targets.extend(g_target[:min_len]) def plot_residual(self, step): residuals np.array(self.q_preds) - np.array(self.g_targets) plt.figure(figsize(10,4)) plt.subplot(1,2,1) plt.hist(residuals, bins50, alpha0.7) plt.title(Q-G Residual Distribution) plt.subplot(1,2,2) plt.scatter(self.g_targets, self.q_preds, alpha0.3, s1) plt.plot([min(self.g_targets), max(self.g_targets)], [min(self.g_targets), max(self.g_targets)], r--) plt.xlabel(G_t); plt.ylabel(Q(s,a)) plt.title(Q vs G Scatter) plt.savefig(fq_debug_step{step}.png)运行 5 万步后若 scatter 图中点大量偏离 yx 线尤其在 high-G 区域说明 critic 对 long-horizon return 估计能力弱需增加网络深度或改用 GRU-based critic。5.3 连续控制任务的专用评估协议为什么不能只看 episode reward机器人控制场景下reward 高 ≠ 控制安全。本项目定义三类评估指标Performanceepisode reward标准Smoothnessaction 的 L2 norm 变化率||a_t - a_{t-1}||_2 / Δt越小越柔顺Constraint Violationjoint limit exceed count, torque saturation count需 env 提供 info 字典# eval/robot_evaluator.py def evaluate_robot(self, env, policy, n_episodes10): metrics defaultdict(list) for _ in range(n_episodes): obs env.reset() done False while not done: with torch.no_grad(): action policy.select_action(obs, exploreFalse) obs, reward, done, info env.step(action) # extract robot-specific metrics from info if joint_limit_violation in info: metrics[joint_violation].append(info[joint_limit_violation]) if torque_saturation in info: metrics[torque_sat].append(info[torque_saturation]) if action_smoothness in info: metrics[smoothness].append(info[action_smoothness]) return { reward: np.mean(metrics[reward]), joint_violation_rate: np.mean(metrics[joint_violation]), torque_sat_rate: np.mean(metrics[torque_sat]), smoothness: np.mean(metrics[smoothness]) }我的习惯每次新算法跑通后先看joint_violation_rate。若 0.055% 的 step 超限立刻停训检查 reward shaping 是否缺失 torque penalty 项。这比等 reward 收敛后再 debug 快 3 天。希望帮到你。本文还有配套的精品资源点击获取
简介本资源是一套基于PyTorch的深度强化学习算法实践项目面向人工智能方向的研究者、高校学生及工业界算法工程师聚焦连续控制任务中的核心算法复现与工程对比。项目完整实现了DDPG、SAC和TD3三种主流算法配套连续控制训练模块与可视化分析工具可直接用于机器人运动控制、自动驾驶策略仿真及游戏AI开发等典型场景。压缩包共23个文件含10个核心Python源码如SAC.py、DDPG.py、TD3.py及环境配置yaml、9个编译缓存pyc、1份README说明文档、1个txt说明文件、1个docx附赠资料及1个md格式文档总大小仅89KB轻量易部署代码结构清晰、模块解耦明确便于逐算法调试与横向性能对比。目前已有143人学习下载读者可即刻获取可运行的完整训练框架、标准化评估流程及奖励曲线/损失变化等可视化脚本显著降低DRL算法复现门槛与实验分析成本。1. 连续控制任务不是“调参调出来”的DDPG/SAC/TD3 在 PyTorch 里跑通、对齐、能复现才是工业级强化学习落地的第一道门槛你手上有机械臂关节角度反馈、自动驾驶车辆的油门/转向连续输出、或游戏里角色的加速度向量——这些都不是“左/右/跳”这种离散动作而是毫秒级微调的实数向量。这时候用 DQN直接失效。主流方案只有三个DDPG2016、SAC2018、TD32019。但网上搜到的代码90% 要么缺环境适配只跑 Pendulum一换 HalfCheetah 就报错要么训练曲线飘得像心电图要么连 replay buffer 的采样逻辑都写反了。这个项目不是“教你怎么抄代码”而是把 DDPG/SAC/TD3 三套算法在 PyTorch 下统一接口、统一训练循环、统一评估协议地拉通跑完附带可插拔的连续控制任务模块MuJoCo PyBullet 双后端和可视化分析工具训练曲线策略热力图动作分布直方图。适合想把强化学习真正用在机器人伺服控制、车辆纵向跟车、或仿真环境中自主导航的工程师——不是学生交作业是产线调试前要信得过的 baseline。2. 从零搭起 PyTorch 强化学习基座环境、算法骨架与训练循环的最小可信实现2.1 环境封装为什么不用 gym.wrappers而坚持手写 EnvWrapperPyTorch 强化学习项目最常翻车的起点不是算法是环境。gym 3.x 的vector_env接口不兼容老代码gym.make(HalfCheetah-v4)返回的 observation 是 dict 而非 ndarrayreward scaling 缺失导致 SAC 的 entropy term 失效……这些坑靠import gym一行解决不了。本项目采用自研EnvWrapper核心逻辑就三件事状态归一化对每个 obs 维度做 running mean/std非 batch norm避免 policy network 输入尺度爆炸奖励裁剪与缩放按任务设定 reward_scale如 Walker2d 设为 5.0避免 TD error 过大动作空间校验强制 action ∈ [-1, 1]并在 env step 后 rescale 到真实物理范围如 torque: [-10, 10]# env_wrapper.py class EnvWrapper: def __init__(self, env_name, reward_scale1.0, obs_normTrue): self.env gym.make(env_name) self.reward_scale reward_scale self.obs_norm obs_norm self.obs_rms RunningMeanStd(shapeself.env.observation_space.shape) if obs_norm else None def reset(self): obs self.env.reset() if self.obs_norm: obs self._normalize_obs(obs) return obs.astype(np.float32) def step(self, action): # action: [-1,1] → real action space real_action self._rescale_action(action) obs, reward, done, info self.env.step(real_action) if self.obs_norm: obs self._normalize_obs(obs) return obs.astype(np.float32), reward * self.reward_scale, done, info def _rescale_action(self, action): # 假设 env.action_space 是 Box(-1,1,shape(n,)) low, high self.env.action_space.low, self.env.action_space.high return low (action 1) * (high - low) / 2提示RunningMeanStd不是torch.nn.BatchNorm1d—— 它必须在 rollout 过程中在线更新update()方法且不能参与梯度计算。这是 SAC 训练稳定的关键batch norm 会破坏 off-policy 数据的统计特性。2.2 算法骨架为什么 DDPG/SAC/TD3 共享同一套 Actor-Critic 模板三者表面差异大DDPG 用 deterministic policySAC 加 entropy regularizationTD3 加双 critic target policy smoothing但底层结构高度一致Actor 网络输入 state输出 actionDDPG/TD3 是 muSAC 是 mu/log_std再 reparameterizeCritic 网络输入 (state, action)输出 Q 值TD3 用两个 critic 防高估Replay Buffer统一使用PrioritizedReplayBuffer带 PER 权重但 SAC 默认关闭优先级因 entropy loss 已提供探索激励本项目将共性抽成BasePolicy类差异点通过policy_type参数注入# policy/base.py class BasePolicy(nn.Module): def __init__(self, state_dim, action_dim, hidden_dim256, policy_typesac): super().__init__() self.state_dim state_dim self.action_dim action_dim self.policy_type policy_type # shared backbone self.actor_backbone nn.Sequential( nn.Linear(state_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, hidden_dim), nn.ReLU() ) # policy-specific head if policy_type ddpg: self.actor_head nn.Linear(hidden_dim, action_dim) # deterministic mu elif policy_type td3: self.actor_head nn.Linear(hidden_dim, action_dim) # same as DDPG self.critic1 CriticNetwork(state_dim, action_dim, hidden_dim) self.critic2 CriticNetwork(state_dim, action_dim, hidden_dim) elif policy_type sac: self.actor_mu nn.Linear(hidden_dim, action_dim) self.actor_log_std nn.Linear(hidden_dim, action_dim) self.log_std_min, self.log_std_max -20, 2 # clamp range关键设计点TD3 的 target policy smoothing不是在 forward 里加 noise而是在target_policy更新时对 mu 加 clipped Gaussianσ0.2, clip0.5——这是论文 Figure 3 明确要求的否则 critic 高估严重SAC 的 entropy coefficient α不固定而是 learnable parameterlog_alpha nn.Parameter(torch.zeros(1))通过自动调节使实际 entropy 接近目标值target_entropy -action_dim所有 critic 的最后一层不加 activationQ 值无界但 actor 输出层加tanh保证 [-1,1] 输出。2.3 训练循环为什么必须分离 rollout、update、eval 三个 phase很多开源实现把env.step()和optimizer.step()写在同一 loop 里导致rollout 步数 ≠ update 步数比如每 100 step 才 update 一次但 buffer 里存了 1000 条 transitioneval 时用了 training mode 的 dropout/batchnorm导致策略性能虚高多卡训练时 gradient all-reduce 时机错乱本项目强制三阶段解耦阶段触发条件关键操作注意事项Rollout每 episode 结束 or 达到rollout_stepsenv.step()→ 存入 replay bufferbuffer size 动态监控避免 OOMUpdate每update_intervalsteps 或 buffer size min_buffer_sizesample_batch()→compute_loss()→optimizer.step()critic update 频率 ≥ actorSAC 中 1:1TD3 中 2:1Eval每eval_intervalepisodeseval_modeTrue→ 关闭 dropout → 10 episodes 平均 reward使用独立 eval envseed 固定不共享 buffer# trainer.py def train_episode(self): obs self.env.reset() episode_reward 0 for step in range(self.max_episode_steps): # 1. rollout: collect transition with torch.no_grad(): action self.policy.select_action(obs, exploreTrue) # add noise for exploration next_obs, reward, done, _ self.env.step(action) self.replay_buffer.add(obs, action, reward, next_obs, done) obs next_obs episode_reward reward # 2. update: only when buffer is large enough if self.replay_buffer.size self.min_buffer_size and step % self.update_interval 0: self.update() if done: break # 3. eval: every N episodes if self.total_episodes % self.eval_interval 0: eval_reward self.evaluate() self.logger.log({eval/reward: eval_reward})注意select_action(..., exploreTrue)中的 noise 不是简单 Gaussian。DDPG/TD3 用 OU noise时间相关性适合物理系统SAC 用 reparameterized sampling天然探索且 noise scale 随训练衰减noise_scale max(0.1, 0.1 * (1 - epoch/1000))。3. DDPG/SAC/TD3 三算法核心差异与参数配置指南不是调参玄学是数学约束的工程映射3.1 DDPG确定性策略的脆弱性与 Target Network 的生死线DDPG 是三者中最“朴素”的Actor 输出确定性动作 μ(s)Critic 评估 Q(s,μ(s))。但它有两个致命弱点Critic 高估偏差由于 max operator 替换为 argmax即用当前 actor 的 μ(s) 代替所有可能 aQ 值系统性偏高Actor 梯度偏差∇_θ J ≈ E[∇_a Q(s,a)|_{aμ(s)} · ∇_θ μ(s)]若 Q 估不准actor 直接学歪。因此 DDPG 的Target Network 更新不是可选项是生存必需critic_target 和 actor_target 必须存在且用 soft updateτ0.005而非 hard copycritic_target 的输入必须是next_obs和actor_target(next_obs)绝不能用 online actorreplay buffer 的 sample 必须包含next_obs否则无法计算 Bellman residual。# ddpg.py def update_critic(self, batch): obs, act, rew, next_obs, done batch with torch.no_grad(): # ✅ 正确用 target actor 生成 next action next_act self.actor_target(next_obs) q_next self.critic_target(next_obs, next_act).min(dim1, keepdimTrue)[0] q_target rew self.gamma * (1 - done) * q_next q_pred self.critic(obs, act) critic_loss F.mse_loss(q_pred, q_target) self.critic_opt.zero_grad() critic_loss.backward() self.critic_opt.step() def update_actor(self, batch): obs, _, _, _, _ batch # ✅ 正确用 online critic 评估 online actor q self.critic(obs, self.actor(obs)) actor_loss -q.mean() # maximize Q self.actor_opt.zero_grad() actor_loss.backward() self.actor_opt.step()血泪经验如果next_act用的是self.actor(next_obs)online actor训练 10 万步后 reward 仍为 0 —— 因为 actor 在学一个被自己 critic 错误评估的动作形成死循环。3.2 SAC最大熵框架下的温度系数 α 与自动调节机制SAC 的核心创新是最大化期望 reward α·entropy。α 不是超参而是可学习变量若 α 过大 → policy 过于随机reward 低若 α 过小 → entropy collapse探索不足易陷局部最优。本项目实现log_alpha作为 learnable parameter并用以下 loss 更新# sac.py def update_alpha(self, batch): obs, _, _, _, _ batch with torch.no_grad(): # 采样动作并计算 log_prob act, log_pi self.policy.sample_action(obs) # reparameterized alpha_loss -(self.log_alpha * (log_pi self.target_entropy)).mean() self.alpha_opt.zero_grad() alpha_loss.backward() self.alpha_opt.step() self.alpha self.log_alpha.exp().item() # 实时更新 αtarget_entropy设为-action_dim是经验值理论推导见 SAC 原论文 Appendix C但实际任务中可微调对于 2-DoF 机械臂action_dim2target_entropy -2.0对于 17-DoF Humanoidaction_dim17target_entropy -17.0若 reward sparse如倒立摆不掉落才给 reward可设为-action_dim * 0.5增强探索。3.3 TD3双 critic 与 target policy smoothing 的协同防高估TD3 是 DDPG 的鲁棒增强版靠三招压制高估Twin Critic两个独立 critic取 min(Q1,Q2) 作为 target → 消除单个 critic 的 outlierDelayed Policy Updatecritic update 2 次actor update 1 次 → 给 critic 更准的 targetTarget Policy Smoothing对 target actor 的输出加 noiseclip(μ ε, -1, 1)ε~N(0,0.2)clip[-0.5,0.5] → 防止 critic 在尖锐区域过拟合。# td3.py def update_critic(self, batch): obs, act, rew, next_obs, done batch with torch.no_grad(): # ✅ 正确target policy smoothing next_act self.actor_target(next_obs) noise torch.normal(0, 0.2, sizenext_act.shape).clamp(-0.5, 0.5) next_act (next_act noise).clamp(-1, 1) q1_next self.critic1_target(next_obs, next_act) q2_next self.critic2_target(next_obs, next_act) q_next torch.min(q1_next, q2_next) q_target rew self.gamma * (1 - done) * q_next q1_pred self.critic1(obs, act) q2_pred self.critic2(obs, act) critic1_loss F.mse_loss(q1_pred, q_target) critic2_loss F.mse_loss(q2_pred, q_target) self.critic1_opt.zero_grad() critic1_loss.backward() self.critic1_opt.step() self.critic2_opt.zero_grad() critic2_loss.backward() self.critic2_opt.step() def update_actor(self, batch): obs, _, _, _, _ batch # ✅ 正确只用 critic1论文指定 q self.critic1(obs, self.actor(obs)) actor_loss -q.mean() self.actor_opt.zero_grad() actor_loss.backward() self.actor_opt.step()玄学警告noise.clamp(-0.5,0.5)的 clip 值必须严格匹配 action space 的 [-1,1] 范围比例。若 env action 是 [-10,10]此处 clip 应为 [-5,5]否则 smoothing 失效。4. 避坑训练不收敛、曲线震荡、reward 突降的 5 个真实踩坑记录与修复路径4.1 现象SAC 在 HalfCheetah 上 reward 从 3000 骤降到 0且不再恢复原因log_alpha初始化为 0α1.0但 HalfCheetah 的 optimal entropy 远低于此导致 early stage α 过大policy 完全随机agent 学不会 basic locomotion。解决log_alpha初始化为torch.tensor([-2.0])α≈0.135或 warmup 1000 steps 后再启用 α update。4.2 现象TD3 在 Ant-v4 上 critic loss 持续 1e3actor loss 为 nan原因replay buffer 中doneTrue的 transition其next_obs未重置为初始状态gym 的reset()未触发导致next_obs是非法值如 NaNq_next计算爆炸。解决在env.step()后显式检查done若为 True 则next_obs self.env.reset()且done标记为True非 truncated。4.3 现象DDPG 在 Pendulum-v1 上 reward 波动剧烈±500无法稳定在 -150原因OU noise 的 θ 参数过大默认 0.15导致 exploration noise 时间相关性过强在 pendulum 这种快动态系统中引发震荡。解决OU noise 的theta0.05,sigma0.2或直接切换为NormalNoise(scale0.1)对 fast dynamics 更鲁棒。4.4 现象多卡训练时 GPU memory usage 持续增长10 万步后 OOM原因torch.no_grad()未包裹self.actor_target(next_obs)的调用导致 computation graph 保留gradient history 占满显存。解决所有 target network inference 必须在with torch.no_grad():块内且next_obstensor 的requires_gradFalse。4.5 现象eval reward 比 train reward 高 30%但部署后 performance 差原因eval 时未关闭self.policy.train(False)dropout 层仍在随机丢弃导致 eval reward 是期望值平均效果而部署是单次推理最差 case。解决eval 前显式调用self.policy.eval()且确保所有子 module包括 critic都进入 eval mode或干脆移除 policy 中的 dropout强化学习中 dropout 效果存疑。5. 可视化分析工具不只是画曲线而是定位 policy behavior 的黑匣子5.1 动作分布热力图为什么看 histogram 比看 reward curve 更早发现问题reward 是标量掩盖了 policy 的内在行为。例如DDPG 在 Walker2d 上 reward 稳定在 4000但hip_joint动作 histogram 显示 90% 概率输出 -1.0极限 torque说明 policy 学会了“硬扛”而非“柔顺控制”SAC 在 Reacher-v2 上 reward 振荡但gripper_action的 log_std 分布显示从 0.5 降到 0.01说明 entropy collapse 已发生但 reward 尚未反映。本项目提供ActionAnalyzer工具每 1000 step 自动采样 1000 条 transition绘制各 action 维度的 histogram KDE# utils/visualizer.py class ActionAnalyzer: def __init__(self, action_dim, save_dir): self.action_dim action_dim self.save_dir Path(save_dir) self.action_history [[] for _ in range(action_dim)] def record(self, action): # action: (B, D) for d in range(self.action_dim): self.action_history[d].extend(action[:, d].cpu().numpy()) def plot_histograms(self, step): fig, axes plt.subplots(1, self.action_dim, figsize(5*self.action_dim, 4)) for d, ax in enumerate(axes): if len(self.action_history[d]) 0: continue ax.hist(self.action_history[d], bins50, densityTrue, alpha0.7) ax.set_title(fAction Dim {d}) ax.set_xlim(-1.05, 1.05) plt.savefig(self.save_dir / faction_hist_step{step}.png) plt.close()技巧在trainer.py的evaluate()函数中插入analyzer.record(eval_action)即可获得纯 exploitation 下的动作分布对比 rollout 中的 distribution能一眼看出 exploration 是否退化。5.2 Critic Q-value 与 reward-to-go 的残差分析定位 critic 学习瓶颈Critic 的本质是估计 discounted return。若Q(s,a)与实际G_t Σ γ^k r_{tk}残差持续 0.5则说明 critic underfitting。本项目提供QValueDebugger# utils/debugger.py class QValueDebugger: def __init__(self, gamma0.99): self.gamma gamma self.q_preds [] self.g_targets [] def compute_g(self, rewards, dones): # rewards: [r0,r1,...,rT], dones: [False,False,...,True] g 0 g_list [] for r, done in zip(reversed(rewards), reversed(dones)): g r self.gamma * g * (1 - done) g_list.append(g) return list(reversed(g_list)) def add_batch(self, q_pred, rewards, dones): g_target self.compute_g(rewards, dones) # pad to same length min_len min(len(q_pred), len(g_target)) self.q_preds.extend(q_pred[:min_len].cpu().numpy()) self.g_targets.extend(g_target[:min_len]) def plot_residual(self, step): residuals np.array(self.q_preds) - np.array(self.g_targets) plt.figure(figsize(10,4)) plt.subplot(1,2,1) plt.hist(residuals, bins50, alpha0.7) plt.title(Q-G Residual Distribution) plt.subplot(1,2,2) plt.scatter(self.g_targets, self.q_preds, alpha0.3, s1) plt.plot([min(self.g_targets), max(self.g_targets)], [min(self.g_targets), max(self.g_targets)], r--) plt.xlabel(G_t); plt.ylabel(Q(s,a)) plt.title(Q vs G Scatter) plt.savefig(fq_debug_step{step}.png)运行 5 万步后若 scatter 图中点大量偏离 yx 线尤其在 high-G 区域说明 critic 对 long-horizon return 估计能力弱需增加网络深度或改用 GRU-based critic。5.3 连续控制任务的专用评估协议为什么不能只看 episode reward机器人控制场景下reward 高 ≠ 控制安全。本项目定义三类评估指标Performanceepisode reward标准Smoothnessaction 的 L2 norm 变化率||a_t - a_{t-1}||_2 / Δt越小越柔顺Constraint Violationjoint limit exceed count, torque saturation count需 env 提供 info 字典# eval/robot_evaluator.py def evaluate_robot(self, env, policy, n_episodes10): metrics defaultdict(list) for _ in range(n_episodes): obs env.reset() done False while not done: with torch.no_grad(): action policy.select_action(obs, exploreFalse) obs, reward, done, info env.step(action) # extract robot-specific metrics from info if joint_limit_violation in info: metrics[joint_violation].append(info[joint_limit_violation]) if torque_saturation in info: metrics[torque_sat].append(info[torque_saturation]) if action_smoothness in info: metrics[smoothness].append(info[action_smoothness]) return { reward: np.mean(metrics[reward]), joint_violation_rate: np.mean(metrics[joint_violation]), torque_sat_rate: np.mean(metrics[torque_sat]), smoothness: np.mean(metrics[smoothness]) }我的习惯每次新算法跑通后先看joint_violation_rate。若 0.055% 的 step 超限立刻停训检查 reward shaping 是否缺失 torque penalty 项。这比等 reward 收敛后再 debug 快 3 天。希望帮到你。本文还有配套的精品资源点击获取
