强化学习策略梯度方法：从基础到工程实践

1. 从价值判断到直接决策的范式转变在强化学习领域我们经历了从价值函数到策略函数的认知跃迁。早期的方法如Q-learning和SARSA都是典型的价值判断流派——它们先估算每个状态或状态-动作对的价值再间接推导出最优策略。这种间接路径就像是在迷宫里先给每个岔路口打分再选择分数最高的方向。但2014年DeepMind的DQN突破后研究者们发现直接建模和优化策略函数往往更高效。策略梯度Policy Gradient方法的兴起标志着强化学习进入了直接决策的新阶段。这就像训练一个经验丰富的向导他不需要计算每个路口的分数凭直觉就能带你走出迷宫。2. 策略函数的数学本质2.1 策略的参数化表示策略π(a|s)本质上是一个条件概率分布表示在状态s下选择动作a的概率。我们用神经网络建模时通常class PolicyNetwork(nn.Module): def __init__(self, state_dim, action_dim): super().__init__() self.fc1 nn.Linear(state_dim, 64) self.fc2 nn.Linear(64, action_dim) def forward(self, state): x F.relu(self.fc1(state)) return F.softmax(self.fc2(x), dim-1)关键细节输出层的softmax确保所有动作概率和为1这对策略梯度计算至关重要2.2 策略梯度的推导策略梯度定理告诉我们目标函数J(θ)的梯度可以表示为∇θJ(θ) Eπ[Qπ(s,a)∇θlnπθ(a|s)]这个优雅的公式揭示了通过增加带来高回报动作的概率同时减少低回报动作的概率我们就能逐步优化策略。3. 经典算法实现剖析3.1 REINFORCE算法实战最基础的策略梯度算法实现包含以下关键步骤运行策略πθ收集轨迹{τ}计算每个时间步的回报Gt计算梯度估计∇θJ(θ) ≈ ΣGt∇θlnπθ(at|st)执行梯度上升更新def update(self, rewards, log_probs): returns [] R 0 for r in reversed(rewards): R r self.gamma * R returns.insert(0, R) policy_loss [] for log_prob, G in zip(log_probs, returns): policy_loss.append(-log_prob * G) self.optimizer.zero_grad() policy_loss torch.cat(policy_loss).sum() policy_loss.backward() self.optimizer.step()3.2 Actor-Critic架构创新为降低方差现代方法引入价值函数作为baseline┌─────────────┐ ┌─────────────┐ │ Actor │───▶│ Environment│ └─────────────┘ └─────────────┘ ▲ │ │ ▼ ┌─────────────┐ ┌─────────────┐ │ Critic │◀───│ State │ └─────────────┘ └─────────────┘实现时的核心技巧两个网络共享底层特征提取层采用不同的学习率通常Critic学习率更大使用GAEGeneralized Advantage Estimation平衡偏差和方差4. 策略优化的高级技巧4.1 信任域策略优化TRPO通过KL散度约束确保策略更新幅度合理maxθ E[πθ(a|s)/πθ_old(a|s) * A] s.t. E[KL(πθ_old||πθ)] ≤ δ实现时需要共轭梯度法求解实操中常用二阶近似def conjugate_gradient(Avp_f, b, nsteps10): x torch.zeros_like(b) r b.clone() p r.clone() for _ in range(nsteps): Avp Avp_f(p) alpha torch.dot(r, r) / torch.dot(p, Avp) x alpha * p r_new r - alpha * Avp beta torch.dot(r_new, r_new) / torch.dot(r, r) p r_new beta * p r r_new return x4.2 近端策略优化PPO的工程实现PPO通过剪裁概率比简化了TRPO的实现L(θ) E[min(rt(θ)At, clip(rt(θ),1-ε,1ε)At)]其中rt(θ)πθ(a|s)/πθ_old(a|s)。在PyTorch中的典型实现def compute_loss(self, samples): states, actions, old_log_probs, returns, advantages samples new_log_probs self.policy.evaluate(states, actions) ratio (new_log_probs - old_log_probs).exp() surr1 ratio * advantages surr2 torch.clamp(ratio, 1.0-self.eps, 1.0self.eps) * advantages policy_loss -torch.min(surr1, surr2).mean() value_loss (returns - self.critic(states)).pow(2).mean() return policy_loss 0.5*value_loss5. 实战中的关键挑战与解决方案5.1 高维动作空间处理对于连续控制任务我们通常改用高斯策略 πθ(a|s) N(μθ(s), Σθ(s))使用对角协方差矩阵 Σθ(s) diag(σθ(s)^2)重参数化技巧Reparameterization Trick a μθ(s) σθ(s)⊙ε, ε∼N(0,I)class GaussianPolicy(nn.Module): def forward(self, x): mu self.mu_head(x) log_std self.log_std_head(x) std log_std.exp() return torch.distributions.Normal(mu, std)5.2 样本效率提升方案经验回放Experience Replay的改进版本技术优点实现要点Prioritized ER重点学习关键经验用TD误差作为优先级Hindsight ER利用失败经验重标定目标为实际达到的状态Reverse ER提高时间相关性反向存储轨迹片段5.3 超参数调优指南基于数百次实验总结的关键参数范围参数离散动作范围连续动作范围调节建议学习率1e-4 ~ 3e-43e-5 ~ 1e-4从高阶开始逐步降低γ折扣因子0.9 ~ 0.990.95 ~ 0.999长周期任务取较高值批量大小64 ~ 512256 ~ 2048与网络复杂度正相关GAE参数λ0.9 ~ 0.950.92 ~ 0.98平衡偏差与方差6. 前沿扩展方向6.1 分布式策略学习A3CAsynchronous Advantage Actor-Critic架构多个worker并行采集经验定期同步全局网络参数采用Hogwild!无锁更新def train(self): while not coord.should_stop(): # 同步全局参数 self.sync_with_global() # 采集轨迹 rollout self.collect_rollout() # 计算梯度 grads self.compute_gradients(rollout) # 更新全局网络 self.update_global(grads)6.2 基于模型的策略优化PILCOProbabilistic Inference for Learning Control框架学习环境动力学模型在模型上执行策略优化真实环境验证并迭代实验发现结合模型预测控制MPC可提升样本效率10倍以上6.3 多智能体策略学习MADDPGMulti-Agent DDPG的关键创新集中式训练Critic可以访问所有智能体的信息分散式执行每个Actor只能观测局部信息采用对手建模处理非平稳性问题在星际争霸II上的测试表明这种架构在3v3对战中能达到90%的胜率。