做强化学习的人几乎都绕不开一条主线从PGPolicy Gradient到PPO。我最早把这条链路整体走通是在某门课程的项目里要求用飞桨PaddlePaddle和强化学习框架PARL在经典控制类环境上训练一个稳定智能体。当时理论看了不少Policy Gradient的公式推导我甚至能默写下来结果一跑实验就翻车回报曲线震荡到看不出来是否在学今天调一调学习率明天改一改clip值折腾很久才意识到根子出在对算法设计动机的理解上。这篇文章不是教科书复述而是把我从公式推导到PARL工程实现的一整套思路、实操步骤和踩坑记录整理出来。基础一般但想快速把强化学习跑起来的人应该能少走不少弯路已经训练到吐的研究者也可以看看我这套调参和排查筛子合不合用。1. 强化学习的问题定义与PG核心逻辑1.1 先说清强化学习在做什么强化学习要解决的核心问题是一个智能体面对环境怎么通过一连串动作把长期累积奖励拿到最大。这里面有几个关键要素状态state、动作action、奖励reward、状态转移transition以及策略policy。策略本质上是“看到某个状态应该选择什么动作”的规则。我们做强化学习训练就是在不断调整这个策略。很多人刚开始会把强化学习和监督学习搞混。区别其实很直接监督学习给的是“标准答案”模型照着学就行强化学习给的是“事后奖励”环境不会告诉你哪一步走错了只会说这次的结果好还是不好。拿CartPole这个经典任务举例小车上竖着一根杆子环境只反馈“杆子没倒”的奖励不会告诉你“往左用力过头了”。智能体要通过一次次试错来推导出“我该怎么控制”。这个过程不需要人工标注大量数据但代价是采样效率相对低、训练不稳定。在我们后续要讨论的PG和PPO里通常用折扣因子γ来权衡“现在立刻拿到的奖励”和“未来若干步才能兑现的奖励”。γ越接近1智能体就越看重长期收益越愿意牺牲眼前的即时奖励去换取更长远的回报γ越小就越是“今朝有酒今朝醉”。这个参数在后面调优时会反复出现先记住它的直觉含义就好。1.2 策略梯度把策略网络拉进奖励优化Policy Gradient的核心思路是用一个参数化的神经网络去近似策略π_θ(a|s)输入是状态输出是每个动作的概率分布。比如CartPole里动作空间是向左和向右网络输出两个概率加起来等于1。强化学习的目标函数是J(θ)E[Σγ^t r_t]也就是“按当前策略走完一条轨迹后期望的折扣总回报”。目标函数定下来之后求梯度时有一个非常关键的等式∇J(θ)E[∇log π_θ(a|s)·Q]这里的Q表示当前状态动作对应的累计奖励估计。这个式子看着抽象直观含义其实简单如果某个动作带来的回报Q是正的就提升这个动作的概率如果是负的就压低它的概率。概率升高多少和回报大小有关回报越大梯度越强更新幅度也越大。这就是Policy Gradient最朴素的逻辑和动物学习的“好行为被强化坏行为被抑制”是同一个道理。实际实现时我们往往不会真的手写梯度公式而是用交叉熵或者log概率乘以奖励构造一个损失函数交给深度框架的自动求导去完成。常见写法是log_probs F.log_softmax(logits, dim-1)然后取一个样本对应的那个动作的log概率再乘上奖励取负号作为policy loss。这里有个容易犯糊涂的地方为什么要对log概率做自动微分而不是对概率本身因为log在计算上更稳定而且通过链式法则刚好能够还原策略梯度的期望形式数值表现也更好。1.3 PG表露出的三个工程短板PG在理论上是自洽的但真的拿来训练会暴露三个让人挠头的短板。第一个是方差大。一条轨迹里可能前半段动作很好后半段一个失误直接把整局搞砸。这时候把所有回报都算作“这条策略的结果”对前面的好动作不公平梯度也会跟着剧烈抖动。环境本身有随机性奖励波动大单条样本的估计很难反映策略的真实水平。第二个是样本效率低。PG是on-policy算法意思是数据必须由当前策略采样出来更新完之后这批数据基本就“废”了。理论上每一次参数更新都需要重新采样训练一轮要跑很多步环境交互。对于模拟环境还好说如果是真实机器人或者回合制游戏开销会非常感人。第三个是步长敏感。因为损失函数来自一条轨迹的随机采样解析方向上就不够准更新步长选大了很容易让策略跑到一个概率分布特别窄的区域之后探索能力暴跌步长选小了训练又慢得让人绝望。这三个问题最终成为PPO出现的最直接动力。2. PPO如何修补PG从TRPO到裁剪2.1 TRPOPPO之前那个“麻烦制造者”要理解PPO最好先知道它前面的TRPO。TRPO的全称是Trust Region Policy Optimization思路很顺参数更新不能太野要让新旧策略的距离保持在一个“信任域”里这样每步更新都能保证策略在可控范围内提升。问题是TRPO的实现很痛苦。它需要计算KL散度约束用共轭梯度法去解一个带约束的优化问题还涉及二阶导数或者Fisher信息矩阵的近似计算。每一步更新的计算量都比普通PG高出一大截代码调试难度也大。实际做项目时多数人只是想在GPU上多跑几个实验TRPO那套复杂求解器性价比确实不高。PPO的思路是做减法。它不去求解“KL散度不超过某个阈值”这种复杂约束而是把约束直接塞进目标函数里用一个clip机制限制更新幅度。这样既保留了TRPO“不要走太远”的核心思想又让整个计算退回一阶优化的舒适区用常规梯度下降就能稳定训练。这也是PPO能成为当下最常用强化学习算法之一的主要原因简单、稳定、泛化好还能大规模并行。2.2 裁剪目标函数拆解PPO的裁剪目标函数长这样L(θ)E[min(r_t(θ)·A_t, clip(r_t(θ), 1-ε, 1ε)·A_t)]其中r_t(θ)π_θ(a|s)/π_old(a|s)。这个r_t是“新旧策略的概率比值”代表当前策略相对旧策略在某个状态动作上概率放大了多少倍。比值大于1说明这个动作在当前策略下被更看重反之则是概率变小了。这个公式我第一次看的时候被min和clip绕了半天后来用一个比喻想通了想象你有预算请客吃饭但公司有规定报销金额最多只能比预算多20%。如果这顿饭特别值你想多报一点可以但上限封顶在1.2倍如果特别不值你也不能把报销额压到0.8倍以下。clip的两个边界1-ε和1ε就是报销限制。没有高光时刻可以把你带走犯错的代价也不会全砸在头上。这个限制在数学上保证了如果某个动作的优势A_t为正也就是这个动作比平均水平更好我们想提高它的概率但更新到概率比值超过1ε之后梯度就被剪掉了反之如果优势为负概率比值会下降但不会低于1-ε。这样能防止单次更新因为一个异常样本把策略推得太远相当于给PG装上了安全带。实际代码中还有一个更稳定的细节概率比值一般用指数运算来算。因为旧策略的log概率是存下来的当前策略的log概率每次前向传播会算两者相减再用exp还原这样比直接做除法更稳也避免了除零问题。核心实现大概就是ratio paddle.exp(new_log_prob - old_log_prob) surr1 ratio * advantage surr2 paddle.clip(ratio, 1.0 - clip_param, 1.0 clip_param) * advantage policy_loss -paddle.mean(paddle.minimum(surr1, surr2))2.3 优势估计GAE和Value Network的配合PPO里的A_t不再是“整条轨迹的折扣总回报”这种简单估计而是用GAEGeneralized Advantage Estimation算出来的优势。优势的定义是“这个动作比当前状态平均好多少”A(s,a)Q(s,a)-V(s)V是状态价值也就是在这个状态下能拿到的期望回报。为什么要引入V网络因为单独用轨迹总回报估计Q方差太大而用单个时刻的即时奖励加上后续折扣回报去算又会引入偏差。GAE的做法是用一个参数λ把不同步数的误差估计折中起来。先定义时序差分误差δ_tr_tγV(s_{t1})-V(s_t)然后优势可以写成δ_t加上衰减版本的δ_{t1}、δ_{t2}等等。λ越接近1越像整条轨迹的蒙特卡洛估计偏差小但方差大λ越接近0越像一步TD估计方差小但偏差大。工程上0.95是一个比较常用的起点配合γ0.99使用效果通常很稳。价值网络本身的Loss一般就是MSE目标是预测状态的真实回报。它需要一个“目标值”实现时常用GAE累加出来的优势再加上当前V值作为回归目标。也就是说我们需要训练两个输出策略网络输出动作分布价值头输出状态价值前向传播时两个输出从同一个共享特征层出来能节省计算量但有时候共用特征会让两个任务互相干扰。小规模项目问题不大规模上去之后可以考虑分开网络头。3. 用飞桨PaddlePaddlePARL搭出PPO3.1 PARL三层分层的意义在飞桨PaddlePaddle生态里PARL提供的Model、Algorithm、Agent三层结构是我觉得刚入门时最容易理解的一层抽象。Model管“网络长什么样”也就是策略头和价值头的前向计算Algorithm管“网络参数怎么更新”也就是PPO的损失函数和优化器Agent则把前两者组装起来对外提供“采样”和“学习”两个接口并负责和环境交互。这个分层最大的实际好处是复用性。想从PPO换成其他算法只需要改动Algorithm这一层Model和Agent基本不用动想从CartPole换到别的环境主要改Model的输入输出维度以及Agent里和环境交互的封装即可算法核心不会受影响。对于学习阶段而言这种模块解耦还让人能更清晰地意识到强化学习项目里网络结构、优化目标、环境交互是三个相对独立的问题别混在一起改。有个容易忽略的小提醒PARL只是强化学习训练框架环境还是要自己准备。通常用通用的模拟环境接口来对接也可以用自建环境类模拟真实业务状态。PARL不负责环境只负责接好环境给的数据。3.2 代码落地Model、Agent、算法核心以CartPole这种离散动作任务为例先写一个双头输出的Modelimport paddle import paddle.nn as nn import parl class CartpoleModel(parl.Model): def __init__(self, obs_dim, act_dim): super().__init__() hidden 128 self.fc1 nn.Linear(obs_dim, hidden) self.fc2 nn.Linear(hidden, hidden) self.policy_head nn.Linear(hidden, act_dim) self.value_head nn.Linear(hidden, 1) def policy(self, obs): x paddle.tanh(self.fc1(obs)) x paddle.tanh(self.fc2(x)) return self.policy_head(x) def value(self, obs): x paddle.tanh(self.fc1(obs)) x paddle.tanh(self.fc2(x)) return self.value_head(x)这个Model里policy输出的是动作logits后续通过softmax变成概率分布value输出的是标量状态价值。共享前面两层特征属于比较省事的方案。接着是PPO算法层。PARL内置了PPO实现直接调用很省事但为了理解内部逻辑至少要把核心loss写一遍。一个精简的PPO learn逻辑包含策略loss、价值loss、熵正则。熵是动作概率分布的信息熵熵越大说明探索越充分一般会加一个非常小的系数鼓励探索。class PPOAlgorithm(parl.Algorithm): def __init__(self, model, clip_param0.2, value_loss_coef0.5, entropy_coef0.01, lr3e-4): self.model model self.clip_param clip_param self.value_loss_coef value_loss_coef self.entropy_coef entropy_coef self.optimizer paddle.optimizer.Adam(learning_ratelr, parametersmodel.parameters()) def learn(self, obs, actions, advantages, target_values, old_log_probs): logits self.model.policy(obs) dist paddle.distribution.Categorical(logitslogits) new_log_probs dist.log_prob(actions).reshape([-1]) entropy dist.entropy().mean() ratio paddle.exp(new_log_probs - old_log_probs) cliped_ratio paddle.clip(ratio, 1.0 - self.clip_param, 1.0 self.clip_param) policy_loss -paddle.mean(paddle.minimum(ratio * advantages, cliped_ratio * advantages)) values self.model.value(obs).reshape([-1]) value_loss paddle.mean((values - target_values) ** 2) total_loss policy_loss self.value_loss_coef * value_loss - self.entropy_coef * entropy self.optimizer.clear_grad() total_loss.backward() self.optimizer.step() return total_loss然后写Agent。Agent要完成两件事一是sample时根据当前策略输出动作概率分布并采样同时记录动作、观测和log概率二是learn时把收集到的batch数据交给算法层更新。PARL的Agent基类会帮助管理program构建不同版本的PARL接口略有差异但核心分层没有变。框架里还提供并行采样等能力在Agent外再包一层就行。3.3 训练循环的节奏采集、更新、清理搭建好Model、Algorithm、Agent之后训练主循环是整个工程的灵魂。PPO的典型流程是用当前策略跑一批样本计算优势然后对这批样本做多轮mini-batch更新最后丢弃数据再重新采样。这里最重要的节奏是“先采集再更新然后清空”顺序绝对不能错。如果采集和更新交叉进行等于用旧数据反复刷模型会产生严重的分布偏差。伪代码大约是buffer [] for epoch in range(max_epochs): while len(buffer) rollout_size: obs env.reset() done False while not done: action, log_prob agent.sample(obs) next_obs, reward, done, _ env.step(action) buffer.append((obs, action, reward, done, log_prob)) obs next_obs # 按GAE公式计算advantages和target_values # 把buffer转成张量送入agent.learn() # 清空buffer等待下一轮采集 buffer.clear()计算优势的时候需要从轨迹尾部倒着往前推初始化一个累加因子每走一步用δ加上γ·λ乘以上一步的值。顺序写反会导致优势全部都错但这种错误往往不是报错而是训练完全不收敛。我当时在这个细节上卡了差不多两三天最后是从reward曲线长期低迷才倒推回去检查出来的。4. 训练曲线怎么看参数怎么调4.1 先分清“学到了”和“假装在学”训练PPO时最容易被曲线骗到。CartPole这类任务有个硬性指标是连续100回合的平均奖励达到某个阈值达到就算解决。刚开始训练时reward曲线会快速向上爬但要注意观察尾段是否稳定在阈值附近而不是偶尔冲一下又掉下来。我一般会同时盯三条曲线reward曲线、policy loss曲线、value loss曲线。reward曲线上升是最直观的信号policy loss下降说明策略在优化方向上动value loss下降说明价值网络对收益的预测在变准。但要注意value loss过低也不是好事可能是价值网络过拟合了当前轨迹换一批数据后又打回原形。如果value loss一直降、reward却不动优先怀疑策略网络的探索能力出了问题可以看熵的均值熵接近0说明策略已经接近确定性输出基本放弃了探索。还有一个常见假象是reward曲线在中间出现一条“平台期”。平台期不一定说明没在学可能只是当前动作概率分布下环境随机性让奖励天花板暂时卡住。遇到这种情况先别急着调参把同一个配置多跑几个随机种子看看整体趋势如果多个种子都卡在同一个水平才需要动算法如果有的种子能继续涨那只是运气问题。4.2 超参数速查与单变量调参PPO超参数很多但真正需要每天反复调的其实是少数几个。我整理了一张常用参数表都是从实际操作里沉淀下来的出发点参数作用建议起始值learning_rate控制更新幅度3e-4clip_param限制新老策略变化量0.2gamma折扣因子越接近1越看重长期0.99gae_lambda优势估计偏差方差调节0.95value_loss_coef价值loss权重0.5entropy_coef探索力度0.01batch_size每次参数更新的样本数64或128update_rounds每轮数据更新次数10到20调参有一个强原则一次只变一个变量。我曾经同时改了学习率和clip参数结果模型从收敛变成彻底发散完全不知道是谁的锅。后来退回默认值一次只调一个每个配置至少跑三个随机种子才慢慢找到规律。学习率是最敏感的参数通常从3e-4往两边试探如果reward剧烈震荡试试1e-4如果学得太慢试试1e-3但要盯紧有没有发散。clip_param 0.2是各种环境里都相对稳的常用值一般不用先动它等策略稳定了再往下缩小到0.1有时会有更细腻的表现。4.3 更换环境后的适配要点从CartPole这种玩具环境切换到更真实的环境中需要改的不只是输入维度。首先看动作空间CartPole是离散动作直接输出概率分布如果换成连续动作策略头要输出高斯分布的均值和方差然后用重参数化采样。其次是奖励尺度不同环境奖励的数值范围差异很大可能CartPole每步1而某个环境单步就几十上百。奖励尺度太大时GAE里的优势会放大得不自然容易造成策略震荡所以一个常见操作是把奖励除以一个标准差或者做clip。观测方面也别忽视。CartPole的观测是低维向量直接喂全连接网络就行但如果换成图片输入网络的卷积结构、归一化方式都要重新设计。还有一个细节是是否需要做观测归一化。网络对输入尺度非常敏感输入特征一个在0到1、一个在成千上万的范围初始loss就会异常训练难度陡增。我通常在数据进网络前用RunningMeanStd做在线归一化操作成本低但对收敛速度帮助很大。5. 经常翻车的几个现象与排查实录5.1 现象、原因、改法一一对照做强化学习实战报错不是最可怕的最可怕的是“不报错但训练不收敛”。下面把几种高频出现的问题整理成速查表现象可能原因应对方法reward曲线完全不上涨GAE计算顺序反了检查优势从尾部累加的逻辑打印前几个值看符号前期涨得好中途突然崩掉学习率偏大单步更新过猛学习率往低调观察熵是否骤降reward长期在低位徘徊探索不足提高entropy_coef或强制在动作采样中加入噪声训练稳定但最终离阈值差一点更新轮数太多导致策略过拟合旧数据降低update_rounds增加数据量不同随机种子结果差异极大环境随机性大但样本量少增大rollout_size多跑种子取中位数价值网络一直不下降V网络目标值计算错误检查target_values是否依赖未来信息还有一个特别隐蔽的低级错误在更新前忘了把buffer里的数据打乱。PPO的多轮更新是假设这批数据被独立地不断重放如果每轮顺序都一样模型会对批次边缘的样本产生记忆效果和减少数据量差不多。每次learn之前加一层shuffle立刻改善训练平滑度。5.2 一套低成本的排查顺序遇到不收敛先别急着改超参数我用一套顺序来排查能省下大量时间。第一步验证数据流打印obs、action、reward几个关键数组看形状、值域、是否有NaN。强化学习里最常见的问题就是维度差了一格导致广播把奖励和概率错位相乘这类问题看loss永远查不出来。第二步验证单步更新是否有意义随便截一段buffer打印更新前后的policy输出概率变化如果完全没有变化先怀疑梯度没连上如果变化剧烈先怀疑学习率过大。第三步验证on-policy属性确保更新时用的数据采集时策略确实不是更新后的策略。第四步回归小环境把环境简化比如缩短最大步数或者关闭噪声让问题暴露得彻底排除环境随机性的干扰。这套顺序里我个人觉得最有用的是第二步。很多人在第一眼看到loss异常时就开始调lr其实真正原因是梯度反传路径断了两天。还有一个办法是刻意设置一个“最后一个动作的旧log_prob是错的”这个玩笑式检查把old_log_probs手动换一个随机数看训练是不是立刻崩掉如果崩了说明数据链路是通的问题在采样阶段。5.3 实操中值得手工加固的几个习惯一个是固定随机种子。虽然多种子平均是看水平的唯一标准但调试阶段必须固定种子否则你连“改一个好的小改动”都判断不出来。另一个是记录每个实验的配置快照。我试过只改了clip_param没记录原文三天后想复现最优结果来回折腾了一上午。现在每个config存成独立文件和训练日志关联起来省心太多。别在训练时顺手改动采样代码。有一个很经典的坑你想试试加一点点噪声于是临时在sample函数里改了一个参数结果噪声也加到训练使用的log_prob上PPO的概率比值直接被污染。既然学了PPO就记住架构里sample和learn是完全分开的通道所有临时改动都要想清楚它是影响采样、影响更新还是全都影响。6. 从CartPole到真实强化学习项目6.1 工程化的三大增量现在代码能跑通、曲线也能稳定收敛只代表你完成了“演示版”。想把PPO真正用到业务里还要补三大类工程能力。第一是采样效率。单机单进程的仿真慢得让实验周期拉长PARL本身支持并行强化学习多进程同时采样把数据汇集到训练端统一更新。并行化之后要注意多个进程产生的数据分布可能不一样需要在更新阶段做归一化或者Reward shaping否则联合训练时会出现“一个进程学得好另一个学得差”的互相干扰。第二是奖励设计。真实业务中很少存在“每走一步1”这种清晰稀疏奖励更多时候是模糊稀疏、甚至没有明确的标量信号。这时候要做Reward shaping把大目标拆成子目标辅以势函数引导同时要警惕reward hacking智能体可能钻空子找到只在奖励形式上最优、实际毫无意义的策略。我见过一个项目智能体通过不停绕圈刷移动奖励完全不去做真正的任务目标最后靠加惩罚项才拉回来。第三是观测和状态估计。很多真实环境只能提供部分观测比如机器人只知道当前关节角度不知道角度变化率或者需要同时预测未来几步的状态。这种情况下要引入记忆结构比如RNN或者Transformer的强化学习变体让策略能够从历史时间步里推断隐含状态。训练方式也要从“独立样本采样”改成“序列采样”注意batch里轨迹长度要一致否则计算效率会崩塌。6.2 继续深入的方向当你已经能把PPO在CartPole这类任务上跑得很稳下一步可以往几个方向深入。第一个方向是学习其他算法做对比DQN解决离散动作问题SAC解决连续动作问题AlphaZero把搜索和策略网络结合。对比着看会理解PPO其实只是“策略优化”这个家族里的一种落地方案不是万能的。第二个方向是把同样一套PPO代码搬到更复杂的模拟环境里。控制任务的reward曲线和视觉输入任务的reward曲线完全不是一个量级超参数往往要推倒重调这也是不错的练兵机会。第三个方向是研究多智能体强化学习多个智能体同时与同一环境交互问题复杂性指数级上升。因为每个智能体都在把其他智能体的行为当作环境变化稳定训练更加困难这也是目前强化学习学术和工程研究都很热的方向。我在实际调试中感受最深的一件事是“觉得一个算法简单”和“能把它在真实环境里调稳”之间隔着数以千计次的实验迭代。PPO之所以流行不是因为它做了多复杂的数学创新反而是它用特别朴素的裁剪操作把PG高方差、采样效率差、步长敏感三个痛点一次性处理得足够好用。你在训练过程中遇到的每一次reward震荡、每一次熵崩、每一次优势计算方向错误都会变成对这个算法更深一层的理解。最后再分享一个小技巧当你对某个超参数的作用拿不准时故意把它调到极值看看会发生什么这样印象会比看十篇文章都深刻。
做强化学习的人几乎都绕不开一条主线从PGPolicy Gradient到PPO。我最早把这条链路整体走通是在某门课程的项目里要求用飞桨PaddlePaddle和强化学习框架PARL在经典控制类环境上训练一个稳定智能体。当时理论看了不少Policy Gradient的公式推导我甚至能默写下来结果一跑实验就翻车回报曲线震荡到看不出来是否在学今天调一调学习率明天改一改clip值折腾很久才意识到根子出在对算法设计动机的理解上。这篇文章不是教科书复述而是把我从公式推导到PARL工程实现的一整套思路、实操步骤和踩坑记录整理出来。基础一般但想快速把强化学习跑起来的人应该能少走不少弯路已经训练到吐的研究者也可以看看我这套调参和排查筛子合不合用。1. 强化学习的问题定义与PG核心逻辑1.1 先说清强化学习在做什么强化学习要解决的核心问题是一个智能体面对环境怎么通过一连串动作把长期累积奖励拿到最大。这里面有几个关键要素状态state、动作action、奖励reward、状态转移transition以及策略policy。策略本质上是“看到某个状态应该选择什么动作”的规则。我们做强化学习训练就是在不断调整这个策略。很多人刚开始会把强化学习和监督学习搞混。区别其实很直接监督学习给的是“标准答案”模型照着学就行强化学习给的是“事后奖励”环境不会告诉你哪一步走错了只会说这次的结果好还是不好。拿CartPole这个经典任务举例小车上竖着一根杆子环境只反馈“杆子没倒”的奖励不会告诉你“往左用力过头了”。智能体要通过一次次试错来推导出“我该怎么控制”。这个过程不需要人工标注大量数据但代价是采样效率相对低、训练不稳定。在我们后续要讨论的PG和PPO里通常用折扣因子γ来权衡“现在立刻拿到的奖励”和“未来若干步才能兑现的奖励”。γ越接近1智能体就越看重长期收益越愿意牺牲眼前的即时奖励去换取更长远的回报γ越小就越是“今朝有酒今朝醉”。这个参数在后面调优时会反复出现先记住它的直觉含义就好。1.2 策略梯度把策略网络拉进奖励优化Policy Gradient的核心思路是用一个参数化的神经网络去近似策略π_θ(a|s)输入是状态输出是每个动作的概率分布。比如CartPole里动作空间是向左和向右网络输出两个概率加起来等于1。强化学习的目标函数是J(θ)E[Σγ^t r_t]也就是“按当前策略走完一条轨迹后期望的折扣总回报”。目标函数定下来之后求梯度时有一个非常关键的等式∇J(θ)E[∇log π_θ(a|s)·Q]这里的Q表示当前状态动作对应的累计奖励估计。这个式子看着抽象直观含义其实简单如果某个动作带来的回报Q是正的就提升这个动作的概率如果是负的就压低它的概率。概率升高多少和回报大小有关回报越大梯度越强更新幅度也越大。这就是Policy Gradient最朴素的逻辑和动物学习的“好行为被强化坏行为被抑制”是同一个道理。实际实现时我们往往不会真的手写梯度公式而是用交叉熵或者log概率乘以奖励构造一个损失函数交给深度框架的自动求导去完成。常见写法是log_probs F.log_softmax(logits, dim-1)然后取一个样本对应的那个动作的log概率再乘上奖励取负号作为policy loss。这里有个容易犯糊涂的地方为什么要对log概率做自动微分而不是对概率本身因为log在计算上更稳定而且通过链式法则刚好能够还原策略梯度的期望形式数值表现也更好。1.3 PG表露出的三个工程短板PG在理论上是自洽的但真的拿来训练会暴露三个让人挠头的短板。第一个是方差大。一条轨迹里可能前半段动作很好后半段一个失误直接把整局搞砸。这时候把所有回报都算作“这条策略的结果”对前面的好动作不公平梯度也会跟着剧烈抖动。环境本身有随机性奖励波动大单条样本的估计很难反映策略的真实水平。第二个是样本效率低。PG是on-policy算法意思是数据必须由当前策略采样出来更新完之后这批数据基本就“废”了。理论上每一次参数更新都需要重新采样训练一轮要跑很多步环境交互。对于模拟环境还好说如果是真实机器人或者回合制游戏开销会非常感人。第三个是步长敏感。因为损失函数来自一条轨迹的随机采样解析方向上就不够准更新步长选大了很容易让策略跑到一个概率分布特别窄的区域之后探索能力暴跌步长选小了训练又慢得让人绝望。这三个问题最终成为PPO出现的最直接动力。2. PPO如何修补PG从TRPO到裁剪2.1 TRPOPPO之前那个“麻烦制造者”要理解PPO最好先知道它前面的TRPO。TRPO的全称是Trust Region Policy Optimization思路很顺参数更新不能太野要让新旧策略的距离保持在一个“信任域”里这样每步更新都能保证策略在可控范围内提升。问题是TRPO的实现很痛苦。它需要计算KL散度约束用共轭梯度法去解一个带约束的优化问题还涉及二阶导数或者Fisher信息矩阵的近似计算。每一步更新的计算量都比普通PG高出一大截代码调试难度也大。实际做项目时多数人只是想在GPU上多跑几个实验TRPO那套复杂求解器性价比确实不高。PPO的思路是做减法。它不去求解“KL散度不超过某个阈值”这种复杂约束而是把约束直接塞进目标函数里用一个clip机制限制更新幅度。这样既保留了TRPO“不要走太远”的核心思想又让整个计算退回一阶优化的舒适区用常规梯度下降就能稳定训练。这也是PPO能成为当下最常用强化学习算法之一的主要原因简单、稳定、泛化好还能大规模并行。2.2 裁剪目标函数拆解PPO的裁剪目标函数长这样L(θ)E[min(r_t(θ)·A_t, clip(r_t(θ), 1-ε, 1ε)·A_t)]其中r_t(θ)π_θ(a|s)/π_old(a|s)。这个r_t是“新旧策略的概率比值”代表当前策略相对旧策略在某个状态动作上概率放大了多少倍。比值大于1说明这个动作在当前策略下被更看重反之则是概率变小了。这个公式我第一次看的时候被min和clip绕了半天后来用一个比喻想通了想象你有预算请客吃饭但公司有规定报销金额最多只能比预算多20%。如果这顿饭特别值你想多报一点可以但上限封顶在1.2倍如果特别不值你也不能把报销额压到0.8倍以下。clip的两个边界1-ε和1ε就是报销限制。没有高光时刻可以把你带走犯错的代价也不会全砸在头上。这个限制在数学上保证了如果某个动作的优势A_t为正也就是这个动作比平均水平更好我们想提高它的概率但更新到概率比值超过1ε之后梯度就被剪掉了反之如果优势为负概率比值会下降但不会低于1-ε。这样能防止单次更新因为一个异常样本把策略推得太远相当于给PG装上了安全带。实际代码中还有一个更稳定的细节概率比值一般用指数运算来算。因为旧策略的log概率是存下来的当前策略的log概率每次前向传播会算两者相减再用exp还原这样比直接做除法更稳也避免了除零问题。核心实现大概就是ratio paddle.exp(new_log_prob - old_log_prob) surr1 ratio * advantage surr2 paddle.clip(ratio, 1.0 - clip_param, 1.0 clip_param) * advantage policy_loss -paddle.mean(paddle.minimum(surr1, surr2))2.3 优势估计GAE和Value Network的配合PPO里的A_t不再是“整条轨迹的折扣总回报”这种简单估计而是用GAEGeneralized Advantage Estimation算出来的优势。优势的定义是“这个动作比当前状态平均好多少”A(s,a)Q(s,a)-V(s)V是状态价值也就是在这个状态下能拿到的期望回报。为什么要引入V网络因为单独用轨迹总回报估计Q方差太大而用单个时刻的即时奖励加上后续折扣回报去算又会引入偏差。GAE的做法是用一个参数λ把不同步数的误差估计折中起来。先定义时序差分误差δ_tr_tγV(s_{t1})-V(s_t)然后优势可以写成δ_t加上衰减版本的δ_{t1}、δ_{t2}等等。λ越接近1越像整条轨迹的蒙特卡洛估计偏差小但方差大λ越接近0越像一步TD估计方差小但偏差大。工程上0.95是一个比较常用的起点配合γ0.99使用效果通常很稳。价值网络本身的Loss一般就是MSE目标是预测状态的真实回报。它需要一个“目标值”实现时常用GAE累加出来的优势再加上当前V值作为回归目标。也就是说我们需要训练两个输出策略网络输出动作分布价值头输出状态价值前向传播时两个输出从同一个共享特征层出来能节省计算量但有时候共用特征会让两个任务互相干扰。小规模项目问题不大规模上去之后可以考虑分开网络头。3. 用飞桨PaddlePaddlePARL搭出PPO3.1 PARL三层分层的意义在飞桨PaddlePaddle生态里PARL提供的Model、Algorithm、Agent三层结构是我觉得刚入门时最容易理解的一层抽象。Model管“网络长什么样”也就是策略头和价值头的前向计算Algorithm管“网络参数怎么更新”也就是PPO的损失函数和优化器Agent则把前两者组装起来对外提供“采样”和“学习”两个接口并负责和环境交互。这个分层最大的实际好处是复用性。想从PPO换成其他算法只需要改动Algorithm这一层Model和Agent基本不用动想从CartPole换到别的环境主要改Model的输入输出维度以及Agent里和环境交互的封装即可算法核心不会受影响。对于学习阶段而言这种模块解耦还让人能更清晰地意识到强化学习项目里网络结构、优化目标、环境交互是三个相对独立的问题别混在一起改。有个容易忽略的小提醒PARL只是强化学习训练框架环境还是要自己准备。通常用通用的模拟环境接口来对接也可以用自建环境类模拟真实业务状态。PARL不负责环境只负责接好环境给的数据。3.2 代码落地Model、Agent、算法核心以CartPole这种离散动作任务为例先写一个双头输出的Modelimport paddle import paddle.nn as nn import parl class CartpoleModel(parl.Model): def __init__(self, obs_dim, act_dim): super().__init__() hidden 128 self.fc1 nn.Linear(obs_dim, hidden) self.fc2 nn.Linear(hidden, hidden) self.policy_head nn.Linear(hidden, act_dim) self.value_head nn.Linear(hidden, 1) def policy(self, obs): x paddle.tanh(self.fc1(obs)) x paddle.tanh(self.fc2(x)) return self.policy_head(x) def value(self, obs): x paddle.tanh(self.fc1(obs)) x paddle.tanh(self.fc2(x)) return self.value_head(x)这个Model里policy输出的是动作logits后续通过softmax变成概率分布value输出的是标量状态价值。共享前面两层特征属于比较省事的方案。接着是PPO算法层。PARL内置了PPO实现直接调用很省事但为了理解内部逻辑至少要把核心loss写一遍。一个精简的PPO learn逻辑包含策略loss、价值loss、熵正则。熵是动作概率分布的信息熵熵越大说明探索越充分一般会加一个非常小的系数鼓励探索。class PPOAlgorithm(parl.Algorithm): def __init__(self, model, clip_param0.2, value_loss_coef0.5, entropy_coef0.01, lr3e-4): self.model model self.clip_param clip_param self.value_loss_coef value_loss_coef self.entropy_coef entropy_coef self.optimizer paddle.optimizer.Adam(learning_ratelr, parametersmodel.parameters()) def learn(self, obs, actions, advantages, target_values, old_log_probs): logits self.model.policy(obs) dist paddle.distribution.Categorical(logitslogits) new_log_probs dist.log_prob(actions).reshape([-1]) entropy dist.entropy().mean() ratio paddle.exp(new_log_probs - old_log_probs) cliped_ratio paddle.clip(ratio, 1.0 - self.clip_param, 1.0 self.clip_param) policy_loss -paddle.mean(paddle.minimum(ratio * advantages, cliped_ratio * advantages)) values self.model.value(obs).reshape([-1]) value_loss paddle.mean((values - target_values) ** 2) total_loss policy_loss self.value_loss_coef * value_loss - self.entropy_coef * entropy self.optimizer.clear_grad() total_loss.backward() self.optimizer.step() return total_loss然后写Agent。Agent要完成两件事一是sample时根据当前策略输出动作概率分布并采样同时记录动作、观测和log概率二是learn时把收集到的batch数据交给算法层更新。PARL的Agent基类会帮助管理program构建不同版本的PARL接口略有差异但核心分层没有变。框架里还提供并行采样等能力在Agent外再包一层就行。3.3 训练循环的节奏采集、更新、清理搭建好Model、Algorithm、Agent之后训练主循环是整个工程的灵魂。PPO的典型流程是用当前策略跑一批样本计算优势然后对这批样本做多轮mini-batch更新最后丢弃数据再重新采样。这里最重要的节奏是“先采集再更新然后清空”顺序绝对不能错。如果采集和更新交叉进行等于用旧数据反复刷模型会产生严重的分布偏差。伪代码大约是buffer [] for epoch in range(max_epochs): while len(buffer) rollout_size: obs env.reset() done False while not done: action, log_prob agent.sample(obs) next_obs, reward, done, _ env.step(action) buffer.append((obs, action, reward, done, log_prob)) obs next_obs # 按GAE公式计算advantages和target_values # 把buffer转成张量送入agent.learn() # 清空buffer等待下一轮采集 buffer.clear()计算优势的时候需要从轨迹尾部倒着往前推初始化一个累加因子每走一步用δ加上γ·λ乘以上一步的值。顺序写反会导致优势全部都错但这种错误往往不是报错而是训练完全不收敛。我当时在这个细节上卡了差不多两三天最后是从reward曲线长期低迷才倒推回去检查出来的。4. 训练曲线怎么看参数怎么调4.1 先分清“学到了”和“假装在学”训练PPO时最容易被曲线骗到。CartPole这类任务有个硬性指标是连续100回合的平均奖励达到某个阈值达到就算解决。刚开始训练时reward曲线会快速向上爬但要注意观察尾段是否稳定在阈值附近而不是偶尔冲一下又掉下来。我一般会同时盯三条曲线reward曲线、policy loss曲线、value loss曲线。reward曲线上升是最直观的信号policy loss下降说明策略在优化方向上动value loss下降说明价值网络对收益的预测在变准。但要注意value loss过低也不是好事可能是价值网络过拟合了当前轨迹换一批数据后又打回原形。如果value loss一直降、reward却不动优先怀疑策略网络的探索能力出了问题可以看熵的均值熵接近0说明策略已经接近确定性输出基本放弃了探索。还有一个常见假象是reward曲线在中间出现一条“平台期”。平台期不一定说明没在学可能只是当前动作概率分布下环境随机性让奖励天花板暂时卡住。遇到这种情况先别急着调参把同一个配置多跑几个随机种子看看整体趋势如果多个种子都卡在同一个水平才需要动算法如果有的种子能继续涨那只是运气问题。4.2 超参数速查与单变量调参PPO超参数很多但真正需要每天反复调的其实是少数几个。我整理了一张常用参数表都是从实际操作里沉淀下来的出发点参数作用建议起始值learning_rate控制更新幅度3e-4clip_param限制新老策略变化量0.2gamma折扣因子越接近1越看重长期0.99gae_lambda优势估计偏差方差调节0.95value_loss_coef价值loss权重0.5entropy_coef探索力度0.01batch_size每次参数更新的样本数64或128update_rounds每轮数据更新次数10到20调参有一个强原则一次只变一个变量。我曾经同时改了学习率和clip参数结果模型从收敛变成彻底发散完全不知道是谁的锅。后来退回默认值一次只调一个每个配置至少跑三个随机种子才慢慢找到规律。学习率是最敏感的参数通常从3e-4往两边试探如果reward剧烈震荡试试1e-4如果学得太慢试试1e-3但要盯紧有没有发散。clip_param 0.2是各种环境里都相对稳的常用值一般不用先动它等策略稳定了再往下缩小到0.1有时会有更细腻的表现。4.3 更换环境后的适配要点从CartPole这种玩具环境切换到更真实的环境中需要改的不只是输入维度。首先看动作空间CartPole是离散动作直接输出概率分布如果换成连续动作策略头要输出高斯分布的均值和方差然后用重参数化采样。其次是奖励尺度不同环境奖励的数值范围差异很大可能CartPole每步1而某个环境单步就几十上百。奖励尺度太大时GAE里的优势会放大得不自然容易造成策略震荡所以一个常见操作是把奖励除以一个标准差或者做clip。观测方面也别忽视。CartPole的观测是低维向量直接喂全连接网络就行但如果换成图片输入网络的卷积结构、归一化方式都要重新设计。还有一个细节是是否需要做观测归一化。网络对输入尺度非常敏感输入特征一个在0到1、一个在成千上万的范围初始loss就会异常训练难度陡增。我通常在数据进网络前用RunningMeanStd做在线归一化操作成本低但对收敛速度帮助很大。5. 经常翻车的几个现象与排查实录5.1 现象、原因、改法一一对照做强化学习实战报错不是最可怕的最可怕的是“不报错但训练不收敛”。下面把几种高频出现的问题整理成速查表现象可能原因应对方法reward曲线完全不上涨GAE计算顺序反了检查优势从尾部累加的逻辑打印前几个值看符号前期涨得好中途突然崩掉学习率偏大单步更新过猛学习率往低调观察熵是否骤降reward长期在低位徘徊探索不足提高entropy_coef或强制在动作采样中加入噪声训练稳定但最终离阈值差一点更新轮数太多导致策略过拟合旧数据降低update_rounds增加数据量不同随机种子结果差异极大环境随机性大但样本量少增大rollout_size多跑种子取中位数价值网络一直不下降V网络目标值计算错误检查target_values是否依赖未来信息还有一个特别隐蔽的低级错误在更新前忘了把buffer里的数据打乱。PPO的多轮更新是假设这批数据被独立地不断重放如果每轮顺序都一样模型会对批次边缘的样本产生记忆效果和减少数据量差不多。每次learn之前加一层shuffle立刻改善训练平滑度。5.2 一套低成本的排查顺序遇到不收敛先别急着改超参数我用一套顺序来排查能省下大量时间。第一步验证数据流打印obs、action、reward几个关键数组看形状、值域、是否有NaN。强化学习里最常见的问题就是维度差了一格导致广播把奖励和概率错位相乘这类问题看loss永远查不出来。第二步验证单步更新是否有意义随便截一段buffer打印更新前后的policy输出概率变化如果完全没有变化先怀疑梯度没连上如果变化剧烈先怀疑学习率过大。第三步验证on-policy属性确保更新时用的数据采集时策略确实不是更新后的策略。第四步回归小环境把环境简化比如缩短最大步数或者关闭噪声让问题暴露得彻底排除环境随机性的干扰。这套顺序里我个人觉得最有用的是第二步。很多人在第一眼看到loss异常时就开始调lr其实真正原因是梯度反传路径断了两天。还有一个办法是刻意设置一个“最后一个动作的旧log_prob是错的”这个玩笑式检查把old_log_probs手动换一个随机数看训练是不是立刻崩掉如果崩了说明数据链路是通的问题在采样阶段。5.3 实操中值得手工加固的几个习惯一个是固定随机种子。虽然多种子平均是看水平的唯一标准但调试阶段必须固定种子否则你连“改一个好的小改动”都判断不出来。另一个是记录每个实验的配置快照。我试过只改了clip_param没记录原文三天后想复现最优结果来回折腾了一上午。现在每个config存成独立文件和训练日志关联起来省心太多。别在训练时顺手改动采样代码。有一个很经典的坑你想试试加一点点噪声于是临时在sample函数里改了一个参数结果噪声也加到训练使用的log_prob上PPO的概率比值直接被污染。既然学了PPO就记住架构里sample和learn是完全分开的通道所有临时改动都要想清楚它是影响采样、影响更新还是全都影响。6. 从CartPole到真实强化学习项目6.1 工程化的三大增量现在代码能跑通、曲线也能稳定收敛只代表你完成了“演示版”。想把PPO真正用到业务里还要补三大类工程能力。第一是采样效率。单机单进程的仿真慢得让实验周期拉长PARL本身支持并行强化学习多进程同时采样把数据汇集到训练端统一更新。并行化之后要注意多个进程产生的数据分布可能不一样需要在更新阶段做归一化或者Reward shaping否则联合训练时会出现“一个进程学得好另一个学得差”的互相干扰。第二是奖励设计。真实业务中很少存在“每走一步1”这种清晰稀疏奖励更多时候是模糊稀疏、甚至没有明确的标量信号。这时候要做Reward shaping把大目标拆成子目标辅以势函数引导同时要警惕reward hacking智能体可能钻空子找到只在奖励形式上最优、实际毫无意义的策略。我见过一个项目智能体通过不停绕圈刷移动奖励完全不去做真正的任务目标最后靠加惩罚项才拉回来。第三是观测和状态估计。很多真实环境只能提供部分观测比如机器人只知道当前关节角度不知道角度变化率或者需要同时预测未来几步的状态。这种情况下要引入记忆结构比如RNN或者Transformer的强化学习变体让策略能够从历史时间步里推断隐含状态。训练方式也要从“独立样本采样”改成“序列采样”注意batch里轨迹长度要一致否则计算效率会崩塌。6.2 继续深入的方向当你已经能把PPO在CartPole这类任务上跑得很稳下一步可以往几个方向深入。第一个方向是学习其他算法做对比DQN解决离散动作问题SAC解决连续动作问题AlphaZero把搜索和策略网络结合。对比着看会理解PPO其实只是“策略优化”这个家族里的一种落地方案不是万能的。第二个方向是把同样一套PPO代码搬到更复杂的模拟环境里。控制任务的reward曲线和视觉输入任务的reward曲线完全不是一个量级超参数往往要推倒重调这也是不错的练兵机会。第三个方向是研究多智能体强化学习多个智能体同时与同一环境交互问题复杂性指数级上升。因为每个智能体都在把其他智能体的行为当作环境变化稳定训练更加困难这也是目前强化学习学术和工程研究都很热的方向。我在实际调试中感受最深的一件事是“觉得一个算法简单”和“能把它在真实环境里调稳”之间隔着数以千计次的实验迭代。PPO之所以流行不是因为它做了多复杂的数学创新反而是它用特别朴素的裁剪操作把PG高方差、采样效率差、步长敏感三个痛点一次性处理得足够好用。你在训练过程中遇到的每一次reward震荡、每一次熵崩、每一次优势计算方向错误都会变成对这个算法更深一层的理解。最后再分享一个小技巧当你对某个超参数的作用拿不准时故意把它调到极值看看会发生什么这样印象会比看十篇文章都深刻。
