PyTorch强化学习实战——基于策略梯度法解决Pong环境0. 前言1. 基于策略梯度法解决 Pong 环境2. 实现策略梯度法解决Pong环境3. 实验结果相关链接0. 前言策略梯度法在 CartPole 等简单环境中表现出色但面对Pong这类Atari游戏时却面临严峻挑战。与深度Q网络 (Deep Q-Network, DQN) 仅需百万帧即可完美求解不同原始策略梯度方法在Pong环境中难以收敛且对超参数和初始化极其敏感。为提升性能我们引入三项关键改进采用移动平均基线以减少梯度方差、使用多并行环境降低样本相关性、以及通过梯度裁剪增强训练稳定性。尽管经过大量超参数调优本节实现的策略梯度方法仍未能达到理想效果平均奖励仅维持在-19.7左右。这一失败案例恰好揭示了原始策略梯度方法在复杂任务中的局限性为后续引入更先进的演员-评论家方法提供了重要动机。1. 基于策略梯度法解决 Pong 环境原始策略梯度方法在简单的CartPole环境中表现良好但在更复杂的环境中效果却非常差。对于相对简单的Atari游戏PongDQN能在100万帧内完全解决该游戏并在仅10万帧时就展现出正向奖励动态而策略梯度方法却未能收敛。由于策略梯度训练的不稳定性寻找合适的超参数变得异常困难且对初始化条件极其敏感。这并不意味策略梯度方法本身存在缺陷只需对网络架构进行一些调整以获得更好的梯度基线就能将策略梯度方法转变为高性能方法(异步优势演员-评论家方法)。当然也可能超参数设置完全错误或代码存在隐藏缺陷亦或其他未预见的问题。但无论如何失败的结果仍具有价值至少能作为不良收敛动态的实证。2. 实现策略梯度法解决Pong环境在pong_pg.py代码中实现策略梯度方法解决Pong环境与CartPole环境主要区别有三点基线估计采用过去100万次状态转移的移动平均值而非全部样本。为加速移动平均计算创建了基于deque的缓冲区classMeanBuffer:def__init__(self,capacity:int):self.capacitycapacity self.dequecollections.deque(maxlencapacity)self.sum0.0defadd(self,val:float):iflen(self.deque)self.capacity:self.sum-self.deque[0]self.deque.append(val)self.sumvaldefmean(self)-float:ifnotself.deque:return0.0returnself.sum/len(self.deque)使用多个并行环境。本节的第二项改进是采用多环境处理机制将Env对象数组传递给ExperienceSource类。在多环境模式下经验源会以轮询方式从各环境获取状态转移数据从而提供相关性较低的训练样本通过梯度裁剪提升训练稳定性。与CartPole环境的最后一项区别是引入了梯度裁剪技术该操作使用torch.nn.utils包中的clip_grad_norm函数实现。最佳参数配置如下GAMMA0.99LEARNING_RATE0.00010792ENTROPY_BETA0.00010649BATCH_SIZE128REWARD_STEPS9BASELINE_STEPS1000000GRAD_L2_CLIP0.39215ENV_COUNT323. 实验结果尽管进行了改进但效果并不理想。即使经过超参数调优(约400组参数组合测试)在100万次训练步骤后最佳结果的平均奖励仍停留在-19.7左右。我们也可以尝试不同超参数 (pong_pg_tune.py)但Pong游戏对原始策略梯度方法而言过于复杂。相关链接PyTorch强化学习实战1——强化学习Reinforcement LearningRL详解PyTorch强化学习实战2——强化学习环境库GymnasiumPyTorch强化学习实战3——Gymnasium API扩展功能PyTorch强化学习实战4——PyTorch基础PyTorch强化学习实战5——PyTorch Ignite 事件驱动机制与实践PyTorch强化学习实战6——交叉熵方法详解与实现PyTorch强化学习实战7——表格学习与贝尔曼方程PyTorch强化学习实战8——Q学习详解与实现PyTorch强化学习实战9——深度Q学习PyTorch强化学习实战10——强化学习高级组件PyTorch强化学习实战11——N步DQNN-step DQNPyTorch强化学习实战12——Double DQNDDQNPyTorch强化学习实战13——噪声网络NoisyNet-DQNPyTorch强化学习实战14——优先经验回放机制PyTorch强化学习实战15——Dueling DQNPyTorch强化学习实战16——Categorical DQNPyTorch强化学习实战17——强化学习训练加速PyTorch强化学习实战18——基于DQN处理股票交易问题PyTorch强化学习实战19——策略梯度法
PyTorch强化学习实战——基于策略梯度法解决Pong环境0. 前言1. 基于策略梯度法解决 Pong 环境2. 实现策略梯度法解决Pong环境3. 实验结果相关链接0. 前言策略梯度法在 CartPole 等简单环境中表现出色但面对Pong这类Atari游戏时却面临严峻挑战。与深度Q网络 (Deep Q-Network, DQN) 仅需百万帧即可完美求解不同原始策略梯度方法在Pong环境中难以收敛且对超参数和初始化极其敏感。为提升性能我们引入三项关键改进采用移动平均基线以减少梯度方差、使用多并行环境降低样本相关性、以及通过梯度裁剪增强训练稳定性。尽管经过大量超参数调优本节实现的策略梯度方法仍未能达到理想效果平均奖励仅维持在-19.7左右。这一失败案例恰好揭示了原始策略梯度方法在复杂任务中的局限性为后续引入更先进的演员-评论家方法提供了重要动机。1. 基于策略梯度法解决 Pong 环境原始策略梯度方法在简单的CartPole环境中表现良好但在更复杂的环境中效果却非常差。对于相对简单的Atari游戏PongDQN能在100万帧内完全解决该游戏并在仅10万帧时就展现出正向奖励动态而策略梯度方法却未能收敛。由于策略梯度训练的不稳定性寻找合适的超参数变得异常困难且对初始化条件极其敏感。这并不意味策略梯度方法本身存在缺陷只需对网络架构进行一些调整以获得更好的梯度基线就能将策略梯度方法转变为高性能方法(异步优势演员-评论家方法)。当然也可能超参数设置完全错误或代码存在隐藏缺陷亦或其他未预见的问题。但无论如何失败的结果仍具有价值至少能作为不良收敛动态的实证。2. 实现策略梯度法解决Pong环境在pong_pg.py代码中实现策略梯度方法解决Pong环境与CartPole环境主要区别有三点基线估计采用过去100万次状态转移的移动平均值而非全部样本。为加速移动平均计算创建了基于deque的缓冲区classMeanBuffer:def__init__(self,capacity:int):self.capacitycapacity self.dequecollections.deque(maxlencapacity)self.sum0.0defadd(self,val:float):iflen(self.deque)self.capacity:self.sum-self.deque[0]self.deque.append(val)self.sumvaldefmean(self)-float:ifnotself.deque:return0.0returnself.sum/len(self.deque)使用多个并行环境。本节的第二项改进是采用多环境处理机制将Env对象数组传递给ExperienceSource类。在多环境模式下经验源会以轮询方式从各环境获取状态转移数据从而提供相关性较低的训练样本通过梯度裁剪提升训练稳定性。与CartPole环境的最后一项区别是引入了梯度裁剪技术该操作使用torch.nn.utils包中的clip_grad_norm函数实现。最佳参数配置如下GAMMA0.99LEARNING_RATE0.00010792ENTROPY_BETA0.00010649BATCH_SIZE128REWARD_STEPS9BASELINE_STEPS1000000GRAD_L2_CLIP0.39215ENV_COUNT323. 实验结果尽管进行了改进但效果并不理想。即使经过超参数调优(约400组参数组合测试)在100万次训练步骤后最佳结果的平均奖励仍停留在-19.7左右。我们也可以尝试不同超参数 (pong_pg_tune.py)但Pong游戏对原始策略梯度方法而言过于复杂。相关链接PyTorch强化学习实战1——强化学习Reinforcement LearningRL详解PyTorch强化学习实战2——强化学习环境库GymnasiumPyTorch强化学习实战3——Gymnasium API扩展功能PyTorch强化学习实战4——PyTorch基础PyTorch强化学习实战5——PyTorch Ignite 事件驱动机制与实践PyTorch强化学习实战6——交叉熵方法详解与实现PyTorch强化学习实战7——表格学习与贝尔曼方程PyTorch强化学习实战8——Q学习详解与实现PyTorch强化学习实战9——深度Q学习PyTorch强化学习实战10——强化学习高级组件PyTorch强化学习实战11——N步DQNN-step DQNPyTorch强化学习实战12——Double DQNDDQNPyTorch强化学习实战13——噪声网络NoisyNet-DQNPyTorch强化学习实战14——优先经验回放机制PyTorch强化学习实战15——Dueling DQNPyTorch强化学习实战16——Categorical DQNPyTorch强化学习实战17——强化学习训练加速PyTorch强化学习实战18——基于DQN处理股票交易问题PyTorch强化学习实战19——策略梯度法
