简介基于深度强化学习的自动化股票交易策略设计源码面向量化交易研究者、金融分析师及有一定编程基础的开发者聚焦利用PPO、A2C、DDPG三种Actor-Critic算法训练交易代理在模拟市场环境中自主学习买卖决策以最大化投资回报。压缩包共40个文件、约6.4MB核心是14个Python脚本覆盖数据预处理、市场环境构建、模型定义、训练与回测等完整流程另含4个XML算法配置、4个CSV行情数据、1个Jupyter Notebook交互式分析文件以及文档和可视化图表便于按模块查阅与二次开发。目前已有306人学习下载适合希望快速建立强化学习交易系统或开展科研对比实验的实践者。资源提供了可运行的多股票训练与验证环境、交易执行模块和绩效图表读者可结合自身数据调整状态空间、奖励函数与超参数作为进一步研究自动化交易策略的可靠基础。1. 深度强化学习做自动交易算法先别急着选同一个仓库、同一份 2009 到 2020 的行情数据把 PPO、A2C、DDPG 三种算法各跑一遍最终收益能差出一倍以上。我第一次跑这套自动化股票交易策略源码时以为差距来自模型参数调得不好后来才发现真正的分水岭在算法本身的特性跟股票市场是否匹配。这套仓库把三种 Actor-Critic 算法、三套交易环境、完整的回测 Notebook 都摆在明面上特别适合用来做一件事用自己的数据亲手验证深度强化学习做股票交易到底靠不靠谱、哪种算法更靠谱。这篇就把选型依据、代码链路、回测姿势和踩过的坑一次性讲清楚给正在做算法对比选型的人一个可以直接照做的结论。2. PPO、A2C、DDPG 谁更适合股票交易从四个维度给结论2.1 三种算法在交易场景下的本质差异同属 Actor-Critic 家族但这三个算法的行为模式差异非常大。A2C 是同步的 on-policy 方法多个并行环境各跑各的把采样到的轨迹同步汇总后更新策略然后丢弃这批数据再重新采样。它没有经验回放缓冲区所以天然不存在「旧数据污染新策略」的问题但也正因为 on-policy样本利用率低需要大量并行环境才能稳定收敛。我在这个仓库里跑 A2C 时最直观的感受是训练曲线噪声大波动明显但方向基本不会跑偏。PPO 是 off-policy 带重要性采样的方法但用 clip 机制把每次更新幅度限制在一个小邻域内不允许一步更新过头。这个设计在股票这种非平稳、噪声极强的数据上非常吃香因为市场分布随时在漂移激进更新很容易把策略推到极端仓位上去。PPO 在三种算法里是最「稳」的代价是收敛速度偏慢需要更多轮交互才能达到同样的收益水平。DDPG 是确定性策略梯度直接输出一个确定性的连续动作值配合经验回放缓冲区来训练。它的优势是样本效率高劣势是 Critic 的 Q 值过估计问题在非平稳数据上会被放大。股票市场不像 Atari 游戏那样环境固定buffer 里存放的「旧策略时期的经验」一旦分布偏移严重训练出来的动作可能完全偏离当前市场状态。这套仓库里 DDPG 单独跑经常出现训练 loss 一路下降、实际交易收益却为负的情况属于最容易翻车的算法。2.2 四个关键维度的横向对比我一般不做「哪个算法听着高级就选哪个」这种判断而是把交易场景拆成样本效率、稳定性、超参敏感度、非平稳市场适配性四个维度来比对比维度PPOA2CDDPG样本效率中等低高训练稳定性高clip 限制更新幅度中噪声大但偏差小低Q 值过估计明显超参敏感度低默认参数就能跑中对学习率和 batch 敏感高buffer 大小和 reward 缩放都容易翻车非平稳市场适配强更新幅度受限较强无回放污染弱经验回放放大分布漂移典型翻车方式收敛慢被误判为无效收益曲线抖动剧烈训练 loss 好看收益为负从表格能看出没有一项是绝对优势。DDPG 的样本效率最高但这个优势在金融场景里被「非平稳市场」这一条抵消掉大半。A2C 没有回放污染但你需要足够多的并行环境去弥补样本效率。PPO 在四项里没有明显短板对应的代价是训练时间最长。2.3 我的选型标准由场景反推算法拿到任何强化学习交易项目我先回答三个问题再决定跑哪个算法。第一个问题动作空间是连续还是离散的。股票交易里的动作通常是「买入、持有、卖出」加一个仓位比例属于连续动作空间。连续动作空间不是只能用 DDPG 这类确定性策略才能做PPO 和 A2C 都可以输出高斯分布的连续动作。很多人在这一步就默认选 DDPG理由是它天生为连续动作设计但忽略了后续两个问题。第二个问题这个市场环境是平稳的还是非平稳的。回测用的历史数据是固定的但真实市场分布一直在变。如果只用 DDPG它的经验回放缓冲区会在训练中后期反复采样早期阶段的 transition相当于拿 2010 年的市场规则教 2018 年的策略效果可想而知。这一点是这个场景下和 Atari、机器人控制最大的区别。第三个问题训练预算有多少。这里的预算不只是 GPU 时长还包括你愿意花多少时间做超参调优。DDPG 对 reward 缩放、buffer 大小、噪声强度都很敏感调一轮下来很费时间。PPO 默认参数通常就能有个不错的基线。我一般会这么定默认以 PPO 为主力用 A2C 做稳健性对照DDPG 只在确认环境平稳、样本量受限时才作为补充。这套源码把三种算法都实现了正好可以跑一组对比实验用数据来验证这个结论而不是靠感觉选。3. 代码链路怎么拆从配置到回测的完整落地流程3.1 入口与配置先看 run_DRL.py 和 config拿到这套源码不要急着跑先看入口文件 run_DRL.py。它是整个训练、验证、交易三阶段的统一入口通过参数切换运行模式。config 目录下是统一的配置文件里面定义了学习率、batch size、模型保存路径、turbulence 阈值等关键参数。这部分的阅读顺序我推荐是先看 config.py 里有哪些可调参数再回来看 run_DRL.py 里每个参数怎么被使用两步合起来就等于看懂了整个项目的控制流。配置里最值得关注的是 turbulence 阈值这是这套策略在风控上的关键设计。它对应的是一份市场波动率指数数据当指标超过阈值时策略会被强制降低仓位甚至空仓。这个机制对应到代码里就是只有市场波动率指数低于阈值时交易环境才允许 agent 正常买卖一旦超过就视为市场进入异常状态强制避险。这个设计我在后面的避坑章节会重点展开因为它直接决定回测曲线是否会「戴头盔」。run_DRL.py 的核心逻辑可以用下面这段伪代码来理解# run_DRL.py 的调用流程示意 mode config.mode # train / validate / trade 三选一 if mode train: env EnvMultipleStock_train(config) # 训练环境带 turbulence 风控 agent DRLAgent(env) # 加载对应算法模型 model agent.train(config_algo) # 按 PPO/A2C/DDPG 配置训练 model.save(config.model_path) # 权重存到 trained_models/ elif mode validate: env EnvMultipleStock_validation(config) # 验证环境不训练只看表现 model.load(config.model_path) df_validation env.return_result(model) # 输出验证集上的交易明细 elif mode trade: env EnvMultipleStock_trade(config) # 交易环境回放历史行情 model.load(config.model_path) df_trade env.return_result(model) # 输出完整持仓和收益曲线这段逻辑的关键在于三种模式对应三套不同的环境而不是一套环境跑到底。训练环境要加噪声、加随机性让 agent 探索足够充分验证环境要关闭探索、取消随机噪声用当前策略做确定性评估交易环境则是在完整历史数据上回放算最终的综合指标。3.2 三套环境分别负责什么训练、验证、交易env 目录下有三份核心环境文件外加一份基础环境定义。不少人一上来只看到 EnvMultipleStock_train.py 就开始跑忽略了另两份文件的差异结果训练、评估混在一起回测指标虚高。EnvMultipleStock_train.py 是训练环境它的特点是数据分段抽样、加入起始索引随机化让 agent 每次看到的状态序列起点不同避免过拟合到某一段特定行情。EnvMultipleStock_validation.py 是验证环境用固定起始位置、依次滑过整个验证区间并且关闭所有探索机制用来度量当前策略在未见数据上的真实表现。EnvMultipleStock_trade.py 是交易环境以完整历史区间为舞台逐日推进记录每天的持仓和账户净值输出用于画收益曲线的原始数据。这个三段式结构对应的是正确的模型评估流程训练集学模式、验证集调超参、交易集出最终结论。我在之前的一些项目里吃过不分离环境的亏训完直接在训练集上评估曲线漂亮到怀疑人生换了一段行情立刻变脸。3.3 数据文件与预处理为什么要单独处理波动率data 目录下放了约 8 个数据存储文件核心是三类某 30 成分股 2009 到 2020 的历史行情、某宽基 ETF 的同期数据、以及市场波动率指数数据。前两者很好理解一个是交易标的一个是用来当基准收益的对照物。第三类波动率指数是容易被忽略但很关键的数据它就是 turbulence 机制的数据源。preprocessing 目录里的 preprocessors.py 负责把这三类数据对齐、归一化、生成技术指标。有一个细节值得特别注意归一化必须是滚动窗口式的用过去一段时间的均值和标准差来归一化当前时刻的数据而不能拿全区间统一的统计量去归一化。如果用了全区间归一化未来的信息就被泄露到了当下训练出来的策略在回测上会好看实盘直接失效。这个问题我会在避坑章节再展开一次因为它是这类强化学习交易项目里最容易踩、又最难发现的坑。预处理之后的特征进入 models.py 里的网络结构不同算法对应不同的 Actor 和 Critic 网络但共享同一套归一化输入。整个链路走下来就是数据预处理 → 环境封装 → 算法训练 → 模型保存 → 回测评估五个环节环环相扣只要中间断一环后面的结论都不成立。4. 回测怎么看Notebook 里除了收益曲线还要看什么4.1 backtesting.ipynb 的正确打开方式项目里的 Jupyter Notebook 是交互式回测工具作用是加载 trained_models 下的模型权重在指定区间逐日回放然后画出策略净值走势、对照基准、输出买卖记录。它的价值不在「跑出来一张图」而在于可以反复修改参数、重新评估不同算法之间的差距。回测输出中我会固定关注四个指标累计收益率、最大回撤、夏普比率、换手率。很多只看累计收益率的做法是危险的因为强化学习交易策略天然倾向高频买卖来博取收益换手率一旦过高真实交易里的手续费和滑点会把策略收益吃掉大半。4.2 三张结果图各看什么仓库里结果图大致对应三类整体表现图、数据分布图、交易点位图。整体表现图主要看策略净值曲线与基准指数的相对位置评估有没有持续跑赢基准的区间。数据分布图用来检查训练集和验证集的行情特征比如波动率较高的年份集中在哪一段这会直接影响 turbulence 策略的表现。交易点位图则把每次买入卖出标记在价格曲线上用来直观判断 agent 是在「追涨杀跌」还是在「低买高卖」。我一般会这么看先看最大回撤是否在可接受范围内再看策略是否在波动率高的时间段主动降低仓位最后才看累计收益。如果一条策略回撤小、换手率适中、收益跑赢基准那它才具备继续调优的价值。反过来收益很高但回撤接近 50%或者换手率高到不现实这种结果我直接判定为不可用。4.3 三次训练三个结果不一定是模型坏了跑三种算法会得到三条不同的收益曲线这是正常现象。但如果你发现同一个算法跑两次结果差异巨大那不是模型坏了而是随机性没有被控制住。深度强化学习在训练初始化和采样过程中都带有随机性种子不一致就会导致同配置下结果出现明显波动。这种情况下比较优劣是没有意义的必须固定随机种子、固定数据切分方式再在多个种子上取平均结论。我自己做对比实验的标准流程是固定三组种子每个种子下把 PPO、A2C、DDPG 各训一遍对每组种子的回测指标取均值和中位数。只看单次结果选出来的算法很可能是噪声制造的幻觉。这套源码没有内置多种子聚合脚本但这个步骤最好自己补上否则后面所有结论都建立在沙地上。5. 实战避坑五个让我翻过车的典型问题5.1 坑一回测曲线过于「漂亮」现象训练完成后在训练集区间回测收益曲线平滑上升几乎没有回撤看起来找到了「圣杯」策略。原因数据泄漏。具体到这类仓库最常见的有两处。一是归一化用了全区间的统计量相当于让模型看到了未来行情的高低点二是验证环境与训练环境共用同一段数据模型等于在开卷考试。解决把数据切分为训练、验证、交易三段时间上严格前推。归一化一律改用滚动窗口用当前时刻之前的数据计算均值和标准差。验证集坚决不参与训练过程。5.2 坑二DDPG 训练 loss 收敛但交易收益为负现象DDPG 训练过程中 Critic loss 一路下降看起来一切正常但验证集上的交易结果为负收益。原因Q 值过估计。DDPG 的 Critic 在高估动作价值时Actor 会被带偏到一些极端仓位而这些极端仓位在训练集上恰好拿到了高奖励换到验证集立刻暴露。经验回放缓冲区里存储的旧样本也加剧了这个问题。解决不看 loss看真实交互收益。对 DDPG 的验证结果要做更严格的检查可以适当降低奖励缩放系数或者引入 target 网络的软更新参数调整。如果调试成本过高直接换回 PPO 更划算。5.3 坑三turbulence 阈值当常数用换区间就失效现象训练区间内回测收益不错把同样的阈值放到另一个时间段发现策略长期空仓或被频繁强制平仓完全跑不赢基准。原因阈值是根据某一段历史的波动率分布拟合出来的换一个市场环境波动率的绝对水平变了固定阈值就不再匹配。这个问题在时间跨度较长的数据上极其常见。解决把 turbulence 阈值当作需要重新校准的超参数而不是不可变的常量。我通常的实操是在训练区间内统计每天波动率值的分位数选定一个百分位作为阈值对应到代码里就是动态计算而不是硬编码一个固定值。5.4 坑四三种算法对比没固定随机种子现象同配置下 A2C 第一次跑出来收益很高第二次再跑又变成亏损导致无法判断算法本身的优劣。原因强化学习的采样过程具有随机性不同随机种子下探索路径完全不同。不控制种子等于在考察噪声而不是算法能力。解决在配置里固定随机种子并且不能只固定一处。Python 层面的 random、NumPy 的随机数、框架级的种子都要统一设置。对比实验至少要跑三个种子以上再做结论。5.5 坑五模型路径混乱验证时加载了旧权重现象改完配置重新训练后验证阶段结果和训练阶段完全对不上收益曲线看起来「四不像」。原因训练完的模型保存到了新路径但验证脚本仍从旧路径加载模型加载的是上一次的旧权重。解决每次训练前先把模型输出目录清空并在训练完成后核对权重文件的生成时间。跑验证前强制打印一次已加载模型的路径和文件时间戳确认加载的是刚训练出来的权重。6. 最终结论PPO 打底、波动率兜底的一套可复现跑法这套源码跑下来的最终结论很明确主力用 PPO用 turbulence 机制做风控用严格的时间切分做验证。这不是凭感觉而是在这套环境上对比过三种算法之后的实证结果。DDPG 在历史行情上或许能刷出更高收益但换区间后的稳定性太差A2C 是一个不错的对照但收敛速度偏慢不适合做主力策略。PPO 在收益、回撤、超参鲁棒性上均衡是默认首选的答案。具体落地时我的实操步骤是第一步固定三组随机种子第二步训练阶段跑 PPO确认训练环境下的奖励曲线在上升第三步切换验证环境检查验证集上的回测指标重点关注最大回撤和换手率第四步切换到交易环境用完整历史数据生成最终收益曲线第五步换另一组种子重跑一次确认结论没有反转。整套流程在这套源码的 config、run_DRL.py、backtesting.ipynb 之间来回切换大约半天就能完成一轮完整的验证。最后提醒一句任何基于历史数据训练出来的模型都无法保证在未来市场中取得同样效果回测结果再好也只代表过去。从那以后我每次跑这类实验都会强制先确认三件事时间切分有没有泄漏、随机种子有没有固定、turbulence 阈值有没有做敏感性校验。这三点过关了再谈收益也不迟。希望帮到你。本文还有配套的精品资源点击获取
简介基于深度强化学习的自动化股票交易策略设计源码面向量化交易研究者、金融分析师及有一定编程基础的开发者聚焦利用PPO、A2C、DDPG三种Actor-Critic算法训练交易代理在模拟市场环境中自主学习买卖决策以最大化投资回报。压缩包共40个文件、约6.4MB核心是14个Python脚本覆盖数据预处理、市场环境构建、模型定义、训练与回测等完整流程另含4个XML算法配置、4个CSV行情数据、1个Jupyter Notebook交互式分析文件以及文档和可视化图表便于按模块查阅与二次开发。目前已有306人学习下载适合希望快速建立强化学习交易系统或开展科研对比实验的实践者。资源提供了可运行的多股票训练与验证环境、交易执行模块和绩效图表读者可结合自身数据调整状态空间、奖励函数与超参数作为进一步研究自动化交易策略的可靠基础。1. 深度强化学习做自动交易算法先别急着选同一个仓库、同一份 2009 到 2020 的行情数据把 PPO、A2C、DDPG 三种算法各跑一遍最终收益能差出一倍以上。我第一次跑这套自动化股票交易策略源码时以为差距来自模型参数调得不好后来才发现真正的分水岭在算法本身的特性跟股票市场是否匹配。这套仓库把三种 Actor-Critic 算法、三套交易环境、完整的回测 Notebook 都摆在明面上特别适合用来做一件事用自己的数据亲手验证深度强化学习做股票交易到底靠不靠谱、哪种算法更靠谱。这篇就把选型依据、代码链路、回测姿势和踩过的坑一次性讲清楚给正在做算法对比选型的人一个可以直接照做的结论。2. PPO、A2C、DDPG 谁更适合股票交易从四个维度给结论2.1 三种算法在交易场景下的本质差异同属 Actor-Critic 家族但这三个算法的行为模式差异非常大。A2C 是同步的 on-policy 方法多个并行环境各跑各的把采样到的轨迹同步汇总后更新策略然后丢弃这批数据再重新采样。它没有经验回放缓冲区所以天然不存在「旧数据污染新策略」的问题但也正因为 on-policy样本利用率低需要大量并行环境才能稳定收敛。我在这个仓库里跑 A2C 时最直观的感受是训练曲线噪声大波动明显但方向基本不会跑偏。PPO 是 off-policy 带重要性采样的方法但用 clip 机制把每次更新幅度限制在一个小邻域内不允许一步更新过头。这个设计在股票这种非平稳、噪声极强的数据上非常吃香因为市场分布随时在漂移激进更新很容易把策略推到极端仓位上去。PPO 在三种算法里是最「稳」的代价是收敛速度偏慢需要更多轮交互才能达到同样的收益水平。DDPG 是确定性策略梯度直接输出一个确定性的连续动作值配合经验回放缓冲区来训练。它的优势是样本效率高劣势是 Critic 的 Q 值过估计问题在非平稳数据上会被放大。股票市场不像 Atari 游戏那样环境固定buffer 里存放的「旧策略时期的经验」一旦分布偏移严重训练出来的动作可能完全偏离当前市场状态。这套仓库里 DDPG 单独跑经常出现训练 loss 一路下降、实际交易收益却为负的情况属于最容易翻车的算法。2.2 四个关键维度的横向对比我一般不做「哪个算法听着高级就选哪个」这种判断而是把交易场景拆成样本效率、稳定性、超参敏感度、非平稳市场适配性四个维度来比对比维度PPOA2CDDPG样本效率中等低高训练稳定性高clip 限制更新幅度中噪声大但偏差小低Q 值过估计明显超参敏感度低默认参数就能跑中对学习率和 batch 敏感高buffer 大小和 reward 缩放都容易翻车非平稳市场适配强更新幅度受限较强无回放污染弱经验回放放大分布漂移典型翻车方式收敛慢被误判为无效收益曲线抖动剧烈训练 loss 好看收益为负从表格能看出没有一项是绝对优势。DDPG 的样本效率最高但这个优势在金融场景里被「非平稳市场」这一条抵消掉大半。A2C 没有回放污染但你需要足够多的并行环境去弥补样本效率。PPO 在四项里没有明显短板对应的代价是训练时间最长。2.3 我的选型标准由场景反推算法拿到任何强化学习交易项目我先回答三个问题再决定跑哪个算法。第一个问题动作空间是连续还是离散的。股票交易里的动作通常是「买入、持有、卖出」加一个仓位比例属于连续动作空间。连续动作空间不是只能用 DDPG 这类确定性策略才能做PPO 和 A2C 都可以输出高斯分布的连续动作。很多人在这一步就默认选 DDPG理由是它天生为连续动作设计但忽略了后续两个问题。第二个问题这个市场环境是平稳的还是非平稳的。回测用的历史数据是固定的但真实市场分布一直在变。如果只用 DDPG它的经验回放缓冲区会在训练中后期反复采样早期阶段的 transition相当于拿 2010 年的市场规则教 2018 年的策略效果可想而知。这一点是这个场景下和 Atari、机器人控制最大的区别。第三个问题训练预算有多少。这里的预算不只是 GPU 时长还包括你愿意花多少时间做超参调优。DDPG 对 reward 缩放、buffer 大小、噪声强度都很敏感调一轮下来很费时间。PPO 默认参数通常就能有个不错的基线。我一般会这么定默认以 PPO 为主力用 A2C 做稳健性对照DDPG 只在确认环境平稳、样本量受限时才作为补充。这套源码把三种算法都实现了正好可以跑一组对比实验用数据来验证这个结论而不是靠感觉选。3. 代码链路怎么拆从配置到回测的完整落地流程3.1 入口与配置先看 run_DRL.py 和 config拿到这套源码不要急着跑先看入口文件 run_DRL.py。它是整个训练、验证、交易三阶段的统一入口通过参数切换运行模式。config 目录下是统一的配置文件里面定义了学习率、batch size、模型保存路径、turbulence 阈值等关键参数。这部分的阅读顺序我推荐是先看 config.py 里有哪些可调参数再回来看 run_DRL.py 里每个参数怎么被使用两步合起来就等于看懂了整个项目的控制流。配置里最值得关注的是 turbulence 阈值这是这套策略在风控上的关键设计。它对应的是一份市场波动率指数数据当指标超过阈值时策略会被强制降低仓位甚至空仓。这个机制对应到代码里就是只有市场波动率指数低于阈值时交易环境才允许 agent 正常买卖一旦超过就视为市场进入异常状态强制避险。这个设计我在后面的避坑章节会重点展开因为它直接决定回测曲线是否会「戴头盔」。run_DRL.py 的核心逻辑可以用下面这段伪代码来理解# run_DRL.py 的调用流程示意 mode config.mode # train / validate / trade 三选一 if mode train: env EnvMultipleStock_train(config) # 训练环境带 turbulence 风控 agent DRLAgent(env) # 加载对应算法模型 model agent.train(config_algo) # 按 PPO/A2C/DDPG 配置训练 model.save(config.model_path) # 权重存到 trained_models/ elif mode validate: env EnvMultipleStock_validation(config) # 验证环境不训练只看表现 model.load(config.model_path) df_validation env.return_result(model) # 输出验证集上的交易明细 elif mode trade: env EnvMultipleStock_trade(config) # 交易环境回放历史行情 model.load(config.model_path) df_trade env.return_result(model) # 输出完整持仓和收益曲线这段逻辑的关键在于三种模式对应三套不同的环境而不是一套环境跑到底。训练环境要加噪声、加随机性让 agent 探索足够充分验证环境要关闭探索、取消随机噪声用当前策略做确定性评估交易环境则是在完整历史数据上回放算最终的综合指标。3.2 三套环境分别负责什么训练、验证、交易env 目录下有三份核心环境文件外加一份基础环境定义。不少人一上来只看到 EnvMultipleStock_train.py 就开始跑忽略了另两份文件的差异结果训练、评估混在一起回测指标虚高。EnvMultipleStock_train.py 是训练环境它的特点是数据分段抽样、加入起始索引随机化让 agent 每次看到的状态序列起点不同避免过拟合到某一段特定行情。EnvMultipleStock_validation.py 是验证环境用固定起始位置、依次滑过整个验证区间并且关闭所有探索机制用来度量当前策略在未见数据上的真实表现。EnvMultipleStock_trade.py 是交易环境以完整历史区间为舞台逐日推进记录每天的持仓和账户净值输出用于画收益曲线的原始数据。这个三段式结构对应的是正确的模型评估流程训练集学模式、验证集调超参、交易集出最终结论。我在之前的一些项目里吃过不分离环境的亏训完直接在训练集上评估曲线漂亮到怀疑人生换了一段行情立刻变脸。3.3 数据文件与预处理为什么要单独处理波动率data 目录下放了约 8 个数据存储文件核心是三类某 30 成分股 2009 到 2020 的历史行情、某宽基 ETF 的同期数据、以及市场波动率指数数据。前两者很好理解一个是交易标的一个是用来当基准收益的对照物。第三类波动率指数是容易被忽略但很关键的数据它就是 turbulence 机制的数据源。preprocessing 目录里的 preprocessors.py 负责把这三类数据对齐、归一化、生成技术指标。有一个细节值得特别注意归一化必须是滚动窗口式的用过去一段时间的均值和标准差来归一化当前时刻的数据而不能拿全区间统一的统计量去归一化。如果用了全区间归一化未来的信息就被泄露到了当下训练出来的策略在回测上会好看实盘直接失效。这个问题我会在避坑章节再展开一次因为它是这类强化学习交易项目里最容易踩、又最难发现的坑。预处理之后的特征进入 models.py 里的网络结构不同算法对应不同的 Actor 和 Critic 网络但共享同一套归一化输入。整个链路走下来就是数据预处理 → 环境封装 → 算法训练 → 模型保存 → 回测评估五个环节环环相扣只要中间断一环后面的结论都不成立。4. 回测怎么看Notebook 里除了收益曲线还要看什么4.1 backtesting.ipynb 的正确打开方式项目里的 Jupyter Notebook 是交互式回测工具作用是加载 trained_models 下的模型权重在指定区间逐日回放然后画出策略净值走势、对照基准、输出买卖记录。它的价值不在「跑出来一张图」而在于可以反复修改参数、重新评估不同算法之间的差距。回测输出中我会固定关注四个指标累计收益率、最大回撤、夏普比率、换手率。很多只看累计收益率的做法是危险的因为强化学习交易策略天然倾向高频买卖来博取收益换手率一旦过高真实交易里的手续费和滑点会把策略收益吃掉大半。4.2 三张结果图各看什么仓库里结果图大致对应三类整体表现图、数据分布图、交易点位图。整体表现图主要看策略净值曲线与基准指数的相对位置评估有没有持续跑赢基准的区间。数据分布图用来检查训练集和验证集的行情特征比如波动率较高的年份集中在哪一段这会直接影响 turbulence 策略的表现。交易点位图则把每次买入卖出标记在价格曲线上用来直观判断 agent 是在「追涨杀跌」还是在「低买高卖」。我一般会这么看先看最大回撤是否在可接受范围内再看策略是否在波动率高的时间段主动降低仓位最后才看累计收益。如果一条策略回撤小、换手率适中、收益跑赢基准那它才具备继续调优的价值。反过来收益很高但回撤接近 50%或者换手率高到不现实这种结果我直接判定为不可用。4.3 三次训练三个结果不一定是模型坏了跑三种算法会得到三条不同的收益曲线这是正常现象。但如果你发现同一个算法跑两次结果差异巨大那不是模型坏了而是随机性没有被控制住。深度强化学习在训练初始化和采样过程中都带有随机性种子不一致就会导致同配置下结果出现明显波动。这种情况下比较优劣是没有意义的必须固定随机种子、固定数据切分方式再在多个种子上取平均结论。我自己做对比实验的标准流程是固定三组种子每个种子下把 PPO、A2C、DDPG 各训一遍对每组种子的回测指标取均值和中位数。只看单次结果选出来的算法很可能是噪声制造的幻觉。这套源码没有内置多种子聚合脚本但这个步骤最好自己补上否则后面所有结论都建立在沙地上。5. 实战避坑五个让我翻过车的典型问题5.1 坑一回测曲线过于「漂亮」现象训练完成后在训练集区间回测收益曲线平滑上升几乎没有回撤看起来找到了「圣杯」策略。原因数据泄漏。具体到这类仓库最常见的有两处。一是归一化用了全区间的统计量相当于让模型看到了未来行情的高低点二是验证环境与训练环境共用同一段数据模型等于在开卷考试。解决把数据切分为训练、验证、交易三段时间上严格前推。归一化一律改用滚动窗口用当前时刻之前的数据计算均值和标准差。验证集坚决不参与训练过程。5.2 坑二DDPG 训练 loss 收敛但交易收益为负现象DDPG 训练过程中 Critic loss 一路下降看起来一切正常但验证集上的交易结果为负收益。原因Q 值过估计。DDPG 的 Critic 在高估动作价值时Actor 会被带偏到一些极端仓位而这些极端仓位在训练集上恰好拿到了高奖励换到验证集立刻暴露。经验回放缓冲区里存储的旧样本也加剧了这个问题。解决不看 loss看真实交互收益。对 DDPG 的验证结果要做更严格的检查可以适当降低奖励缩放系数或者引入 target 网络的软更新参数调整。如果调试成本过高直接换回 PPO 更划算。5.3 坑三turbulence 阈值当常数用换区间就失效现象训练区间内回测收益不错把同样的阈值放到另一个时间段发现策略长期空仓或被频繁强制平仓完全跑不赢基准。原因阈值是根据某一段历史的波动率分布拟合出来的换一个市场环境波动率的绝对水平变了固定阈值就不再匹配。这个问题在时间跨度较长的数据上极其常见。解决把 turbulence 阈值当作需要重新校准的超参数而不是不可变的常量。我通常的实操是在训练区间内统计每天波动率值的分位数选定一个百分位作为阈值对应到代码里就是动态计算而不是硬编码一个固定值。5.4 坑四三种算法对比没固定随机种子现象同配置下 A2C 第一次跑出来收益很高第二次再跑又变成亏损导致无法判断算法本身的优劣。原因强化学习的采样过程具有随机性不同随机种子下探索路径完全不同。不控制种子等于在考察噪声而不是算法能力。解决在配置里固定随机种子并且不能只固定一处。Python 层面的 random、NumPy 的随机数、框架级的种子都要统一设置。对比实验至少要跑三个种子以上再做结论。5.5 坑五模型路径混乱验证时加载了旧权重现象改完配置重新训练后验证阶段结果和训练阶段完全对不上收益曲线看起来「四不像」。原因训练完的模型保存到了新路径但验证脚本仍从旧路径加载模型加载的是上一次的旧权重。解决每次训练前先把模型输出目录清空并在训练完成后核对权重文件的生成时间。跑验证前强制打印一次已加载模型的路径和文件时间戳确认加载的是刚训练出来的权重。6. 最终结论PPO 打底、波动率兜底的一套可复现跑法这套源码跑下来的最终结论很明确主力用 PPO用 turbulence 机制做风控用严格的时间切分做验证。这不是凭感觉而是在这套环境上对比过三种算法之后的实证结果。DDPG 在历史行情上或许能刷出更高收益但换区间后的稳定性太差A2C 是一个不错的对照但收敛速度偏慢不适合做主力策略。PPO 在收益、回撤、超参鲁棒性上均衡是默认首选的答案。具体落地时我的实操步骤是第一步固定三组随机种子第二步训练阶段跑 PPO确认训练环境下的奖励曲线在上升第三步切换验证环境检查验证集上的回测指标重点关注最大回撤和换手率第四步切换到交易环境用完整历史数据生成最终收益曲线第五步换另一组种子重跑一次确认结论没有反转。整套流程在这套源码的 config、run_DRL.py、backtesting.ipynb 之间来回切换大约半天就能完成一轮完整的验证。最后提醒一句任何基于历史数据训练出来的模型都无法保证在未来市场中取得同样效果回测结果再好也只代表过去。从那以后我每次跑这类实验都会强制先确认三件事时间切分有没有泄漏、随机种子有没有固定、turbulence 阈值有没有做敏感性校验。这三点过关了再谈收益也不迟。希望帮到你。本文还有配套的精品资源点击获取
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
