1. 稀疏奖励的长程任务在离线数据上几乎是跑不动的第一次把离线强化学习算法搬到稀疏奖励的长程导航任务上结果很难看训练曲线平得像一条直线评估时的成功率长期停在个位数。换成稠密奖励立刻就好了——同样的算法、同样的数据、同样的超参。这说明问题不在算法本身而在奖励信号在时间轴上的分布方式稀疏奖励意味着整条轨迹上只有一个非零的回报点价值函数要把这个信号一步步往回调中间隔了几百步Q 网络的 bootstrap 过程在离线设定下会迅速退化成噪声。OPALOffline Primitive Discovery for Accelerating Offline Reinforcement Learning就是针对这个具体困境提出的。它的出发点很朴素如果一步动作到回报的距离太远那就别用一步作为时间单位。把动作重新定义成一段可变时长的动作序列让智能体在片段这个粒度上做决策长程问题就被压缩成了短程问题信用分配的距离从几百步降到几十步。这篇文章适合两类人看一类是正在做离线 RL、被稀疏奖励和长 horizon 卡住的实践者另一类是想理解时间抽象和数据增强在离线设定下如何组合生效的研究型读者。下面我会把 OPAL 的三段式结构拆开讲给出可以直接跑的最小代码骨架然后重点聊那些论文里一句话带过、但真正决定成败的参数与坑。1.1 离线场景下稀疏奖励的两个死结在线 RL 里遇到稀疏奖励常规解法是探索——多试几次总能撞到奖励撞到之后靠大量在线交互把价值传播开。离线设定把这条路堵死了数据是固定的你没法去多试几次撞不到就是撞不到。第一个死结是数据覆盖不足。稀疏奖励任务里真正接近目标的轨迹在数据集中往往只占很小一部分绝大多数片段是随机游走或者无目的的移动。这些数据里状态空间覆盖可能还行但接近目标这一块的状态-动作对极度稀缺。值函数在数据稀疏区域的外推完全靠函数逼近器的泛化能力很容易高估。第二个死结是信用分配的距离太长。假设一条轨迹 800 步只有最后一步给了奖励。标准的 Q-learning 更新里那个非零回报要经过 800 次 bootstrap 才能影响到第一步的决策。离线设定下每次更新都受限于固定数据集误差累积非常明显。有实验经验的人都清楚这种任务上你把网络加大、把训练轮数拉高效果提升非常有限因为瓶颈在信息传播路径不在模型容量。OPAL 的思路是把这两个死结一起松开用片段级的抽象缩短信用分配距离解第二个结用生成式增强补足数据覆盖解第一个结。1.2 动作原语这个词到底指什么先把概念说清楚后面才不会绕。所谓 primitive在这篇工作里的定义非常具体一段固定长度的、从数据中抽取出来的动作序列由一个低维的连续隐变量所刻画。注意三个限定词。第一固定长度——实际实现里就是切成长度 H 的窗口H 一般取 8 到 20 之间。第二从数据中抽取——它不是手工设计的技能库而是从离线轨迹里学出来的。第三由一个低维隐变量刻画——这是关键一段 16 步、每步 8 维的动作序列有 128 个自由度但被压缩成一个 4 到 8 维的 z。压缩本身就是在丢弃细节、保留这段动作大概在干什么的语义信息。这个设计的好处在于它同时满足两个需求作为强化学习的动作空间使用时维度必须低否则分层的好处就没了作为数据增强的生成器使用时解码出来的动作必须能落回原始动作空间并且物理上合理。低维隐变量 解码器重建正好卡在中间。注意这里的 primitive 不是宏动作那种离散技能库也不是选项框架里带终止条件的东西。它是固定时长、无条件终止的连续隐变量片段。这个简化看起来丢了灵活性但换来的是实现上极其干净——你不需要学终止函数也不需要处理 option 的边界信用分配问题。2. OPAL 的三段式结构把动作重新定义成片段整个方法可以拆成三个独立训练的阶段阶段之间只通过数据和模型参数传递彼此不联合优化。这种松耦合设计是它实用的重要原因每一段你都可以单独跑、单独调、单独验证出问题的时候容易定位。2.1 第一段用条件变分自编码器从裸轨迹里抽出隐动作原语第一段的任务是从无标注的离线轨迹中学一个片段生成器。具体做法是把数据集里的每条轨迹切成不重叠或半重叠的长度为 H 的窗口每个窗口包含状态序列 s_0, s_1, ..., s_H 和动作序列 a_0, ..., a_{H-1}。编码器吃进整个窗口的状态和动作输出一个高斯分布的均值和对数方差采样得到隐变量 z。解码器则吃进窗口内的每个状态 s_t 和同一个 z输出对应的动作 a_t。用公式写就是编码器q(z | s_0, s_1, ..., s_H, a_0, ..., a_{H-1}) N(μ, σ²) 解码器p(a_t | s_t, z)对 t 0 ... H-1 逐点输出 损失重建误差MSE β · KL(q(z|·) ‖ N(0, I))这里有一个容易被忽略但很重要的设计选择解码器重建的是动作不是状态。原因很实在——状态转移由环境决定你重建状态等于在拟合环境动力学那是另一个问题世界模型而且会把模型容量浪费在预测那些和决策无关的视觉细节上。重建动作则直接对应用户要控制的量梯度信号也干净得多。条件里给了 s_t 而不是让解码器自己从 z 里推断状态是为了把当前在哪儿和这段动作要干什么解耦开——同一个 z 在不同位置可以解码出不同的具体动作这正是原语该有的语义。KL 项的作用是把这个隐空间推向标准正态。这不只是个正则化技巧它直接决定了后面怎么用一旦训练完成你可以直接从 N(0, I) 里采样 z 来生成原语不需要额外的先验估计。整个第三阶段能跑起来靠的就是这一条。2.2 第二段数据集增强但增强的是重播轨迹而不是噪声大部分离线 RL 的数据增强是在状态或动作上加噪声、做随机裁剪、做镜像。这些操作的共同问题是它们引入了数据分布之外的样本却没有对应的可靠标签容易让 Q 函数学到虚假的高值。OPAL 的增强方式不同它把数据集中已有的片段重新编码成 z再用解码器重新生成一遍动作序列然后把原始片段和重生成的片段都放进增强数据集。这个操作的妙处得细品。重生成的动作序列不是随机扰动而是被 z 约束在这段动作的语义附近。原始数据里的动作往往带有大量高频抖动尤其是随机探索策略产生的数据解码器由于隐变量维度低、容量有限天然会把这些高频噪声过滤掉输出更平滑、更有方向性的动作。结果是同一个状态序列下面你多了一条更接近专家风格的动作标注。这就是为什么在稀疏奖励导航任务上它特别有效。数据集里那些随机游走的轨迹状态序列本身是有价值的覆盖了空间但动作序列是没方向的。经过一次编解码状态被保留动作被提纯相当于凭空造出了一批带方向性的训练样本。而且这些样本的状态转移是从真实数据来的不存在世界模型误差累积的问题。同时增强数据集里还要额外记录片段级的转移从 s_0 出发执行 z经过 H 步到达 s_H这中间累积的折扣回报记为 r_primitive。这样就构造出了一个时间尺度被压缩了 H 倍的新 MDP。原来的 800 步轨迹在这个新 MDP 里只有 50 步左右。2.3 第三段在原语空间上跑标准的离线 RL有了片段级 MDP第三段就变得极其常规状态空间不变动作空间变成隐变量 z 的连续空间4 到 8 维奖励是片段累积折扣回报折扣因子要相应调整这一点后面单独说是个大坑。然后随便上一个成熟的离线 RL 算法就行。原论文用的是保守类方法对 Q 值做保守正则这个选择是有道理的增强数据集虽然状态来自真实数据但动作是生成出来的分布和原始行为策略有偏差保守正则能压住由此产生的外推高估。如果你换成纯 BCQ 或者纯 TD3BC也能跑但对数据质量的敏感度会更高。推理阶段的执行方式有两种需要按场景选执行方式做法适用场景代价固定 z部署前采一个 z整个 episode 都用它任务单一、行为模式固定失去自适应能力每片段重采样 z每执行完 H 步从策略或先验重新采 z需要根据状态调整行为片段边界处动作可能不连续策略输出 z由策略网络根据当前状态输出 z最灵活通常效果最好需要策略网络稳定实践中第三种最常用但要注意策略输出的 z 必须和训练时编码器产生的 z 处于同一个分布。如果训练时 z 是从编码器后验采的、推理时是策略网络直接回归的两者容易错位。缓解办法是在第三阶段的训练里把策略输出的 z和编码器给出的 z做一个对齐约束或者干脆在训练时就只用先验采样。3. 手写一遍最小可跑的 OPAL 骨架下面这套代码是我自己复现时整理的最小版本去掉了所有工程性的并行和缓存逻辑只保留核心数据流。用 PyTorch 写结构上分三个文件比较清晰primitive_vae.py、build_dataset.py、train_offline.py。3.1 数据切片与网络形状几个必须提前定死的数先定三个全局超参H片段长度、z_dim隐变量维度、action_dim原始动作维度。这三个数一旦定了后面的网络形状、数据集切法、折扣因子全跟着走所以要提前想清楚。切片的实现有个细节要注意episode 的边界必须严格处理不能让一个窗口跨过两条轨迹。我的做法是先把每条轨迹补齐到 H 的整数倍用 mask 标记 padding 位再切。mask 要一路传到损失函数里padding 位不参与重建误差计算否则解码器会去拟合那堆零填充学出一堆莫名其妙的动作。import torch import torch.nn as nn class PrimitiveEncoder(nn.Module): def __init__(self, state_dim, action_dim, H, z_dim, hidden256): super().__init__() self.H H # 输入是 H 个状态 H 个动作拼接 in_dim H * state_dim H * action_dim self.net nn.Sequential( nn.Linear(in_dim, hidden), nn.ReLU(), nn.Linear(hidden, hidden), nn.ReLU(), ) self.mu nn.Linear(hidden, z_dim) self.logvar nn.Linear(hidden, z_dim) def forward(self, s_seq, a_seq): # s_seq: (B, H, state_dim) a_seq: (B, H, action_dim) x torch.cat([s_seq.reshape(s_seq.size(0), -1), a_seq.reshape(a_seq.size(0), -1)], dim-1) h self.net(x) return self.mu(h), self.logvar(h) class PrimitiveDecoder(nn.Module): def __init__(self, state_dim, z_dim, action_dim, hidden256): super().__init__() self.net nn.Sequential( nn.Linear(state_dim z_dim, hidden), nn.ReLU(), nn.Linear(hidden, hidden), nn.ReLU(), nn.Linear(hidden, action_dim), ) def forward(self, s, z): # 同一个 z 应用到每个时刻的状态上 B, H, _ s.shape z_rep z.unsqueeze(1).expand(-1, H, -1) return self.net(torch.cat([s, z_rep], dim-1))网络宽度上编码器不需要太深。两三层的 MLP 足够参数量过大反而会让 VAE 更容易忽略 z解码器直接记住动作的均值分布就能把重建损失降下去这就是所谓的后验坍缩。我在一个动作维度为 8 的任务上试过编码器 256 宽的两层 MLP 效果不比 512 宽的差而且训练更快、更容易收敛。3.2 训练循环里两个必须盯住的信号VAE 的训练本身没什么稀奇但在 OPAL 这个场景下有两个指标必须实时监控否则你会在第三阶段才发现问题回头排查成本很高。第一个是重建误差的绝对量级。它不是越低越好。如果重建误差降到接近零说明解码器完美记住了训练数据z 基本没起作用信息都从 s_t 里来了。这时候生成出来的动作和原始动作一模一样增强数据集等于原始数据集整个方法白做。合理的状态是重建误差稳定在一个非零水平大约相当于原始动作方差的一个可观比例。第二个是 KL 项的实际数值。它应该在第一阶段快速上升然后趋于平稳而不是持续下降趋近于零。KL 趋零就是典型的后验坍缩编码器退化成常数输出z 不携带任何信息。这时候你去采样 z 生成原语得到的所有片段几乎一样。def vae_loss(recon_a, target_a, mu, logvar, mask, beta0.5): # 逐样本、逐时刻的重建误差mask 掉 padding 位 rec ((recon_a - target_a) ** 2).mean(dim-1) # (B, H) rec (rec * mask).sum(dim-1) / mask.sum(dim-1).clamp(min1.0) rec rec.mean() # KL 到标准正态 kl -0.5 * (1 logvar - mu.pow(2) - logvar.exp()).sum(dim-1).mean() return rec beta * kl, rec.detach(), kl.detach() def reparam(mu, logvar): std torch.exp(0.5 * logvar) eps torch.randn_like(std) return mu eps * stdbeta这个权重是这一阶段最需要手调的参数后面单独说。3.3 增强数据集怎么建、策略怎么跑第二阶段的核心循环是读一批片段编码得到 z解码得到新动作然后在真实环境里重播这个状态序列来验证新动作——但离线设定下你不能真的重播。所以实际做法是保留原始状态序列把动作换掉用原始数据里下一时刻的状态作为结果的近似。这里有个近似误差必须承认原始数据里 s_{t1} 是由原始动作 a_t 产生的你换成新动作 at 之后真实的下一状态应该不一样。用原始的 s{t1} 当标签会引入偏差。这个偏差在片段长度短、动作幅度小的任务上可以接受在动作幅度大、动力学敏感的任务上会明显拖累效果。所以第一阶段的 H 不能设得太长这也是 H 通常取两位数以内而不是几十的原因之一。torch.no_grad() def build_augmented(dataset, encoder, decoder, H): aug [] for s_seq, a_seq, r_seq, mask in dataset.iter_windows(H): mu, _ encoder(s_seq, a_seq) z mu # 推理时用均值不加噪 a_new decoder(s_seq, z) aug.append({ s_seq: s_seq, # 状态沿用真实数据 a_seq: a_new, # 动作是重生成的 r_seq: r_seq, z: z, # 片段级动作标签 mask: mask, }) return aug第三阶段在片段级 MDP 上训练一个标准离线 RL 策略。状态用 s_0动作用 z奖励用片段内折扣累积和。这里常见的一个实现细节是片段级转移的下一状态是 s_H 而不是 s_1别搞错了。虽然看起来是显然的但我在两个不同的开源实现里都见过把它写成 s_1 的 bug效果会直接崩掉。4. 参数与坑复现时最容易翻车的几处这一节是全文里我最想写的部分。论文正文给出的参数组合是经过大量搜索得到的直接抄过来在别的任务上大概率不适用。下面这几个坑是我在复现和迁移过程中实际踩到的。4.1 片段长度 H最容易被随手设错的一个数很多人第一反应是越长越好越长抽象层级越高信用分配距离越短。这个直觉在离线设定下是错的。H 太长会遇到三个问题。第一重播近似误差急剧放大——你用一个早就过时的 s_{t1} 去标注新动作误差随 H 线性甚至超线性增长。第二编码器的输入维度是 H 乘 (state_dim action_dim)H 翻倍输入维度就翻倍样本效率下降明显。第三增强后的动作序列容易在片段边界处出现明显的跳变执行起来很别扭。H 太短则失去了抽象的意义。如果 H 只有 2 到 3片段级 MDP 的 horizon 只缩短了 2 到 3 倍稀疏奖励的问题基本没解决你只是多做了一次数据增强。我的经验是H 应该和一个有意义的行为单元持续多少步大致对得上。导航任务里一次转向或者一段直行大概十几步H 取 10 到 16 比较合适。操作任务里一个抓取动作可能只有 5 到 8 步H 就要相应减小。测试的时候可以先跑一组扫参H ∈ {4, 8, 16, 32}看第二阶段增强后的数据在第三阶段上的成功率曲线通常能看出一条明显的倒 U 形。H 取值抽象收益重播误差适用判断4弱horizon 只缩短 4 倍极小短程精细操作任务的起点8中等小大多数任务的稳妥默认值16强中等长程导航、移动类任务32很强大边界跳变明显只在低维动作、平滑动力学上试4.2 KL 权重 beta 与隐变量维度坍缩和爆炸之间的窄缝beta是第一阶段唯一真正需要仔细调的超参。它太小隐空间不被约束z 的分布偏离标准正态第三阶段从先验采样得到的 z 会落在编码器从没见过的区域解码出垃圾动作。它太大KL 项主导损失编码器倾向于直接输出先验mu 趋零、logvar 趋零后验坍缩z 不带信息。判断方法很直接训练完成后从 N(0, I) 采样 20 个 z用同一个状态序列解码看动作序列的差异。如果 20 条几乎一样说明坍缩了beta 要调小。如果差异大到完全不像同一个任务的动作说明约束不够beta 要调大。健康的状态是不同 z 解码出的动作序列在方向或节奏上有系统性的区别具体细节不同但都物理合理。z_dim同理。4 维可能不够表达行为多样性8 维通常够用16 维就开始有多余自由度被浪费在噪声上。我在一个动作维度为 6 的移动任务上做过对比z_dim从 4 提到 8 有明显提升8 提到 16 反而略降因为多余的维度被用来记住片段的具体细节泛化变差。提示如果你想快速判断 VAE 阶段是否健康做一个插值测试——取两个不同片段的 z线性插值出中间点解码看动作序列。如果中间点解码出的动作能平滑地介于两个原始行为之间说明隐空间结构良好。如果中间点是乱的说明隐空间没有被有效组织。4.3 折扣因子在片段级 MDP 上必须重设这个坑非常隐蔽很多人不会注意到。原始 MDP 里折扣因子 γ 0.99片段长度 H 16。如果片段级奖励直接取 γ 的累积折扣和那么一个片段的效果相当于在原始时间尺度上折扣了 γ^16 ≈ 0.85也就是片段级 MDP 的有效折扣其实是 γ^H 而不是 γ。如果你在片段级 MDP 上继续用 γ 0.99 作为 bootstrap 的折扣实际的总折扣会是 (γ^H) × γ 0.85 × 0.99 ≈ 0.84等效于原始尺度上的 γ_eff^H 0.84反推 γ_eff ≈ 0.989。听上去差不多但影响的是几十步之后的价值传播累积起来误差很明显。正确的做法是显式地按 γ_primitive γ^H 来构造片段级回报和 bootstrap。实操上更简单的等效做法是片段级回报用未折扣的累积和或者小折扣bootstrap 时用 γ^H 作为折扣因子。这两种写法在数学上等价但实现上后者更不容易出错。4.4 增强数据的混合比例与只用增强数据的风险第二个阶段的增强数据可以和原始数据混合使用也可以只用增强数据。我一开始的做法是只用增强数据因为直觉上它更干净。结果发现效果反而不如混合。原因在于增强数据虽然动作更平滑但它丢失了原始数据里的动作多样性。如果任务的解法恰好需要一些不那么平滑、但确实有效的动作模式只用增强数据就把这部分信息抹掉了。比较稳妥的做法是按 1:1 的比例混合并且在采样时给原始数据略高的权重比如 6:4。这样既享受了提纯带来的方向性又保住了原始分布的尾部。还有一个问题是增强数据的动作可能落在行为策略的支撑集之外。Q 函数在这些位置的外推是高估的重灾区所以第三阶段的离线 RL 算法必须带保守约束。如果你用的是不带保守项的方法建议在损失里显式加一个对增强样本的惩罚或者干脆把增强样本的权重降下来。5. 什么场景下值得用什么场景下是纯粹的成本这套方法不是万能的它的收益高度依赖任务和数据的形态。搞清楚边界比学会怎么调参更重要因为选错场景意味着你花了三倍的工程量却拿不到任何提升。5.1 值得用的三类场景第一类是长 horizon 加稀疏奖励。这是 OPAL 的主场。导航、长程操作、多阶段任务都属于这一类。判断标准很简单如果你把奖励改成稠密版本之后基线算法立刻就好起来了那说明瓶颈就是信用分配距离OPAL 大概率能帮上忙。反过来如果稠密奖励下也跑不好那问题在别处别在这上面浪费时间。第二类是动作序列存在大量冗余高频抖动。随机探索策略采出来的数据往往是这样大方向可能对但每步都在抖。这类数据拿来直接训练策略会学到抖动本身。编解码一次相当于做了个低通滤波效果提升非常直观。这个收益在数据质量差的时候尤其明显甚至不需要长 horizon 也能看到。第三类是动作维度不算太低、但行为模式种类不多。比如一个六足或者四足的移动任务动作维度十几维但实际有效的行为模式可能就那么几种前进、转向、后退、蹲伏。低维隐变量正好能把这种少模式、高维度的结构压出来。5.2 用了反而不划算的三种情况短 horizon 加稠密奖励。这是最常见的误用。任务本身就只有几十步、每步都有奖励信号信用分配根本不是瓶颈。这时候上 OPAL你付出的代价是额外训练一个 VAE、额外一轮数据增强、额外一套片段级 MDP 的工程代码收益基本为零甚至为负因为重播近似误差。我见过有人在这种任务上硬套最后效果比直接跑基线差还以为是调参没调好。动作维度极低、行为连续的任务。如果动作只有两三维、而且随状态连续变化那么把多步动作压缩成一个低维向量这个操作提供的信息增益很小。隐变量能表达的东西本来就不比原始动作空间多多少压缩反而是有损的。数据本身已经是高质量的专家演示。专家数据的动作平滑、有方向性编解码的提纯作用就不存在了。这时候增强数据 ≈ 原始数据白白多了一轮训练和一层近似误差。我把这几条整理成一个快速判断表实际项目里对着看一眼就能决定要不要上条件倾向用倾向不用单条轨迹 horizon200 步以上50 步以内奖励密度稀疏末端为主每步都有数据动作质量含大量随机探索、抖动明显纯专家演示行为模式多样性少几种基本动作极多且连续渐变动作维度中高6 维以上低2 到 3 维5.3 它和层次化 RL、序列建模类方法的边界在哪顺带说清一个容易混淆的问题OPAL 和经典的层次化 RL 有什么本质区别。经典层次化方法选项框架那一类通常要学三样东西高层策略、低层策略、终止函数。终止函数是最麻烦的它决定了什么时候该换 option而这个决策本身又需要在稀疏奖励下学习形成套娃。OPAL 直接砍掉了终止函数——片段长度固定为 H到点就换。这个简化牺牲了灵活性有些行为确实该持续更久有些该提前中断但换来了实现的干净和训练的稳定。在离线设定下这个交换通常是划算的因为在线交互能帮你学到好的终止点离线数据里学终止函数则非常困难。另一个常被拿来比的是把离线 RL 转成序列建模的那一类方法。它们走的是完全不同的路子不学价值函数直接建模轨迹分布用条件生成来做决策。这类方法在长 horizon 稀疏奖励上也有不错的报告但它们的瓶颈在推理时的搜索成本和对数据质量的敏感性。OPAL 的优势是它能在现有离线 RL 算法上做增量改造——你不用换掉整个技术栈只要在数据侧和动作空间侧动刀。对于已经在用成熟离线 RL 框架的团队这个改造成本低得多。我个人在实际操作中的体会是如果你的团队已经有一套调好的离线 RL 训练管线OPAL 是一次低风险的增量升级如果你是从零开始而且任务本身不算长程那先老老实实把基线调好、把数据质量提上去收益比上这套抽象更大。时间抽象是解决特定瓶颈的工具不是通用加速器——把它当成后者用往往会在工程复杂度上付出远超预期的代价而在指标上什么也换不回来。
1. 稀疏奖励的长程任务在离线数据上几乎是跑不动的第一次把离线强化学习算法搬到稀疏奖励的长程导航任务上结果很难看训练曲线平得像一条直线评估时的成功率长期停在个位数。换成稠密奖励立刻就好了——同样的算法、同样的数据、同样的超参。这说明问题不在算法本身而在奖励信号在时间轴上的分布方式稀疏奖励意味着整条轨迹上只有一个非零的回报点价值函数要把这个信号一步步往回调中间隔了几百步Q 网络的 bootstrap 过程在离线设定下会迅速退化成噪声。OPALOffline Primitive Discovery for Accelerating Offline Reinforcement Learning就是针对这个具体困境提出的。它的出发点很朴素如果一步动作到回报的距离太远那就别用一步作为时间单位。把动作重新定义成一段可变时长的动作序列让智能体在片段这个粒度上做决策长程问题就被压缩成了短程问题信用分配的距离从几百步降到几十步。这篇文章适合两类人看一类是正在做离线 RL、被稀疏奖励和长 horizon 卡住的实践者另一类是想理解时间抽象和数据增强在离线设定下如何组合生效的研究型读者。下面我会把 OPAL 的三段式结构拆开讲给出可以直接跑的最小代码骨架然后重点聊那些论文里一句话带过、但真正决定成败的参数与坑。1.1 离线场景下稀疏奖励的两个死结在线 RL 里遇到稀疏奖励常规解法是探索——多试几次总能撞到奖励撞到之后靠大量在线交互把价值传播开。离线设定把这条路堵死了数据是固定的你没法去多试几次撞不到就是撞不到。第一个死结是数据覆盖不足。稀疏奖励任务里真正接近目标的轨迹在数据集中往往只占很小一部分绝大多数片段是随机游走或者无目的的移动。这些数据里状态空间覆盖可能还行但接近目标这一块的状态-动作对极度稀缺。值函数在数据稀疏区域的外推完全靠函数逼近器的泛化能力很容易高估。第二个死结是信用分配的距离太长。假设一条轨迹 800 步只有最后一步给了奖励。标准的 Q-learning 更新里那个非零回报要经过 800 次 bootstrap 才能影响到第一步的决策。离线设定下每次更新都受限于固定数据集误差累积非常明显。有实验经验的人都清楚这种任务上你把网络加大、把训练轮数拉高效果提升非常有限因为瓶颈在信息传播路径不在模型容量。OPAL 的思路是把这两个死结一起松开用片段级的抽象缩短信用分配距离解第二个结用生成式增强补足数据覆盖解第一个结。1.2 动作原语这个词到底指什么先把概念说清楚后面才不会绕。所谓 primitive在这篇工作里的定义非常具体一段固定长度的、从数据中抽取出来的动作序列由一个低维的连续隐变量所刻画。注意三个限定词。第一固定长度——实际实现里就是切成长度 H 的窗口H 一般取 8 到 20 之间。第二从数据中抽取——它不是手工设计的技能库而是从离线轨迹里学出来的。第三由一个低维隐变量刻画——这是关键一段 16 步、每步 8 维的动作序列有 128 个自由度但被压缩成一个 4 到 8 维的 z。压缩本身就是在丢弃细节、保留这段动作大概在干什么的语义信息。这个设计的好处在于它同时满足两个需求作为强化学习的动作空间使用时维度必须低否则分层的好处就没了作为数据增强的生成器使用时解码出来的动作必须能落回原始动作空间并且物理上合理。低维隐变量 解码器重建正好卡在中间。注意这里的 primitive 不是宏动作那种离散技能库也不是选项框架里带终止条件的东西。它是固定时长、无条件终止的连续隐变量片段。这个简化看起来丢了灵活性但换来的是实现上极其干净——你不需要学终止函数也不需要处理 option 的边界信用分配问题。2. OPAL 的三段式结构把动作重新定义成片段整个方法可以拆成三个独立训练的阶段阶段之间只通过数据和模型参数传递彼此不联合优化。这种松耦合设计是它实用的重要原因每一段你都可以单独跑、单独调、单独验证出问题的时候容易定位。2.1 第一段用条件变分自编码器从裸轨迹里抽出隐动作原语第一段的任务是从无标注的离线轨迹中学一个片段生成器。具体做法是把数据集里的每条轨迹切成不重叠或半重叠的长度为 H 的窗口每个窗口包含状态序列 s_0, s_1, ..., s_H 和动作序列 a_0, ..., a_{H-1}。编码器吃进整个窗口的状态和动作输出一个高斯分布的均值和对数方差采样得到隐变量 z。解码器则吃进窗口内的每个状态 s_t 和同一个 z输出对应的动作 a_t。用公式写就是编码器q(z | s_0, s_1, ..., s_H, a_0, ..., a_{H-1}) N(μ, σ²) 解码器p(a_t | s_t, z)对 t 0 ... H-1 逐点输出 损失重建误差MSE β · KL(q(z|·) ‖ N(0, I))这里有一个容易被忽略但很重要的设计选择解码器重建的是动作不是状态。原因很实在——状态转移由环境决定你重建状态等于在拟合环境动力学那是另一个问题世界模型而且会把模型容量浪费在预测那些和决策无关的视觉细节上。重建动作则直接对应用户要控制的量梯度信号也干净得多。条件里给了 s_t 而不是让解码器自己从 z 里推断状态是为了把当前在哪儿和这段动作要干什么解耦开——同一个 z 在不同位置可以解码出不同的具体动作这正是原语该有的语义。KL 项的作用是把这个隐空间推向标准正态。这不只是个正则化技巧它直接决定了后面怎么用一旦训练完成你可以直接从 N(0, I) 里采样 z 来生成原语不需要额外的先验估计。整个第三阶段能跑起来靠的就是这一条。2.2 第二段数据集增强但增强的是重播轨迹而不是噪声大部分离线 RL 的数据增强是在状态或动作上加噪声、做随机裁剪、做镜像。这些操作的共同问题是它们引入了数据分布之外的样本却没有对应的可靠标签容易让 Q 函数学到虚假的高值。OPAL 的增强方式不同它把数据集中已有的片段重新编码成 z再用解码器重新生成一遍动作序列然后把原始片段和重生成的片段都放进增强数据集。这个操作的妙处得细品。重生成的动作序列不是随机扰动而是被 z 约束在这段动作的语义附近。原始数据里的动作往往带有大量高频抖动尤其是随机探索策略产生的数据解码器由于隐变量维度低、容量有限天然会把这些高频噪声过滤掉输出更平滑、更有方向性的动作。结果是同一个状态序列下面你多了一条更接近专家风格的动作标注。这就是为什么在稀疏奖励导航任务上它特别有效。数据集里那些随机游走的轨迹状态序列本身是有价值的覆盖了空间但动作序列是没方向的。经过一次编解码状态被保留动作被提纯相当于凭空造出了一批带方向性的训练样本。而且这些样本的状态转移是从真实数据来的不存在世界模型误差累积的问题。同时增强数据集里还要额外记录片段级的转移从 s_0 出发执行 z经过 H 步到达 s_H这中间累积的折扣回报记为 r_primitive。这样就构造出了一个时间尺度被压缩了 H 倍的新 MDP。原来的 800 步轨迹在这个新 MDP 里只有 50 步左右。2.3 第三段在原语空间上跑标准的离线 RL有了片段级 MDP第三段就变得极其常规状态空间不变动作空间变成隐变量 z 的连续空间4 到 8 维奖励是片段累积折扣回报折扣因子要相应调整这一点后面单独说是个大坑。然后随便上一个成熟的离线 RL 算法就行。原论文用的是保守类方法对 Q 值做保守正则这个选择是有道理的增强数据集虽然状态来自真实数据但动作是生成出来的分布和原始行为策略有偏差保守正则能压住由此产生的外推高估。如果你换成纯 BCQ 或者纯 TD3BC也能跑但对数据质量的敏感度会更高。推理阶段的执行方式有两种需要按场景选执行方式做法适用场景代价固定 z部署前采一个 z整个 episode 都用它任务单一、行为模式固定失去自适应能力每片段重采样 z每执行完 H 步从策略或先验重新采 z需要根据状态调整行为片段边界处动作可能不连续策略输出 z由策略网络根据当前状态输出 z最灵活通常效果最好需要策略网络稳定实践中第三种最常用但要注意策略输出的 z 必须和训练时编码器产生的 z 处于同一个分布。如果训练时 z 是从编码器后验采的、推理时是策略网络直接回归的两者容易错位。缓解办法是在第三阶段的训练里把策略输出的 z和编码器给出的 z做一个对齐约束或者干脆在训练时就只用先验采样。3. 手写一遍最小可跑的 OPAL 骨架下面这套代码是我自己复现时整理的最小版本去掉了所有工程性的并行和缓存逻辑只保留核心数据流。用 PyTorch 写结构上分三个文件比较清晰primitive_vae.py、build_dataset.py、train_offline.py。3.1 数据切片与网络形状几个必须提前定死的数先定三个全局超参H片段长度、z_dim隐变量维度、action_dim原始动作维度。这三个数一旦定了后面的网络形状、数据集切法、折扣因子全跟着走所以要提前想清楚。切片的实现有个细节要注意episode 的边界必须严格处理不能让一个窗口跨过两条轨迹。我的做法是先把每条轨迹补齐到 H 的整数倍用 mask 标记 padding 位再切。mask 要一路传到损失函数里padding 位不参与重建误差计算否则解码器会去拟合那堆零填充学出一堆莫名其妙的动作。import torch import torch.nn as nn class PrimitiveEncoder(nn.Module): def __init__(self, state_dim, action_dim, H, z_dim, hidden256): super().__init__() self.H H # 输入是 H 个状态 H 个动作拼接 in_dim H * state_dim H * action_dim self.net nn.Sequential( nn.Linear(in_dim, hidden), nn.ReLU(), nn.Linear(hidden, hidden), nn.ReLU(), ) self.mu nn.Linear(hidden, z_dim) self.logvar nn.Linear(hidden, z_dim) def forward(self, s_seq, a_seq): # s_seq: (B, H, state_dim) a_seq: (B, H, action_dim) x torch.cat([s_seq.reshape(s_seq.size(0), -1), a_seq.reshape(a_seq.size(0), -1)], dim-1) h self.net(x) return self.mu(h), self.logvar(h) class PrimitiveDecoder(nn.Module): def __init__(self, state_dim, z_dim, action_dim, hidden256): super().__init__() self.net nn.Sequential( nn.Linear(state_dim z_dim, hidden), nn.ReLU(), nn.Linear(hidden, hidden), nn.ReLU(), nn.Linear(hidden, action_dim), ) def forward(self, s, z): # 同一个 z 应用到每个时刻的状态上 B, H, _ s.shape z_rep z.unsqueeze(1).expand(-1, H, -1) return self.net(torch.cat([s, z_rep], dim-1))网络宽度上编码器不需要太深。两三层的 MLP 足够参数量过大反而会让 VAE 更容易忽略 z解码器直接记住动作的均值分布就能把重建损失降下去这就是所谓的后验坍缩。我在一个动作维度为 8 的任务上试过编码器 256 宽的两层 MLP 效果不比 512 宽的差而且训练更快、更容易收敛。3.2 训练循环里两个必须盯住的信号VAE 的训练本身没什么稀奇但在 OPAL 这个场景下有两个指标必须实时监控否则你会在第三阶段才发现问题回头排查成本很高。第一个是重建误差的绝对量级。它不是越低越好。如果重建误差降到接近零说明解码器完美记住了训练数据z 基本没起作用信息都从 s_t 里来了。这时候生成出来的动作和原始动作一模一样增强数据集等于原始数据集整个方法白做。合理的状态是重建误差稳定在一个非零水平大约相当于原始动作方差的一个可观比例。第二个是 KL 项的实际数值。它应该在第一阶段快速上升然后趋于平稳而不是持续下降趋近于零。KL 趋零就是典型的后验坍缩编码器退化成常数输出z 不携带任何信息。这时候你去采样 z 生成原语得到的所有片段几乎一样。def vae_loss(recon_a, target_a, mu, logvar, mask, beta0.5): # 逐样本、逐时刻的重建误差mask 掉 padding 位 rec ((recon_a - target_a) ** 2).mean(dim-1) # (B, H) rec (rec * mask).sum(dim-1) / mask.sum(dim-1).clamp(min1.0) rec rec.mean() # KL 到标准正态 kl -0.5 * (1 logvar - mu.pow(2) - logvar.exp()).sum(dim-1).mean() return rec beta * kl, rec.detach(), kl.detach() def reparam(mu, logvar): std torch.exp(0.5 * logvar) eps torch.randn_like(std) return mu eps * stdbeta这个权重是这一阶段最需要手调的参数后面单独说。3.3 增强数据集怎么建、策略怎么跑第二阶段的核心循环是读一批片段编码得到 z解码得到新动作然后在真实环境里重播这个状态序列来验证新动作——但离线设定下你不能真的重播。所以实际做法是保留原始状态序列把动作换掉用原始数据里下一时刻的状态作为结果的近似。这里有个近似误差必须承认原始数据里 s_{t1} 是由原始动作 a_t 产生的你换成新动作 at 之后真实的下一状态应该不一样。用原始的 s{t1} 当标签会引入偏差。这个偏差在片段长度短、动作幅度小的任务上可以接受在动作幅度大、动力学敏感的任务上会明显拖累效果。所以第一阶段的 H 不能设得太长这也是 H 通常取两位数以内而不是几十的原因之一。torch.no_grad() def build_augmented(dataset, encoder, decoder, H): aug [] for s_seq, a_seq, r_seq, mask in dataset.iter_windows(H): mu, _ encoder(s_seq, a_seq) z mu # 推理时用均值不加噪 a_new decoder(s_seq, z) aug.append({ s_seq: s_seq, # 状态沿用真实数据 a_seq: a_new, # 动作是重生成的 r_seq: r_seq, z: z, # 片段级动作标签 mask: mask, }) return aug第三阶段在片段级 MDP 上训练一个标准离线 RL 策略。状态用 s_0动作用 z奖励用片段内折扣累积和。这里常见的一个实现细节是片段级转移的下一状态是 s_H 而不是 s_1别搞错了。虽然看起来是显然的但我在两个不同的开源实现里都见过把它写成 s_1 的 bug效果会直接崩掉。4. 参数与坑复现时最容易翻车的几处这一节是全文里我最想写的部分。论文正文给出的参数组合是经过大量搜索得到的直接抄过来在别的任务上大概率不适用。下面这几个坑是我在复现和迁移过程中实际踩到的。4.1 片段长度 H最容易被随手设错的一个数很多人第一反应是越长越好越长抽象层级越高信用分配距离越短。这个直觉在离线设定下是错的。H 太长会遇到三个问题。第一重播近似误差急剧放大——你用一个早就过时的 s_{t1} 去标注新动作误差随 H 线性甚至超线性增长。第二编码器的输入维度是 H 乘 (state_dim action_dim)H 翻倍输入维度就翻倍样本效率下降明显。第三增强后的动作序列容易在片段边界处出现明显的跳变执行起来很别扭。H 太短则失去了抽象的意义。如果 H 只有 2 到 3片段级 MDP 的 horizon 只缩短了 2 到 3 倍稀疏奖励的问题基本没解决你只是多做了一次数据增强。我的经验是H 应该和一个有意义的行为单元持续多少步大致对得上。导航任务里一次转向或者一段直行大概十几步H 取 10 到 16 比较合适。操作任务里一个抓取动作可能只有 5 到 8 步H 就要相应减小。测试的时候可以先跑一组扫参H ∈ {4, 8, 16, 32}看第二阶段增强后的数据在第三阶段上的成功率曲线通常能看出一条明显的倒 U 形。H 取值抽象收益重播误差适用判断4弱horizon 只缩短 4 倍极小短程精细操作任务的起点8中等小大多数任务的稳妥默认值16强中等长程导航、移动类任务32很强大边界跳变明显只在低维动作、平滑动力学上试4.2 KL 权重 beta 与隐变量维度坍缩和爆炸之间的窄缝beta是第一阶段唯一真正需要仔细调的超参。它太小隐空间不被约束z 的分布偏离标准正态第三阶段从先验采样得到的 z 会落在编码器从没见过的区域解码出垃圾动作。它太大KL 项主导损失编码器倾向于直接输出先验mu 趋零、logvar 趋零后验坍缩z 不带信息。判断方法很直接训练完成后从 N(0, I) 采样 20 个 z用同一个状态序列解码看动作序列的差异。如果 20 条几乎一样说明坍缩了beta 要调小。如果差异大到完全不像同一个任务的动作说明约束不够beta 要调大。健康的状态是不同 z 解码出的动作序列在方向或节奏上有系统性的区别具体细节不同但都物理合理。z_dim同理。4 维可能不够表达行为多样性8 维通常够用16 维就开始有多余自由度被浪费在噪声上。我在一个动作维度为 6 的移动任务上做过对比z_dim从 4 提到 8 有明显提升8 提到 16 反而略降因为多余的维度被用来记住片段的具体细节泛化变差。提示如果你想快速判断 VAE 阶段是否健康做一个插值测试——取两个不同片段的 z线性插值出中间点解码看动作序列。如果中间点解码出的动作能平滑地介于两个原始行为之间说明隐空间结构良好。如果中间点是乱的说明隐空间没有被有效组织。4.3 折扣因子在片段级 MDP 上必须重设这个坑非常隐蔽很多人不会注意到。原始 MDP 里折扣因子 γ 0.99片段长度 H 16。如果片段级奖励直接取 γ 的累积折扣和那么一个片段的效果相当于在原始时间尺度上折扣了 γ^16 ≈ 0.85也就是片段级 MDP 的有效折扣其实是 γ^H 而不是 γ。如果你在片段级 MDP 上继续用 γ 0.99 作为 bootstrap 的折扣实际的总折扣会是 (γ^H) × γ 0.85 × 0.99 ≈ 0.84等效于原始尺度上的 γ_eff^H 0.84反推 γ_eff ≈ 0.989。听上去差不多但影响的是几十步之后的价值传播累积起来误差很明显。正确的做法是显式地按 γ_primitive γ^H 来构造片段级回报和 bootstrap。实操上更简单的等效做法是片段级回报用未折扣的累积和或者小折扣bootstrap 时用 γ^H 作为折扣因子。这两种写法在数学上等价但实现上后者更不容易出错。4.4 增强数据的混合比例与只用增强数据的风险第二个阶段的增强数据可以和原始数据混合使用也可以只用增强数据。我一开始的做法是只用增强数据因为直觉上它更干净。结果发现效果反而不如混合。原因在于增强数据虽然动作更平滑但它丢失了原始数据里的动作多样性。如果任务的解法恰好需要一些不那么平滑、但确实有效的动作模式只用增强数据就把这部分信息抹掉了。比较稳妥的做法是按 1:1 的比例混合并且在采样时给原始数据略高的权重比如 6:4。这样既享受了提纯带来的方向性又保住了原始分布的尾部。还有一个问题是增强数据的动作可能落在行为策略的支撑集之外。Q 函数在这些位置的外推是高估的重灾区所以第三阶段的离线 RL 算法必须带保守约束。如果你用的是不带保守项的方法建议在损失里显式加一个对增强样本的惩罚或者干脆把增强样本的权重降下来。5. 什么场景下值得用什么场景下是纯粹的成本这套方法不是万能的它的收益高度依赖任务和数据的形态。搞清楚边界比学会怎么调参更重要因为选错场景意味着你花了三倍的工程量却拿不到任何提升。5.1 值得用的三类场景第一类是长 horizon 加稀疏奖励。这是 OPAL 的主场。导航、长程操作、多阶段任务都属于这一类。判断标准很简单如果你把奖励改成稠密版本之后基线算法立刻就好起来了那说明瓶颈就是信用分配距离OPAL 大概率能帮上忙。反过来如果稠密奖励下也跑不好那问题在别处别在这上面浪费时间。第二类是动作序列存在大量冗余高频抖动。随机探索策略采出来的数据往往是这样大方向可能对但每步都在抖。这类数据拿来直接训练策略会学到抖动本身。编解码一次相当于做了个低通滤波效果提升非常直观。这个收益在数据质量差的时候尤其明显甚至不需要长 horizon 也能看到。第三类是动作维度不算太低、但行为模式种类不多。比如一个六足或者四足的移动任务动作维度十几维但实际有效的行为模式可能就那么几种前进、转向、后退、蹲伏。低维隐变量正好能把这种少模式、高维度的结构压出来。5.2 用了反而不划算的三种情况短 horizon 加稠密奖励。这是最常见的误用。任务本身就只有几十步、每步都有奖励信号信用分配根本不是瓶颈。这时候上 OPAL你付出的代价是额外训练一个 VAE、额外一轮数据增强、额外一套片段级 MDP 的工程代码收益基本为零甚至为负因为重播近似误差。我见过有人在这种任务上硬套最后效果比直接跑基线差还以为是调参没调好。动作维度极低、行为连续的任务。如果动作只有两三维、而且随状态连续变化那么把多步动作压缩成一个低维向量这个操作提供的信息增益很小。隐变量能表达的东西本来就不比原始动作空间多多少压缩反而是有损的。数据本身已经是高质量的专家演示。专家数据的动作平滑、有方向性编解码的提纯作用就不存在了。这时候增强数据 ≈ 原始数据白白多了一轮训练和一层近似误差。我把这几条整理成一个快速判断表实际项目里对着看一眼就能决定要不要上条件倾向用倾向不用单条轨迹 horizon200 步以上50 步以内奖励密度稀疏末端为主每步都有数据动作质量含大量随机探索、抖动明显纯专家演示行为模式多样性少几种基本动作极多且连续渐变动作维度中高6 维以上低2 到 3 维5.3 它和层次化 RL、序列建模类方法的边界在哪顺带说清一个容易混淆的问题OPAL 和经典的层次化 RL 有什么本质区别。经典层次化方法选项框架那一类通常要学三样东西高层策略、低层策略、终止函数。终止函数是最麻烦的它决定了什么时候该换 option而这个决策本身又需要在稀疏奖励下学习形成套娃。OPAL 直接砍掉了终止函数——片段长度固定为 H到点就换。这个简化牺牲了灵活性有些行为确实该持续更久有些该提前中断但换来了实现的干净和训练的稳定。在离线设定下这个交换通常是划算的因为在线交互能帮你学到好的终止点离线数据里学终止函数则非常困难。另一个常被拿来比的是把离线 RL 转成序列建模的那一类方法。它们走的是完全不同的路子不学价值函数直接建模轨迹分布用条件生成来做决策。这类方法在长 horizon 稀疏奖励上也有不错的报告但它们的瓶颈在推理时的搜索成本和对数据质量的敏感性。OPAL 的优势是它能在现有离线 RL 算法上做增量改造——你不用换掉整个技术栈只要在数据侧和动作空间侧动刀。对于已经在用成熟离线 RL 框架的团队这个改造成本低得多。我个人在实际操作中的体会是如果你的团队已经有一套调好的离线 RL 训练管线OPAL 是一次低风险的增量升级如果你是从零开始而且任务本身不算长程那先老老实实把基线调好、把数据质量提上去收益比上这套抽象更大。时间抽象是解决特定瓶颈的工具不是通用加速器——把它当成后者用往往会在工程复杂度上付出远超预期的代价而在指标上什么也换不回来。
