视觉-语言-动作模型VLA这两年在机器人操作领域的热度有目共睹但真正把它推到线上强化学习Online RL里跑通的人并不多。原因很直接VLA 参数量大、推理慢、动作空间连续且高维直接拿来做 actor-critic 的在线采样样本效率和训练稳定性都会崩。RL Token 这个思路的核心就是在 VLA 和在线 RL 之间插一层轻量的动作令牌表示让强化学习在一个低维、离散化、可快速采样的空间里做决策而把繁重的视觉理解和语言 grounding 交给预训练好的 VLA 主干。这篇博文我会把这条链路拆开讲清楚为什么需要 RL Token、它和 actor-critic 怎么对接、在线微调时哪些参数该冻哪些该放开、实测中容易踩的坑以及我自己在复现时总结的一些经验。1. 为什么直接在 VLA 上跑在线 RL 会翻车1.1 VLA 的推理开销和 RL 的采样频率天然冲突在线强化学习对采样吞吐的要求非常苛刻。以常见的 actor-critic 算法为例一个训练 step 往往需要几百到上千条环境交互样本而每条样本都要经过策略网络前向推理。VLA 主干通常是 ViT 视觉编码器加一个大语言模型底座再挂一个动作解码头单次前向在消费级显卡上动辄几十到上百毫秒。你把这个延迟乘上每步需要的样本数再乘上环境本身的物理仿真步进时间整个训练循环会被推理彻底拖死。更麻烦的是在线 RL 的策略是在不断更新的这意味着你不能像离线模仿学习那样把推理结果缓存起来反复用。每一步采样都需要用当前策略重新前向VLA 的推理成本就成了硬瓶颈。我最初尝试直接用 VLA 输出连续动作喂给 SAC一个 epoch 跑下来时间长得离谱而且 GPU 显存几乎被采样缓冲和梯度图占满。1.2 连续高维动作空间让 critic 难以收敛VLA 的动作头通常输出的是末端执行器的位姿增量或者关节角度增量维度在 6 到 14 之间而且是连续值。直接把这么高维的连续动作丢给 critic 去估计 Q 值函数逼近的难度会急剧上升。Q 网络需要在动作维度上做精细的区分但视觉特征本身就有噪声两者叠加导致 Q 值估计方差极大actor 的梯度方向也跟着抖。我在实验里观察到的一个典型现象是critic loss 前期下降很快但很快进入平台期而 actor 的熵开始异常增大策略退化成近似随机输出。这不是超参没调好而是动作空间的结构和 critic 的容量不匹配。连续高维动作需要非常强的函数逼近器而在线 RL 又要求 critic 更新足够快这两者本身就是矛盾的。1.3 预训练知识的灾难性遗忘VLA 的价值在于它从大规模视觉-语言-动作数据里学到的通用操作先验。一旦你把它整个网络都放开做在线 RL 微调用不了多少步这些先验就会被小规模任务数据覆盖掉。表现就是在训练任务上 reward 涨得还行但换个稍微不同的物体位置或者光照条件策略立刻失效。这是典型的灾难性遗忘在在线 RL 的高频梯度更新下尤其严重。所以问题的本质不是能不能用 VLA 做 RL而是怎么在保留 VLA 先验的同时让 RL 有一个足够轻、足够快、结构足够好的决策空间。RL Token 就是冲着这个矛盾去的。2. RL Token 到底解决了什么结构性问题2.1 把连续动作离散成可学习的令牌RL Token 的第一个设计是把 VLA 的动作输出重新参数化。具体做法是在 VLA 的动作头之后接一个轻量的量化或聚类模块把连续动作映射到一组可学习的离散令牌上。每个令牌对应一个动作原型action prototype实际执行时再通过一个解码器把令牌还原成连续动作。这样做的好处有三层。第一动作空间从连续高维变成了离散有限critic 只需要在每个令牌上估计价值函数逼近难度大幅下降。第二令牌本身是可学习的嵌入向量RL 更新的是这些嵌入和选择策略而不是整个 VLA 主干参数量小了几个数量级。第三离散令牌天然适合用分类式的策略头采样速度快不需要复杂的重参数化技巧。注意令牌数量是个关键超参。太少会导致动作表达精度不够太多则退化成连续空间的老问题。我实测下来在常见的桌面操作任务上32 到 64 个令牌是比较稳的区间。2.2 令牌空间与 VLA 特征的对齐光有离散令牌还不够令牌必须和 VLA 的视觉-语言特征对齐否则 RL 学到的令牌选择就和场景理解脱节了。RL Token 的做法是让令牌的嵌入向量和 VLA 的动作头输出保持一个投影关系相当于在 VLA 的特征空间里划出一组锚点。训练时VLA 主干冻结只更新令牌嵌入和策略头。这样令牌嵌入会逐渐调整到 VLA 特征空间中真正有区分度的位置。我自己的理解是这有点像在 VLA 已经学好的动作流形上做了一次自适应量化量化中心是可学的而且量化过程受 RL 信号引导。2.3 为什么这层抽象对 actor-critic 特别友好Actor-critic 的稳定性高度依赖策略和价值的表示一致性。在连续动作空间里actor 输出的是分布参数critic 要在整个连续空间上估计价值两者的表示粒度经常对不齐。而在令牌空间里actor 输出的是令牌上的分类分布critic 输出的是每个令牌的 Q 值两者共享同一组离散锚点表示天然对齐。这种对齐带来的直接好处是 advantage 估计的方差明显降低。我在对比实验里看到同样用 PPO令牌空间的 advantage 标准差比连续动作空间低了大概一个量级策略更新的信噪比高很多。这也是为什么 RL Token 能让在线 RL 在 VLA 上真正跑起来的关键原因之一。3. 在线微调时哪些参数该动、哪些必须冻3.1 冻结策略的边界划分这是实操中最容易出错的地方。我的建议是把网络分成三块来看视觉编码器、语言模型底座、动作相关模块。视觉编码器和语言底座几乎必须全程冻结因为这两块承载了 VLA 的通用先验一旦放开小任务数据会迅速把它们带偏。动作相关模块里动作头的原始输出层也建议冻结只放开令牌嵌入和策略头。具体来说我通常这样划分模块是否冻结理由视觉编码器冻结承载通用视觉先验放开易遗忘语言模型底座冻结语言 grounding 能力宝贵且参数量大动作头原始层冻结保持动作流形结构稳定令牌嵌入可训练RL 主要学习对象策略头可训练输出令牌选择分布价值网络可训练从零初始化独立训练这张表不是死的如果你的任务和预训练分布差异极大可以考虑用很小的学习率放开动作头最后一层但一定要配合梯度裁剪和早停。3.2 学习率与更新频率的配合令牌嵌入的学习率通常要比价值网络低。原因是令牌嵌入直接决定了动作空间的几何结构更新太快会让 critic 一直在追一个移动的目标。我的经验值是令牌嵌入用 1e-4 到 3e-4价值网络用 3e-4 到 1e-3策略头介于两者之间。更新频率上critic 可以每个 step 都更新actor 建议做梯度累积或者延迟更新。在线 RL 里 actor 更新太频繁是策略崩溃的常见原因尤其是在令牌空间刚初始化、critic 还没学准的时候。我一般让 critic 先跑几百步预热等 Q 值估计稳定了再开始更新 actor。3.3 用 KL 约束把策略拴在 VLA 先验附近即使冻结了主干令牌嵌入的漂移仍然可能让策略偏离 VLA 的原始行为太远。一个有效的做法是在 actor 的损失里加一个 KL 散度项约束当前策略和 VLA 原始动作分布之间的差异。这个 KL 项相当于一根橡皮筋允许策略在任务奖励驱动下探索但不让它跑得太野。KL 系数需要调。太大策略学不动太小约束失效。我一般从 0.01 开始试观察训练曲线里 KL 值的变化如果 KL 长期贴着上限说明系数太小如果 reward 几乎不涨说明系数太大。这个调节过程有点像调音得听训练曲线的声音。4. 从零搭一条 RL Token 训练链路的实操步骤4.1 环境与依赖准备先把基础环境搭起来。VLA 主干我假设你已经有一个预训练好的 checkpoint视觉编码器和语言底座都能正常前向。RL 部分我用 PyTorch 实现环境侧用常见的机器人仿真接口。依赖上主要注意版本对齐尤其是 transformers 和 torch 的版本VLA 主干对这两个库的版本比较敏感。pip install torch2.1.0 transformers4.36.0 pip install gymnasium numpy tensorboard如果你的 VLA 主干用了自定义的视觉编码器还要确保对应的 CUDA 算子编译通过。这一步经常被忽略等到训练跑起来才发现前向报错白白浪费时间。4.2 令牌量化模块的实现令牌量化模块的核心是一个可学习的码本codebook。输入是 VLA 动作头的连续输出输出是最近的令牌索引和对应的嵌入向量。import torch import torch.nn as nn import torch.nn.functional as F class RLTokenQuantizer(nn.Module): def __init__(self, action_dim, num_tokens, token_dim): super().__init__() self.num_tokens num_tokens self.token_dim token_dim # 可学习码本 self.codebook nn.Embedding(num_tokens, token_dim) # 动作到令牌空间的投影 self.action_proj nn.Linear(action_dim, token_dim) # 令牌回动作的解码器 self.decoder nn.Linear(token_dim, action_dim) def forward(self, action): # action: [B, action_dim] z self.action_proj(action) # [B, token_dim] # 计算与所有令牌的距离 codebook self.codebook.weight # [num_tokens, token_dim] dist torch.cdist(z, codebook) # [B, num_tokens] idx dist.argmin(dim-1) # [B] token_emb self.codebook(idx) # [B, token_dim] # 直通估计器让梯度能回传到 action_proj token_emb z (token_emb - z).detach() recon_action self.decoder(token_emb) return idx, token_emb, recon_action这里有个细节值得说直通估计器straight-through estimator是必须的否则 argmin 操作不可导action_proj 拿不到梯度。另外码本更新除了梯度还可以加一个 EMA 更新让令牌嵌入更稳定。我实测 EMA 系数 0.99 左右效果不错。4.3 策略头与价值网络的设计策略头就是一个分类网络输入是 VLA 的视觉-语言特征输出是 num_tokens 维的 logits。价值网络结构类似但输出是每个令牌的 Q 值。class TokenPolicy(nn.Module): def __init__(self, feat_dim, num_tokens, hidden256): super().__init__() self.net nn.Sequential( nn.Linear(feat_dim, hidden), nn.ReLU(), nn.Linear(hidden, hidden), nn.ReLU(), nn.Linear(hidden, num_tokens) ) def forward(self, feat): logits self.net(feat) return torch.distributions.Categorical(logitslogits) class TokenCritic(nn.Module): def __init__(self, feat_dim, num_tokens, hidden256): super().__init__() self.net nn.Sequential( nn.Linear(feat_dim, hidden), nn.ReLU(), nn.Linear(hidden, hidden), nn.ReLU(), nn.Linear(hidden, num_tokens) ) def forward(self, feat): return self.net(feat) # [B, num_tokens]注意 critic 输出的是每个令牌的 Q 值而不是单个标量。这样 actor 更新时可以直接用 Q 值加权 log 概率advantage 的计算也更直接。4.4 训练循环的骨架训练循环里最关键的是采样和更新的节奏。我一般这样组织for iteration in range(num_iterations): # 1. 采样阶段用当前策略在环境中交互 trajectories [] for _ in range(steps_per_iter): feat vla.encode(obs) # 冻结的 VLA 特征 dist policy(feat) token_idx dist.sample() action quantizer.decoder(quantizer.codebook(token_idx)) next_obs, reward, done env.step(action) trajectories.append((feat, token_idx, reward, next_feat, done)) # 2. 计算回报和 advantage returns, advantages compute_gae(trajectories, critic) # 3. 更新 critic for _ in range(critic_epochs): q_pred critic(feats) q_target returns critic_loss F.mse_loss(q_pred.gather(1, token_idx), q_target) critic_optimizer.zero_grad() critic_loss.backward() critic_optimizer.step() # 4. 更新 actor延迟更新 if iteration warmup_iters: dist policy(feats) log_prob dist.log_prob(token_idx) q_values critic(feats).gather(1, token_idx) actor_loss -(log_prob * q_values.detach()).mean() # KL 约束 kl compute_kl_with_vla_prior(feats, dist) actor_loss kl_coef * kl actor_optimizer.zero_grad() actor_loss.backward() actor_optimizer.step()这个骨架里warmup_iters 是 critic 预热步数我一般设 500 到 1000。KL 约束项的实现需要 VLA 原始动作分布如果你的 VLA 动作头输出的是高斯分布可以直接算两个分布之间的 KL。5. 实测中那些文档不会告诉你的坑5.1 令牌坍缩大部分令牌从来不被选中训练一段时间后你可能会发现策略几乎只选那几个固定的令牌其他令牌的选中概率趋近于零。这就是令牌坍缩。原因是 critic 对未被充分探索的令牌给出的 Q 值估计不准actor 倾向于选择已知的高价值令牌形成正反馈。解决办法有两个。一是在 actor 损失里加熵正则鼓励探索但系数不能太大否则策略学不动。二是定期重置低使用率令牌的嵌入把它们重新初始化到动作空间里覆盖不足的区域。我一般每隔几千步检查一次令牌使用分布对使用率低于阈值的令牌做重置。5.2 奖励尺度不匹配导致 critic 发散机器人任务的奖励函数往往包含多个项比如距离奖励、成功奖励、平滑性惩罚。这些项的尺度差异可能很大直接相加会让 critic 的回归目标方差过大。我踩过的坑是距离奖励在 0 到 1 之间成功奖励是 10结果 critic 的 Q 值估计一直在 10 附近震荡距离信息完全被淹没。处理方式是做奖励归一化或者用 reward scaling 把各项拉到相近的量级。更稳妥的做法是用 running mean/std 对回报做标准化让 critic 的回归目标始终在合理范围内。5.3 特征漂移VLA 特征分布随任务变化虽然 VLA 主干冻结了但输入观测的分布会随着策略探索而变化。策略可能把机器人带到预训练数据里没见过的状态这时候 VLA 输出的特征分布会发生漂移策略头和 critic 的输入分布跟着变训练稳定性下降。一个缓解办法是在特征后面加一层 LayerNorm把特征分布拉回稳定范围。另一个办法是限制策略的探索范围用动作幅度约束或者状态访问约束避免跑到太离谱的区域。我在实验里发现加 LayerNorm 之后训练曲线的抖动明显减小。5.4 仿真到现实的令牌语义偏移如果你打算把仿真里训好的令牌策略迁移到真机要注意令牌的语义可能发生偏移。仿真里的动作原型在真机上对应的实际动作可能因为动力学差异而不同。我的建议是在真机上做一轮小规模的令牌校准用少量真机数据微调解码器让令牌到实际动作的映射重新对齐。这一步不需要动策略头和 critic成本很低。6. 一些让训练更稳的工程技巧6.1 用优先经验回放提升样本效率在线 RL 的样本效率是老大难问题。虽然 RL Token 已经把决策空间缩小了但环境交互本身还是贵。引入优先经验回放PER让 critic 更多地学习 TD 误差大的样本能明显加快收敛。注意 PER 的优先级要定期更新否则会过拟合到早期的高误差样本。6.2 梯度裁剪和参数冻结的配合令牌嵌入和策略头的梯度范数差异可能很大统一裁剪阈值不一定合适。我的做法是分组裁剪令牌嵌入用较松的阈值策略头用较紧的阈值。这样既保护了动作空间结构又让策略更新足够灵活。6.3 定期评估而不是只看训练 reward训练 reward 涨不代表策略真的好。我习惯每隔一段固定步数做一次确定性评估关掉探索噪声在固定初始条件下跑若干条轨迹统计成功率和平均回报。这个评估曲线才是判断策略是否真正收敛的依据。很多次我都是靠评估曲线发现训练 reward 虚高、实际策略已经退化的。6.4 检查点策略保存令牌嵌入和 critic 的联合状态RL Token 的训练状态不只是策略网络权重还包括令牌嵌入和 critic。保存检查点时要三者一起存否则恢复训练时令牌语义和 critic 估计对不上训练会崩。我吃过这个亏只存了策略头恢复后令牌嵌入是随机初始化的critic 的 Q 值全乱套白跑了一天。7. 这套方法适合什么场景、不适合什么场景RL Token 最适合的场景是你已经有一个在相关任务上预训练好的 VLA任务本身需要在线交互来精细调整但你又没有足够的算力去端到端微调整个 VLA。桌面操作、抓取放置、简单的工具使用这类任务令牌空间能很好地覆盖动作分布效果比较理想。不太适合的场景有两类。一类是动作精度要求极高的任务比如精密装配离散令牌的量化误差可能无法接受这时候要么增大令牌数量要么考虑混合方案。另一类是任务分布和 VLA 预训练分布差异极大的情况令牌嵌入再怎么学也覆盖不到正确的动作区域这时候可能需要先做一轮监督微调把 VLA 拉到任务附近再上 RL Token。我在实际项目里的体会是RL Token 的价值不在于它有多新而在于它把用 VLA 做在线 RL这件事从不可行变成了可行。它没有解决所有问题但把最卡脖子的那几个结构性问题绕开了。如果你也在尝试 VLA 的在线微调不妨从这个思路入手先把令牌空间跑通再逐步调整冻结策略和超参。踩过几次坑之后你会发现真正难的不是算法本身而是把冻结边界、学习率、KL 约束这几个旋钮调到互相匹配的位置。
视觉-语言-动作模型VLA这两年在机器人操作领域的热度有目共睹但真正把它推到线上强化学习Online RL里跑通的人并不多。原因很直接VLA 参数量大、推理慢、动作空间连续且高维直接拿来做 actor-critic 的在线采样样本效率和训练稳定性都会崩。RL Token 这个思路的核心就是在 VLA 和在线 RL 之间插一层轻量的动作令牌表示让强化学习在一个低维、离散化、可快速采样的空间里做决策而把繁重的视觉理解和语言 grounding 交给预训练好的 VLA 主干。这篇博文我会把这条链路拆开讲清楚为什么需要 RL Token、它和 actor-critic 怎么对接、在线微调时哪些参数该冻哪些该放开、实测中容易踩的坑以及我自己在复现时总结的一些经验。1. 为什么直接在 VLA 上跑在线 RL 会翻车1.1 VLA 的推理开销和 RL 的采样频率天然冲突在线强化学习对采样吞吐的要求非常苛刻。以常见的 actor-critic 算法为例一个训练 step 往往需要几百到上千条环境交互样本而每条样本都要经过策略网络前向推理。VLA 主干通常是 ViT 视觉编码器加一个大语言模型底座再挂一个动作解码头单次前向在消费级显卡上动辄几十到上百毫秒。你把这个延迟乘上每步需要的样本数再乘上环境本身的物理仿真步进时间整个训练循环会被推理彻底拖死。更麻烦的是在线 RL 的策略是在不断更新的这意味着你不能像离线模仿学习那样把推理结果缓存起来反复用。每一步采样都需要用当前策略重新前向VLA 的推理成本就成了硬瓶颈。我最初尝试直接用 VLA 输出连续动作喂给 SAC一个 epoch 跑下来时间长得离谱而且 GPU 显存几乎被采样缓冲和梯度图占满。1.2 连续高维动作空间让 critic 难以收敛VLA 的动作头通常输出的是末端执行器的位姿增量或者关节角度增量维度在 6 到 14 之间而且是连续值。直接把这么高维的连续动作丢给 critic 去估计 Q 值函数逼近的难度会急剧上升。Q 网络需要在动作维度上做精细的区分但视觉特征本身就有噪声两者叠加导致 Q 值估计方差极大actor 的梯度方向也跟着抖。我在实验里观察到的一个典型现象是critic loss 前期下降很快但很快进入平台期而 actor 的熵开始异常增大策略退化成近似随机输出。这不是超参没调好而是动作空间的结构和 critic 的容量不匹配。连续高维动作需要非常强的函数逼近器而在线 RL 又要求 critic 更新足够快这两者本身就是矛盾的。1.3 预训练知识的灾难性遗忘VLA 的价值在于它从大规模视觉-语言-动作数据里学到的通用操作先验。一旦你把它整个网络都放开做在线 RL 微调用不了多少步这些先验就会被小规模任务数据覆盖掉。表现就是在训练任务上 reward 涨得还行但换个稍微不同的物体位置或者光照条件策略立刻失效。这是典型的灾难性遗忘在在线 RL 的高频梯度更新下尤其严重。所以问题的本质不是能不能用 VLA 做 RL而是怎么在保留 VLA 先验的同时让 RL 有一个足够轻、足够快、结构足够好的决策空间。RL Token 就是冲着这个矛盾去的。2. RL Token 到底解决了什么结构性问题2.1 把连续动作离散成可学习的令牌RL Token 的第一个设计是把 VLA 的动作输出重新参数化。具体做法是在 VLA 的动作头之后接一个轻量的量化或聚类模块把连续动作映射到一组可学习的离散令牌上。每个令牌对应一个动作原型action prototype实际执行时再通过一个解码器把令牌还原成连续动作。这样做的好处有三层。第一动作空间从连续高维变成了离散有限critic 只需要在每个令牌上估计价值函数逼近难度大幅下降。第二令牌本身是可学习的嵌入向量RL 更新的是这些嵌入和选择策略而不是整个 VLA 主干参数量小了几个数量级。第三离散令牌天然适合用分类式的策略头采样速度快不需要复杂的重参数化技巧。注意令牌数量是个关键超参。太少会导致动作表达精度不够太多则退化成连续空间的老问题。我实测下来在常见的桌面操作任务上32 到 64 个令牌是比较稳的区间。2.2 令牌空间与 VLA 特征的对齐光有离散令牌还不够令牌必须和 VLA 的视觉-语言特征对齐否则 RL 学到的令牌选择就和场景理解脱节了。RL Token 的做法是让令牌的嵌入向量和 VLA 的动作头输出保持一个投影关系相当于在 VLA 的特征空间里划出一组锚点。训练时VLA 主干冻结只更新令牌嵌入和策略头。这样令牌嵌入会逐渐调整到 VLA 特征空间中真正有区分度的位置。我自己的理解是这有点像在 VLA 已经学好的动作流形上做了一次自适应量化量化中心是可学的而且量化过程受 RL 信号引导。2.3 为什么这层抽象对 actor-critic 特别友好Actor-critic 的稳定性高度依赖策略和价值的表示一致性。在连续动作空间里actor 输出的是分布参数critic 要在整个连续空间上估计价值两者的表示粒度经常对不齐。而在令牌空间里actor 输出的是令牌上的分类分布critic 输出的是每个令牌的 Q 值两者共享同一组离散锚点表示天然对齐。这种对齐带来的直接好处是 advantage 估计的方差明显降低。我在对比实验里看到同样用 PPO令牌空间的 advantage 标准差比连续动作空间低了大概一个量级策略更新的信噪比高很多。这也是为什么 RL Token 能让在线 RL 在 VLA 上真正跑起来的关键原因之一。3. 在线微调时哪些参数该动、哪些必须冻3.1 冻结策略的边界划分这是实操中最容易出错的地方。我的建议是把网络分成三块来看视觉编码器、语言模型底座、动作相关模块。视觉编码器和语言底座几乎必须全程冻结因为这两块承载了 VLA 的通用先验一旦放开小任务数据会迅速把它们带偏。动作相关模块里动作头的原始输出层也建议冻结只放开令牌嵌入和策略头。具体来说我通常这样划分模块是否冻结理由视觉编码器冻结承载通用视觉先验放开易遗忘语言模型底座冻结语言 grounding 能力宝贵且参数量大动作头原始层冻结保持动作流形结构稳定令牌嵌入可训练RL 主要学习对象策略头可训练输出令牌选择分布价值网络可训练从零初始化独立训练这张表不是死的如果你的任务和预训练分布差异极大可以考虑用很小的学习率放开动作头最后一层但一定要配合梯度裁剪和早停。3.2 学习率与更新频率的配合令牌嵌入的学习率通常要比价值网络低。原因是令牌嵌入直接决定了动作空间的几何结构更新太快会让 critic 一直在追一个移动的目标。我的经验值是令牌嵌入用 1e-4 到 3e-4价值网络用 3e-4 到 1e-3策略头介于两者之间。更新频率上critic 可以每个 step 都更新actor 建议做梯度累积或者延迟更新。在线 RL 里 actor 更新太频繁是策略崩溃的常见原因尤其是在令牌空间刚初始化、critic 还没学准的时候。我一般让 critic 先跑几百步预热等 Q 值估计稳定了再开始更新 actor。3.3 用 KL 约束把策略拴在 VLA 先验附近即使冻结了主干令牌嵌入的漂移仍然可能让策略偏离 VLA 的原始行为太远。一个有效的做法是在 actor 的损失里加一个 KL 散度项约束当前策略和 VLA 原始动作分布之间的差异。这个 KL 项相当于一根橡皮筋允许策略在任务奖励驱动下探索但不让它跑得太野。KL 系数需要调。太大策略学不动太小约束失效。我一般从 0.01 开始试观察训练曲线里 KL 值的变化如果 KL 长期贴着上限说明系数太小如果 reward 几乎不涨说明系数太大。这个调节过程有点像调音得听训练曲线的声音。4. 从零搭一条 RL Token 训练链路的实操步骤4.1 环境与依赖准备先把基础环境搭起来。VLA 主干我假设你已经有一个预训练好的 checkpoint视觉编码器和语言底座都能正常前向。RL 部分我用 PyTorch 实现环境侧用常见的机器人仿真接口。依赖上主要注意版本对齐尤其是 transformers 和 torch 的版本VLA 主干对这两个库的版本比较敏感。pip install torch2.1.0 transformers4.36.0 pip install gymnasium numpy tensorboard如果你的 VLA 主干用了自定义的视觉编码器还要确保对应的 CUDA 算子编译通过。这一步经常被忽略等到训练跑起来才发现前向报错白白浪费时间。4.2 令牌量化模块的实现令牌量化模块的核心是一个可学习的码本codebook。输入是 VLA 动作头的连续输出输出是最近的令牌索引和对应的嵌入向量。import torch import torch.nn as nn import torch.nn.functional as F class RLTokenQuantizer(nn.Module): def __init__(self, action_dim, num_tokens, token_dim): super().__init__() self.num_tokens num_tokens self.token_dim token_dim # 可学习码本 self.codebook nn.Embedding(num_tokens, token_dim) # 动作到令牌空间的投影 self.action_proj nn.Linear(action_dim, token_dim) # 令牌回动作的解码器 self.decoder nn.Linear(token_dim, action_dim) def forward(self, action): # action: [B, action_dim] z self.action_proj(action) # [B, token_dim] # 计算与所有令牌的距离 codebook self.codebook.weight # [num_tokens, token_dim] dist torch.cdist(z, codebook) # [B, num_tokens] idx dist.argmin(dim-1) # [B] token_emb self.codebook(idx) # [B, token_dim] # 直通估计器让梯度能回传到 action_proj token_emb z (token_emb - z).detach() recon_action self.decoder(token_emb) return idx, token_emb, recon_action这里有个细节值得说直通估计器straight-through estimator是必须的否则 argmin 操作不可导action_proj 拿不到梯度。另外码本更新除了梯度还可以加一个 EMA 更新让令牌嵌入更稳定。我实测 EMA 系数 0.99 左右效果不错。4.3 策略头与价值网络的设计策略头就是一个分类网络输入是 VLA 的视觉-语言特征输出是 num_tokens 维的 logits。价值网络结构类似但输出是每个令牌的 Q 值。class TokenPolicy(nn.Module): def __init__(self, feat_dim, num_tokens, hidden256): super().__init__() self.net nn.Sequential( nn.Linear(feat_dim, hidden), nn.ReLU(), nn.Linear(hidden, hidden), nn.ReLU(), nn.Linear(hidden, num_tokens) ) def forward(self, feat): logits self.net(feat) return torch.distributions.Categorical(logitslogits) class TokenCritic(nn.Module): def __init__(self, feat_dim, num_tokens, hidden256): super().__init__() self.net nn.Sequential( nn.Linear(feat_dim, hidden), nn.ReLU(), nn.Linear(hidden, hidden), nn.ReLU(), nn.Linear(hidden, num_tokens) ) def forward(self, feat): return self.net(feat) # [B, num_tokens]注意 critic 输出的是每个令牌的 Q 值而不是单个标量。这样 actor 更新时可以直接用 Q 值加权 log 概率advantage 的计算也更直接。4.4 训练循环的骨架训练循环里最关键的是采样和更新的节奏。我一般这样组织for iteration in range(num_iterations): # 1. 采样阶段用当前策略在环境中交互 trajectories [] for _ in range(steps_per_iter): feat vla.encode(obs) # 冻结的 VLA 特征 dist policy(feat) token_idx dist.sample() action quantizer.decoder(quantizer.codebook(token_idx)) next_obs, reward, done env.step(action) trajectories.append((feat, token_idx, reward, next_feat, done)) # 2. 计算回报和 advantage returns, advantages compute_gae(trajectories, critic) # 3. 更新 critic for _ in range(critic_epochs): q_pred critic(feats) q_target returns critic_loss F.mse_loss(q_pred.gather(1, token_idx), q_target) critic_optimizer.zero_grad() critic_loss.backward() critic_optimizer.step() # 4. 更新 actor延迟更新 if iteration warmup_iters: dist policy(feats) log_prob dist.log_prob(token_idx) q_values critic(feats).gather(1, token_idx) actor_loss -(log_prob * q_values.detach()).mean() # KL 约束 kl compute_kl_with_vla_prior(feats, dist) actor_loss kl_coef * kl actor_optimizer.zero_grad() actor_loss.backward() actor_optimizer.step()这个骨架里warmup_iters 是 critic 预热步数我一般设 500 到 1000。KL 约束项的实现需要 VLA 原始动作分布如果你的 VLA 动作头输出的是高斯分布可以直接算两个分布之间的 KL。5. 实测中那些文档不会告诉你的坑5.1 令牌坍缩大部分令牌从来不被选中训练一段时间后你可能会发现策略几乎只选那几个固定的令牌其他令牌的选中概率趋近于零。这就是令牌坍缩。原因是 critic 对未被充分探索的令牌给出的 Q 值估计不准actor 倾向于选择已知的高价值令牌形成正反馈。解决办法有两个。一是在 actor 损失里加熵正则鼓励探索但系数不能太大否则策略学不动。二是定期重置低使用率令牌的嵌入把它们重新初始化到动作空间里覆盖不足的区域。我一般每隔几千步检查一次令牌使用分布对使用率低于阈值的令牌做重置。5.2 奖励尺度不匹配导致 critic 发散机器人任务的奖励函数往往包含多个项比如距离奖励、成功奖励、平滑性惩罚。这些项的尺度差异可能很大直接相加会让 critic 的回归目标方差过大。我踩过的坑是距离奖励在 0 到 1 之间成功奖励是 10结果 critic 的 Q 值估计一直在 10 附近震荡距离信息完全被淹没。处理方式是做奖励归一化或者用 reward scaling 把各项拉到相近的量级。更稳妥的做法是用 running mean/std 对回报做标准化让 critic 的回归目标始终在合理范围内。5.3 特征漂移VLA 特征分布随任务变化虽然 VLA 主干冻结了但输入观测的分布会随着策略探索而变化。策略可能把机器人带到预训练数据里没见过的状态这时候 VLA 输出的特征分布会发生漂移策略头和 critic 的输入分布跟着变训练稳定性下降。一个缓解办法是在特征后面加一层 LayerNorm把特征分布拉回稳定范围。另一个办法是限制策略的探索范围用动作幅度约束或者状态访问约束避免跑到太离谱的区域。我在实验里发现加 LayerNorm 之后训练曲线的抖动明显减小。5.4 仿真到现实的令牌语义偏移如果你打算把仿真里训好的令牌策略迁移到真机要注意令牌的语义可能发生偏移。仿真里的动作原型在真机上对应的实际动作可能因为动力学差异而不同。我的建议是在真机上做一轮小规模的令牌校准用少量真机数据微调解码器让令牌到实际动作的映射重新对齐。这一步不需要动策略头和 critic成本很低。6. 一些让训练更稳的工程技巧6.1 用优先经验回放提升样本效率在线 RL 的样本效率是老大难问题。虽然 RL Token 已经把决策空间缩小了但环境交互本身还是贵。引入优先经验回放PER让 critic 更多地学习 TD 误差大的样本能明显加快收敛。注意 PER 的优先级要定期更新否则会过拟合到早期的高误差样本。6.2 梯度裁剪和参数冻结的配合令牌嵌入和策略头的梯度范数差异可能很大统一裁剪阈值不一定合适。我的做法是分组裁剪令牌嵌入用较松的阈值策略头用较紧的阈值。这样既保护了动作空间结构又让策略更新足够灵活。6.3 定期评估而不是只看训练 reward训练 reward 涨不代表策略真的好。我习惯每隔一段固定步数做一次确定性评估关掉探索噪声在固定初始条件下跑若干条轨迹统计成功率和平均回报。这个评估曲线才是判断策略是否真正收敛的依据。很多次我都是靠评估曲线发现训练 reward 虚高、实际策略已经退化的。6.4 检查点策略保存令牌嵌入和 critic 的联合状态RL Token 的训练状态不只是策略网络权重还包括令牌嵌入和 critic。保存检查点时要三者一起存否则恢复训练时令牌语义和 critic 估计对不上训练会崩。我吃过这个亏只存了策略头恢复后令牌嵌入是随机初始化的critic 的 Q 值全乱套白跑了一天。7. 这套方法适合什么场景、不适合什么场景RL Token 最适合的场景是你已经有一个在相关任务上预训练好的 VLA任务本身需要在线交互来精细调整但你又没有足够的算力去端到端微调整个 VLA。桌面操作、抓取放置、简单的工具使用这类任务令牌空间能很好地覆盖动作分布效果比较理想。不太适合的场景有两类。一类是动作精度要求极高的任务比如精密装配离散令牌的量化误差可能无法接受这时候要么增大令牌数量要么考虑混合方案。另一类是任务分布和 VLA 预训练分布差异极大的情况令牌嵌入再怎么学也覆盖不到正确的动作区域这时候可能需要先做一轮监督微调把 VLA 拉到任务附近再上 RL Token。我在实际项目里的体会是RL Token 的价值不在于它有多新而在于它把用 VLA 做在线 RL这件事从不可行变成了可行。它没有解决所有问题但把最卡脖子的那几个结构性问题绕开了。如果你也在尝试 VLA 的在线微调不妨从这个思路入手先把令牌空间跑通再逐步调整冻结策略和超参。踩过几次坑之后你会发现真正难的不是算法本身而是把冻结边界、学习率、KL 约束这几个旋钮调到互相匹配的位置。
