标题Double-Rollout Reinforcement Learning with Sampling-based Reward Estimation来源arXiv, 2610.16593v1️文章简介研究问题在训练大模型进行数学或代码推理时如果模型靠猜蒙对了答案但推理过程很烂或者推理过程正确但最后算错了传统的强化学习奖励机制会给出错误的信号导致模型学歪如何解决这种奖励噪声带来的训练不稳定主要贡献论文提出了一种“双重 rollout”强化学习方法通过截断推理过程并采样多个后续步骤来估算更真实的推理质量奖励在仅适度增加计算成本的情况下显著提升了模型的准确率和令牌效率。重点思路识别奖励不可靠性研究发现即使验证器完美短且正确的推理轨迹往往包含大量低质量思考靠运气猜对而长且错误的轨迹可能包含高质量思考。传统方法给前者高奖励、后者低惩罚导致模型学习到错误的模式。双重 Rollout 算法核心对于每个生成的推理轨迹保留前90%的内容从该截断点开始采样生成8个不同的后续 continuation。基于采样的奖励估计计算这8个后续 continuation 的平均验证得分用这个平均分替换原始轨迹的最终奖励。这能更稳健地评估当前推理路径的真实潜力而非仅仅看最终结果。单向轨迹替换策略如果原始轨迹最终答案错误但经过双重 Rollout 评估后获得了正优势说明推理方向正确则用其中一个正确的 continuation 替换原始轨迹进行训练反之如果答案正确但评估分低说明是蒙的则保留原样予以惩罚防止模型学会瞎猜。结合长度奖励优化效率将上述方法与基于长度的奖励机制结合只对那些被确认为“可靠正确”的短轨迹给予额外奖励避免模型为了缩短长度而牺牲准确性从而优化准确率与计算成本的帕累托前沿。分析总结准确率显著提升在 Qwen 和 Nemotron 等多个模型家族及数学、代码任务上该方法均优于基线 GRPO。例如Nemotron-3-Nano-30B 模型在 AIME 2026 测试中达到了 95.4% 的准确率远超同尺寸模型的现有水平。训练效率更高尽管单步计算成本约增加一倍但由于每一步提供的训练数据质量更高模型达到最佳准确率所需的 RL 训练步数大幅减少整体抵消了部分计算开销。超参数鲁棒性强实验表明保留 90% 的推理轨迹并采样 8 次是一个性价比极高的平衡点即使只采样 2 次也能带来显著收益且算法对截断比例不敏感。打破效率权衡困境与传统长度惩罚导致模型“变短但变笨”不同该方法能在保持高准确率的同时有效缩短推理长度实现了更优的准确率-效率平衡。个人观点论文利用“多次采样取平均”这种统计学思想来解决强化学习中的信用分配难题本质是看思路是不是真的靠谱。
标题Double-Rollout Reinforcement Learning with Sampling-based Reward Estimation来源arXiv, 2610.16593v1️文章简介研究问题在训练大模型进行数学或代码推理时如果模型靠猜蒙对了答案但推理过程很烂或者推理过程正确但最后算错了传统的强化学习奖励机制会给出错误的信号导致模型学歪如何解决这种奖励噪声带来的训练不稳定主要贡献论文提出了一种“双重 rollout”强化学习方法通过截断推理过程并采样多个后续步骤来估算更真实的推理质量奖励在仅适度增加计算成本的情况下显著提升了模型的准确率和令牌效率。重点思路识别奖励不可靠性研究发现即使验证器完美短且正确的推理轨迹往往包含大量低质量思考靠运气猜对而长且错误的轨迹可能包含高质量思考。传统方法给前者高奖励、后者低惩罚导致模型学习到错误的模式。双重 Rollout 算法核心对于每个生成的推理轨迹保留前90%的内容从该截断点开始采样生成8个不同的后续 continuation。基于采样的奖励估计计算这8个后续 continuation 的平均验证得分用这个平均分替换原始轨迹的最终奖励。这能更稳健地评估当前推理路径的真实潜力而非仅仅看最终结果。单向轨迹替换策略如果原始轨迹最终答案错误但经过双重 Rollout 评估后获得了正优势说明推理方向正确则用其中一个正确的 continuation 替换原始轨迹进行训练反之如果答案正确但评估分低说明是蒙的则保留原样予以惩罚防止模型学会瞎猜。结合长度奖励优化效率将上述方法与基于长度的奖励机制结合只对那些被确认为“可靠正确”的短轨迹给予额外奖励避免模型为了缩短长度而牺牲准确性从而优化准确率与计算成本的帕累托前沿。分析总结准确率显著提升在 Qwen 和 Nemotron 等多个模型家族及数学、代码任务上该方法均优于基线 GRPO。例如Nemotron-3-Nano-30B 模型在 AIME 2026 测试中达到了 95.4% 的准确率远超同尺寸模型的现有水平。训练效率更高尽管单步计算成本约增加一倍但由于每一步提供的训练数据质量更高模型达到最佳准确率所需的 RL 训练步数大幅减少整体抵消了部分计算开销。超参数鲁棒性强实验表明保留 90% 的推理轨迹并采样 8 次是一个性价比极高的平衡点即使只采样 2 次也能带来显著收益且算法对截断比例不敏感。打破效率权衡困境与传统长度惩罚导致模型“变短但变笨”不同该方法能在保持高准确率的同时有效缩短推理长度实现了更优的准确率-效率平衡。个人观点论文利用“多次采样取平均”这种统计学思想来解决强化学习中的信用分配难题本质是看思路是不是真的靠谱。
