清华大学如何让AI训练像流水线一样高效？

这项由清华大学主导、部分工作在Z.AI实习期间完成的研究于2026年2月以预印本形式公开论文编号为arXiv:2607.07508研究方向聚焦于大型语言模型的强化学习训练效率与稳定性问题。**大模型是怎么学习的先从一个工厂比喻说起**假设你经营一家饺子工厂。工厂里有两条线一条是包饺子线负责生产数据另一条是质检培训线负责根据质量反馈改进工人技术。传统的做法是这样的质检培训线必须等包饺子线把一整批饺子全部包完才能开始培训。问题来了——有些工人包得快有些包得慢快的人只能坐在那里发呆等最慢的那个人完工。这种等人的模式在大模型训练里叫做同步训练效率低得惊人。现代大型语言模型就是那种能写文章、解数学题、帮你写代码的AI的训练过程核心就是这样一个循环让模型生成很多回答然后根据回答的好坏给它反馈模型据此调整自己。这个过程在业内叫强化学习Reinforcement Learning简称RL。而且随着任务越来越复杂——比如让AI去真实环境里调试代码、自主完成多步骤任务——模型每次生成回答所花的时间长短差异极大短的几秒钟长的可能要几十分钟。传统的同步等待方式就会让大量计算资源闲置极大地浪费时间和金钱。正因为如此清华大学的研究团队提出了一种名为单轮异步优化Single-rollout Asynchronous Optimization简称SAO的新方法试图彻底解决这个等人问题同时还要保证训练的稳定性和效果。**一、为什么边包边学这么难**回到饺子工厂的比喻。新的想法是谁的饺子包好了就立刻把谁送去培训不用等其他人。这样培训线就可以一直运转不会闲置。这种方式叫异步训练——生产和培训同时进行互不等待。然而这个方案马上遇到了一个棘手问题当培训线正在根据第一批饺子的质量调整工人技巧时包饺子线已经改变了做法——因为之前的培训已经让工人进步了。于是后来送来的饺子是按照新技术包的但培训依据的参考标准还是旧的。这种标准和实际操作对不上的现象在技术上叫做离策略偏差off-policy简单说就是模型在学习的时候用来参考的数据已经过时了。在大模型训练中这个问题尤其严重。因为生成数据相当于包饺子的模型版本和当前正在被训练的模型版本可能已经相差了好几代更新。如果不加处理模型学到的东西就会越来越偏最终崩溃。此外当前最流行的一种训练方法叫GRPOGroup Relative Policy Optimization组相对策略优化它的思路是对每个问题同时生成一组回答比如8个然后比较这组回答的好坏来决定怎么改进。这就好比饺子工厂不是评价单个工人而是把8个工人包的饺子放在一起比较谁包得好谁就多得奖励。问题在于GRPO本质上也是一种等人方法——它必须等这8个回答都生成完才能开始一次训练。在异步环境里最慢的那个回答会拖累整个组还是会产生延迟和数据过时的问题。更要命的是在真实的智能体任务比如让AI自主操作电脑完成复杂任务中往往每个问题只有一次交互机会根本没法同时生成8个回答来比较。GRPO在这类场景下从结构上就不适用。**二、SAO的核心思路每包好一个饺子立刻送去培训**清华大学的研究团队提出的解决方案核心思路非常直接不等一组只要有一个回答生成完就立刻拿去训练。这就是单轮Single-rollout的含义——每次训练只用一条数据而不是一组数据。这个想法听起来简单但实施起来有两大难题需要同时解决第一如何解决数据过时导致的学习偏差第二没有了组内比较模型怎么知道自己的回答是好是坏SAO用了三套组合拳来解决这两个问题缺一不可。**三、第一招给每一个词都贴上新鲜度标签**解决数据过时问题的传统做法是同时维护三个不同版本的模型当前正在训练的版本、上一次训练前的旧版本、以及实际生成数据时用的版本。然后通过这三个版本之间的概率比值来修正学习过程中的偏差。这就好比工厂里同时保留三份操作手册现在的、上周的、以及上个月的每次培训都要三份手册对照着来修正误差。但在异步训练中数据生成可能跨越了模型的多次更新要追踪每个时刻的上一版本几乎不可能——你不可能无限保存历史操作手册。SAO的解法是大刀阔斧地简化直接用生成数据时的模型版本和当前训练中的模型版本做比较完全抛弃中间那个上一版本。这省去了大量的历史追踪开销因为生成数据时的概率本来就已经被记录下来了不需要额外计算。更重要的是SAO引入了一个严格的双边裁剪屏蔽机制。可以把这个机制理解为在工厂质检时如果一个饺子的做法和标准操作相差太远——不管是太超前还是太落后——就直接跳过不用这个饺子的反馈来培训工人。只有差距在合理范围内的饺子才会被纳入培训参考。技术上这意味着只有当新旧版本模型对某个词的生成概率比值即策略比rt(θ)落在(1-εl, 1εh)这个区间内时这个词才会产生梯度更新区间之外的词直接被屏蔽梯度清零。这和传统PPO近端策略优化的裁剪机制有一个关键差别PPO只是把超出范围的梯度截断到边界值而SAO是直接清零更加激进。参数设置上研究团队对推理任务使用εl0.3、εh5.0对编程任务使用εl0.8、εh3.0上下界不对称允许模型向更好的方向大步迈进但严格限制向更差方向的退步。这个看似粗暴的方法在实验中展现了惊人的稳定性。传统的GRPO在训练到大约160步时就会崩溃也就是模型性能突然断崖式下跌而SAO可以稳定训练超过1000步。**四、第二招给模型配一个专职教练来打分**解决了数据新鲜度的问题还剩另一个核心难题没有了组内比较模型怎么知道自己的回答好还是坏GRPO的做法是把8个回答放在一起打分高于平均的得正分低于平均的得负分。这就像班里考试按排名给奖励不看绝对成绩只看相对名次。但如果每次只有一个学生考试就没有排名可言了。SAO的解法是引入一个专门的价值模型Value Model也叫Critic批评者。这个价值模型的工作就是看着模型生成到一半的回答预测继续这样写下去最终能得多少分。有了这个预测就可以计算出每一步操作对最终结果的贡献从而指导模型改进而不需要跟其他同类回答比较。然而价值模型说起来简单训练起来极其容易不稳定。清华大学的研究团队发现了两个关键问题并分别给出了解决方案。第一个问题是价值模型跟不上政策模型的更新速度。模型在训练时一直在变如果价值模型的更新频率不够高它给出的分数预测就会越来越不准确导致整个训练系统像个失控的指南针——越偏越远。解决方案是让价值模型的更新频率是政策模型的两倍每次政策模型更新一次价值模型更新两次研究团队称之为更快的价值更新Faster Value Update参数K2。回到饺子工厂的比喻这就相当于每改进一次包饺子的手法就要重新校准两次质检标准确保评价体系始终跟得上实际操作水平。第二个问题更有趣。研究团队在实验中发现价值模型的梯度可以理解为学习力度经常远远大于政策模型这意味着价值模型在训练时用力过猛容易把自己训练崩。深入分析后他们发现不稳定性主要来自模型的注意力层Attention Layers——这是模型用来理解文字之间关系的核心组件。相比之下模型的另一个组件专家混合层Mixture-of-ExpertsMoE在训练中相对稳定。基于这个发现SAO采用了冻结注意力Frozen Attention策略在训练价值模型时把注意力层的参数锁死不动只训练MoE层的参数。这就好比工厂里有个老质检员他判断饺子馅料相当于MoE层好不好的能力还需要磨练但他判断饺子皮厚薄相当于注意力层的眼力已经很好了就让他专心练馅料判断皮厚薄的部分就别动了。这个策略显著降低了价值模型的梯度波动使训练更加平稳。与此同时价值模型的冷启动问题也至关重要。研究发现如果价值模型一开始的预训练数据量不够在RL训练初期它给出的预测几乎没有参考价值会直接拖垮整个训练过程。因此SAO特别强调要用大量数据对价值模型进行充分的预训练给整个系统打好地基。**五、第三招智能体任务的特殊挑战——跳过观众点评的噪音**大模型在完成智能体任务比如自主操作电脑、与代码执行环境交互时会产生一种特殊的数据结构。整个过程不是单次问答而是一系列交替出现的行动和环境反馈模型说一句话或执行一个操作行动然后环境给出反应比如代码运行结果或错误信息观察模型再根据这个反应继续行动……如此循环。用饺子工厂来类比这就像工人包一个饺子质检员马上说这个皮太厚了环境反馈工人调整手法再包下一个质检员又说这次馅太少了……如此反复。标准的价值估计方法GAE广义优势估计在计算每一步操作价值时会把相邻两个时刻的价值直接相减。但在智能体任务里模型行动结束到环境反馈开始之间有一个跨越——那段环境反馈不是模型自己生成的而是外部环境给出的。如果硬把这两段数据直接相减就引入了不属于模型自身的噪音价值估计会变得不准确。SAO提出了跳过观察的GAESkip-Observation GAE来解决这个问题。具体做法是在计算相邻两个时刻的价值差时直接跳过环境反馈部分把当前行动的最后一个词的价值和下一个行动的第一个词的价值相连中间那段外部反馈完全绕过去。这样优势估计就完全基于模型自己的输出过滤掉了外部环境随机性带来的干扰。研究团队还对比了另一种可能的方案把整个一轮对话作为一个整体单元来计算价值而不是逐词计算。结果显示这种步骤级别的方法表现明显不如逐词级别的方法。原因在于逐词的细粒度监督信号能更准确地捕捉复杂推理过程中的每一个逻辑跳跃而步骤级别的粗粒度信号则会损失大量信息。**六、实验结果SAO到底有多强**清华大学的研究团队在多个极具挑战性的基准测试上评估了SAO的表现使用的基础模型是阿里云开源的Qwen3-30B-A3B一个约300亿参数的混合专家模型。数学推理方面研究团队选择了四个极难的数学竞赛题库AIME2025全美数学邀请赛2025年题目、BeyondAIME难度超越AIME的题库、HMMT Nov 2025哈佛-麻省理工数学联赛题目、IMOAnswerBench国际数学奥林匹克解答验证题库。这些任务中模型不只是直接作答而是可以调用Python工具进行辅助计算模拟真实的解题过程。基础的SFT模型经过监督微调但尚未做强化学习的版本在AIME2025上的正确率是80.4%BeyondAIME是53.3%HMMT是75.2%IMOAnswerBench是53.3%。加上标准GRPO训练后这四项分别提升到84.2%、54.8%、76.0%、55.8%——进步有限。而SAO训练后这四项分别跃升至97.3%、74.8%、88.3%、74.0%全面大幅超越GRPO。其中BeyondAIME的提升尤为显著从53.3%到74.8%提升了超过21个百分点。值得特别关注的是SAO训练的模型在BeyondAIME上达到74.8%已经非常接近GPT-5 High的74.0%并在AIME202597.3% vs 94.6%和HMMT88.3% vs 89.2%上与之相当整体处于世界顶尖水平。软件工程编程任务方面研究团队使用了SWE-Bench Verified——这是一个要求模型自主修复真实GitHub代码仓库中的bug的基准难度极高需要模型通过多达300轮的交互操作来完成任务。Qwen3-30B-A3B的基础正确率是23.0%加入GRPO配合DIS策略后提升到27.0%SAO则进一步提升到29.8%。训练稳定性是SAO最突出的优势之一。实验中原版GRPO在训练约160步时就会发生崩溃性能急剧下降到无法使用的程度。加入了DIS双边重要性采样策略的改进版GRPO虽然能够稳定训练但效果长期不如SAO。SAO则稳定地训练了超过1000步且在大约400步之后与改进版GRPO之间的性能差距明显拉开并持续扩大。研究团队还做了详细的消融实验来验证SAO每个组件的必要性。去掉更快的价值更新只更新一次而非两次AIME2025的成绩从97.3%降至95.0%BeyondAIME从74.8%降至69.8%。去掉冻结注意力策略AIME2025降至90.6%虽然BeyondAIME变化不大但训练过程明显不稳定批评模型的梯度范数可以理解为学习时的抖动幅度显著偏大。换用简单的滑动窗口平均奖励作为基线不用价值模型AIME2025只有79.8%BeyondAIME只有55.3%说明高质量价值模型对于单轮RL至关重要。使用原版VAPO另一种基于价值的RL方法但不加DIS策略训练同样迅速崩溃AIME2025最终只有91.3%BeyondAIME只有69.0%。**七、单轮RL天生适合在线学习——模拟用户偏好变化的实验**SAO的单轮特性还带来了一个额外的能力天然适合处理环境在变化的学习场景。真实世界中的AI应用用户偏好并不是一成不变的。某段时间用户喜欢一种回答风格过一段时间又换了。传统的GRPO需要同时生成多个回答来做比较这在每次只有一个反馈的真实环境里根本做不到。而SAO用价值模型来评分每次只需要一条数据天然契合这种场景。为了验证这一点研究团队设计了一个模拟实验训练模型生成不同风格的文章依次要求模型适应三种不同的写作风格——可爱风Cute、中二风Chuunibyou和古典风Classical。每隔一段时间用户偏好也就是奖励标准就突然切换到下一个风格。实验用GLM-4.7来评判模型的回答是否符合当前偏好的风格以及质量是否过关综合给出0或1的奖励。实验结果显示SAO在每次偏好切换后能够迅速调整自己的行为快速提升新目标风格的得分同时压制旧风格的输出。相比之下使用滑动窗口平均奖励的对比方法由于历史记录里还保留了大量旧偏好的数据新偏好信号被稀释导致模型反应迟缓始终滞后于当前偏好。SAO的价值模型因为是当前状态感知的能够更敏锐地跟随环境变化实现快速适应。**八、SAO已投入实际应用——助力750亿参数大模型训练**值得一提的是SAO不只停留在论文里。研究团队表示SAO已经被成功部署到GLM-5.2750B-A40B这个开源大模型的训练流水线中。GLM-5.2是一个参数规模高达7500亿激活参数400亿的混合专家模型是目前开源领域规模最大的模型之一。SAO在如此大规模的实际训练中稳定运行证明了它不仅在实验室里有效在真实工业部署中也具备可靠性。**说到底SAO做了什么**归根结底SAO解决的是大模型强化学习训练中一个长期被忽视的效率与稳定性矛盾。它把流水线的思路引入了模型训练不等人先完成先学习同时配上一套严格的新鲜度检查机制确保学习材料不会太过时再通过专职价值模型来弥补单次数据信息量不足的问题。三套机制缺一不可共同构成了一个能够在复杂智能体任务上稳定训练上千步、并在多项顶尖数学和编程基准上超越竞争对手的完整系统。对于普通读者而言这项研究意味着未来的AI系统不仅能处理更复杂的任务训练成本也可能降低训练效果也更稳定。当AI工具变得更便宜、更强大时受益的最终是每一个使用它的人。对于AI研究领域来说SAO提供了一个清晰的信号单轮在线强化学习配合精心设计的价值模型训练策略是一个值得深入探索的方向尤其在智能体、工具使用、以及持续在线学习等场景下。有兴趣深入了解技术细节的读者可以通过论文编号arXiv:2607.07508在arXiv数据库中查阅完整论文。---QAQ1SAO和GRPO的主要区别是什么AGRPO每次需要对同一个问题生成多个回答通常8个比较这一组回答的好坏来训练模型必须等最慢的那个回答生成完才能开始学习。SAO则每次只用一个回答生成完立刻开始训练并用一个专门的价值模型来代替组内比较打分从而彻底避免了等待造成的效率损失和数据过时问题。Q2SAO的价值模型训练为什么要冻结注意力层A研究团队在实验中发现价值模型的注意力层在训练过程中梯度学习力度异常偏大容易导致训练不稳定。而MoE层相对平稳。冻结注意力层相当于保留了预训练时学到的文字理解能力只让模型专注调整打分部分的参数既降低了训练难度又提升了稳定性。Q3SAO在数学竞赛题上能达到什么水平A基于Qwen3-30B-A3B模型SAO训练后在AIME2025上达到97.3%正确率在BeyondAIME上达到74.8%在HMMT Nov 2025上达到88.3%在IMOAnswerBench上达到74.0%整体与GPT-5 High处于同一水平全面超越标准GRPO训练结果。