基座模型、指令微调、监督微调、偏好对齐1. 基座模型Base Model类比读了全世界海量书本、网页的小孩这个小孩看过亿万字的文字学会了✅ 认识字、懂语法、知道很多知识、会顺着故事往下续写❌但是他不懂“听命令”你跟他说“帮我总结这段话”他不会乖乖总结他会顺着这句话继续瞎写像续写小说一样你让他输出JSON他听不懂什么叫JSON格式分不清什么时候该你说话、什么时候该他回答不知道自己是个助手。一句话基座只会“接话续写”听不懂人的指令。基座模型 / 预训练模型之间的区别日常口语里大家说的基座模型绝大多数 预训练模型但是严格来说二者范围不完全一样。先拆两个词预训练模型Pretrained Model指经过【预训练】这个阶段训练出来的模型。预训练喂海量无标注互联网文本目标就是学会语言、知识、语法任务是文本续写。基座模型Base Model是用途视角的叫法——拿来当做底子、后面要在它之上做SFT、LoRA、DPO二次加工的基础模型。核心一句话原生、只做完预训练、还没有经过任何SFT/指令微调/偏好对齐的预训练模型就是我们说的基座。 比如 Qwen2-7B-Base、Llama3-8B-Base这些就是标准基座。用之前小朋友的比喻串一遍预训练海量看书、自学识字、学会顺话续写。训练完产出 →预训练模型当我们打算拿这个模型作为底子后续教它听指令SFT那这个预训练模型我们就叫它基座两个容易混淆的边界情况很重要❌ 一个模型做完一轮SFT变成了Instruct模型它不再叫基座哪怕你拿它去做二次LoRA微调虽然你拿Instruct当基底去训但行业习惯不会叫它“基座”一般叫它「SFT基底 / 基础Instruct模型」不会叫Base基座。基座默认约定没有经过指令微调的预训练原版广义上有一个极少见到的说法知道就行平时几乎遇不到极少数文档会宽松地把“拿来二次训练的任何底模”都叫基座比如以Qwen-Instruct作为基座做DPO这属于宽松口头说法不是标准定义99%教程、模型卡片里的Base基座特指纯预训练版本。表格区分名词训练阶段特点别名/例子预训练模型狭义只经过预训练只会续写不懂指令、对话Qwen3-8B-Base、Llama3-Base也就是基座Instruct模型预训练 SFT指令微调听得懂指令是成品助手Qwen3-8B-Instruct不属于基座一句话避坑总结✅ 平时我们做微调语境下基座 纯预训练模型没有任何指令微调❌ 不等于 InstructInstruct是基座经过SFT之后得到的产物整条链路回顾巩固预训练 → 得到基座Base → SFT指令微调 → Instruct模型 → DPO/RLHF偏好对齐2. 指令微调 监督微调SFT先澄清指令微调 就是监督微调SFT最主流的一种很多时候大家说SFT指的就是指令SFT。类比家长拿着【题目 标准答案】一句一句教这个小孩拿一堆成对的样本指令解释什么是向量库→正确回答xxxx指令把下面内容改成JSON→正确回答{xxx:xxx}属于有标准答案的示范教学告诉小孩别人给你这个要求你就应该这样回答。教完之后这个小孩就变成了Instruct 指令模型✅ 听得懂指令、知道自己是助手、知道要按要求输出✅ 知道对话规矩用户提问我来回答❌ 但是还有毛病他只会模仿“标准答案”分不清哪个回答更好。比如问一个开放性问题他可以给出两个都没错的回答回答A简洁清爽回答B啰嗦绕圈。SFT阶段模型觉得两个都OK它不知道A更好。重点一句话区分SFT监督微调 给标准答案教模型怎么做是对的指令微调 专门用【人类指令】这种格式数据来做的SFT。广义SFT范围更大你拿分类、翻译数据集训练也叫SFTLLM领域日常说的SFT基本都是指令微调。 到这里链路基座 → SFT指令微调→ Instruct模型3. 偏好对齐代表RLHF / DPO类比不再给标准答案拿两个回答让小孩自己选「哪个更好」SFT教出来的孩子能答对但是风格不一定讨人喜欢。现在我们不给标准答案了。给模型同一个问题回答A、回答B标注人告诉它A比B更好。训练目标学会人类的偏好比如人类更喜欢回答有理有据、简洁不会胡说八道有害问题懂得拒绝逻辑通顺、语气友好✅ 它不需要学“唯一正确答案”而是学会同样都对的回答里哪一个更符合人的喜好❌ 注意偏好对齐不能跳过SFT直接在基座上做一个连指令都听不懂的小孩直接给他选好坏完全学不会会学崩。 完整顺序基座看书识字 → SFT指令微调学会按指令答题 → 偏好对齐学会说让人舒服、靠谱的话极简一句话浓缩版方便记基座读了很多书知识很多但听不懂你的命令只会续写文字。指令微调SFT拿大量「提问标准回答」教它听懂指令、按要求答题学会当助手。偏好对齐DPO/RLHF教它在多个合理答案里选出人类更喜欢的那个优化回答风格、安全性。 能不能在已经SFT好的Instruct模型上再微调对应比喻这个已经学会听指令的小孩你可以继续教他专业新题目二次SFT让他学会工业、代码这类专业任务但风险就是教多了原来学会的好好说话、通用能力会变弱对齐漂移。一张超简单流程图基座只会续写 ↓ 【SFT 指令微调给标准答案教任务】 Instruct模型听得懂指令能回答但不懂好坏 ↓ 【偏好对齐对比选更好的回答】 对齐完成的成品大模型听话、回答符合人类喜好指令微调 / LoRA 之间的区别指令微调Instruction Tuning是「训练目标 / 训练内容」—— 我要教模型学什么学指令、按指令输出答案LoRA是「训练方式 / 训练手段」—— 我打算怎么改模型的参数是大刀全改还是只加小旁路矩阵轻量训练 类比接上刚才那个小朋友的例子指令微调 课程今天要学【看懂题目按要求写出标准答案】LoRA 学习方法不是把大脑原有记忆全部洗掉重练而是拿一个小笔记本专门记这门新课的知识点大脑本体不动。拆开讲清楚1. SFT监督微调是大类指令微调是SFT里面最常用的任务类型SFT 只要是「给输入标准答案让模型模仿标准答案」都叫SFT拿翻译样本做SFT翻译微调拿分类样本做SFT分类微调拿指令回答样本做SFT指令微调2. 做【指令微调】的时候你可以选多种实现方案方案A全参数微调把基座或者instruct模型里面所有上亿参数全部更新一遍。代价显存爆炸、算力贵很容易把模型原来学会的东西冲忘掉。方案BLoRA微调属于PEFT轻量微调里的一种冻结原来大模型全部权重额外插两个很小的低秩矩阵训练的时候只更新这一点点小矩阵。✅ 所以LoRA 只是做指令微调的一种可选技术路线不是必须的组合关系✅ 指令微调 LoRA现在工业、个人最常用QLoRA就是它✅ 指令微调 全参数微调效果上限高贵、耗卡✅ 翻译SFT LoRA✅ 翻译SFT 全参数微调不是绑定关系❌ 不是“指令微调LoRA”❌ 不是“LoRA就等于指令微调”举几个组合例子帮你理顺Qwen基座用 Alpaca 指令数据集LoRA训练 →LoRA版本的指令微调日常大家做得最多Llama3基座指令数据集全参训练 → 指令微调但没有用LoRA用LoRA喂法律条文继续预训练无标签续写→ LoRA但不是指令微调是继续预训练3. 再和之前整条链路串起来基座模型小朋友看书很多只会续写 ↓ 【任务指令微调SFT】 实现方式可选全参 / LoRA / IA3 / DoRA ↓ Instruct模型会听指令答题 ↓ 【任务偏好对齐 DPO/RLHF】 实现方式也可以用LoRADPO同样可以走LoRA轻量训练 ↓ 成品对齐模型重点补充一个高频误区很多教程、开源项目LLaMA Factory、Axolotl里一说“SFT”默认就是指令SFT LoRA所以大家口头混着说才容易搞混。4. 极简对照表名词它是什么归类指令微调用【指令-回答】成对样本教模型遵循指令训练任务数据目标SFT监督微调有标准答案的有监督训练指令微调属于它的子集训练范式LoRA冻结主模型只训练小低秩矩阵的轻量化技术参数更新方案PEFT5. 再用大白话总结我想要做指令微调教模型听懂命令我有两条路直接把模型大脑全部改掉全参模型大脑不动外挂一个小笔记本专门学这套指令任务LoRALoRA 只是帮我们低成本、低显存地完成指令微调这个任务的工具。DPO/RLHF 是什么大白话讲 DPO、RLHF先记住一个大前提✅DPO 和 RLHF 都属于「偏好对齐」它们的作用是在 SFT指令微调完的 Instruct 模型基础上进一步优化回答不是教新任务、不是学新知识✅ 它们都不能直接在原始基座上跑必须先有一个已经会听指令、会正常答题的 Instruct 模型回顾前面链条基座 → SFT指令微调学会按要求答题→ 偏好对齐RLHF / DPO学会答得更好、更符合人的喜好1. RLHF基于人类反馈的强化学习Reinforcement Learning from Human FeedbackRLHF 是一套三段式老流程OpenAI 最早火起来的ChatGPT 初代就是它一共 3 步RLHF 三步拆解小朋友版本第一步SFT我们已经学过给标准答案教会小孩看懂题目、正常写出回答。 产出SFT-Instruct 模型第二步训练奖励模型 RMReward Model拿一堆同一个问题让 SFT 模型生成多个不同回答然后找人来打分、排序哪个回答更好哪个差一点。用这些人类排序数据单独训练一个【打分老师奖励模型RM】。这个打分老师学会一套标准简洁、准确、有礼貌、不乱编、会拒绝坏问题。重点奖励模型是另外一个独立模型不是原来的对话模型本身。第三步PPO 强化学习让原来的 Instruct 模型自己不断生成回答交给这个「打分老师RM」打分模型不断调整自己专门去生成能拿到高分的回答。相当于小孩反复答题有一个专门的老师给他打分小孩慢慢摸索怎么答更容易拿高分。RLHF 的痛点缺点链路很长要训两个模型SFT模型 奖励模型PPO 强化学习非常难调参容易不稳定、训练崩掉、模式崩溃算力开销很大工程复杂小团队很难搞定一句话记 RLHF找人给回答排序 → 训一个独立打分模型 → 用强化学习逼模型往高分方向走2. DPO直接偏好优化Direct Preference OptimizationDPO 是后来出来的、简化版的偏好对齐方案现在主流都在用它替代RLHFDPO 核心思想一句话秒杀不要单独训练奖励模型、不要复杂的PPO强化学习直接拿人类偏好数据同一个问题优选回答A淘汰回答B设计一个特殊损失函数直接在原Instruct模型上学习偏好。还是小朋友比喻不再单独请一个打分老师。直接拿成对样本问题xxx好回答A ✅差回答B ❌直接告诉模型同样是你写出来的答案A比B更好你以后更倾向输出A这种风格少输出B这种。一步到位省去了训RM、PPO那一堆麻烦环节。DPO 的优点流程短只需要偏好成对数据只训原来这一个模型训练稳定很多调参简单不容易崩可以配合LoRA轻量跑显存友好现在很多LLaMA Factory做DPO都是LoRA最终效果和RLHF接近但是DPO 不是“不要奖励”数学上它等价于隐式地学了一个奖励函数只是不单独把奖励模型拆出来、单独保存藏在损失里面了。RLHF vs DPO 对比大白话对比RLHFDPO核心流程SFT → 训独立奖励模型RM → PPO强化SFT → 直接用偏好对做DPO损失训练要不要单独奖励模型✅ 需要额外一个模型❌ 不需要隐式奖励训练难度很难PPO容易不稳定简单稳定工程友好算力成本高更低现在使用情况经典方案现在慢慢被DPO替代当前开源大模型对齐首选3. 重要的几个误区澄清❌ DPO / RLHF 不是用来学新业务知识的它们不会教模型新知识。比如你想让模型看懂工业协议、输出特定JSON格式优先 SFT指令微调而不是DPO。DPO只管同样能答对的回答里面哪个更讨人喜欢。❌ DPO/RLHF 不会替代SFTSFT是地基模型先得会答题偏好对齐是精装修在会答题的基础上把回答打磨得更好。没有SFT直接上DPO模型根本不知道怎么好好回答。✅ DPO、RLHF 同样可以搭配 LoRA和指令微调SFT一样你可以冻结基座用LoRA来做DPO偏好对齐不用全参更新。完整整条链路汇总串联前面所有名词基座读了很多书只会续写 ↓ SFT 指令微调给标准答案学会听懂指令、正常答题 ↓ 偏好对齐二选一 方案A老RLHF人排序 → 训奖励模型 → PPO强化学习 方案B现在主流DPO直接拿偏好对优化简化流程 ↓ 最终成品模型听得懂指令、回答准确、语气友好、懂得拒绝有害提问极简浓缩三句话RLHF找人打分 → 单独训一个打分模型 → 强化学习让模型拿高分DPO省去单独打分模型直接用“好回答/坏回答”成对数据一步对齐偏好两者目标一样偏好对齐DPO是RLHF的简化升级版后训练 / 对齐 / PPO / GRPO后训练Post-training基座模型预训练完成之后再做的一轮/多轮训练对齐Alignment后训练的目标——让大模型输出符合人类意图、偏好、价值观PPO、GRPO 都是对齐用的强化学习算法只是设计思路、开销、难度不一样。完整链路基座预训练 → SFT监督微调→ 【对齐阶段RM PPO / DPO / GRPO】1. 后训练 Post-training基座模型比如原始 Llama、Qwen 基座是在海量互联网文本上预训练出来的它只会模仿下一个token不知道人类想要什么会乱回答、胡说、拒绝指令、输出有害内容、答非所问预训练学知识、学语法、学模式目标是拟合文本分布后训练 预训练之后所有用来改造模型行为的训练属于一个大集合包含SFT 监督微调如指令微调很多人把SFT归为后训练第一步RM 奖励模型训练RLHFPPO、DPO、GRPO 这类偏好对齐训练简单区分预训练学“世界上的文本是什么样”后训练教模型“人类想要你怎么回答”2. 对齐 Alignment对齐就是让模型的输出和人类偏好对齐。对齐不是“教新知识”而是改造模型的输出分布✅ 优先输出有用、诚实、安全、符合指令的回答❌ 抑制胡说、幻觉、有害、跑题、拒绝合理提问对齐的目标不是100%复刻人类而是给定同一个prompt模型倾向于输出人类更喜欢的答案对齐分很多路线RLHF经典SFT → RM → PPORLAIFAI反馈代替人类标注不用人打分DPO直接偏好优化不用单独奖励模型GRPO组相对偏好优化适合推理任务3. PPOProximal Policy Optimization近端策略优化—— 原版RLHF核心流程经典RLHFSFT先训一个SFT模型学会跟着指令回答收集同一个prompt的多个回答让人类打分选出chosen / rejected用这些偏好对训练一个奖励模型RM输入回答输出一个分数好不好PPO阶段把SFT模型当成策略Policy不断生成回答交给RM拿奖励分数用强化学习更新模型目标最大化奖励约束策略不能一次性改动太大Proximal 近端防止训练崩掉灾难性遗忘PPO特点✅ 正统RL理论成熟早期ChatGPT用的就是RLHFPPO❌ 缺点非常明显要两个模型Policy模型 奖励模型RM显存开销巨大训练不稳定、超参难调容易出现“奖励黑客”reward hacking模型学会哄RM高分但回答质量很差训练链路长、慢、工程复杂现在工业界已经很少直接用原生PPO做对齐大多换成DPOGRPO是PPO的一个改良变体。4. GRPOGroup Relative Policy Optimization组相对策略优化出自 DeepSeek-R1 那篇专门给推理类模型数学、代码、逻辑题设计的RL算法属于PPO的轻量化改进版本。GRPO核心改动和PPO对比PPO一个prompt生成1条回答 → RM给一个绝对分数GRPO同一个prompt一次性生成N个回答一组group对这一组里面的多个答案算相对奖励不是绝对分数不需要单独训练一个庞大的奖励模型 奖励可以是规则奖励函数比如数学题看答案是否等于正确值、代码看能不能跑通用组内排序做相对偏好再用类似PPO的约束更新策略举个例子数学题11?模型生成 5 个答案2, 3, 11, 2, 0奖励函数直接判断答案正确高分错误低分然后在这一组里面做相对对比更新模型。GRPO特点✅ 优势不需要昂贵的人类偏好标注、不用单独训奖励模型RM非常适合有可验证答案的任务数学、代码、逻辑推理显存、工程复杂度比原版PPO低很多收敛稳定❌ 局限依赖可验证奖励函数开放问答、文案创作这类没法自动打分的场景不好用本质还是Policy Gradient家族不是像DPO那样直接偏好分类一句话区分 PPO vs GRPOPPO一条样本RM给绝对奖励依赖奖励模型GRPO一组样本组内相对奖励可以用规则/程序自动打分5. 把几个概念串起来 和DPO对比方便你选型算法类别是否需要独立RM适合场景PPO强化学习RLHF✅ 需要开放对话、有人类偏好标注现在少用GRPO强化学习PPO变体❌ 可以用规则奖励数学、代码、推理题有标准答案DPO直接偏好优化不是RL❌ 不需要RM通用对话、指令对齐工业主流完整对齐路线对比RLHFSFT → RM → PPO经典、重、难调DPOSFT → DPO简单、稳定现在聊天模型首选GRPOSFT → GRPO推理模型首选自动验证奖励大模型训练全流程-图示所有对齐路线一般以SFT模型作为起点大模型训练全流程预训练 Pretraining目标学习海量文本分布产出基座模型后训练 Post-training基座之后改造模型行为、指令能力、偏好SFT 监督微调输入prompt 标准回答作用学会遵循指令对齐的前置底座对齐 Alignment目标区分好坏回答贴合人类偏好方案1RLHF 人类反馈强化学习RM 奖励模型训练用偏好对训练打分模型PPO 近端策略优化RL算法用RM的分数更新策略模型方案2DPO 直接偏好优化非RL直接用偏好对做损失无需RM方案3GRPO 组相对策略优化RL算法PPO变体适合可验证推理任务RLAIFAI反馈标注用强模型打分替代人工产出偏好对供给 RM / DPO / GRPO
基座模型、指令微调、监督微调、偏好对齐1. 基座模型Base Model类比读了全世界海量书本、网页的小孩这个小孩看过亿万字的文字学会了✅ 认识字、懂语法、知道很多知识、会顺着故事往下续写❌但是他不懂“听命令”你跟他说“帮我总结这段话”他不会乖乖总结他会顺着这句话继续瞎写像续写小说一样你让他输出JSON他听不懂什么叫JSON格式分不清什么时候该你说话、什么时候该他回答不知道自己是个助手。一句话基座只会“接话续写”听不懂人的指令。基座模型 / 预训练模型之间的区别日常口语里大家说的基座模型绝大多数 预训练模型但是严格来说二者范围不完全一样。先拆两个词预训练模型Pretrained Model指经过【预训练】这个阶段训练出来的模型。预训练喂海量无标注互联网文本目标就是学会语言、知识、语法任务是文本续写。基座模型Base Model是用途视角的叫法——拿来当做底子、后面要在它之上做SFT、LoRA、DPO二次加工的基础模型。核心一句话原生、只做完预训练、还没有经过任何SFT/指令微调/偏好对齐的预训练模型就是我们说的基座。 比如 Qwen2-7B-Base、Llama3-8B-Base这些就是标准基座。用之前小朋友的比喻串一遍预训练海量看书、自学识字、学会顺话续写。训练完产出 →预训练模型当我们打算拿这个模型作为底子后续教它听指令SFT那这个预训练模型我们就叫它基座两个容易混淆的边界情况很重要❌ 一个模型做完一轮SFT变成了Instruct模型它不再叫基座哪怕你拿它去做二次LoRA微调虽然你拿Instruct当基底去训但行业习惯不会叫它“基座”一般叫它「SFT基底 / 基础Instruct模型」不会叫Base基座。基座默认约定没有经过指令微调的预训练原版广义上有一个极少见到的说法知道就行平时几乎遇不到极少数文档会宽松地把“拿来二次训练的任何底模”都叫基座比如以Qwen-Instruct作为基座做DPO这属于宽松口头说法不是标准定义99%教程、模型卡片里的Base基座特指纯预训练版本。表格区分名词训练阶段特点别名/例子预训练模型狭义只经过预训练只会续写不懂指令、对话Qwen3-8B-Base、Llama3-Base也就是基座Instruct模型预训练 SFT指令微调听得懂指令是成品助手Qwen3-8B-Instruct不属于基座一句话避坑总结✅ 平时我们做微调语境下基座 纯预训练模型没有任何指令微调❌ 不等于 InstructInstruct是基座经过SFT之后得到的产物整条链路回顾巩固预训练 → 得到基座Base → SFT指令微调 → Instruct模型 → DPO/RLHF偏好对齐2. 指令微调 监督微调SFT先澄清指令微调 就是监督微调SFT最主流的一种很多时候大家说SFT指的就是指令SFT。类比家长拿着【题目 标准答案】一句一句教这个小孩拿一堆成对的样本指令解释什么是向量库→正确回答xxxx指令把下面内容改成JSON→正确回答{xxx:xxx}属于有标准答案的示范教学告诉小孩别人给你这个要求你就应该这样回答。教完之后这个小孩就变成了Instruct 指令模型✅ 听得懂指令、知道自己是助手、知道要按要求输出✅ 知道对话规矩用户提问我来回答❌ 但是还有毛病他只会模仿“标准答案”分不清哪个回答更好。比如问一个开放性问题他可以给出两个都没错的回答回答A简洁清爽回答B啰嗦绕圈。SFT阶段模型觉得两个都OK它不知道A更好。重点一句话区分SFT监督微调 给标准答案教模型怎么做是对的指令微调 专门用【人类指令】这种格式数据来做的SFT。广义SFT范围更大你拿分类、翻译数据集训练也叫SFTLLM领域日常说的SFT基本都是指令微调。 到这里链路基座 → SFT指令微调→ Instruct模型3. 偏好对齐代表RLHF / DPO类比不再给标准答案拿两个回答让小孩自己选「哪个更好」SFT教出来的孩子能答对但是风格不一定讨人喜欢。现在我们不给标准答案了。给模型同一个问题回答A、回答B标注人告诉它A比B更好。训练目标学会人类的偏好比如人类更喜欢回答有理有据、简洁不会胡说八道有害问题懂得拒绝逻辑通顺、语气友好✅ 它不需要学“唯一正确答案”而是学会同样都对的回答里哪一个更符合人的喜好❌ 注意偏好对齐不能跳过SFT直接在基座上做一个连指令都听不懂的小孩直接给他选好坏完全学不会会学崩。 完整顺序基座看书识字 → SFT指令微调学会按指令答题 → 偏好对齐学会说让人舒服、靠谱的话极简一句话浓缩版方便记基座读了很多书知识很多但听不懂你的命令只会续写文字。指令微调SFT拿大量「提问标准回答」教它听懂指令、按要求答题学会当助手。偏好对齐DPO/RLHF教它在多个合理答案里选出人类更喜欢的那个优化回答风格、安全性。 能不能在已经SFT好的Instruct模型上再微调对应比喻这个已经学会听指令的小孩你可以继续教他专业新题目二次SFT让他学会工业、代码这类专业任务但风险就是教多了原来学会的好好说话、通用能力会变弱对齐漂移。一张超简单流程图基座只会续写 ↓ 【SFT 指令微调给标准答案教任务】 Instruct模型听得懂指令能回答但不懂好坏 ↓ 【偏好对齐对比选更好的回答】 对齐完成的成品大模型听话、回答符合人类喜好指令微调 / LoRA 之间的区别指令微调Instruction Tuning是「训练目标 / 训练内容」—— 我要教模型学什么学指令、按指令输出答案LoRA是「训练方式 / 训练手段」—— 我打算怎么改模型的参数是大刀全改还是只加小旁路矩阵轻量训练 类比接上刚才那个小朋友的例子指令微调 课程今天要学【看懂题目按要求写出标准答案】LoRA 学习方法不是把大脑原有记忆全部洗掉重练而是拿一个小笔记本专门记这门新课的知识点大脑本体不动。拆开讲清楚1. SFT监督微调是大类指令微调是SFT里面最常用的任务类型SFT 只要是「给输入标准答案让模型模仿标准答案」都叫SFT拿翻译样本做SFT翻译微调拿分类样本做SFT分类微调拿指令回答样本做SFT指令微调2. 做【指令微调】的时候你可以选多种实现方案方案A全参数微调把基座或者instruct模型里面所有上亿参数全部更新一遍。代价显存爆炸、算力贵很容易把模型原来学会的东西冲忘掉。方案BLoRA微调属于PEFT轻量微调里的一种冻结原来大模型全部权重额外插两个很小的低秩矩阵训练的时候只更新这一点点小矩阵。✅ 所以LoRA 只是做指令微调的一种可选技术路线不是必须的组合关系✅ 指令微调 LoRA现在工业、个人最常用QLoRA就是它✅ 指令微调 全参数微调效果上限高贵、耗卡✅ 翻译SFT LoRA✅ 翻译SFT 全参数微调不是绑定关系❌ 不是“指令微调LoRA”❌ 不是“LoRA就等于指令微调”举几个组合例子帮你理顺Qwen基座用 Alpaca 指令数据集LoRA训练 →LoRA版本的指令微调日常大家做得最多Llama3基座指令数据集全参训练 → 指令微调但没有用LoRA用LoRA喂法律条文继续预训练无标签续写→ LoRA但不是指令微调是继续预训练3. 再和之前整条链路串起来基座模型小朋友看书很多只会续写 ↓ 【任务指令微调SFT】 实现方式可选全参 / LoRA / IA3 / DoRA ↓ Instruct模型会听指令答题 ↓ 【任务偏好对齐 DPO/RLHF】 实现方式也可以用LoRADPO同样可以走LoRA轻量训练 ↓ 成品对齐模型重点补充一个高频误区很多教程、开源项目LLaMA Factory、Axolotl里一说“SFT”默认就是指令SFT LoRA所以大家口头混着说才容易搞混。4. 极简对照表名词它是什么归类指令微调用【指令-回答】成对样本教模型遵循指令训练任务数据目标SFT监督微调有标准答案的有监督训练指令微调属于它的子集训练范式LoRA冻结主模型只训练小低秩矩阵的轻量化技术参数更新方案PEFT5. 再用大白话总结我想要做指令微调教模型听懂命令我有两条路直接把模型大脑全部改掉全参模型大脑不动外挂一个小笔记本专门学这套指令任务LoRALoRA 只是帮我们低成本、低显存地完成指令微调这个任务的工具。DPO/RLHF 是什么大白话讲 DPO、RLHF先记住一个大前提✅DPO 和 RLHF 都属于「偏好对齐」它们的作用是在 SFT指令微调完的 Instruct 模型基础上进一步优化回答不是教新任务、不是学新知识✅ 它们都不能直接在原始基座上跑必须先有一个已经会听指令、会正常答题的 Instruct 模型回顾前面链条基座 → SFT指令微调学会按要求答题→ 偏好对齐RLHF / DPO学会答得更好、更符合人的喜好1. RLHF基于人类反馈的强化学习Reinforcement Learning from Human FeedbackRLHF 是一套三段式老流程OpenAI 最早火起来的ChatGPT 初代就是它一共 3 步RLHF 三步拆解小朋友版本第一步SFT我们已经学过给标准答案教会小孩看懂题目、正常写出回答。 产出SFT-Instruct 模型第二步训练奖励模型 RMReward Model拿一堆同一个问题让 SFT 模型生成多个不同回答然后找人来打分、排序哪个回答更好哪个差一点。用这些人类排序数据单独训练一个【打分老师奖励模型RM】。这个打分老师学会一套标准简洁、准确、有礼貌、不乱编、会拒绝坏问题。重点奖励模型是另外一个独立模型不是原来的对话模型本身。第三步PPO 强化学习让原来的 Instruct 模型自己不断生成回答交给这个「打分老师RM」打分模型不断调整自己专门去生成能拿到高分的回答。相当于小孩反复答题有一个专门的老师给他打分小孩慢慢摸索怎么答更容易拿高分。RLHF 的痛点缺点链路很长要训两个模型SFT模型 奖励模型PPO 强化学习非常难调参容易不稳定、训练崩掉、模式崩溃算力开销很大工程复杂小团队很难搞定一句话记 RLHF找人给回答排序 → 训一个独立打分模型 → 用强化学习逼模型往高分方向走2. DPO直接偏好优化Direct Preference OptimizationDPO 是后来出来的、简化版的偏好对齐方案现在主流都在用它替代RLHFDPO 核心思想一句话秒杀不要单独训练奖励模型、不要复杂的PPO强化学习直接拿人类偏好数据同一个问题优选回答A淘汰回答B设计一个特殊损失函数直接在原Instruct模型上学习偏好。还是小朋友比喻不再单独请一个打分老师。直接拿成对样本问题xxx好回答A ✅差回答B ❌直接告诉模型同样是你写出来的答案A比B更好你以后更倾向输出A这种风格少输出B这种。一步到位省去了训RM、PPO那一堆麻烦环节。DPO 的优点流程短只需要偏好成对数据只训原来这一个模型训练稳定很多调参简单不容易崩可以配合LoRA轻量跑显存友好现在很多LLaMA Factory做DPO都是LoRA最终效果和RLHF接近但是DPO 不是“不要奖励”数学上它等价于隐式地学了一个奖励函数只是不单独把奖励模型拆出来、单独保存藏在损失里面了。RLHF vs DPO 对比大白话对比RLHFDPO核心流程SFT → 训独立奖励模型RM → PPO强化SFT → 直接用偏好对做DPO损失训练要不要单独奖励模型✅ 需要额外一个模型❌ 不需要隐式奖励训练难度很难PPO容易不稳定简单稳定工程友好算力成本高更低现在使用情况经典方案现在慢慢被DPO替代当前开源大模型对齐首选3. 重要的几个误区澄清❌ DPO / RLHF 不是用来学新业务知识的它们不会教模型新知识。比如你想让模型看懂工业协议、输出特定JSON格式优先 SFT指令微调而不是DPO。DPO只管同样能答对的回答里面哪个更讨人喜欢。❌ DPO/RLHF 不会替代SFTSFT是地基模型先得会答题偏好对齐是精装修在会答题的基础上把回答打磨得更好。没有SFT直接上DPO模型根本不知道怎么好好回答。✅ DPO、RLHF 同样可以搭配 LoRA和指令微调SFT一样你可以冻结基座用LoRA来做DPO偏好对齐不用全参更新。完整整条链路汇总串联前面所有名词基座读了很多书只会续写 ↓ SFT 指令微调给标准答案学会听懂指令、正常答题 ↓ 偏好对齐二选一 方案A老RLHF人排序 → 训奖励模型 → PPO强化学习 方案B现在主流DPO直接拿偏好对优化简化流程 ↓ 最终成品模型听得懂指令、回答准确、语气友好、懂得拒绝有害提问极简浓缩三句话RLHF找人打分 → 单独训一个打分模型 → 强化学习让模型拿高分DPO省去单独打分模型直接用“好回答/坏回答”成对数据一步对齐偏好两者目标一样偏好对齐DPO是RLHF的简化升级版后训练 / 对齐 / PPO / GRPO后训练Post-training基座模型预训练完成之后再做的一轮/多轮训练对齐Alignment后训练的目标——让大模型输出符合人类意图、偏好、价值观PPO、GRPO 都是对齐用的强化学习算法只是设计思路、开销、难度不一样。完整链路基座预训练 → SFT监督微调→ 【对齐阶段RM PPO / DPO / GRPO】1. 后训练 Post-training基座模型比如原始 Llama、Qwen 基座是在海量互联网文本上预训练出来的它只会模仿下一个token不知道人类想要什么会乱回答、胡说、拒绝指令、输出有害内容、答非所问预训练学知识、学语法、学模式目标是拟合文本分布后训练 预训练之后所有用来改造模型行为的训练属于一个大集合包含SFT 监督微调如指令微调很多人把SFT归为后训练第一步RM 奖励模型训练RLHFPPO、DPO、GRPO 这类偏好对齐训练简单区分预训练学“世界上的文本是什么样”后训练教模型“人类想要你怎么回答”2. 对齐 Alignment对齐就是让模型的输出和人类偏好对齐。对齐不是“教新知识”而是改造模型的输出分布✅ 优先输出有用、诚实、安全、符合指令的回答❌ 抑制胡说、幻觉、有害、跑题、拒绝合理提问对齐的目标不是100%复刻人类而是给定同一个prompt模型倾向于输出人类更喜欢的答案对齐分很多路线RLHF经典SFT → RM → PPORLAIFAI反馈代替人类标注不用人打分DPO直接偏好优化不用单独奖励模型GRPO组相对偏好优化适合推理任务3. PPOProximal Policy Optimization近端策略优化—— 原版RLHF核心流程经典RLHFSFT先训一个SFT模型学会跟着指令回答收集同一个prompt的多个回答让人类打分选出chosen / rejected用这些偏好对训练一个奖励模型RM输入回答输出一个分数好不好PPO阶段把SFT模型当成策略Policy不断生成回答交给RM拿奖励分数用强化学习更新模型目标最大化奖励约束策略不能一次性改动太大Proximal 近端防止训练崩掉灾难性遗忘PPO特点✅ 正统RL理论成熟早期ChatGPT用的就是RLHFPPO❌ 缺点非常明显要两个模型Policy模型 奖励模型RM显存开销巨大训练不稳定、超参难调容易出现“奖励黑客”reward hacking模型学会哄RM高分但回答质量很差训练链路长、慢、工程复杂现在工业界已经很少直接用原生PPO做对齐大多换成DPOGRPO是PPO的一个改良变体。4. GRPOGroup Relative Policy Optimization组相对策略优化出自 DeepSeek-R1 那篇专门给推理类模型数学、代码、逻辑题设计的RL算法属于PPO的轻量化改进版本。GRPO核心改动和PPO对比PPO一个prompt生成1条回答 → RM给一个绝对分数GRPO同一个prompt一次性生成N个回答一组group对这一组里面的多个答案算相对奖励不是绝对分数不需要单独训练一个庞大的奖励模型 奖励可以是规则奖励函数比如数学题看答案是否等于正确值、代码看能不能跑通用组内排序做相对偏好再用类似PPO的约束更新策略举个例子数学题11?模型生成 5 个答案2, 3, 11, 2, 0奖励函数直接判断答案正确高分错误低分然后在这一组里面做相对对比更新模型。GRPO特点✅ 优势不需要昂贵的人类偏好标注、不用单独训奖励模型RM非常适合有可验证答案的任务数学、代码、逻辑推理显存、工程复杂度比原版PPO低很多收敛稳定❌ 局限依赖可验证奖励函数开放问答、文案创作这类没法自动打分的场景不好用本质还是Policy Gradient家族不是像DPO那样直接偏好分类一句话区分 PPO vs GRPOPPO一条样本RM给绝对奖励依赖奖励模型GRPO一组样本组内相对奖励可以用规则/程序自动打分5. 把几个概念串起来 和DPO对比方便你选型算法类别是否需要独立RM适合场景PPO强化学习RLHF✅ 需要开放对话、有人类偏好标注现在少用GRPO强化学习PPO变体❌ 可以用规则奖励数学、代码、推理题有标准答案DPO直接偏好优化不是RL❌ 不需要RM通用对话、指令对齐工业主流完整对齐路线对比RLHFSFT → RM → PPO经典、重、难调DPOSFT → DPO简单、稳定现在聊天模型首选GRPOSFT → GRPO推理模型首选自动验证奖励大模型训练全流程-图示所有对齐路线一般以SFT模型作为起点大模型训练全流程预训练 Pretraining目标学习海量文本分布产出基座模型后训练 Post-training基座之后改造模型行为、指令能力、偏好SFT 监督微调输入prompt 标准回答作用学会遵循指令对齐的前置底座对齐 Alignment目标区分好坏回答贴合人类偏好方案1RLHF 人类反馈强化学习RM 奖励模型训练用偏好对训练打分模型PPO 近端策略优化RL算法用RM的分数更新策略模型方案2DPO 直接偏好优化非RL直接用偏好对做损失无需RM方案3GRPO 组相对策略优化RL算法PPO变体适合可验证推理任务RLAIFAI反馈标注用强模型打分替代人工产出偏好对供给 RM / DPO / GRPO
