大模型微调学习（二）

二、Lora微调这页主要说明对 GPT-3 这种超大模型进行全参数 Fine-tune成本非常高。“噩梦”主要体现在三个方面显存压力大175B 参数模型全参训练大约需要96 张 V100 32GB才能基本放得下。存储成本高每训练一个任务都可能需要保存接近1TB 的 Checkpoint。模型切换慢不同任务之间切换完整模型可能需要1 分钟以上。造成这些问题的核心原因是全参数 Fine-tune 需要更新并保存模型的全部参数不仅有模型权重还需要保存梯度和 Adam 优化器状态因此显存占用会进一步增加。LoRA 的解决思路很简单冻结原来的大模型参数只训练少量新增的低秩参数每个任务只保存很小的 LoRA 权重。因此可以理解为全参 Fine-tune整个模型都改LoRA大模型基本不动只改很小一部分参数。这也是为什么下一步要学习LoRA、QLoRA 等 PEFT 方法它们主要解决的就是显存、存储和多任务切换成本过高的问题。2.1 Lora算法2.1.1 BERT模型2.2 Roberta模型2.4 PRFT library三、Alpaca模型微调3.1 alpaca模型概览3.2 self-Instruct数据准备3.3 训练AlpacaSwiGLU通过 Gate / Up / Down 三个投影引入门控机制相比 ReLU/GELU 能更灵活地筛选和增强有效特征。RoPE把位置信息直接编码进 Q/KQ/K 的旋转关系中使注意力天然包含相对位置信息并方便后续做长上下文扩展。系统优化重点是减少显存读写、激活保存和通信等待例如高效 causal attention、Activation Checkpointing、通信计算重叠等。一个准确性提醒FlashAttention 可以作为现代高效实现的代表但不应表述成“LLaMA 原论文独有创新”。一句话理解SwiGLU 决定“怎么变换特征”RoPE 决定“怎么表示位置”系统优化决定“怎么把模型高效训起来”。这页适合做成“GPU × 模型参数 × Token 的行业速算表”先看模型权重能不能装下再看 KV Cache/并发会不会把剩余显存吃完最后才讨论 Token/s。权重速算FP16/BF16 约2 GB / 1B 参数INT8 约1 GB / 1BINT4 理论约0.5 GB / 1B实际还要给量化尺度、运行时和 KV Cache 留余量。推理显存不只是模型权重而是Weights KV Cache Activations Runtime Workspace上下文越长、并发越高KV Cache 增长越明显。速度指标要分开看TTFT 主要受 Prompt 长度和 Prefill 影响Decode 的 Token/s 更受模型规模、显存带宽、量化方式和 Batch 影响。训练不能简单套固定“×18”Adam 混合精度全参训练通常还要保存梯度、主权重和优化器状态再叠加激活ZeRO/FSDP/Checkpointing 会显著改变单卡显存账本。一个重要修正405B 模型仅 BF16 权重就约810 GB因此8×80GB GPU 并不能直接装下完整 BF16 权重这类规模通常需要更多显存、量化或分布式切分。3.4 整体流程一、Teacher → Student用强模型生成训练数据Teacher如 GPT-4负责出题、分类判断和生成答案。Student如 LLaMA、ChatGLM学习这些高质量指令数据再通过 LoRA 或全量微调完成能力迁移。二、好数据看两个标准Instruction 要多样覆盖不同任务、不同表达方式避免数据过于单一。Output 要优质答案尽量准确、完整、格式规范给学生模型提供可靠监督。三、完整闭环人工种子 → 指令生成 → 任务分类 → 分类/非分类实例生成 → Filtering → 合格数据回流 Task Pool → Student 微调一句话总结Self-Instruct 本质上可以看成一个“强模型造数据 → 数据反哺小模型”的自动化知识迁移闭环。3.5 具体流程3.5.1 Instruction GenerationSelf-Instruct 第一步的本质不是让模型“凭空想任务”而是先构造一个高质量Few-shot Prompt让模型沿着已有示例继续自回归生成新的 Instruction。Prompt 构造方式从Task Pool中动态抽取8 个 Example示意为6 条人工种子指令 2 条模型已生成指令再让模型续写第 9 个新任务。人工种子的作用稳定格式、难度、任务边界与指令质量相当于给生成过程提供“锚点”。模型新生成样本的作用不断把新任务重新放回Task Pool增加题型、语义和表达方式的多样性推动长尾探索。形成自举飞轮175 条人工种子 → 混合采样 → Prompt → 新指令生成 → 回填 Task Pool → 再次采样让任务池持续扩张。核心思想用“大比例优质种子固底 小比例新颖样本探路”同时解决生成质量与任务多样性两个问题为后续大规模 Self-Instruct 数据构造打基础3.5.2 判断是否是分类型Instruction一、判定标准是不是“有限标签分类”核心看输出是不是有限、固定、离散的标签。例如“适合 / 不适合”属于分类任务。开放式故事生成、实体补全等通常不属于分类任务。二、判定方式Few-shot 提示词Prompt 中先给几个Yes / No 示例。再把 Step 1 新生成的 Instruction 填进去。让大模型直接判断并输出Yes 或 No。三、作用决定下一步怎么生成数据Yes → Output-first先确定标签再生成对应输入减少类别不平衡。No → Input-first先生成输入再生成开放式回答。四、总结创新点 1模型“自己给自己造训练数据”核心思想非常简单Pretrained LLM ↓ 自己生成 Instruction Data ↓ 过滤 ↓ 用这些数据 Fine-tune 自己 ↓ 更会 Follow Instructions这其实是一种Bootstrapping / Self-training思想。但是与普通 self-training 不同普通 Self-training已有Task 未标注样本 ↓ Pseudo LabelSelf-Instruct连 Task 本身 都让模型生成所以它是Task-level Bootstrapping。论文也特别指出它不是针对某一个指定任务而是从头生成多种新的任务。创新点 2把数据生成拆成 Instruction 和 Instance 两个阶段不是一句 Prompt“给我生成训练数据。”然后完事。而是先生成 Task / Instruction ↓ 再理解这个任务 ↓ 生成 Input Output这种解耦非常重要。因为Task Diversity和Instance Correctness其实是两个不同的问题。3.5.3 非分类/开放式任务的实例生成一、核心思路顺向生成对于非分类任务不需要先定标签。模型直接按照自然顺序生成Instruction → Input可为空→ Output这就是Input-first / Direct Generation。二、输入可以有也可以没有如果任务本身信息已经完整可以直接生成 Output。如果任务需要材料或上下文模型会先生成Input再生成对应的Output。三、Few-shot 示例的作用Prompt 里先放几个示例告诉模型该怎么写。示例可以帮助模型学会输出格式要规范回答要简洁清晰不同任务可以对应不同的表达形式四、最后得到什么这一步会产出一个完整样本⟨Instruction, Input, Output⟩然后进入Step 4Filtering做去重和格式检查。一句话总结对于开放式任务Self-Instruct 采用“顺向生成”方式直接从指令出发生成输入可选和输出形成完整训练样本。3.5.4 分类任务的实例生成一、核心思路标签先行对于分类任务先不给模型自由生成输入。而是先指定一个Class Label再让模型生成符合这个标签的输入内容。这就是Output-first。二、Few-shot 提示词怎么起作用Prompt 里先给几个示例标签是什么 → 对应输入应该长什么样比如mixed→ 生成带有正反两面的句子Promotion→ 生成促销邮件这样模型就会学会“按标签反推输入”。三、这样做有什么价值可以让每个类别都被主动生成到。能减少模型总是偏向某一类的问题。从而缓解类别失衡Class Imbalance让数据更均衡。四、最后得到什么生成完成后会得到标准样本⟨Instruction, Input, Output⟩然后进入Step 4Filtering做去重和格式检查。一句话总结这个设计非常值得学。作者发现如果所有任务都Instruction ↓ 先生成 Input ↓ 再生成 Output对于分类任务会出现明显的Label Bias。例如判断一句话是否存在语法错误模型可能总喜欢生成语法正确的句子导致标签分布不均衡。所以作者先进行Classification Task Identification然后Classification ↓ Output-first Non-classification ↓ Input-first这是整篇论文中一个非常重要的工程创新。3.5.5 过滤与质检一、ROUGE-L 去重新指令会和Task Pool中已有指令进行比较。ROUGE-L 0.7保留≥ 0.7删除。主要作用是减少重复指令保持任务多样性。二、过滤不可执行任务删除包含image、picture、graph等内容的指令。因为纯文本模型无法真正处理图片或图表避免生成无效训练数据。三、检查逻辑一致性如果出现相同/相似 Input却对应矛盾 Output的情况需要过滤。避免标签噪声影响模型训练。四、过滤长度异常样本太短可能内容残缺、信息不足。太长可能出现重复生成或无关内容。最终只保留长度合理、格式完整的高质量样本。一句话总结Step 4 就是 Self-Instruct 的“质量守门员”通过去重、规则过滤、冲突检查和长度控制确保只有高质量、多样化的数据进入最终训练集。四、模型评估4.1、四种常见评测方式人工评测最可靠但成本最高。LLM-as-a-Judge速度快、成本低适合大规模评测。传统指标如 BLEU、ROUGE、EM适合有标准答案的任务。Benchmark / A/B Test用于综合能力和真实线上效果验证。4.1.1、核心问题机评能不能代替人评不能直接相信大模型打分需要先做一次人机一致性校准。4.1.2、四步校准闭环抽取 100 条样本 → 专家评分 S₁ → LLM 评分 S₂ → 比较相关性并修改 Judge Prompt如果人评和机评分数差距较大就继续调整 Prompt直到二者高度一致。4.1.3、最终目的校准完成后就可以把评测 Prompt 扩展到剩余的大规模测试集实现少量人工校准 大规模自动评测一句话总结先用少量人工评分把“LLM 裁判”校准好再让它替代人工完成大规模评测在成本、效率和可信度之间取得平衡。4.2 传统NLP评价指标的两大致命缺陷:字面匹配≠语义理解4.2.1、问题 1语义相同却被打低分Mike really loves drinking tea.Mike adores sipping tea.两句话意思几乎一样但词面重合较少BLEU / ROUGE 可能给低分。4.2.2、问题 2语义相反却被打高分Mike does not drink coffee.Mike does drink coffee.两句话只差一个not字面很像但意思完全相反传统指标却可能给高分。4.2.3、为什么会这样BLEU、ROUGE 主要看词和 n-gram 的重合程度。它们不真正理解同义改写、否定关系、逻辑和事实含义。所以开放式生成更适合结合BERTScore、语义相似度或 LLM-as-a-Judge。一句话总结传统 Metric 只能看“像不像”却不一定知道“对不对”因此大模型评测必须进一步关注深层语义。4.3 n-gram基础概念补充4.3.1、什么是 n-gramn-gram把一句话按连续的n个词进行切分。n1是Unigramn2是Bigramn3是Trigram。n越大对局部语序和词组搭配越敏感。4.3.2、简单例子句子The dog lay on the rug1-gramThe、dog、lay、on、the、rug2-gramThe dog、dog lay、lay on、on the、the rug3-gramThe dog lay、dog lay on……本质上就是一个滑动窗口切词的过程。4.3.3、它和 BLEU / ROUGE 有什么关系BLEU主要看预测文本和参考答案之间的 n-gram 匹配程度。ROUGE-1 / ROUGE-2分别关注 1-gram、2-gram 的重合情况。所以它们擅长判断“字面像不像”但不一定真正理解“语义对不对”。一句话总结n-gram 是传统文本评价指标的基础先把句子切成连续词片段再统计预测结果和参考答案之间有多少片段能够匹配。4.4 ROUGE-1(基于 Unigram)计算原理与示例推导4.4.1、先看词有没有匹配参考答案It is cold outside.模型输出It is very cold outside.Reference 一共4 个词Output 一共5 个词匹配词数4 个4.4.2、ROUGE-1 怎么算Recall 4 / 4 1.0看参考答案里的信息有没有被覆盖完整。Precision 4 / 5 0.8看模型生成内容里有多少是“有效匹配”的。F1 ≈ 0.89综合平衡 Precision 和 Recall。4.4.3、它的问题在哪里very虽然不影响整体语义但因为 Reference 里没有仍然会被“机械扣分”。所以 ROUGE-1 本质上还是在看词面重合度并不真正理解句子含义。一句话总结ROUGE-1 就是先做 Unigram 匹配再用Recall、Precision 和 F1衡量“覆盖多少、匹配多准、整体多平衡”。4.5 ROUGE-1的致命盲区4.5.1、事实完全错但 ROUGE-1 还是很高ReferenceIt is cold outside.GeneratedIt is not cold outside.人类一看就知道意思完全相反但 4 个词仍然匹配。4.5.2、为什么还能得到 0.89Recall 4 / 4 1.0Precision 4 / 5 0.8F1 ≈ 0.89ROUGE-1 只看到多了一个not却不知道这个词把整句话的语义翻转了。4.5.3、这说明什么ROUGE-1 本质上只是做词面重合统计。它不理解否定、逻辑和事实关系。所以大模型评测不能只依赖 BLEU / ROUGE还需要结合BERTScore、NLI 或 LLM-as-a-Judge。一句话总结一句话只多了一个not语义已经完全相反但 ROUGE-1 仍可能给出高分这正是纯字面指标最大的盲区。4.6 ROUGE-2(基于 Bigram)计算原理与实例推导:更加关注“局部语序”4.6.1、ROUGE-2 看的是相邻词对参考答案It is cold outside.模型输出It is very cold outside.Reference BigramIt is、is cold、cold outsideOutput BigramIt is、is very、very cold、cold outside最终只匹配2 个 Bigram4.6.2、ROUGE-2 怎么算Recall 2 / 3 ≈ 0.67Precision 2 / 4 0.50F1 ≈ 0.57相比 ROUGE-1 的0.89分数明显下降。4.6.3、为什么下降这么多ROUGE-2 开始考虑局部语序比 ROUGE-1 更严格。插入一个very不仅新增了词还会把原来的is cold拆开。所以它更能发现词序变化但也容易误伤正常的修饰和改写。一句话总结ROUGE-2 用 Bigram 检查“相邻两个词是否一致”比 ROUGE-1 更关注语序但也对插词和改写更加敏感。4.7 ROUGE-L(基于 LCS)-计算原理与实例推导:用最长公共子序列衡量句子结构相似度4.7.1、ROUGE-L 看什么ROUGE-L 的L指LCS最长公共子序列。它不要求词必须连续只要求前后顺序保持一致。所以它比 ROUGE-2 对中间插词更宽容。4.7.2、标准算例怎么计算ReferenceIt is cold outside.OutputIt is very cold outside.标准 LCS 是It → is → cold → outside长度为4。Recall 4 / 4 1.0Precision 4 / 5 0.8F1 ≈ 0.894.7.3、和 ROUGE-1 / ROUGE-2 有什么区别ROUGE-1看单词是否出现不管顺序。ROUGE-2看相邻两个词局部语序最严格。ROUGE-L看整句的相对顺序和骨干结构更有弹性。一句话总结ROUGE-L 就是在两句话里寻找“顺序一致的最长共同词序列”比 ROUGE-2 更能容忍插词但仍然不真正理解深层语义。4.8 字面指标的两大致命漏洞复读机作弊乱序假满分 ---- 以及截断匹配(Clipped)修正与局限4.8.1、漏洞 1复读也可能“刷高分”ReferenceIt is cold outside.Outputcold cold cold cold如果只做最朴素的词匹配4 个cold都可能被重复计数看起来 Precision 很高。4.8.2、怎么修——Clipped / Modified Precisioncold在 Reference 中只出现1 次。所以即使 Output 写了 4 次也最多只算1 次有效匹配。修正后Precision 1 / 4 0.25这样可以有效惩罚“复读机”式退化输出。4.8.3、但还有一个问题语序Outputoutside cold it is4 个词都来自 ReferenceUnigram 仍可能得到很高分。但句子语序已经完全乱掉。说明Clipping 能防重复却不能解决 Unigram 不看词序的问题。一句话总结Clipped Precision 能堵住“重复刷分”的漏洞但只要还停留在 Unigram 层面就依然看不懂语序因此还需要 Bigram、ROUGE-L 或更强的语义评测方法。4.9 GPT、Alpaca、Vicuna关系图谱:羊驼家族的“师承”与“进化”4.9.1、四者是什么关系GPT闭源强模型提供能力参考也曾被用来生成训练数据。LLaMAMeta 的基础模型是 Alpaca、Vicuna 的“底座”。Alpaca / Vicuna都是在 LLaMA 上继续做指令微调得到的对话模型。4.9.2、Alpaca 和 Vicuna 最大区别Alpaca主要用约52K 条机器合成指令数据进行 SFT更像“让 LLaMA 学会听指令”。Vicuna主要使用ShareGPT 多轮真实对话数据训练更强调自然对话和多轮交互。4.9.3、可以怎么理解可以把它看成GPT → 提供能力/数据参考LLaMA → 提供基础模型LLaMA Alpaca 数据 → AlpacaLLaMA ShareGPT 对话 → Vicuna一句话总结GPT 更像“老师”LLaMA 是“基础学生”Alpaca 和 Vicuna 则是在同一底座上、用不同教材训练出来的两种指令模型。五、总计