解密prompt系列27. LLM对齐经验之如何降低通用能力损失

前言前面我们已经聊过众多指令微调的方案这一章我们重点讨论下如何注入某一类任务或能力的同时尽可能不损失模型原有的通用指令理解能力。因为在下游或垂直领域应用中我们设计的推理任务风格或形式往往很难通过prompt来稳定实现。这种情况下就会依赖微调来注入稳定的推理风格但同时在部分场景下我们又需要模型微调前的通用指令理解能力。虽然理论上说有得必有失但成年人真的不想做选择这里我们讨论两种方案来尽可能降低通用能力的损失一种数据方案一种训练方案。Two Stage Finetune - ProMoTPreserving In-Context Learning ability in Large Language Model Fine-tuningTWO-STAGE LLM FINE-TUNING WITH LESS SPECIALIZATION AND MORE GENERALIZATION先说训练方案论文先是分析了模型在微调过程中能力损失的一个主要原因是Format Specialization也就是模型过拟合了微调任务的输出格式。举几个例子下游是二分类任务的微调之后即便丢掉分类任务的指令模型的输出还是True/False损失了对话和其他指令理解能力下游是摘要任务的微调之后即便丢掉TL;DL的总结指令你让模型翻译模型还是给你总结。这个在当前推出的一些长文本无敌的基座模型上可能会看到他们后期的指令微调中指令分布都比较偏向于长文本的QA和总结其他能力会略弱通过微调让模型学习拒绝回答的你会发现你的模型可能在很多不该拒绝的场景也拒绝你其实核心就是我们本想让模型学习条件生成能力也就是在分类指令时分类摘要指令下摘要该拒绝的场景下再拒绝。但论文通过分析发现在传统微调任务中模型是先无脑拟合输出格式例如二分类的True/False拒绝里的对不起在微调后期才开始学习input和ouput之间的关系(Semantic Relation)例如何时该分类何时该拒绝。那能否把下游任务的Task Format先行注入到额外的参数中之后把这部分信息喂给模型让大模型微调直接学习Semantic Relation这样在稳定注入新的Format的前提下尽可能不影响其他input的推理格式。论文提出了两阶段微调第一阶段也使用了谷歌提出的Prompt Tuning用来学习Format第二阶段再进行全量微调。如下第一阶段Prompt Tuning简单说就是冻结大模型只微调Embedding层的一组虚拟Token这一组虚拟Token学习的就是下游推理任务Format的任务表征。这里可以反过来思考之前有论文提出任务指令(prompt)其实可以压缩成一个Task Vector的任务表征用来引导模型给出不同的推理输出那反过来我们想让模型学习一种推理风格/任务其实就是构建该Format对应的Task Vector以及Task Vector对应的任务指令的过程。只不过prompt tunning的prompt使用的是虚拟Token。第二阶段Fine-tuning默认在输入层Embedding前拼接Prompt Embeddingb并冻结这部分Embedding然后全量微调大模型, 让模型在已知输出格式的前提下学习Input和Output格式之间的Semantic联系。之前有些疑惑这里为何要冻结prompt后来又想了想应该是为了避免模型再把Task Format相关信息更新到模型内部参数中但感觉不冻结的方式也值得测试下。几个值得聊聊的细节第一阶段微调能否用Lora从Prompt实际学习的是推理格式的任务表征这个逻辑原理来说其实Adapter类的微调方案似乎并不合理。论文测试后也发现Lora的效果并不好能否把两个阶段合二为一既加上一个虚拟Prompt同时微调模型和prompt论文测试后发现效果和SFT相差不多都会有过拟合。毕竟这种微调方式无法引导模型把格式学到Prompt Embedding上。效果上论文在mT5模型上对比了SFTPrompt-Tuning和ProMoT在下游微调任务和微调任务之外其他通用任务的能力对比。发现ProMoTe可以在分类翻译NLIQA等任务微调上对比全量微调都有更好的效果。同时以分类任务为例在分类任务上进行微调后在QA等其他任务上相比基座模型能力也没有显著下降作为对照组的SFT会有显著的通用能力的下降。Dual-Stage Mixed Finetuning - DMTHow Abilities in Large Language Models are Affected by Supervised Fine-tuning Data CompositionScaling Relationship on Learning Mathematical Reasoning with Large Language ModelsDMT的论文主要探究了不同领域数据混合以及混合训练策略对模型在多领域能力的影响。1. 单领域Scaling curve要想设计更合理的多领域混合训练策略首先要确认不同领域样本模型学习的scaling curve。这个问题之前已经有很多论文讨论过这里简单回顾下如下图所示数学和代码等领域能力会随样本量上升而持续提升,并且模型规模越大scaling curve越单调且陡峭。这一点和我们的测试效果相似数学和代码样本你就可劲加加一点模型好一点更多细节看上面Scaling的论文。通用指令能力基本在1K1/256的样本的样本上效果就很好了后续能力提升会比较慢并且在不同规模的模型上差异相对有限。2. 多领域混合Scaling curve明确单一领域的scling curve之后我们来看多领域的数据混合这里会分别讨论数据混合中的两个要点整体量级和混合比例整体量级和以上单领域实验相同的5种不同采样比例直接对三个领域的数据进行混合和上面的单领域实验结果进行对比。观察下图会发现在低资源上领域混合会有提升但在更大的样本量级上单领域微调效果会略好一个可能的解释是在小量级样本上会有彼此的能力迁移而当单领域信息逐步提升后信息冲突会逐渐显现混合比例为了进一步探究以上全样本混合训练中出现的信息冲突的来源作者进一步做了控制变量的实验。固定一个领域math和code合成一个领域的样本量改变另一个领域的样本量看不同比例数据混合的影响。主要结论有主领域样本还是越多越好当领域样本差异(输出格式/输入分布较大时通用领域数据对特殊领域影响有限当样本存在相似性时混合会带来冲突但冲突和数据比例没有显著单调性3. 训练策略影响论文实验了不同训练策略的影响包括多领域联合训练有序训练Code-Math-General)以及先训练MathCode再训练general的有序混合训练。这几种策略之前也有很多论文做过测试这里简单说下结论多领域联合训练会更多学到特殊领域Mathcode更多损伤通用能力。这块可以更多借用ProMoT的逻辑因为特殊领域输出风格一致模型更容易学到而通用领域输出风格更多样些有序训练和有序混合训练只要是先训练领域能力再训练通用能力因为灾难遗忘的原因最终模型会把先学到的领域能力遗忘在以上三种训练方案的基础上论文提出了两阶段混合训练DMT如下第一阶段是领域数据的训练按照单领域scaling curve这一部分的数据量越大效果越好所以使用全量级的数学和代码进行训练。第二阶段用于恢复通用能力同时尽量避免有序训练带来的灾难遗忘。这里使用了上面多领域混合的insight领域数据的混合比例对通用能力影响较小同时低资源混合带来的冲突较小。因为论文使用了1/256的领域数据和通用数据进行混合进行第二阶段的训练。在尽量避免第一阶段模型学到的能力丢失的基础上帮助模型恢复通用能力。效果上在LLaMA7B13B和33B的模型上DMT的训练方案能在保留单领域训练绝大多数领域能力的基础上保证模型通用能力不受损失甚至略微有所提升。如果想要保留更多的领域能力允许更多的通用能力损失则可以适当提高第二阶段的领域数据占比具体要数据集上case by case的测试。最后感谢你们的阅读和喜欢我收藏了很多技术干货可以共享给喜欢我文章的朋友们如果你肯花时间沉下心去学习它们一定能帮到你。因为这个行业不同于其他行业知识体系实在是过于庞大知识更新也非常快。作为一个普通人无法全部学完所以我们在提升技术的时候首先需要明确一个目标然后制定好完整的计划同时找到好的学习方法这样才能更快的提升自己。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】一、全套AGI大模型学习路线AI大模型时代的学习之旅从基础到前沿掌握人工智能的核心技能二、640套AI大模型报告合集这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示。三、AI大模型经典PDF籍随着人工智能技术的飞速发展AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型如GPT-3、BERT、XLNet等以其强大的语言理解和生成能力正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。四、AI大模型商业化落地方案五、面试资料我们学习AI大模型必然是想找到高薪的工作下面这些面试题都是总结当前最新、最热、最高频的面试题并且每道题都有详细的答案面试前刷完这套面试题资料小小offer不在话下。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】