swift模型合并实战LoRA权重5分钟融合【免费下载链接】swiftUse PEFT or Full-parameter to CPT/SFT/DPO/GRPO 600 LLMs (Qwen3.6, DeepSeek-V4, GLM-5.1, InternLM3, Llama4, ...) and 300 MLLMs (Qwen3-VL, Qwen3-Omni, InternVL3.5, Ovis2.5, GLM4.5v, Gemma4, Llava, Phi4, ...) (AAAI 2025).项目地址: https://gitcode.com/GitHub_Trending/swift1/swiftLoRA微调跑完7B模型把adapter目录丢给vLLM加载直接报错或者线上推理多绕一层adapter开销——问题都出在同一处适配器不是完整模型。用swift模型合并就能解掉一条命令把LoRA权重融进基础模型产出独立可用的完整权重直接部署。一张图看懂合并到底在做什么合并做的事情很直接LoRA训练时基础模型参数全程冻结真正变动的只有那些低秩小矩阵。合并就是把每个目标层的增量算好写回原始权重。之后模型不再依赖任何adapter目录config.json加完整权重拿起来就能跑。5分钟跑通最小可用命令 先跑起来细节后看。最短命令就三行swift export \ --adapters output/vx-xxx/checkpoint-xxx \ # swift训练输出目录内含args.json --merge_lora true \ # 开启LoRA合并 --output_dir merged_model # 可选默认生成checkpoint-xxx-merged跑完你应该在merged_model/里看到merged_model/ ├── config.json ├── generation_config.json ├── model-00001-of-00002.safetensors ├── model-00002-of-00002.safetensors └── tokenizer.json关键在args.jsoncheckpoint是swift训练产出的里面记着--model、--template等全部训练配置export阶段自动读取你不用手动指定基础模型。环境要求一张表说清项目要求7B模型16GB显存即可单卡70B模型80GB显存A100/H100swift安装pip install -e .源码安装核心依赖torch ≥ 2.0peft ≥ 0.11实现逻辑很短想核对就看merge_lora.py示例脚本在merge_lora.sh。按场景拆解三种合并策略场景A单适配器直上生产训练验证没问题后合并一次之后所有服务都用合并后的路径。vLLM加载时不再有adapter这一层注意力外的计算开销和加载逻辑都省了。swift deploy \ --model merged_model \ --infer_backend vllm注意输出目录已存在时swift默认跳过保存不报错。想覆盖就加--exist_ok true或者换个目录名。场景B多任务适配器融合同一个基础模型分别微调了客服、代码两个任务想融合成一个模型--adapters本身接受列表按顺序逐个叠加权重。swift export \ --adapters output/kefu/checkpoint-500 \ output/code/checkpoint-800 \ --merge_lora true注意两个适配器必须来自同一个基础模型否则叠加结果不可用。效果不满意时通常调低rank重训某个任务比手工调权重更靠谱。场景C合并量化一步到位显存吃紧想直接上Int4不必先合并、再量化跑两遍。swift export同时接受合并和量化参数AWQ、GPTQ、BNB、FP8都支持。swift export \ --adapters output/vx-xxx/checkpoint-xxx \ --dataset AI-ModelScope/alpaca-gpt4-data-zh#100 \ --quant_method awq \ --quant_bits 4 \ --output_dir Qwen2.5-7B-AWQ-Int4注意AWQ/GPTQ必须给校准数据集--dataset缺了直接抛错不想找数据就选BNB或FP8无需校准。踩坑实录高频故障速查 错误现象根因解法加载基础模型OOM显存装不下完整权重70B级换80GB卡小卡可--device_map cpu换时间提示output_dir已存在目录已存在且exist_ok默认false加--exist_ok true或换新目录合并后推理效果没变化训练时LoRA目标模块没覆盖对核对args.json里的target_modules量化导出报缺数据集AWQ/GPTQ依赖校准数据补--dataset参数找不到基础模型checkpoint缺args.json自动识别失败显式补--model 基础模型路径合并出来全是乱码多个adapter基础模型不一致确保所有adapter同基座深度排查两招一是看日志里Merge LoRA...和Successfully merged两段缺哪段查哪段二是cat args.json | grep target_modules确认LoRA当年到底加在哪些模块上。从合并到上线交付检查清单 文件完整性config.json、safetensors分片、tokenizer文件齐全推理一致性抽10条prompt合并前后各跑一遍swift infer输出应一致延迟基线7B模型合并后经vLLM推理P99延迟通常下降约20%吞吐提升15%左右版本标记目录名带上版本如model-v1.0-merged备份策略原始adapter与基础模型都保留随时可重合并喜欢图形界面也可以用swift web-ui的LLM导出页签完成导出。整条链路串起来就是收尾swift模型合并把LoRA到可部署模型这一步压成了一条命令。去仓库跑一次merge今晚就能上服务。【免费下载链接】swiftUse PEFT or Full-parameter to CPT/SFT/DPO/GRPO 600 LLMs (Qwen3.6, DeepSeek-V4, GLM-5.1, InternLM3, Llama4, ...) and 300 MLLMs (Qwen3-VL, Qwen3-Omni, InternVL3.5, Ovis2.5, GLM4.5v, Gemma4, Llava, Phi4, ...) (AAAI 2025).项目地址: https://gitcode.com/GitHub_Trending/swift1/swift创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
swift模型合并实战LoRA权重5分钟融合【免费下载链接】swiftUse PEFT or Full-parameter to CPT/SFT/DPO/GRPO 600 LLMs (Qwen3.6, DeepSeek-V4, GLM-5.1, InternLM3, Llama4, ...) and 300 MLLMs (Qwen3-VL, Qwen3-Omni, InternVL3.5, Ovis2.5, GLM4.5v, Gemma4, Llava, Phi4, ...) (AAAI 2025).项目地址: https://gitcode.com/GitHub_Trending/swift1/swiftLoRA微调跑完7B模型把adapter目录丢给vLLM加载直接报错或者线上推理多绕一层adapter开销——问题都出在同一处适配器不是完整模型。用swift模型合并就能解掉一条命令把LoRA权重融进基础模型产出独立可用的完整权重直接部署。一张图看懂合并到底在做什么合并做的事情很直接LoRA训练时基础模型参数全程冻结真正变动的只有那些低秩小矩阵。合并就是把每个目标层的增量算好写回原始权重。之后模型不再依赖任何adapter目录config.json加完整权重拿起来就能跑。5分钟跑通最小可用命令 先跑起来细节后看。最短命令就三行swift export \ --adapters output/vx-xxx/checkpoint-xxx \ # swift训练输出目录内含args.json --merge_lora true \ # 开启LoRA合并 --output_dir merged_model # 可选默认生成checkpoint-xxx-merged跑完你应该在merged_model/里看到merged_model/ ├── config.json ├── generation_config.json ├── model-00001-of-00002.safetensors ├── model-00002-of-00002.safetensors └── tokenizer.json关键在args.jsoncheckpoint是swift训练产出的里面记着--model、--template等全部训练配置export阶段自动读取你不用手动指定基础模型。环境要求一张表说清项目要求7B模型16GB显存即可单卡70B模型80GB显存A100/H100swift安装pip install -e .源码安装核心依赖torch ≥ 2.0peft ≥ 0.11实现逻辑很短想核对就看merge_lora.py示例脚本在merge_lora.sh。按场景拆解三种合并策略场景A单适配器直上生产训练验证没问题后合并一次之后所有服务都用合并后的路径。vLLM加载时不再有adapter这一层注意力外的计算开销和加载逻辑都省了。swift deploy \ --model merged_model \ --infer_backend vllm注意输出目录已存在时swift默认跳过保存不报错。想覆盖就加--exist_ok true或者换个目录名。场景B多任务适配器融合同一个基础模型分别微调了客服、代码两个任务想融合成一个模型--adapters本身接受列表按顺序逐个叠加权重。swift export \ --adapters output/kefu/checkpoint-500 \ output/code/checkpoint-800 \ --merge_lora true注意两个适配器必须来自同一个基础模型否则叠加结果不可用。效果不满意时通常调低rank重训某个任务比手工调权重更靠谱。场景C合并量化一步到位显存吃紧想直接上Int4不必先合并、再量化跑两遍。swift export同时接受合并和量化参数AWQ、GPTQ、BNB、FP8都支持。swift export \ --adapters output/vx-xxx/checkpoint-xxx \ --dataset AI-ModelScope/alpaca-gpt4-data-zh#100 \ --quant_method awq \ --quant_bits 4 \ --output_dir Qwen2.5-7B-AWQ-Int4注意AWQ/GPTQ必须给校准数据集--dataset缺了直接抛错不想找数据就选BNB或FP8无需校准。踩坑实录高频故障速查 错误现象根因解法加载基础模型OOM显存装不下完整权重70B级换80GB卡小卡可--device_map cpu换时间提示output_dir已存在目录已存在且exist_ok默认false加--exist_ok true或换新目录合并后推理效果没变化训练时LoRA目标模块没覆盖对核对args.json里的target_modules量化导出报缺数据集AWQ/GPTQ依赖校准数据补--dataset参数找不到基础模型checkpoint缺args.json自动识别失败显式补--model 基础模型路径合并出来全是乱码多个adapter基础模型不一致确保所有adapter同基座深度排查两招一是看日志里Merge LoRA...和Successfully merged两段缺哪段查哪段二是cat args.json | grep target_modules确认LoRA当年到底加在哪些模块上。从合并到上线交付检查清单 文件完整性config.json、safetensors分片、tokenizer文件齐全推理一致性抽10条prompt合并前后各跑一遍swift infer输出应一致延迟基线7B模型合并后经vLLM推理P99延迟通常下降约20%吞吐提升15%左右版本标记目录名带上版本如model-v1.0-merged备份策略原始adapter与基础模型都保留随时可重合并喜欢图形界面也可以用swift web-ui的LLM导出页签完成导出。整条链路串起来就是收尾swift模型合并把LoRA到可部署模型这一步压成了一条命令。去仓库跑一次merge今晚就能上服务。【免费下载链接】swiftUse PEFT or Full-parameter to CPT/SFT/DPO/GRPO 600 LLMs (Qwen3.6, DeepSeek-V4, GLM-5.1, InternLM3, Llama4, ...) and 300 MLLMs (Qwen3-VL, Qwen3-Omni, InternVL3.5, Ovis2.5, GLM4.5v, Gemma4, Llava, Phi4, ...) (AAAI 2025).项目地址: https://gitcode.com/GitHub_Trending/swift1/swift创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
