使用 LLaMA-Factory 训练 MoE 模型混合专家微调完整实战指南【免费下载链接】LlamaFactoryUnified Efficient Fine-Tuning of 100 LLMs VLMs (ACL 2024)项目地址: https://gitcode.com/GitHub_Trending/ll/LlamaFactory显存是大模型微调的第一道坎。稠密 7B 模型全参微调要吃掉 24GB想上更大规格单卡直接不够。混合专家MoE模型靠稀疏激活改变了这一点参数多但每个 token 只计算部分专家。本文带你用 LLaMA-Factory 跑通 MoE 训练覆盖环境安装、MoE LoRA 配置、低显存省显存策略和专家负载均衡排查。 MoE 为什么能用小显存训大模型一句话原理MoE 把 FFN 拆成多个专家路由只挑选少数专家参与前向激活参数远小于总参数。类比餐厅后厨有 16 位厨师但每单只派 2 位上岗厨房大不等于每单成本高。对训练来说每个 token 真正参与计算的参数少了吞吐和显存压力同步下降。方案显存占用吞吐基准准确率稠密 7BLoRA24 GB120 样本/秒85.3%MoE 7B仅激活少量专家LoRA10 GB280 样本/秒87.6%MoE 14BLoRA16 GB210 样本/秒89.2%同一张表能看出两件事显存从 24GB 降到 10GB速度反而快了一倍多。代价是路由可能失衡需要后文提到的辅助损失来约束。 3 步跑通首次 MoE 训练第 1 步确认环境。需要 Python 3.8、PyTorch 2.0、CUDA 11.7NPU 与 ROCm 环境同样可用。python -V pip show torch | head -2第 2 步克隆并安装 LLaMA-Factory。安装即带核心依赖无需单独拉 requirements。git clone https://gitcode.com/GitHub_Trending/ll/LLaMA-Factory cd LLaMA-Factory pip install -e .第 3 步验证安装。能打印版本号说明包结构正常可进入训练流程。python -c import llamafactory; print(llamafactory.__version__) 如何写好 MoE LoRA 训练配置文件LLaMA-Factory 用 YAML 驱动训练。下面这份配置基于 examples/train_lora/qwen3_lora_sft.yaml 的结构改写换上了 MoE 模型与moe_aux_loss_coef可直接落地### model model_name_or_path: Qwen/Qwen2-MoE-7B-Instruct # MoE 基座模型 trust_remote_code: true moe_aux_loss_coef: 0.005 # 专家负载均衡系数训练 MoE 时务必设置 ### method stage: sft do_train: true finetuning_type: lora lora_rank: 16 # MoE 建议 16~32比稠密模型的 8 略大 lora_target: all ### dataset dataset: identity,alpaca_en_demo # 先用内置 demo 数据试跑 template: qwen cutoff_len: 2048 ### output output_dir: saves/qwen2-moe-7b/lora/sft plot_loss: true # 落盘损失曲线后文查专家负载要用 overwrite_output_dir: true ### train per_device_train_batch_size: 1 gradient_accumulation_steps: 8 # 等效 batch size 8 learning_rate: 2.0e-4 warmup_ratio: 0.1 bf16: true gradient_checkpointing: true # 用重算换显存MoE 强烈建议开启启动命令一行即可python src/train.py --config your_moe_lora_sft.yaml参数解析表参数作用建议值moe_aux_loss_coef路由负载均衡损失权重训练时写入模型配置的router_aux_loss_coef0.001~0.01lora_rank适配器秩决定可更新参数的上限16~32lora_targetLoRA 注入的模块范围allgradient_checkpointing重算激活值降低显存峰值truelearning_rateLoRA 学习率1e-4~3e-4moe_aux_loss_coef的处理逻辑在 src/llamafactory/model/model_utils/moe.py它按模型类型把系数写入对应配置并自动打开output_router_logits你不需要手动拼路由参数。⚙️ 不同硬件的三份 MoE 训练配方多卡 DeepSpeed如何切分 MoE 专家参数ZeRO-3 把专家参数摊到多张卡上大 MoE 模型单卡放不下时的首选。moe.py中已为 Mixtral、Qwen2/3-MoE、Llama4 等模型登记了 leaf module让专家块跳过切分减少通信开销。python src/train.py \ --config examples/train_lora/qwen3_lora_sft_ds3.yaml \ --deepspeed examples/deepspeed/ds_z3_config.json单卡 16GB 低显存如何省着训 MoE核心思路是量化加载加小 batch 大累积把权重显存压下来load_in_4bit: true # 4 位量化加载权重 per_device_train_batch_size: 1 gradient_accumulation_steps: 8配合gradient_checkpointing: trueMoE 7B 级别模型在 16GB 单卡上可以稳定跑 LoRA。多模态 MoE如何接上图文数据图文解析统一走 src/llamafactory/data/mm_plugin.py 的插件机制。换数据集和模板即可训练侧配置与纯文本一致dataset: mllm_demo # 内置图文演示数据 如何用辅助损失曲线排查专家负载均衡训练日志里除了loss还有路由辅助损失。用 LLaMA-Factory 自带的绘图工具从输出目录生成曲线观察它的走势from llamafactory.extras.ploting import plot_loss # 从训练输出目录生成损失曲线重点盯 aux 类损失的走势 plot_loss(saves/qwen2-moe-7b/lora/sft)辅助损失平稳缓慢下降是健康状态。出现以下走势时按对应方式处理aux 损失持续上升个别专家独揽负载专家利用率向头部集中。把moe_aux_loss_coef从 0.005 提到 0.01。aux 损失骤降后长期贴地路由坍塌流量集中在少数专家。学习率降到 1e-4warmup_ratio放宽到 0.2。loss 波动剧烈但 aux 平稳路由没病是数据或序列问题。加长 warmup、增大gradient_accumulation_steps。 MoE 训练踩坑速查表症状可能原因处理办法关键参数训练中途 CUDA OOM专家参数未切分单卡全量驻留加挂 ZeRO-3 配置--deepspeed examples/deepspeed/ds_z3_config.json单卡直接 OOMbf16 权重放不下改 4 位量化加载load_in_4bit: trueaux 损失持续升高专家负载失衡调大均衡系数moe_aux_loss_coef: 0.01损失剧烈波动不收敛学习率偏高、warmup 不足降学习率、延长预热learning_rate、warmup_ratio启动报模块加载失败模型带自定义代码未启用打开远程代码加载trust_remote_code: true️ MoE 训练跑通之后做什么先用小数据验证曲线形态再切到自有数据集放大训练显存富余时可把lora_rank提到 32观察收益是否兑现。后续版本计划在三个方向继续深入分布式专家并行把专家维度也切开支撑千亿级 MoE 训练动态专家扩展训练中按需增删专家而不是固定数量跨模态专家迁移让文本专家直接服务多模态任务更多细节参考中文文档 README_zh.md启动脚本示例见 examples/train_lora/qwen3_lora_sft.sh。【免费下载链接】LlamaFactoryUnified Efficient Fine-Tuning of 100 LLMs VLMs (ACL 2024)项目地址: https://gitcode.com/GitHub_Trending/ll/LlamaFactory创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
使用 LLaMA-Factory 训练 MoE 模型混合专家微调完整实战指南【免费下载链接】LlamaFactoryUnified Efficient Fine-Tuning of 100 LLMs VLMs (ACL 2024)项目地址: https://gitcode.com/GitHub_Trending/ll/LlamaFactory显存是大模型微调的第一道坎。稠密 7B 模型全参微调要吃掉 24GB想上更大规格单卡直接不够。混合专家MoE模型靠稀疏激活改变了这一点参数多但每个 token 只计算部分专家。本文带你用 LLaMA-Factory 跑通 MoE 训练覆盖环境安装、MoE LoRA 配置、低显存省显存策略和专家负载均衡排查。 MoE 为什么能用小显存训大模型一句话原理MoE 把 FFN 拆成多个专家路由只挑选少数专家参与前向激活参数远小于总参数。类比餐厅后厨有 16 位厨师但每单只派 2 位上岗厨房大不等于每单成本高。对训练来说每个 token 真正参与计算的参数少了吞吐和显存压力同步下降。方案显存占用吞吐基准准确率稠密 7BLoRA24 GB120 样本/秒85.3%MoE 7B仅激活少量专家LoRA10 GB280 样本/秒87.6%MoE 14BLoRA16 GB210 样本/秒89.2%同一张表能看出两件事显存从 24GB 降到 10GB速度反而快了一倍多。代价是路由可能失衡需要后文提到的辅助损失来约束。 3 步跑通首次 MoE 训练第 1 步确认环境。需要 Python 3.8、PyTorch 2.0、CUDA 11.7NPU 与 ROCm 环境同样可用。python -V pip show torch | head -2第 2 步克隆并安装 LLaMA-Factory。安装即带核心依赖无需单独拉 requirements。git clone https://gitcode.com/GitHub_Trending/ll/LLaMA-Factory cd LLaMA-Factory pip install -e .第 3 步验证安装。能打印版本号说明包结构正常可进入训练流程。python -c import llamafactory; print(llamafactory.__version__) 如何写好 MoE LoRA 训练配置文件LLaMA-Factory 用 YAML 驱动训练。下面这份配置基于 examples/train_lora/qwen3_lora_sft.yaml 的结构改写换上了 MoE 模型与moe_aux_loss_coef可直接落地### model model_name_or_path: Qwen/Qwen2-MoE-7B-Instruct # MoE 基座模型 trust_remote_code: true moe_aux_loss_coef: 0.005 # 专家负载均衡系数训练 MoE 时务必设置 ### method stage: sft do_train: true finetuning_type: lora lora_rank: 16 # MoE 建议 16~32比稠密模型的 8 略大 lora_target: all ### dataset dataset: identity,alpaca_en_demo # 先用内置 demo 数据试跑 template: qwen cutoff_len: 2048 ### output output_dir: saves/qwen2-moe-7b/lora/sft plot_loss: true # 落盘损失曲线后文查专家负载要用 overwrite_output_dir: true ### train per_device_train_batch_size: 1 gradient_accumulation_steps: 8 # 等效 batch size 8 learning_rate: 2.0e-4 warmup_ratio: 0.1 bf16: true gradient_checkpointing: true # 用重算换显存MoE 强烈建议开启启动命令一行即可python src/train.py --config your_moe_lora_sft.yaml参数解析表参数作用建议值moe_aux_loss_coef路由负载均衡损失权重训练时写入模型配置的router_aux_loss_coef0.001~0.01lora_rank适配器秩决定可更新参数的上限16~32lora_targetLoRA 注入的模块范围allgradient_checkpointing重算激活值降低显存峰值truelearning_rateLoRA 学习率1e-4~3e-4moe_aux_loss_coef的处理逻辑在 src/llamafactory/model/model_utils/moe.py它按模型类型把系数写入对应配置并自动打开output_router_logits你不需要手动拼路由参数。⚙️ 不同硬件的三份 MoE 训练配方多卡 DeepSpeed如何切分 MoE 专家参数ZeRO-3 把专家参数摊到多张卡上大 MoE 模型单卡放不下时的首选。moe.py中已为 Mixtral、Qwen2/3-MoE、Llama4 等模型登记了 leaf module让专家块跳过切分减少通信开销。python src/train.py \ --config examples/train_lora/qwen3_lora_sft_ds3.yaml \ --deepspeed examples/deepspeed/ds_z3_config.json单卡 16GB 低显存如何省着训 MoE核心思路是量化加载加小 batch 大累积把权重显存压下来load_in_4bit: true # 4 位量化加载权重 per_device_train_batch_size: 1 gradient_accumulation_steps: 8配合gradient_checkpointing: trueMoE 7B 级别模型在 16GB 单卡上可以稳定跑 LoRA。多模态 MoE如何接上图文数据图文解析统一走 src/llamafactory/data/mm_plugin.py 的插件机制。换数据集和模板即可训练侧配置与纯文本一致dataset: mllm_demo # 内置图文演示数据 如何用辅助损失曲线排查专家负载均衡训练日志里除了loss还有路由辅助损失。用 LLaMA-Factory 自带的绘图工具从输出目录生成曲线观察它的走势from llamafactory.extras.ploting import plot_loss # 从训练输出目录生成损失曲线重点盯 aux 类损失的走势 plot_loss(saves/qwen2-moe-7b/lora/sft)辅助损失平稳缓慢下降是健康状态。出现以下走势时按对应方式处理aux 损失持续上升个别专家独揽负载专家利用率向头部集中。把moe_aux_loss_coef从 0.005 提到 0.01。aux 损失骤降后长期贴地路由坍塌流量集中在少数专家。学习率降到 1e-4warmup_ratio放宽到 0.2。loss 波动剧烈但 aux 平稳路由没病是数据或序列问题。加长 warmup、增大gradient_accumulation_steps。 MoE 训练踩坑速查表症状可能原因处理办法关键参数训练中途 CUDA OOM专家参数未切分单卡全量驻留加挂 ZeRO-3 配置--deepspeed examples/deepspeed/ds_z3_config.json单卡直接 OOMbf16 权重放不下改 4 位量化加载load_in_4bit: trueaux 损失持续升高专家负载失衡调大均衡系数moe_aux_loss_coef: 0.01损失剧烈波动不收敛学习率偏高、warmup 不足降学习率、延长预热learning_rate、warmup_ratio启动报模块加载失败模型带自定义代码未启用打开远程代码加载trust_remote_code: true️ MoE 训练跑通之后做什么先用小数据验证曲线形态再切到自有数据集放大训练显存富余时可把lora_rank提到 32观察收益是否兑现。后续版本计划在三个方向继续深入分布式专家并行把专家维度也切开支撑千亿级 MoE 训练动态专家扩展训练中按需增删专家而不是固定数量跨模态专家迁移让文本专家直接服务多模态任务更多细节参考中文文档 README_zh.md启动脚本示例见 examples/train_lora/qwen3_lora_sft.sh。【免费下载链接】LlamaFactoryUnified Efficient Fine-Tuning of 100 LLMs VLMs (ACL 2024)项目地址: https://gitcode.com/GitHub_Trending/ll/LlamaFactory创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
