【免费下载链接】Spark-X2.6-4B-FP8项目地址https://ai.gitcode.com/SparkLLM/Spark-X2.6-4B-FP8点击查看免费下载Spark-X2.6-4B 是 XHToken 发布的 4B 级别端侧通用大模型本仓库提供其 FP8 量化推理权重与全套模型文件。本文将带你使用 Llama-Factory 完成 Spark-X2.6-4B 微调的全流程环境配置、自定义指令数据集制作、训练参数调优到模型导出让你快速上手 Llama-Factory 微调实战。 仓库文件速览在开始之前先了解一下本仓库的核心文件微调过程中你大概率会用到它们文件作用model.safetensorsFP8 量化模型权重用于推理不可直接训练config.json模型结构配置36 层、hidden_size: 2560、词表 131072、支持 1M 上下文chat_template.jinja对话模板默认开启 thinking 思考模式enable_thinking默认为truetokenizer.json / vocab.json / merges.txt分词器三件套generation_config.json推荐推理参数temperature: 1.0、top_p: 0.95、do_sample: truemodeling_spark.py / configuration_spark.py自定义架构代码Spark2_5ForCausalLM加载时需trust_remote_codeTrue⚠️重要提示本仓库是FP8 量化版quant_method: compressed-tensors注意力和 MLP 投影层已量化为 8-bit 浮点。它适合部署推理微调训练请使用 BF16 精度的 Spark-X2.6-4B 原版权重否则会出现精度异常甚至训练失败。️ 微调流程总览先看一张图理解 Spark-X2.6-4B 的后训练管线SFT监督微调是整个后训练的第一阶段而你要用 Llama-Factory 做的事情正是独立复现这一阶段。微调实战的完整路径环境配置安装 CUDA PyTorch Llama-Factory制作数据集把业务需求整理成 Alpaca 格式指令数据配置训练编写 YAML 启动 LoRA / QLoRA 微调导出部署合并权重并按官方参数完成推理验证️ 环境配置最快配置方法硬件要求参考4B 参数量的模型非常友好以下是不同微调方式的显存需求参考微调方式建议显存适用显卡QLoRA4-bit12–16 GBRTX 4080 / 4090LoRABF16 底模24 GBRTX 4090全参数微调BF1680 GB 以上A100 / H100 新手建议直接选QLoRA一张 4090 就能跑效果与 LoRA 差距很小。一键安装步骤安装支持 CUDA 的 PyTorch以 Python 3.10 为例然后拉取 Llama-Factory# 安装 PyTorch按你的 CUDA 版本选择 pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124 # 拉取 Llama-Factory 并安装依赖 git clone https://gitcode.com/SparkLLM/Spark-X2.6-4B-FP8 # 模型仓库 git clone https://gitcode.com/hiyouga/LlamaFactory cd LlamaFactory pip install -e .[torch,metrics]安装完成后确认环境正常python -c import torch; print(torch.__version__, torch.cuda.is_available()) llamafactory-cli version看到 CUDA 版本号和True即表示环境配置成功。 自定义指令数据集从0到1制作Llama-Factory 微调的核心输入是指令数据集。推荐最简单的 Alpaca 四字段格式每条样本包含字段说明system系统提示可指定模型角色instruction用户指令input附加输入可为空字符串output期望的标准回答一个自定义指令数据集my_dataset.json示例[ { system: 你是一位专业的智能客服。, instruction: 用户购买了设备后7天内不发货如何回复, input: , output: 您好非常抱歉给您带来不便。根据平台规则订单应在承诺时效内发货。建议您先与卖家沟通催办若仍未发货可申请平台介入处理。 }, { system: 你是一位专业的智能客服。, instruction: 如何查询订单物流信息, input: 订单号SPARK20261022, output: 您好已为您查询订单 SPARK20261022商品已于10月20日发出当前已到达合肥转运中心预计2天内送达。 } ]在 Llama-Factory 中注册数据集打开 Llama-Factory 的data/dataset_info.json加入你的数据集声明my_dataset: { file_name: my_dataset.json, formatting: alpaca, columns: { system: system, instruction: instruction, input: input, output: output } }数据质量建议起步 500–2000 条高质量样本即可见效output字段要写得像标准答案——指令清晰、格式规范、风格统一这是微调效果好坏的决定性因素。保留思考能力的小技巧Spark-X2.6-4B 默认开启 thinking见 chat_template.jinja如果你的业务需要模型先思考再回答可以在output中加入think.../think推理过程微调后模型会延续这一风格。⚙️ 编写训练配置LoRA微调YAML模板在 Llama-Factory 目录下新建spark_x26_lora.yaml### 模型 model_name_or_path: /path/to/Spark-X2.6-4B-BF16 # 务必使用BF16版权重 trust_remote_code: true # 自定义架构必须开启 enable_thinking: true ### 数据集 dataset: my_dataset template: default # 自动加载模型目录中的chat_template.jinja cutoff_len: 4096 overwrite_cache: true ### 训练方式QLoRA12GB显存可用显存充足可改quantization_bit为null并用LoRA stage: sft do_train: true finetuning_type: lora lora_target: all lora_rank: 16 lora_alpha: 32 quantization_bit: 4 ### 超参数 per_device_train_batch_size: 1 gradient_accumulation_steps: 8 lr_scheduler_type: cosine warmup_ratio: 0.1 num_train_epochs: 3.0 learning_rate: 1.0e-4 bf16: true gradient_checkpointing: true ### 输出 output_dir: saves/spark-x26/lora logging_steps: 10 save_steps: 200 plot_loss: true关键参数速查表参数推荐值作用lora_rank8–32LoRA 秩越大拟合能力越强lora_alpha2× rank缩放系数经验上取 rank 的 2 倍learning_rate1e-4LoRA 常用量级全参微调应降到 1e-5num_train_epochs2–4小数据集 3 轮左右警惕过拟合cutoff_len2048–8192单条样本最大长度显存杀手quantization_bit: 44QLoRA 关键开关省显存翻倍启动训练# 单卡训练 llamafactory-cli train spark_x26_lora.yaml # 多卡训练例如2卡 NPROC_PER_NODE2 llamafactory-cli train spark_x26_lora.yaml训练正常时控制台 loss 应平稳下降。训练结束后saves/spark-x26/lora目录下会生成 LoRA 权重adapter_model.safetensors。 合并导出与推理验证训练完成后有两种使用方式方式一不合并直接用 Adapter 推理适合持续迭代多个实验# 推理/预测时指定 adapter_name_or_path: saves/spark-x26/lora方式二合并权重导出完整模型适合最终部署# 用 Llama-Factory 的 export 功能将 LoRA 合并回底模 llamafactory-cli export # 在配置中将 do_train 改为 falsemerge_lora: true合并后即可像普通模型一样部署。官方推荐推理参数来自 generation_config.json参数推荐值temperature1.0top_p0.95top_k0关闭do_sampletrue验证示例Transformers 方式from transformers import AutoModelForCausalLM, AutoTokenizer model_id /path/to/merged/Spark-X2.6-4B # 合并后的微调模型 tokenizer AutoTokenizer.from_pretrained(model_id) model AutoModelForCausalLM.from_pretrained( model_id, trust_remote_codeTrue, torch_dtypeauto, device_mapauto ) messages [{role: user, content: 用户购买设备7天内不发货如何回复}] inputs tokenizer.apply_chat_template( messages, tokenizeTrue, add_generation_promptTrue, enable_thinkingTrue, return_dictTrue, return_tensorspt, ).to(model.device) outputs model.generate(**inputs, max_new_tokens1024, do_sampleTrue, temperature1.0, top_p0.95) print(tokenizer.decode(outputs[0][inputs[input_ids].shape[-1]:], skip_special_tokensTrue))如果模型回答风格明显贴近你的业务场景微调就成功了 ✅。部署侧同样支持 SGLang、vLLM、Ollama、LM Studio 等主流推理框架只需把模型路径换成你的合并产物即可。❓ 常见问题排查1. 为什么不能用本仓库的 FP8 权重训练本仓库 config.json 中的quantization_config表明权重已压缩为 8-bit 浮点反传梯度时会产生不可控的量化误差。请使用 BF16 原版底模训练FP8 版本留作训练前的能力基线来对比效果。2. 训练中出现 OOM显存不足怎么办按顺序尝试① 减小cutoff_len如 8192 → 2048② 开启quantization_bit: 4③ 调小per_device_train_batch_size并加大gradient_accumulation_steps④ 确认gradient_checkpointing: true已开启。3. loss 不降或突然飙升通常是学习率过大或数据有脏样本。将learning_rate降到 5e-5增加warmup_ratio到 0.1–0.2并抽查output为空或格式混乱的样本。4. 微调后模型不输出思考内容或回答跑偏确认训练与推理使用了同一份对话模板模型目录内的 chat_template.jinja同时检查数据集system字段是否与期望角色一致。 总结环境PyTorch Llama-Factory 一条命令装好4090 即可 QLoRA 微调数据Alpaca 四字段格式 dataset_info.json注册质量大于数量训练LoRArank 16、lr 1e-4、3 epochs是 4B 模型微调的黄金起点部署合并 LoRA 后按官方参数temperature1.0、top_p0.95推理验证Spark-X2.6-4B 的混合注意力架构sliding full attention 交替见 config.json 的layer_types与 1M 上下文能力让它在微调后依然保有长文档处理优势——现在用你的业务指令数据集把它调教成专属模型吧赞分享【免费下载链接】Spark-X2.6-4B-FP8项目地址https://ai.gitcode.com/SparkLLM/Spark-X2.6-4B-FP8点击查看免费下载相关推荐如何微调Spark-X2.6-4BLlama-Factory端到端实战教程如何微调Spark X2.6 4BLlama Factory端到端实战教程 Spark X2.6 4B 是面向端侧部署的 4B 级通用语言模型支持 100人工智能大模型模型量化本地部署混元4B微调实战基于LLaMA-Factory的指令微调教程混元4B微调实战基于LLaMA Factory的指令微调教程 本文详细介绍了混元4B大模型基于LLaMA Factory框架进行指令微调的完整流程。内容涵盖数人工智能大模型深度学习NLP微调你的专属行业模型LLaMA-Factory微调Spark-X2.5-4B-INT8实战教程微调你的专属行业模型LLaMA Factory微调Spark X2.5 4B INT8实战教程 想用 LLaMA Factory 微调 Spark X2.5上一篇calendar.vim的朱利安历与格里高利历历史日历系统的完整实现下一篇WALDO项目结构解析从V7-base到playground的代码组织创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
【免费下载链接】Spark-X2.6-4B-FP8项目地址https://ai.gitcode.com/SparkLLM/Spark-X2.6-4B-FP8点击查看免费下载Spark-X2.6-4B 是 XHToken 发布的 4B 级别端侧通用大模型本仓库提供其 FP8 量化推理权重与全套模型文件。本文将带你使用 Llama-Factory 完成 Spark-X2.6-4B 微调的全流程环境配置、自定义指令数据集制作、训练参数调优到模型导出让你快速上手 Llama-Factory 微调实战。 仓库文件速览在开始之前先了解一下本仓库的核心文件微调过程中你大概率会用到它们文件作用model.safetensorsFP8 量化模型权重用于推理不可直接训练config.json模型结构配置36 层、hidden_size: 2560、词表 131072、支持 1M 上下文chat_template.jinja对话模板默认开启 thinking 思考模式enable_thinking默认为truetokenizer.json / vocab.json / merges.txt分词器三件套generation_config.json推荐推理参数temperature: 1.0、top_p: 0.95、do_sample: truemodeling_spark.py / configuration_spark.py自定义架构代码Spark2_5ForCausalLM加载时需trust_remote_codeTrue⚠️重要提示本仓库是FP8 量化版quant_method: compressed-tensors注意力和 MLP 投影层已量化为 8-bit 浮点。它适合部署推理微调训练请使用 BF16 精度的 Spark-X2.6-4B 原版权重否则会出现精度异常甚至训练失败。️ 微调流程总览先看一张图理解 Spark-X2.6-4B 的后训练管线SFT监督微调是整个后训练的第一阶段而你要用 Llama-Factory 做的事情正是独立复现这一阶段。微调实战的完整路径环境配置安装 CUDA PyTorch Llama-Factory制作数据集把业务需求整理成 Alpaca 格式指令数据配置训练编写 YAML 启动 LoRA / QLoRA 微调导出部署合并权重并按官方参数完成推理验证️ 环境配置最快配置方法硬件要求参考4B 参数量的模型非常友好以下是不同微调方式的显存需求参考微调方式建议显存适用显卡QLoRA4-bit12–16 GBRTX 4080 / 4090LoRABF16 底模24 GBRTX 4090全参数微调BF1680 GB 以上A100 / H100 新手建议直接选QLoRA一张 4090 就能跑效果与 LoRA 差距很小。一键安装步骤安装支持 CUDA 的 PyTorch以 Python 3.10 为例然后拉取 Llama-Factory# 安装 PyTorch按你的 CUDA 版本选择 pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124 # 拉取 Llama-Factory 并安装依赖 git clone https://gitcode.com/SparkLLM/Spark-X2.6-4B-FP8 # 模型仓库 git clone https://gitcode.com/hiyouga/LlamaFactory cd LlamaFactory pip install -e .[torch,metrics]安装完成后确认环境正常python -c import torch; print(torch.__version__, torch.cuda.is_available()) llamafactory-cli version看到 CUDA 版本号和True即表示环境配置成功。 自定义指令数据集从0到1制作Llama-Factory 微调的核心输入是指令数据集。推荐最简单的 Alpaca 四字段格式每条样本包含字段说明system系统提示可指定模型角色instruction用户指令input附加输入可为空字符串output期望的标准回答一个自定义指令数据集my_dataset.json示例[ { system: 你是一位专业的智能客服。, instruction: 用户购买了设备后7天内不发货如何回复, input: , output: 您好非常抱歉给您带来不便。根据平台规则订单应在承诺时效内发货。建议您先与卖家沟通催办若仍未发货可申请平台介入处理。 }, { system: 你是一位专业的智能客服。, instruction: 如何查询订单物流信息, input: 订单号SPARK20261022, output: 您好已为您查询订单 SPARK20261022商品已于10月20日发出当前已到达合肥转运中心预计2天内送达。 } ]在 Llama-Factory 中注册数据集打开 Llama-Factory 的data/dataset_info.json加入你的数据集声明my_dataset: { file_name: my_dataset.json, formatting: alpaca, columns: { system: system, instruction: instruction, input: input, output: output } }数据质量建议起步 500–2000 条高质量样本即可见效output字段要写得像标准答案——指令清晰、格式规范、风格统一这是微调效果好坏的决定性因素。保留思考能力的小技巧Spark-X2.6-4B 默认开启 thinking见 chat_template.jinja如果你的业务需要模型先思考再回答可以在output中加入think.../think推理过程微调后模型会延续这一风格。⚙️ 编写训练配置LoRA微调YAML模板在 Llama-Factory 目录下新建spark_x26_lora.yaml### 模型 model_name_or_path: /path/to/Spark-X2.6-4B-BF16 # 务必使用BF16版权重 trust_remote_code: true # 自定义架构必须开启 enable_thinking: true ### 数据集 dataset: my_dataset template: default # 自动加载模型目录中的chat_template.jinja cutoff_len: 4096 overwrite_cache: true ### 训练方式QLoRA12GB显存可用显存充足可改quantization_bit为null并用LoRA stage: sft do_train: true finetuning_type: lora lora_target: all lora_rank: 16 lora_alpha: 32 quantization_bit: 4 ### 超参数 per_device_train_batch_size: 1 gradient_accumulation_steps: 8 lr_scheduler_type: cosine warmup_ratio: 0.1 num_train_epochs: 3.0 learning_rate: 1.0e-4 bf16: true gradient_checkpointing: true ### 输出 output_dir: saves/spark-x26/lora logging_steps: 10 save_steps: 200 plot_loss: true关键参数速查表参数推荐值作用lora_rank8–32LoRA 秩越大拟合能力越强lora_alpha2× rank缩放系数经验上取 rank 的 2 倍learning_rate1e-4LoRA 常用量级全参微调应降到 1e-5num_train_epochs2–4小数据集 3 轮左右警惕过拟合cutoff_len2048–8192单条样本最大长度显存杀手quantization_bit: 44QLoRA 关键开关省显存翻倍启动训练# 单卡训练 llamafactory-cli train spark_x26_lora.yaml # 多卡训练例如2卡 NPROC_PER_NODE2 llamafactory-cli train spark_x26_lora.yaml训练正常时控制台 loss 应平稳下降。训练结束后saves/spark-x26/lora目录下会生成 LoRA 权重adapter_model.safetensors。 合并导出与推理验证训练完成后有两种使用方式方式一不合并直接用 Adapter 推理适合持续迭代多个实验# 推理/预测时指定 adapter_name_or_path: saves/spark-x26/lora方式二合并权重导出完整模型适合最终部署# 用 Llama-Factory 的 export 功能将 LoRA 合并回底模 llamafactory-cli export # 在配置中将 do_train 改为 falsemerge_lora: true合并后即可像普通模型一样部署。官方推荐推理参数来自 generation_config.json参数推荐值temperature1.0top_p0.95top_k0关闭do_sampletrue验证示例Transformers 方式from transformers import AutoModelForCausalLM, AutoTokenizer model_id /path/to/merged/Spark-X2.6-4B # 合并后的微调模型 tokenizer AutoTokenizer.from_pretrained(model_id) model AutoModelForCausalLM.from_pretrained( model_id, trust_remote_codeTrue, torch_dtypeauto, device_mapauto ) messages [{role: user, content: 用户购买设备7天内不发货如何回复}] inputs tokenizer.apply_chat_template( messages, tokenizeTrue, add_generation_promptTrue, enable_thinkingTrue, return_dictTrue, return_tensorspt, ).to(model.device) outputs model.generate(**inputs, max_new_tokens1024, do_sampleTrue, temperature1.0, top_p0.95) print(tokenizer.decode(outputs[0][inputs[input_ids].shape[-1]:], skip_special_tokensTrue))如果模型回答风格明显贴近你的业务场景微调就成功了 ✅。部署侧同样支持 SGLang、vLLM、Ollama、LM Studio 等主流推理框架只需把模型路径换成你的合并产物即可。❓ 常见问题排查1. 为什么不能用本仓库的 FP8 权重训练本仓库 config.json 中的quantization_config表明权重已压缩为 8-bit 浮点反传梯度时会产生不可控的量化误差。请使用 BF16 原版底模训练FP8 版本留作训练前的能力基线来对比效果。2. 训练中出现 OOM显存不足怎么办按顺序尝试① 减小cutoff_len如 8192 → 2048② 开启quantization_bit: 4③ 调小per_device_train_batch_size并加大gradient_accumulation_steps④ 确认gradient_checkpointing: true已开启。3. loss 不降或突然飙升通常是学习率过大或数据有脏样本。将learning_rate降到 5e-5增加warmup_ratio到 0.1–0.2并抽查output为空或格式混乱的样本。4. 微调后模型不输出思考内容或回答跑偏确认训练与推理使用了同一份对话模板模型目录内的 chat_template.jinja同时检查数据集system字段是否与期望角色一致。 总结环境PyTorch Llama-Factory 一条命令装好4090 即可 QLoRA 微调数据Alpaca 四字段格式 dataset_info.json注册质量大于数量训练LoRArank 16、lr 1e-4、3 epochs是 4B 模型微调的黄金起点部署合并 LoRA 后按官方参数temperature1.0、top_p0.95推理验证Spark-X2.6-4B 的混合注意力架构sliding full attention 交替见 config.json 的layer_types与 1M 上下文能力让它在微调后依然保有长文档处理优势——现在用你的业务指令数据集把它调教成专属模型吧赞分享【免费下载链接】Spark-X2.6-4B-FP8项目地址https://ai.gitcode.com/SparkLLM/Spark-X2.6-4B-FP8点击查看免费下载相关推荐如何微调Spark-X2.6-4BLlama-Factory端到端实战教程如何微调Spark X2.6 4BLlama Factory端到端实战教程 Spark X2.6 4B 是面向端侧部署的 4B 级通用语言模型支持 100人工智能大模型模型量化本地部署混元4B微调实战基于LLaMA-Factory的指令微调教程混元4B微调实战基于LLaMA Factory的指令微调教程 本文详细介绍了混元4B大模型基于LLaMA Factory框架进行指令微调的完整流程。内容涵盖数人工智能大模型深度学习NLP微调你的专属行业模型LLaMA-Factory微调Spark-X2.5-4B-INT8实战教程微调你的专属行业模型LLaMA Factory微调Spark X2.5 4B INT8实战教程 想用 LLaMA Factory 微调 Spark X2.5上一篇calendar.vim的朱利安历与格里高利历历史日历系统的完整实现下一篇WALDO项目结构解析从V7-base到playground的代码组织创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
