基于 SWIFT(魔搭社区)训练 DeepSeek 模型完整代码示例:从 config.toml 骨架到推理验证

发布时间:2026/11/23 0:48:10

基于 SWIFT(魔搭社区)训练 DeepSeek 模型完整代码示例:从 config.toml 骨架到推理验证 1. 为什么我建议你用 SWIFT 微调 DeepSeek如果你手上有一张 24G 显存的卡想给 DeepSeek 系列模型喂一点自己的业务数据让它回答问题时更贴合你的场景那么 ms-swift魔搭社区出品的训练框架是目前门槛比较低的一条路。它把模型加载、LoRA 注入、数据对齐、训练循环、权重保存这些环节都封装成了命令行参数你不需要自己写 Trainer也不需要手写 collator一个swift sft命令就能跑起来。这篇内容聚焦的是工程落地先给你一份可以直接复制的config.toml训练配置骨架再讲数据集怎么注册、训练怎么启动、权重存到哪、最后怎么用推理命令验证效果。整套流程我在单卡 4090 上跑通过一次最小可用训练数据量不大但链路是完整的。你跟着走一遍就能理解 SWIFT 微调 DeepSeek 的每个环节在干什么后面换成自己的数据也只是改路径和字段。适合谁看做过一点 Python、装过 PyTorch、知道 LoRA 是什么但没实际跑过微调的人或者跑过别的框架但想换到 SWIFT 的人。不适合完全没碰过命令行的纯小白因为中间涉及环境变量和路径配置。2. 前置准备环境、模型与 TaoToken 接入2.1 安装 ms-swift 和依赖SWIFT 的安装本身不复杂但版本要对齐。我实测下来Python 3.10 torch 2.1 以上比较稳。先建一个干净的环境conda create -n swift_ds python3.10 -y conda activate swift_ds pip install ms-swift -U pip install modelscope torch transformers datasets如果你要用 4-bit 量化加载来省显存再加一个pip install bitsandbytes装完之后用swift --help验证一下能打印出子命令列表就说明装好了。SWIFT 的命令行入口有swift sft、swift infer、swift export等我们主要用前两个。2.2 模型下载与 TaoToken 的作用DeepSeek 的权重在魔搭社区上有镜像直接指定模型 ID 就会自动拉取。但训练过程中你可能会遇到需要调用外部模型做数据清洗、或者训练完想对比一下基座模型和微调模型的输出差异这时候如果本地没有部署大参数模型可以走 API 的方式。TaoToken 在这里的角色是提供一个统一的模型调用入口你可以在它的控制台里创建 API Key然后用兼容 OpenAI 的接口去请求模型对话。官网地址是 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content API 端点是 https://taotoken.net/api 。注意 API 地址后面不加 UTM 参数直接写就行。具体来说训练前你可以用它快速验证数据格式对不对——把一条样本拼成 prompt 发给模型看返回是否符合预期训练后可以用它做 A/B 对比。创建 Key 的入口在控制台的 API Keys 页面https://taotoken.net/console/api-keys?utm_sourcetaotoken_aicg_blog_endutm_contentapi_keysutm_campaignrewrite 。如果你只是想先试试模型对话效果不写代码可以直接用模型对话页面https://taotoken.net/models?utm_sourcetaotoken_aicg_blog_endutm_contentmodelsutm_campaignrewrite 。注意TaoToken 是模型调用入口不是训练框架训练本身还是在本地或云端用 SWIFT 完成。两者配合使用一个负责训练一个负责推理验证和对比。3. 可复制的 config.toml 训练配置骨架SWIFT 支持两种启动方式纯命令行参数或者用config.toml文件。后者更适合工程落地因为参数多了以后命令行会很长配置文件方便版本管理和复用。下面这份骨架你可以直接存成ds_lora_sft.toml。3.1 完整配置文件片段# ds_lora_sft.toml # DeepSeek LoRA 微调配置骨架 [model] model_type deepseek-r1-7b-chat # 如果用本地权重改成 model_id_or_path /your/path/to/model model_id_or_path deepseek-ai/DeepSeek-R1-Distill-Qwen-7B torch_dtype bfloat16 load_in_4bit false # 显存紧张时改 true [train] output_dir ./output/deepseek_lora per_device_train_batch_size 2 gradient_accumulation_steps 8 learning_rate 2e-5 num_train_epochs 3 lr_scheduler_type cosine warmup_ratio 0.05 logging_steps 10 save_steps 100 save_total_limit 2 fp16 false bf16 true gradient_checkpointing true max_length 2048 report_to [tensorboard] [lora] lora_rank 8 lora_alpha 32 lora_dropout 0.1 target_modules [q_proj, k_proj, v_proj, o_proj] [dataset] dataset [/root/data/my_sft_data.jsonl] dataset_sample 2000 split_dataset_ratio 0.05几个参数我解释一下。model_type要和 SWIFT 内置的模型注册名对上DeepSeek-R1-Distill-Qwen-7B 是蒸馏版7B 参数在 24G 卡上 LoRA 微调比较舒服。load_in_4bit打开后显存能压到 12G 以下但训练速度会慢一些精度也有轻微损失看你取舍。target_modules我列了 q/k/v/o 四个投影层比只调 q/v 效果更稳代价是参数量翻倍但 LoRA 本身参数量小影响不大。split_dataset_ratio 0.05表示从数据里切 5% 做验证集训练过程中会打印 eval loss方便你判断有没有过拟合。3.2 数据集注册方式SWIFT 的数据集有两种来源内置数据集和本地文件。本地文件用 JSONL 格式每行一个样本。它支持两种字段结构你选一种就行。单轮指令格式{instruction: 你是一个电商客服助手, input: 这件衣服能退货吗, output: 可以的签收后7天内支持无理由退货请保持吊牌完整。} {instruction: 你是一个电商客服助手, input: 发货要多久, output: 一般48小时内发出偏远地区可能延迟1到2天。}多轮对话格式{conversations: [{from: human, value: 帮我写一个Python函数计算斐波那契数列}, {from: gpt, value: def fib(n):\n a, b 0, 1\n for _ in range(n):\n a, b b, ab\n return a}]}我建议用多轮格式因为 DeepSeek 的 chat 模板对 conversations 字段处理得更自然。文件存成my_sft_data.jsonl路径写进 config 的dataset数组里。如果你有多个文件都塞进数组SWIFT 会自动合并。注意JSONL 每行必须是合法 JSON不能有尾逗号不能跨行。写完用python -c import json;[json.loads(l) for l in open(my_sft_data.jsonl)]检查一遍能跑通不报错就说明格式没问题。4. 启动训练与权重保存4.1 用配置文件启动SWIFT 的命令行支持直接读 tomlswift sft --config ds_lora_sft.toml如果你不想用配置文件等价的命令行是swift sft \ --model_type deepseek-r1-7b-chat \ --model_id_or_path deepseek-ai/DeepSeek-R1-Distill-Qwen-7B \ --dataset /root/data/my_sft_data.jsonl \ --dataset_sample 2000 \ --split_dataset_ratio 0.05 \ --output_dir ./output/deepseek_lora \ --per_device_train_batch_size 2 \ --gradient_accumulation_steps 8 \ --learning_rate 2e-5 \ --num_train_epochs 3 \ --lora_rank 8 \ --lora_alpha 32 \ --target_modules q_proj k_proj v_proj o_proj \ --bf16 true \ --gradient_checkpointing true \ --max_length 2048启动后你会看到日志里打印数据集样本数、训练步数、显存占用。第一次跑会先下载模型权重7B 的 bf16 大概 15G 左右下载时间看你网络。下载完开始训练每 10 步打印一次 loss。4.2 权重保存位置与结构训练结束后LoRA 权重默认存在output_dir下的checkpoint-xxx文件夹里同时最后一步会额外存一份到output_dir/vx-xxx/checkpoint-xxx。你需要的其实就两个文件adapter_model.safetensors和adapter_config.json。这两个文件加起来通常几十兆因为 LoRA 只存了低秩矩阵。如果你想合并成完整权重方便部署用 export 命令swift export \ --adapters ./output/deepseek_lora/v0-xxx/checkpoint-xxx \ --merge_lora true \ --output_dir ./merged_model合并后的merged_model就是一个标准的 HuggingFace 模型目录可以直接用 transformers 加载。4.3 训练过程观察我实测下来2000 条样本、batch size 等效 16、3 个 epoch在 4090 上大概跑 40 分钟左右。loss 从 1.8 左右降到 0.9 附近eval loss 没有明显反弹说明没有严重过拟合。如果你的 loss 一直不降先检查数据格式是不是被正确解析了——SWIFT 会在日志里打印第一条样本的 tokenize 结果你看一眼 input_ids 长度是不是合理。5. 推理验证确认微调真的生效训练完不验证等于白跑。SWIFT 自带 infer 命令可以直接加载 LoRA 权重做生成。5.1 用 swift infer 验证swift infer \ --adapters ./output/deepseek_lora/v0-xxx/checkpoint-xxx \ --model_type deepseek-r1-7b-chat \ --model_id_or_path deepseek-ai/DeepSeek-R1-Distill-Qwen-7B \ --max_new_tokens 256 \ --temperature 0.7进入交互模式后输入你训练数据里类似的问题看输出风格有没有变化。比如你训练的是电商客服数据就问「退货要多久」如果回答里出现了你数据里的那种话术说明 LoRA 生效了。5.2 用 TaoToken 做基座对比想更客观地看差异可以把同一个问题分别发给微调后的模型和基座模型。基座模型如果本地没部署可以走 TaoToken 的模型对话接口。在模型对话页面 https://taotoken.net/models?utm_sourcetaotoken_aicg_blog_endutm_contentmodelsutm_campaignrewrite 里选一个 DeepSeek 系列模型输入同样的问题把两个回答并排看。微调后的模型应该更贴近你的业务话术基座模型则更通用。如果你要写脚本批量对比用 API 方式import requests url https://taotoken.net/api/v1/chat/completions headers { Authorization: Bearer YOUR_API_KEY, Content-Type: application/json } data { model: deepseek-chat, messages: [{role: user, content: 退货要多久}], temperature: 0.7 } resp requests.post(url, headersheaders, jsondata) print(resp.json()[choices][0][message][content])API Key 在 https://taotoken.net/console/api-keys?utm_sourcetaotoken_aicg_blog_endutm_contentapi_keysutm_campaignrewrite 创建。注意 API 端点后面不加 UTM直接写https://taotoken.net/api/v1/chat/completions。5.3 成功结果长什么样一次成功的验证应该满足三点第一模型能正常加载不报错第二输入训练领域内的问题输出符合预期话术第三输入领域外的问题模型不会胡言乱语说明没有灾难性遗忘。如果第三点不满足说明学习率太高或者 epoch 太多把 LoRA 权重覆盖太狠了降低学习率重跑。6. 本篇常见错排查6.1 报错KeyError: deepseek-r1-7b-chat这是 model_type 没对上 SWIFT 的注册表。SWIFT 每个版本支持的模型列表会变你先跑swift sft --help看有没有--model_type的说明或者直接不写 model_type只写model_id_or_path让 SWIFT 自己推断。如果还不行去 SWIFT 的 GitHub 看swift/llm/model/constant.py里的 MODEL_MAPPING找到 DeepSeek 对应的 key。6.2 显存 OOM按这个顺序降先把per_device_train_batch_size降到 1再把gradient_accumulation_steps提到 16然后开load_in_4bit true最后开gradient_checkpointing true。四个都开了还 OOM说明 7B 模型对你显卡确实太大换 1.5B 的蒸馏版先跑通流程。6.3 数据集加载后样本数为 0SWIFT 对字段名有要求。单轮格式必须同时有instruction、input、output三个字段缺一个就可能被过滤掉。多轮格式必须是conversations字段里面每个元素有from和value。检查你的 JSONL 是不是用了question、answer这种自定义字段名改成标准字段名即可。6.4 训练 loss 为 nan通常是 bf16 和某些显卡不兼容或者学习率太高。先把bf16关掉换fp16 true如果还 nan把学习率降到 1e-5。另外检查数据里有没有空字符串的 output空标签会导致 loss 计算异常。6.5 推理时输出重复或截断max_new_tokens设太小会截断设太大可能重复。先设 256 试如果重复把temperature从 0.7 降到 0.3或者加repetition_penalty 1.1。SWIFT 的 infer 命令支持这些参数直接加在命令行后面。7. 下一步把训练接进你的工作流跑通一次最小训练之后你可以做三件事让它真正有用。第一把数据量从 2000 提到 1 万以上LoRA 的效果会明显更稳但注意 eval loss过拟合就早停。第二把target_modules扩展到gate_proj、up_proj、down_proj覆盖 MLP 层效果通常比只调注意力层好代价是显存多占一点。第三训练完的 LoRA 权重可以用swift export合并然后用 vLLM 或 transformers 部署成服务对外提供接口。如果你后面要做更复杂的编码任务或者 Agent 场景需要模型长时间稳定调用可以了解一下 Coding Plan 相关的接入方式https://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_contentcoding_planutm_campaignrewrite 。它适合那种需要持续对话、多轮工具调用的场景和单次微调是互补的。接入文档在 https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_contentdocutm_campaignrewrite 里面有完整的接口说明和参数列表遇到请求格式问题可以先翻这里。最后提醒一句微调不是万能药。如果你的任务只是让模型输出格式更规范用 prompt 工程可能就够了只有当你有大量领域数据、且通用模型确实答不好时微调才值得投入。先跑通这篇的流程再判断要不要上生产。
延伸阅读

更多相关文章

2026/11/21 3:09:16

AI绘图实战:豆包“吃骂”原理与三条调教铁律

实话讲,我以前对AI绘图工具是有点“敬而远之”的,总觉得提示词像玄学,写得再花哨,出来的图也常常离题万里。直到我认真用了一阵子豆包的绘图功能,才发现问题不在它身上,往往在我自己,尤其是我的…

2026/11/21 7:23:24

STM32实验室消防预警系统:烟雾温度三级响应开源实战

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/11/23 0:47:27

特种操作电工证价格多少钱?中小施工企业负责人避坑全攻略

特种操作电工证价格多少钱?中小施工企业负责人避坑全攻略 你是不是也这样, 不知道去哪报名怕被中介坑 ,看到网上五花八门的“特种操作电工证价格”,价格从几百到几千不等,真假难辨?作为一名在河南安阳从事施工企业管理多年的负责人,我太懂这种焦虑了…

2026/11/23 0:47:27

电工证算几级技能类别在哪考才能快速上岗

电工证算几级技能类别在哪考才能快速上岗 你还在为找不到工作发愁吗?别人都说 电工证算几级技能类别 ,这证在手里才是真正的“通行证”。现在找工作,很多岗位都明确写着“持证上岗”,特别是建筑、制造业、电力安装等行业,没有电工证根本进不了门。如果…

2026/11/23 0:47:26

特种工证电话证丢了怎么补办

低压电工证报名指南:学历不高怕报不上名?保姆级教程来了 学历不高怕报不上名?特种工证电话找不到靠谱渠道?很多人以为只有高学历的人才能考特种作业操作证,其实不然。我曾经在信阳建筑工地上干了5年,就靠着一张低压电工证,从普通工人做到了班组长。现…

2026/11/22 0:09:40

高压电工证还能年审吗良心建议来了,学历不高也能考!

高压电工证还能年审吗良心建议来了,学历不高也能考! 你是不是也担心,自己学历不高,根本报不上高压电工证?其实不然,现在政策已经非常明确, 高压电工证还能年审 ,而且只要符合条件, 学历不是门槛 , 良心建议…

2026/11/22 0:09:40

吴江的电工证免费培训怎么报名?官方报名入口全解析

吴江的电工证免费培训怎么报名?官方报名入口全解析 你急需特种作业证才能上岗找工作,但不知道从哪里下手?别急,现在就给你讲明白【吴江的电工证免费培训】到底怎么操作,以及怎么通过 官方报名入口…

2026/11/23 0:26:19

电工证复审肃州区的真实经历:别被中介坑了,自己搞定更靠谱

电工证复审肃州区的真实经历:别被中介坑了,自己搞定更靠谱 不知道去哪报名怕被中介坑?这几乎是每个需要办理或复审电工证的人的真实经历。尤其在肃州区,信息不透明、流程复杂、中介收费高又不靠谱,让很多电工从业者感到头疼。作为一个在应急管理和特种作…

2026/11/23 0:01:38

南宁哪里可以学电工证值不值得考?怕被中介坑?看这篇就够了

南宁哪里可以学电工证值不值得考?怕被中介坑?看这篇就够了 不知道去哪报名怕被中介坑?南宁哪里可以学电工证值不值得考?这是很多想考电工证的朋友最关心的问题。现实中,不少人在选择培训机构时被各种五花八门的广告信息搞得晕头转向,甚至被坑了钱还没拿…

2026/11/23 0:01:38

建设局特种工证怎么查全国通用的复审流程

建设局特种工证怎么查全国通用的复审流程 证书过期了不知道怎么复审延期,这是很多特种作业从业者常遇到的问题。尤其是在洛阳涧西区从事水利工程工作的你,特种作业操作证不仅是上岗的“通行证”,更是保障安全作业的法律底线。如果操作证过期了,不仅影响工…

2026/11/23 0:01:38

电工证跨考政策值不值得考?学历不高也能考的真相

电工证跨考政策值不值得考?学历不高也能考的真相 你是不是也觉得学历不够,报电工证怕被拒?别急,国家安全生产考试网明文规定, 电工证跨考政策 对学历门槛没有硬性限制,只要你年满18岁,身体健康,能通过实操考试,就能报考。关键是, 值不值得考…

2026/11/22 9:39:14

面向复杂光照与角度的宠物面部识别鲁棒性增强策略

在智慧养宠时代,基于视觉的宠物身份识别技术正逐步从实验室走向家庭应用。然而,与配合度高的人类不同,宠物是典型的“非合作生物识别对象”——它们不会主动配合摄像头调整姿态,更无法控制光照环境。实际应用中,我们常…

2026/11/22 5:39:03

SSM电子书店源码全解析:结构、原理、部署与排错实战

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

还想了解更多?直接咨询顾问

免费诊断 + 免费方案 + 透明报价。

全国咨询热线400-8866-253
免费获取方案
☎咨询二维码 ☎ ↑