从立项到开源这个项目整整花了我两个月时间累计消耗的 Token 数超过了 100 亿。期间经历过数据质量不过关重来、训练中 loss 异常、评测结果不理想等多轮反复。这篇文章不打算只讲“我开源了一个模型”这样一个结果而是把这套完整流程整理成一份可复用的实战笔记为什么明明有开源底座模型还要自己烧 Token 做微调100 亿 Token 到底花在哪里数据工程、训练脚本、评测与开源发布过程中有哪些关键决策和坑点。如果你正准备训练一个领域模型或者计划把一个微调项目开源那么本文适合你。文章会涉及大模型微调的基本概念、LoRA/QLoRA 训练思路、数据清洗脚本、训练脚本、评测思路以及开源发布注意事项代码都可以直接参考或修改后使用。1. 背景为什么一个开源项目会“烧掉 100 亿 Token”1.1 Token 到底是什么在大模型领域Token 是模型处理文本的最小单位。它可以是一个汉字的一部分、一个完整汉字、一段英文单词或者一个代码符号。不同模型使用不同的分词器所以同一个句子在不同模型下消耗的 Token 数量并不相同。举例来说一句“请帮我总结一下这段文档的核心内容”在中文场景下可能被切成若干个中文 Token。大模型的输入输出都按 Token 计费或计算资源消耗。所谓“烧掉 100 亿 Token”指的是训练数据构建、模型推理、评测验证三个环节合计处理和生成的 Token 总量。1.2 100 亿 Token 花在哪里很多第一次接触模型训练的同学会以为Token 主要花在模型训练上。实际从项目复盘看开销分布大致如下数据清洗与过滤阶段需要先对原始语料做一遍推理判断数据质量这个环节会消耗一定 Token指令数据构建阶段把原始文本转换为问答对或指令对有时需要借助已有模型辅助生成这是 Token 消耗的大头训练阶段模型前向传播和反向传播都会处理大量 Token按训练轮次翻倍评测阶段每次生成结果都会消耗 Token如果多次迭代评测累积量相当可观试错成本。超参数不合适、数据集有噪声可能整个epoch白跑Token 就“烧”掉了。1.3 这个项目解决了什么问题项目本身并不是从头训练一个全新大模型而是基于开源底座模型构造高质量领域指令数据通过微调让模型具备特定场景的应答能力。这么做的好处是不需要承担从头预训练的 GPU 集群成本可以复用底座模型的通用语言能力和世界知识通过领域数据的二次训练让模型输出风格、知识范围更贴近目标场景数据规模和训练流程可控适合小团队或独立开发者复现。从最终结果看微调后的模型在领域测试集上的表现显著优于底座模型尤其是格式规范性和术语准确性方面提升明显。2. 项目定位与技术选型2.1 项目定位领域指令微调模型项目目标不是做一个“什么都能聊”的通用助手而是在一个特定领域内做到比底座模型更专业、更稳定。比如让模型按固定格式输出结构化的结果、正确使用领域术语、不编造不存在的概念。在这种定位下数据比模型结构更重要。底座模型负责语言理解微调数据负责“教会”模型任务规范和输出格式。2.2 为什么不从零预训练从零预训练一个大模型通常需要数千亿 Token 和成百上千张 GPU。对于个人开发者或小团队来说既不现实也没有必要。更主流的方式是选择合适的开源底座模型 → 构造领域指令数据 → LoRA / QLoRA 参数高效微调 → 评测对比 → 合并权重并开源这种方式用几百张甚至几张消费级显卡就可以完成Token 消耗也控制在可接受范围内。2.3 技术选型清单组件本文示例选型选择理由底座模型开源中文对话模型如 Qwen / ChatGLM 系列同级别模型中文能力强社区资料多微调框架transformers peft生态成熟代码可读性好量化方式4bit 量化QLoRA显著降低显存占用训练脚本Python PyTorch便于自定义数据加载和评测逻辑数据格式JSONL每行一个对话样本易于清洗、统计、断点续训评测方式规则评分 人工抽检自动化与人工结合结果可信开源平台GitHub 模型托管平台便于分发权重和模型卡具体版本需要根据你的项目实际情况调整本文示例以常见环境为例重点演示配置思路。3. 环境准备与项目结构3.1 软硬件环境训练环境的硬件配置直接决定能否跑起来。本文示例使用的是单机多卡环境显存 24GB 的显卡在 QLoRA 4bit 下可以完成 7B 级别模型的微调。软件环境方面推荐使用 Python 3.10 及以上版本PyTorch 版本与 CUDA 版本要匹配。以下环境参数仅供参考操作系统Ubuntu 22.04 LTS GPUNVIDIA 24GB 及以上显存显卡 CUDA11.8 或 12.1 Python3.10 PyTorch2.x transformers4.x peft0.x datasets2.x如果使用国产显卡或特定云平台需要提前确认算子兼容性。3.2 项目目录结构一个清晰的目录结构能帮助后续调试和开源维护。本文项目的目录设计如下llm-finetune-project/ ├── data/ │ ├── raw/ # 原始采集语料 │ ├── cleaned/ # 清洗后的数据 │ └── final/ # 最终训练数据 JSONL ├── scripts/ │ ├── clean_data.py # 数据清洗脚本 │ ├── build_instruction.py # 指令数据构造脚本 │ ├── train_lora.py # LoRA 训练脚本 │ ├── eval_model.py # 评测脚本 │ └── merge_lora.py # 权重合并脚本 ├── configs/ │ └── train_config.yaml # 训练参数 ├── output/ │ ├── lora_checkpoint/ # LoRA 权重 │ └── merged_model/ # 合并后的模型 ├── README.md └── requirements.txt3.3 依赖安装新建requirements.txttorch transformers peft datasets accelerate bitsandbytes sentencepiece huggingface_hub pandas jieba tqdm安装命令pip install -r requirements.txt安装时需要注意bitsandbytes在不同 CUDA 版本下可能有兼容性问题如果报错请根据实际 CUDA 版本选择对应的 wheel 包。4. 数据工程100 亿 Token 真正的消耗点4.1 数据来源与清洗训练数据的质量直接决定微调效果。原始语料通常包含大量 HTML 标签、重复文本、广告信息和格式混乱的内容。下面是一个简单的清洗脚本核心作用包括去除 HTML 标签去除不可见字符去除重复段落过滤超短文本统一标点符号。# 文件路径scripts/clean_data.py import re import json from tqdm import tqdm def clean_text(text: str) - str: # 去除 HTML 标签 text re.sub(r[^], , text) # 去除 URL text re.sub(rhttp\S, , text) # 去除多余空白 text re.sub(r\s, , text) # 去除特殊控制字符 text re.sub(r[\x00-\x08\x0b\x0c\x0e-\x1f], , text) # 去除重复的标点 text re.sub(r([。])\1, r\1, text) return text.strip() def is_valid(text: str, min_len: int 10) - bool: if len(text) min_len: return False # 过滤掉广告类关键词 ad_keywords [点击领取, 加微信, 扫码关注, 限时优惠] for kw in ad_keywords: if kw in text: return False return True def clean_file(src_path: str, dst_path: str) - None: with open(src_path, r, encodingutf-8) as fin, \ open(dst_path, w, encodingutf-8) as fout: for line in tqdm(fin, desccleaning): line line.strip() if not line: continue obj json.loads(line) text obj.get(text, ) cleaned clean_text(text) if is_valid(cleaned): obj[text] cleaned fout.write(json.dumps(obj, ensure_asciiFalse) \n) if __name__ __main__: clean_file(data/raw/raw.jsonl, data/cleaned/cleaned.jsonl)这一步做下来原始语料通常会减少 30% 到 50%。被过滤掉的噪声看似可惜但留在训练集里只会浪费 Token还会让模型学到不稳定的输出模式。4.2 构造指令对话数据清洗后的纯文本还不能直接用于指令微调。需要把文本组织成“指令 输入 输出”或“用户 助手”的结构。如果你的场景需要模型扮演特定角色可以在 system 字段中加入角色设定。示例数据格式如下{ system: 你是一名专业的技术文档撰写助手回答必须简洁、准确、使用中文。, conversations: [ { role: user, content: 什么是 LoRA它在模型微调中有什么作用 }, { role: assistant, content: LoRA 是一种参数高效微调方法。它通过冻结原始模型权重在模型层中插入低秩矩阵来学习任务增量训练参数量远小于全量微调显存占用也更低。 } ] }构造方式可以有两种人工编写种子指令保证指令质量基于已有文本使用模板自动构建。人工编写虽然慢但质量最可控。自动构建适合大规模扩充但需要额外的质量过滤环节。4.3 数据去重与质量过滤重复数据是 Token 消耗的隐形杀手。如果同一段内容出现几百次模型会过拟合到重复模式评测表现反而下降。可以使用 MinHash 做近似去重也可以简单地对文本内容做哈希去重。近似文本去重更推荐因为真实语料中很多内容是“改了几个字”的重复。# 文件路径scripts/dedup_data.py import hashlib import json from collections import defaultdict def shingle(text: str, k: int 5) - set: words text.split() if len(words) k: return {text} return { .join(words[i:ik]) for i in range(len(words) - k 1)} def fingerprint(shingles: set) - str: hashes [hashlib.md5(s.encode(utf-8)).hexdigest() for s in shingles] return min(hashes) def dedup_file(src_path: str, dst_path: str) - None: seen set() with open(src_path, r, encodingutf-8) as fin, \ open(dst_path, w, encodingutf-8) as fout: for line in fin: line line.strip() if not line: continue obj json.loads(line) text obj.get(text, ) fp fingerprint(shingle(text)) if fp in seen: continue seen.add(fp) fout.write(json.dumps(obj, ensure_asciiFalse) \n) if __name__ __main__: dedup_file(data/cleaned/cleaned.jsonl, data/final/deduped.jsonl)经过清洗、去重、指令构造后最终获得数十万条高质量训练数据。这些数据对应的 Token 总量加起来就是“烧掉 100 亿 Token”的主体。5. 模型微调LoRA/QLoRA 实战5.1 为什么选 LoRALoRALow-Rank Adaptation的核心思路是冻结底座模型的原始权重只训练新增的低秩矩阵。这样训练参数量通常只有全部参数的 1% 左右显存占用大幅降低。如果显存仍然吃紧可以配合 4bit 量化使用这就是 QLoRA。QLoRA 通过把底座模型量化到 4bit进一步压缩显存同时保持微调效果接近全量微调。5.2 完整训练脚本下面是一个基于 transformers 和 peft 的训练脚本。使用时需要根据实际底座模型路径、数据路径和显存大小调整参数。# 文件路径scripts/train_lora.py import json import torch from datasets import Dataset from transformers import ( AutoModelForCausalLM, AutoTokenizer, TrainingArguments, BitsAndBytesConfig ) from peft import ( LoraConfig, get_peft_model, prepare_model_for_kbit_training ) BASE_MODEL_PATH your-base-model-path # 替换为底座模型路径 DATA_PATH data/final/train.jsonl OUTPUT_DIR output/lora_checkpoint # 1. 读取 JSONL 数据 def load_data(path): samples [] with open(path, r, encodingutf-8) as f: for line in f: line line.strip() if not line: continue samples.append(json.loads(line)) return samples def format_sample(sample): system sample.get(system, ) conversations sample[conversations] messages [] if system: messages.append({role: system, content: system}) for turn in conversations: messages.append({ role: turn[role], content: turn[content] }) return messages def tokenize_function(examples, tokenizer): texts [] for sample in examples[messages]: text tokenizer.apply_chat_template( sample, tokenizeFalse, add_generation_promptFalse ) texts.append(text) encodings tokenizer( texts, truncationTrue, paddingFalse, max_length2048 ) encodings[labels] encodings[input_ids].copy() return encodings def main(): # 2. 配置 4bit 量化 bnb_config BitsAndBytesConfig( load_in_4bitTrue, bnb_4bit_quant_typenf4, bnb_4bit_compute_dtypetorch.bfloat16, bnb_4bit_use_double_quantTrue ) # 3. 加载模型和分词器 tokenizer AutoTokenizer.from_pretrained( BASE_MODEL_PATH, trust_remote_codeTrue ) model AutoModelForCausalLM.from_pretrained( BASE_MODEL_PATH, quantization_configbnb_config, device_mapauto, trust_remote_codeTrue ) tokenizer.pad_token tokenizer.eos_token model prepare_model_for_kbit_training(model) # 4. LoRA 配置 lora_config LoraConfig( r64, lora_alpha128, target_modules[q_proj, k_proj, v_proj, o_proj], lora_dropout0.05, biasnone, task_typeCAUSAL_LM ) model get_peft_model(model, lora_config) model.print_trainable_parameters() # 5. 数据准备 samples load_data(DATA_PATH) messages [format_sample(s) for s in samples] dataset Dataset.from_dict({messages: messages}) dataset dataset.map( lambda x: tokenize_function(x, tokenizer), remove_columns[messages] ) # 6. 训练参数 training_args TrainingArguments( output_dirOUTPUT_DIR, per_device_train_batch_size4, gradient_accumulation_steps4, num_train_epochs3, learning_rate2e-4, bf16True, logging_steps50, save_strategyepoch, report_tonone, gradient_checkpointingTrue, warmup_ratio0.03, lr_scheduler_typecosine ) # 7. 启动训练 trainer transformers.Trainer( modelmodel, argstraining_args, train_datasetdataset, tokenizertokenizer ) trainer.train() trainer.save_model(OUTPUT_DIR) if __name__ __main__: main()需要注意target_modules需要根据底座模型的实际层命名来设置。不同模型的 q_proj、k_proj、v_proj 等名称可能不同可以先打印模型结构确认。5.3 训练过程中的监控训练时重点观察以下指标loss是否稳定下降波动是否过大日志中是否有nan或inf显存占用是否在合理范围保存的 checkpoint 是否完整。# 启动训练并保存日志 python scripts/train_lora.py 21 | tee train.log # 观察 loss tail -f train.log | grep loss如果 loss 在训练后期不降反升通常说明学习率过大或数据噪声过多需要降低学习率、增大 batch size 或清理数据。6. 评测与迭代6.1 评测集设计评测集不能从训练集里抽否则很容易出现“背题”现象。应该单独构造一批未参与训练的问题覆盖正常case、边界case和易错case。评测集至少包含标准问答验证模型基本能力格式类问题验证输出是否符合要求领域术语类问题验证专业性对抗性问题验证是否乱编长文本输入验证稳定性。6.2 自动化评测脚本可以用规则评分配合 LLM 评分。规则评分适合检查格式、关键字、长度等硬性指标。# 文件路径scripts/eval_model.py import json import re from transformers import AutoModelForCausalLM, AutoTokenizer MODEL_PATH output/merged_model TEST_PATH data/eval/test_set.jsonl tokenizer AutoTokenizer.from_pretrained(MODEL_PATH, trust_remote_codeTrue) model AutoModelForCausalLM.from_pretrained( MODEL_PATH, device_mapauto, trust_remote_codeTrue ) def generate_answer(prompt: str) - str: messages [{role: user, content: prompt}] text tokenizer.apply_chat_template( messages, tokenizeFalse, add_generation_promptTrue ) inputs tokenizer(text, return_tensorspt) # 示例中省略了将 input_ids 移动到对应设备的过程实际运行时需要根据 device 调整 outputs model.generate( inputs.input_ids, max_new_tokens512, do_sampleFalse, temperatureNone, top_pNone ) answer tokenizer.decode(outputs[0][inputs.input_ids.shape[1]:], skip_special_tokensTrue) return answer def rule_check(answer: str, keyword: str) - bool: if 我不确定 in answer and keyword: return False if len(answer) 5: return False return True with open(TEST_PATH, r, encodingutf-8) as f: total 0 passed 0 for line in f: sample json.loads(line) answer generate_answer(sample[question]) ok rule_check(answer, sample.get(keyword, )) total 1 passed int(ok) print(f问题{sample[question]}) print(f答案{answer}) print(f判定{通过 if ok else 未通过}) print() print(f规则通过率{passed / total:.2%})6.3 从评测结果看数据改进第一次评测后一般会发现几类问题输出格式不稳定比如应该输出 JSON 却输出普通文本。此时需要在训练数据中增加更多格式样例。专业术语错误说明对应知识在数据中覆盖不足需要补充该主题的样本。答案冗长可以通过在 system 中明确“回答不超过 200 字”来缓解。迭代方式是修改数据 → 继续微调 → 再次评测。这样每轮迭代都是一轮 Token 消耗所以数据修改要尽量集中不要每改几条就重新训练。7. 开源发布从本地权重到 GitHub Release7.1 模型导出与合并LoRA 训练得到的只是低秩增量权重直接发布会让使用者部署困难。需要把 LoRA 权重合并到底座模型中导出完整模型。# 文件路径scripts/merge_lora.py import torch from transformers import AutoModelForCausalLM, AutoTokenizer from peft import PeftModel BASE_MODEL_PATH your-base-model-path LORA_MODEL_PATH output/lora_checkpoint MERGED_MODEL_PATH output/merged_model tokenizer AutoTokenizer.from_pretrained(BASE_MODEL_PATH, trust_remote_codeTrue) base_model AutoModelForCausalLM.from_pretrained( BASE_MODEL_PATH, torch_dtypetorch.bfloat16, device_mapauto, trust_remote_codeTrue ) model PeftModel.from_pretrained(base_model, LORA_MODEL_PATH) model model.merge_and_unload() model.save_pretrained(MERGED_MODEL_PATH) tokenizer.save_pretrained(MERGED_MODEL_PATH)合并后的模型可以直接用from_pretrained加载无需 peft 依赖。7.2 模型卡README开源项目最重要的不只是权重而是可复现信息。README 中至少应包含模型名称与简介底座模型来源训练数据规模与构成Token 消耗总量训练参数汇总表评测结果使用方法与代码示例已知局限性License 声明如何提 issue 和贡献。训练参数表格示例参数值底座模型见模型卡说明LoRA rank64LoRA alpha128学习率2e-4batch size4 x 4epoch3最大序列长度20487.3 发布流程建议权重文件通常很大普通 Git 仓库不适合直接存放。建议方案代码和数据处理脚本放 GitHub模型权重上传到模型托管平台支持 Git LFS在 README 中提供模型下载链接发布 Release 时按照语义化版本标记如 v1.0.0。开源发布前一定要检查训练数据和代码中是否包含以下内容个人信息、手机号、身份证号等敏感数据未授权的商业数据第三方版权材料不合规的 License 引用。数据安全是开源项目的底线这一步没有做好后续会带来很多麻烦。8. 常见问题与排查思路问题现象常见原因解决思路训练时显存不足batch size 太大、max_length 太长降低 batch size开启 gradient_checkpointing使用更短序列长度loss 不降学习率不合适、数据质量差调低学习率清洗训练数据检查是否存在大量重复样本loss 出现 nan学习率过大、bf16 不兼容降低学习率切换 fp16/precision 设置检查数据集中的异常文本模型生成大量重复内容训练数据单一、epoch 过多增加数据多样性减少 epoch调节采样参数中文效果差分词器对中文支持不足、中文数据比例偏低更换中文底座模型增加中文指令数据评测结果与人工判断不符评测集字段不准确、评分规则过简单扩充评测集加入人工抽检环节GitHub 上传失败文件超过限制、未启用 LFS拆分上传启用 Git LFS 或模型平台托管如果遇到显存不足优先按以下顺序排查确认显卡驱动和 CUDA 版本使用nvidia-smi查看降低per_device_train_batch_size降低max_length例如从 2048 降到 1024开启gradient_checkpointingTrue使用 4bit 量化清理 GPU 上其他进程。在实际项目中前两步通常就能解决大部分显存问题。9. 最佳实践与工程建议9.1 Token 预算管理100 亿 Token 不是拍脑袋定的数字而是一步步估算出来的。推荐在项目开始时先做小规模实验用 1 万条数据跑一个小 epoch观察 loss 变化和显存占用估算 1 万条数据对应的 Token 量乘以总数据量和 epoch 数得到粗略预算把评测、试错、重复训练的开销按 1.5 倍预留。Token 用得越多不等于模型效果越好。做了大量实验后发现数据质量提升 10%效果往往比数据量翻倍更明显。9.2 数据质量优先于数据量训练数据中的重复内容、错误标注和低质量文本不仅浪费 Token还会让模型学会错误行为。建议建立数据版本管理。数据文件不是一次性生成就完事每次清洗、构造、过滤后都要记录当时的处理脚本便于回溯。推荐做法是每个版本的数据保存在独立目录中。9.3 训练稳定性训练过程中不要频繁手动调整参数也不要每训练几百步就停下来看效果。给模型足够的训练步数等一个 epoch 结束后再评估。保存策略上推荐按 epoch 保存 checkpoint而不是每多少步保存一次。这样既能恢复训练进度也能在不同 epoch 之间做对比。9.4 开源合规开源不是“把代码传上去”这么简单。以下检查项值得提前做底座模型的 License 是否允许派生态分训练数据的来源是否有授权代码中引用第三方开源项目的 License 是否保留模型权重是否包含未公开的商业数据是否在模型卡中明确说明训练方法和局限性。如果数据来源不明确宁可不发也不能带病开源。9.5 成本控制建议如果预算有限优先保证数据质量而不是盲目扩大数据规模。先做小批次实验确认流程没问题后再全量训练训练脚本中开启断点续训避免中途失败从头再来定期保存 checkpoint至少每 epoch 一个评测阶段用小规模的评测集减少生成 Token 的消耗尽量避免频繁重新训练先集中修改数据再做下一轮训练。调整数据时如果只是增加了一两千条新样本也可以考虑在现有 checkpoint 基础上继续训练而不必从底座模型重新开始。10. 写在最后两个月我们能复盘什么如果现在让我重新做一遍这个项目我更愿意用四个词总结目标、数据、验证、克制。目标要清晰。一开始很容易陷入“什么领域都想覆盖”的心态结果数据越堆越多模型反而失去重点。确定一个边界明确的场景训练数据围绕该场景构造效果更可控。数据要打磨。两天写完清洗脚本很快但真正耗时的是不断发现数据中的坏样本然后回到清洗流程重新过滤。这个反复过程相当耗时但完全值得。验证要频繁。不要等到训练所有 epoch 结束才开始评测。每保存一个 checkpoint都可以抽 50 到 100 条典型问题快速验证及时发现问题比一次烧完预算更划算。克制体现在参数调整上。所有训练参数都记录在配置文件中每次实验改动有限制地调整保持一致的可比性。随手修改参数很容易导致最终无法复现结果开源项目的可复现性也会受影响。我开源这个项目时最担心的其实不是模型效果不够惊艳而是别人拿着我的脚本换了数据却复现不出同样结果。所以我把数据清洗脚本、训练参数、评测集说明全部整理清楚尽量做到每一步都有迹可循。这两个月里踩过的最大一个坑是早期对数据去重不够严格导致同一批文本反复出现在训练集中。之后重新清理数据、重跑训练虽然额外消耗了 Token但 fo 练出来的模型明显更稳定。建议你在启动训练之前先用抽样统计的方式检查一遍数据分布确认干净了再上算力。项目开源只是起点。接下来值得尝试的方向包括加入更丰富的负样本、尝试更大的 LoRA 秩、对比不同底座模型的效果、引入人工反馈数据做进一步对齐。每一步都需要 Token 成本所以尽量在数据层面做足功课再开启新一轮训练。如果你也准备做类似的项目建议不用纠结“要多少亿 Token”这个数字而是把自己当成一个小型团队先跑通从数据到评测的完整流程再逐步扩大规模。这样踩坑成本最低得到的结果也更容易沉淀成可以复用的工程经验。
从立项到开源这个项目整整花了我两个月时间累计消耗的 Token 数超过了 100 亿。期间经历过数据质量不过关重来、训练中 loss 异常、评测结果不理想等多轮反复。这篇文章不打算只讲“我开源了一个模型”这样一个结果而是把这套完整流程整理成一份可复用的实战笔记为什么明明有开源底座模型还要自己烧 Token 做微调100 亿 Token 到底花在哪里数据工程、训练脚本、评测与开源发布过程中有哪些关键决策和坑点。如果你正准备训练一个领域模型或者计划把一个微调项目开源那么本文适合你。文章会涉及大模型微调的基本概念、LoRA/QLoRA 训练思路、数据清洗脚本、训练脚本、评测思路以及开源发布注意事项代码都可以直接参考或修改后使用。1. 背景为什么一个开源项目会“烧掉 100 亿 Token”1.1 Token 到底是什么在大模型领域Token 是模型处理文本的最小单位。它可以是一个汉字的一部分、一个完整汉字、一段英文单词或者一个代码符号。不同模型使用不同的分词器所以同一个句子在不同模型下消耗的 Token 数量并不相同。举例来说一句“请帮我总结一下这段文档的核心内容”在中文场景下可能被切成若干个中文 Token。大模型的输入输出都按 Token 计费或计算资源消耗。所谓“烧掉 100 亿 Token”指的是训练数据构建、模型推理、评测验证三个环节合计处理和生成的 Token 总量。1.2 100 亿 Token 花在哪里很多第一次接触模型训练的同学会以为Token 主要花在模型训练上。实际从项目复盘看开销分布大致如下数据清洗与过滤阶段需要先对原始语料做一遍推理判断数据质量这个环节会消耗一定 Token指令数据构建阶段把原始文本转换为问答对或指令对有时需要借助已有模型辅助生成这是 Token 消耗的大头训练阶段模型前向传播和反向传播都会处理大量 Token按训练轮次翻倍评测阶段每次生成结果都会消耗 Token如果多次迭代评测累积量相当可观试错成本。超参数不合适、数据集有噪声可能整个epoch白跑Token 就“烧”掉了。1.3 这个项目解决了什么问题项目本身并不是从头训练一个全新大模型而是基于开源底座模型构造高质量领域指令数据通过微调让模型具备特定场景的应答能力。这么做的好处是不需要承担从头预训练的 GPU 集群成本可以复用底座模型的通用语言能力和世界知识通过领域数据的二次训练让模型输出风格、知识范围更贴近目标场景数据规模和训练流程可控适合小团队或独立开发者复现。从最终结果看微调后的模型在领域测试集上的表现显著优于底座模型尤其是格式规范性和术语准确性方面提升明显。2. 项目定位与技术选型2.1 项目定位领域指令微调模型项目目标不是做一个“什么都能聊”的通用助手而是在一个特定领域内做到比底座模型更专业、更稳定。比如让模型按固定格式输出结构化的结果、正确使用领域术语、不编造不存在的概念。在这种定位下数据比模型结构更重要。底座模型负责语言理解微调数据负责“教会”模型任务规范和输出格式。2.2 为什么不从零预训练从零预训练一个大模型通常需要数千亿 Token 和成百上千张 GPU。对于个人开发者或小团队来说既不现实也没有必要。更主流的方式是选择合适的开源底座模型 → 构造领域指令数据 → LoRA / QLoRA 参数高效微调 → 评测对比 → 合并权重并开源这种方式用几百张甚至几张消费级显卡就可以完成Token 消耗也控制在可接受范围内。2.3 技术选型清单组件本文示例选型选择理由底座模型开源中文对话模型如 Qwen / ChatGLM 系列同级别模型中文能力强社区资料多微调框架transformers peft生态成熟代码可读性好量化方式4bit 量化QLoRA显著降低显存占用训练脚本Python PyTorch便于自定义数据加载和评测逻辑数据格式JSONL每行一个对话样本易于清洗、统计、断点续训评测方式规则评分 人工抽检自动化与人工结合结果可信开源平台GitHub 模型托管平台便于分发权重和模型卡具体版本需要根据你的项目实际情况调整本文示例以常见环境为例重点演示配置思路。3. 环境准备与项目结构3.1 软硬件环境训练环境的硬件配置直接决定能否跑起来。本文示例使用的是单机多卡环境显存 24GB 的显卡在 QLoRA 4bit 下可以完成 7B 级别模型的微调。软件环境方面推荐使用 Python 3.10 及以上版本PyTorch 版本与 CUDA 版本要匹配。以下环境参数仅供参考操作系统Ubuntu 22.04 LTS GPUNVIDIA 24GB 及以上显存显卡 CUDA11.8 或 12.1 Python3.10 PyTorch2.x transformers4.x peft0.x datasets2.x如果使用国产显卡或特定云平台需要提前确认算子兼容性。3.2 项目目录结构一个清晰的目录结构能帮助后续调试和开源维护。本文项目的目录设计如下llm-finetune-project/ ├── data/ │ ├── raw/ # 原始采集语料 │ ├── cleaned/ # 清洗后的数据 │ └── final/ # 最终训练数据 JSONL ├── scripts/ │ ├── clean_data.py # 数据清洗脚本 │ ├── build_instruction.py # 指令数据构造脚本 │ ├── train_lora.py # LoRA 训练脚本 │ ├── eval_model.py # 评测脚本 │ └── merge_lora.py # 权重合并脚本 ├── configs/ │ └── train_config.yaml # 训练参数 ├── output/ │ ├── lora_checkpoint/ # LoRA 权重 │ └── merged_model/ # 合并后的模型 ├── README.md └── requirements.txt3.3 依赖安装新建requirements.txttorch transformers peft datasets accelerate bitsandbytes sentencepiece huggingface_hub pandas jieba tqdm安装命令pip install -r requirements.txt安装时需要注意bitsandbytes在不同 CUDA 版本下可能有兼容性问题如果报错请根据实际 CUDA 版本选择对应的 wheel 包。4. 数据工程100 亿 Token 真正的消耗点4.1 数据来源与清洗训练数据的质量直接决定微调效果。原始语料通常包含大量 HTML 标签、重复文本、广告信息和格式混乱的内容。下面是一个简单的清洗脚本核心作用包括去除 HTML 标签去除不可见字符去除重复段落过滤超短文本统一标点符号。# 文件路径scripts/clean_data.py import re import json from tqdm import tqdm def clean_text(text: str) - str: # 去除 HTML 标签 text re.sub(r[^], , text) # 去除 URL text re.sub(rhttp\S, , text) # 去除多余空白 text re.sub(r\s, , text) # 去除特殊控制字符 text re.sub(r[\x00-\x08\x0b\x0c\x0e-\x1f], , text) # 去除重复的标点 text re.sub(r([。])\1, r\1, text) return text.strip() def is_valid(text: str, min_len: int 10) - bool: if len(text) min_len: return False # 过滤掉广告类关键词 ad_keywords [点击领取, 加微信, 扫码关注, 限时优惠] for kw in ad_keywords: if kw in text: return False return True def clean_file(src_path: str, dst_path: str) - None: with open(src_path, r, encodingutf-8) as fin, \ open(dst_path, w, encodingutf-8) as fout: for line in tqdm(fin, desccleaning): line line.strip() if not line: continue obj json.loads(line) text obj.get(text, ) cleaned clean_text(text) if is_valid(cleaned): obj[text] cleaned fout.write(json.dumps(obj, ensure_asciiFalse) \n) if __name__ __main__: clean_file(data/raw/raw.jsonl, data/cleaned/cleaned.jsonl)这一步做下来原始语料通常会减少 30% 到 50%。被过滤掉的噪声看似可惜但留在训练集里只会浪费 Token还会让模型学到不稳定的输出模式。4.2 构造指令对话数据清洗后的纯文本还不能直接用于指令微调。需要把文本组织成“指令 输入 输出”或“用户 助手”的结构。如果你的场景需要模型扮演特定角色可以在 system 字段中加入角色设定。示例数据格式如下{ system: 你是一名专业的技术文档撰写助手回答必须简洁、准确、使用中文。, conversations: [ { role: user, content: 什么是 LoRA它在模型微调中有什么作用 }, { role: assistant, content: LoRA 是一种参数高效微调方法。它通过冻结原始模型权重在模型层中插入低秩矩阵来学习任务增量训练参数量远小于全量微调显存占用也更低。 } ] }构造方式可以有两种人工编写种子指令保证指令质量基于已有文本使用模板自动构建。人工编写虽然慢但质量最可控。自动构建适合大规模扩充但需要额外的质量过滤环节。4.3 数据去重与质量过滤重复数据是 Token 消耗的隐形杀手。如果同一段内容出现几百次模型会过拟合到重复模式评测表现反而下降。可以使用 MinHash 做近似去重也可以简单地对文本内容做哈希去重。近似文本去重更推荐因为真实语料中很多内容是“改了几个字”的重复。# 文件路径scripts/dedup_data.py import hashlib import json from collections import defaultdict def shingle(text: str, k: int 5) - set: words text.split() if len(words) k: return {text} return { .join(words[i:ik]) for i in range(len(words) - k 1)} def fingerprint(shingles: set) - str: hashes [hashlib.md5(s.encode(utf-8)).hexdigest() for s in shingles] return min(hashes) def dedup_file(src_path: str, dst_path: str) - None: seen set() with open(src_path, r, encodingutf-8) as fin, \ open(dst_path, w, encodingutf-8) as fout: for line in fin: line line.strip() if not line: continue obj json.loads(line) text obj.get(text, ) fp fingerprint(shingle(text)) if fp in seen: continue seen.add(fp) fout.write(json.dumps(obj, ensure_asciiFalse) \n) if __name__ __main__: dedup_file(data/cleaned/cleaned.jsonl, data/final/deduped.jsonl)经过清洗、去重、指令构造后最终获得数十万条高质量训练数据。这些数据对应的 Token 总量加起来就是“烧掉 100 亿 Token”的主体。5. 模型微调LoRA/QLoRA 实战5.1 为什么选 LoRALoRALow-Rank Adaptation的核心思路是冻结底座模型的原始权重只训练新增的低秩矩阵。这样训练参数量通常只有全部参数的 1% 左右显存占用大幅降低。如果显存仍然吃紧可以配合 4bit 量化使用这就是 QLoRA。QLoRA 通过把底座模型量化到 4bit进一步压缩显存同时保持微调效果接近全量微调。5.2 完整训练脚本下面是一个基于 transformers 和 peft 的训练脚本。使用时需要根据实际底座模型路径、数据路径和显存大小调整参数。# 文件路径scripts/train_lora.py import json import torch from datasets import Dataset from transformers import ( AutoModelForCausalLM, AutoTokenizer, TrainingArguments, BitsAndBytesConfig ) from peft import ( LoraConfig, get_peft_model, prepare_model_for_kbit_training ) BASE_MODEL_PATH your-base-model-path # 替换为底座模型路径 DATA_PATH data/final/train.jsonl OUTPUT_DIR output/lora_checkpoint # 1. 读取 JSONL 数据 def load_data(path): samples [] with open(path, r, encodingutf-8) as f: for line in f: line line.strip() if not line: continue samples.append(json.loads(line)) return samples def format_sample(sample): system sample.get(system, ) conversations sample[conversations] messages [] if system: messages.append({role: system, content: system}) for turn in conversations: messages.append({ role: turn[role], content: turn[content] }) return messages def tokenize_function(examples, tokenizer): texts [] for sample in examples[messages]: text tokenizer.apply_chat_template( sample, tokenizeFalse, add_generation_promptFalse ) texts.append(text) encodings tokenizer( texts, truncationTrue, paddingFalse, max_length2048 ) encodings[labels] encodings[input_ids].copy() return encodings def main(): # 2. 配置 4bit 量化 bnb_config BitsAndBytesConfig( load_in_4bitTrue, bnb_4bit_quant_typenf4, bnb_4bit_compute_dtypetorch.bfloat16, bnb_4bit_use_double_quantTrue ) # 3. 加载模型和分词器 tokenizer AutoTokenizer.from_pretrained( BASE_MODEL_PATH, trust_remote_codeTrue ) model AutoModelForCausalLM.from_pretrained( BASE_MODEL_PATH, quantization_configbnb_config, device_mapauto, trust_remote_codeTrue ) tokenizer.pad_token tokenizer.eos_token model prepare_model_for_kbit_training(model) # 4. LoRA 配置 lora_config LoraConfig( r64, lora_alpha128, target_modules[q_proj, k_proj, v_proj, o_proj], lora_dropout0.05, biasnone, task_typeCAUSAL_LM ) model get_peft_model(model, lora_config) model.print_trainable_parameters() # 5. 数据准备 samples load_data(DATA_PATH) messages [format_sample(s) for s in samples] dataset Dataset.from_dict({messages: messages}) dataset dataset.map( lambda x: tokenize_function(x, tokenizer), remove_columns[messages] ) # 6. 训练参数 training_args TrainingArguments( output_dirOUTPUT_DIR, per_device_train_batch_size4, gradient_accumulation_steps4, num_train_epochs3, learning_rate2e-4, bf16True, logging_steps50, save_strategyepoch, report_tonone, gradient_checkpointingTrue, warmup_ratio0.03, lr_scheduler_typecosine ) # 7. 启动训练 trainer transformers.Trainer( modelmodel, argstraining_args, train_datasetdataset, tokenizertokenizer ) trainer.train() trainer.save_model(OUTPUT_DIR) if __name__ __main__: main()需要注意target_modules需要根据底座模型的实际层命名来设置。不同模型的 q_proj、k_proj、v_proj 等名称可能不同可以先打印模型结构确认。5.3 训练过程中的监控训练时重点观察以下指标loss是否稳定下降波动是否过大日志中是否有nan或inf显存占用是否在合理范围保存的 checkpoint 是否完整。# 启动训练并保存日志 python scripts/train_lora.py 21 | tee train.log # 观察 loss tail -f train.log | grep loss如果 loss 在训练后期不降反升通常说明学习率过大或数据噪声过多需要降低学习率、增大 batch size 或清理数据。6. 评测与迭代6.1 评测集设计评测集不能从训练集里抽否则很容易出现“背题”现象。应该单独构造一批未参与训练的问题覆盖正常case、边界case和易错case。评测集至少包含标准问答验证模型基本能力格式类问题验证输出是否符合要求领域术语类问题验证专业性对抗性问题验证是否乱编长文本输入验证稳定性。6.2 自动化评测脚本可以用规则评分配合 LLM 评分。规则评分适合检查格式、关键字、长度等硬性指标。# 文件路径scripts/eval_model.py import json import re from transformers import AutoModelForCausalLM, AutoTokenizer MODEL_PATH output/merged_model TEST_PATH data/eval/test_set.jsonl tokenizer AutoTokenizer.from_pretrained(MODEL_PATH, trust_remote_codeTrue) model AutoModelForCausalLM.from_pretrained( MODEL_PATH, device_mapauto, trust_remote_codeTrue ) def generate_answer(prompt: str) - str: messages [{role: user, content: prompt}] text tokenizer.apply_chat_template( messages, tokenizeFalse, add_generation_promptTrue ) inputs tokenizer(text, return_tensorspt) # 示例中省略了将 input_ids 移动到对应设备的过程实际运行时需要根据 device 调整 outputs model.generate( inputs.input_ids, max_new_tokens512, do_sampleFalse, temperatureNone, top_pNone ) answer tokenizer.decode(outputs[0][inputs.input_ids.shape[1]:], skip_special_tokensTrue) return answer def rule_check(answer: str, keyword: str) - bool: if 我不确定 in answer and keyword: return False if len(answer) 5: return False return True with open(TEST_PATH, r, encodingutf-8) as f: total 0 passed 0 for line in f: sample json.loads(line) answer generate_answer(sample[question]) ok rule_check(answer, sample.get(keyword, )) total 1 passed int(ok) print(f问题{sample[question]}) print(f答案{answer}) print(f判定{通过 if ok else 未通过}) print() print(f规则通过率{passed / total:.2%})6.3 从评测结果看数据改进第一次评测后一般会发现几类问题输出格式不稳定比如应该输出 JSON 却输出普通文本。此时需要在训练数据中增加更多格式样例。专业术语错误说明对应知识在数据中覆盖不足需要补充该主题的样本。答案冗长可以通过在 system 中明确“回答不超过 200 字”来缓解。迭代方式是修改数据 → 继续微调 → 再次评测。这样每轮迭代都是一轮 Token 消耗所以数据修改要尽量集中不要每改几条就重新训练。7. 开源发布从本地权重到 GitHub Release7.1 模型导出与合并LoRA 训练得到的只是低秩增量权重直接发布会让使用者部署困难。需要把 LoRA 权重合并到底座模型中导出完整模型。# 文件路径scripts/merge_lora.py import torch from transformers import AutoModelForCausalLM, AutoTokenizer from peft import PeftModel BASE_MODEL_PATH your-base-model-path LORA_MODEL_PATH output/lora_checkpoint MERGED_MODEL_PATH output/merged_model tokenizer AutoTokenizer.from_pretrained(BASE_MODEL_PATH, trust_remote_codeTrue) base_model AutoModelForCausalLM.from_pretrained( BASE_MODEL_PATH, torch_dtypetorch.bfloat16, device_mapauto, trust_remote_codeTrue ) model PeftModel.from_pretrained(base_model, LORA_MODEL_PATH) model model.merge_and_unload() model.save_pretrained(MERGED_MODEL_PATH) tokenizer.save_pretrained(MERGED_MODEL_PATH)合并后的模型可以直接用from_pretrained加载无需 peft 依赖。7.2 模型卡README开源项目最重要的不只是权重而是可复现信息。README 中至少应包含模型名称与简介底座模型来源训练数据规模与构成Token 消耗总量训练参数汇总表评测结果使用方法与代码示例已知局限性License 声明如何提 issue 和贡献。训练参数表格示例参数值底座模型见模型卡说明LoRA rank64LoRA alpha128学习率2e-4batch size4 x 4epoch3最大序列长度20487.3 发布流程建议权重文件通常很大普通 Git 仓库不适合直接存放。建议方案代码和数据处理脚本放 GitHub模型权重上传到模型托管平台支持 Git LFS在 README 中提供模型下载链接发布 Release 时按照语义化版本标记如 v1.0.0。开源发布前一定要检查训练数据和代码中是否包含以下内容个人信息、手机号、身份证号等敏感数据未授权的商业数据第三方版权材料不合规的 License 引用。数据安全是开源项目的底线这一步没有做好后续会带来很多麻烦。8. 常见问题与排查思路问题现象常见原因解决思路训练时显存不足batch size 太大、max_length 太长降低 batch size开启 gradient_checkpointing使用更短序列长度loss 不降学习率不合适、数据质量差调低学习率清洗训练数据检查是否存在大量重复样本loss 出现 nan学习率过大、bf16 不兼容降低学习率切换 fp16/precision 设置检查数据集中的异常文本模型生成大量重复内容训练数据单一、epoch 过多增加数据多样性减少 epoch调节采样参数中文效果差分词器对中文支持不足、中文数据比例偏低更换中文底座模型增加中文指令数据评测结果与人工判断不符评测集字段不准确、评分规则过简单扩充评测集加入人工抽检环节GitHub 上传失败文件超过限制、未启用 LFS拆分上传启用 Git LFS 或模型平台托管如果遇到显存不足优先按以下顺序排查确认显卡驱动和 CUDA 版本使用nvidia-smi查看降低per_device_train_batch_size降低max_length例如从 2048 降到 1024开启gradient_checkpointingTrue使用 4bit 量化清理 GPU 上其他进程。在实际项目中前两步通常就能解决大部分显存问题。9. 最佳实践与工程建议9.1 Token 预算管理100 亿 Token 不是拍脑袋定的数字而是一步步估算出来的。推荐在项目开始时先做小规模实验用 1 万条数据跑一个小 epoch观察 loss 变化和显存占用估算 1 万条数据对应的 Token 量乘以总数据量和 epoch 数得到粗略预算把评测、试错、重复训练的开销按 1.5 倍预留。Token 用得越多不等于模型效果越好。做了大量实验后发现数据质量提升 10%效果往往比数据量翻倍更明显。9.2 数据质量优先于数据量训练数据中的重复内容、错误标注和低质量文本不仅浪费 Token还会让模型学会错误行为。建议建立数据版本管理。数据文件不是一次性生成就完事每次清洗、构造、过滤后都要记录当时的处理脚本便于回溯。推荐做法是每个版本的数据保存在独立目录中。9.3 训练稳定性训练过程中不要频繁手动调整参数也不要每训练几百步就停下来看效果。给模型足够的训练步数等一个 epoch 结束后再评估。保存策略上推荐按 epoch 保存 checkpoint而不是每多少步保存一次。这样既能恢复训练进度也能在不同 epoch 之间做对比。9.4 开源合规开源不是“把代码传上去”这么简单。以下检查项值得提前做底座模型的 License 是否允许派生态分训练数据的来源是否有授权代码中引用第三方开源项目的 License 是否保留模型权重是否包含未公开的商业数据是否在模型卡中明确说明训练方法和局限性。如果数据来源不明确宁可不发也不能带病开源。9.5 成本控制建议如果预算有限优先保证数据质量而不是盲目扩大数据规模。先做小批次实验确认流程没问题后再全量训练训练脚本中开启断点续训避免中途失败从头再来定期保存 checkpoint至少每 epoch 一个评测阶段用小规模的评测集减少生成 Token 的消耗尽量避免频繁重新训练先集中修改数据再做下一轮训练。调整数据时如果只是增加了一两千条新样本也可以考虑在现有 checkpoint 基础上继续训练而不必从底座模型重新开始。10. 写在最后两个月我们能复盘什么如果现在让我重新做一遍这个项目我更愿意用四个词总结目标、数据、验证、克制。目标要清晰。一开始很容易陷入“什么领域都想覆盖”的心态结果数据越堆越多模型反而失去重点。确定一个边界明确的场景训练数据围绕该场景构造效果更可控。数据要打磨。两天写完清洗脚本很快但真正耗时的是不断发现数据中的坏样本然后回到清洗流程重新过滤。这个反复过程相当耗时但完全值得。验证要频繁。不要等到训练所有 epoch 结束才开始评测。每保存一个 checkpoint都可以抽 50 到 100 条典型问题快速验证及时发现问题比一次烧完预算更划算。克制体现在参数调整上。所有训练参数都记录在配置文件中每次实验改动有限制地调整保持一致的可比性。随手修改参数很容易导致最终无法复现结果开源项目的可复现性也会受影响。我开源这个项目时最担心的其实不是模型效果不够惊艳而是别人拿着我的脚本换了数据却复现不出同样结果。所以我把数据清洗脚本、训练参数、评测集说明全部整理清楚尽量做到每一步都有迹可循。这两个月里踩过的最大一个坑是早期对数据去重不够严格导致同一批文本反复出现在训练集中。之后重新清理数据、重跑训练虽然额外消耗了 Token但 fo 练出来的模型明显更稳定。建议你在启动训练之前先用抽样统计的方式检查一遍数据分布确认干净了再上算力。项目开源只是起点。接下来值得尝试的方向包括加入更丰富的负样本、尝试更大的 LoRA 秩、对比不同底座模型的效果、引入人工反馈数据做进一步对齐。每一步都需要 Token 成本所以尽量在数据层面做足功课再开启新一轮训练。如果你也准备做类似的项目建议不用纠结“要多少亿 Token”这个数字而是把自己当成一个小型团队先跑通从数据到评测的完整流程再逐步扩大规模。这样踩坑成本最低得到的结果也更容易沉淀成可以复用的工程经验。
