1. 为什么个人开发者也要走一遍LLM全流程很多人一提到大模型第一反应就是“这玩意儿得几百张卡才能玩”。我一开始也这么想直到自己用一张RTX 3090把GPT-2级别的模型从零预训练跑通再做完领域适配才发现个人开发者的路径和大厂完全是两码事。大厂拼的是规模、吞吐和集群调度个人拼的是单卡利用率、数据质量和流程闭环。你不需要复现GPT-4但你需要理解从原始文本到能用的领域模型之间每一步到底发生了什么。这篇文章要聊的就是一条完整的个人开发者LLM实践路线预训练一个基础模型再通过领域适配让它真正解决某个垂直场景的问题。核心关键词包括LLM、预训练、领域适配、GPT-2和RTX 3090。适合谁看如果你手头有一张24GB显存的卡懂一点PyTorch想搞清楚大模型训练到底怎么回事而不是只会调API那这篇内容就是给你写的。我会把每一步的决策逻辑、参数计算、踩坑记录都摊开讲你照着抄作业也能跑通。先说清楚一个前提个人开发者做LLM目标不是刷榜而是建立对全流程的肌肉记忆。你预训练出来的模型可能写诗不如GPT-2领域适配后的效果也可能只在小测试集上好看但这个过程会让你对tokenizer、注意力机制、学习率调度、数据配比、灾难性遗忘这些概念有完全不同的理解。这种理解看一百篇论文也换不来。2. 整体方案设计与硬件账本2.1 为什么选GPT-2而不是LLaMA架构选GPT-2作为预训练起点不是因为它是最好用的而是因为它是个人开发者能完整走通预训练流程的最小可行架构。LLaMA-7B在RTX 3090上做全量预训练光是优化器状态就要吃掉超过80GB显存必须上ZeRO或者LoRA但那样你就跳过了“从零训练”的核心体验。GPT-2 small只有124M参数medium是355Mlarge是774M。124M在单卡24GB上做全量预训练绰绰有余355M稍微调一下batch size也能跑774M就需要梯度累积和混合精度了。我自己的选择是GPT-2 355M。124M太小预训练完的模型能力太弱领域适配后效果提升不明显容易让人误以为“领域适配没用”。774M在3090上跑起来太慢一个epoch可能要十几个小时调试周期太长。355M是一个甜点显存占用可控训练速度可接受模型能力足够让你看到领域适配前后的明显差异。这里要解释一个关键点GPT-2的架构是decoder-only的Transformer和现在主流LLM的架构一脉相承。你在这个架构上学到的所有东西——位置编码、层归一化的位置、注意力头的分组、FFN的中间维度比例——在LLaMA、Qwen、Mistral上都是相通的。所以不要觉得GPT-2过时了它是最好的教学平台。2.2 RTX 3090的显存账本怎么算RTX 3090有24GB GDDR6X显存带宽936GB/s。这个带宽在消费级卡里算高的对Transformer这种访存密集型的模型很友好。但24GB到底能干什么需要算一笔账。预训练阶段显存占用主要来自四块模型参数、梯度、优化器状态、激活值。以GPT-2 355M为例参数量约3.55亿。FP16下参数占0.71GB梯度占0.71GB。如果用AdamW优化器优化器状态包括一阶矩和二阶矩各占一份FP32的参数副本所以是3.55亿×4字节×22.84GB。这三项加起来约4.26GB。剩下的就是激活值激活值和batch size、序列长度成正比。我实测下来序列长度512batch size 8的时候激活值大约占6-8GB。加上CUDA上下文和碎片总占用在12-14GB左右。这意味着你还有余量把batch size提到12甚至16。但要注意激活值会随着序列长度平方增长注意力矩阵序列长度从512提到1024激活值可能翻三倍。所以如果你要训长文本batch size就得降下来。提示在3090上跑预训练一定要开torch.cuda.amp混合精度用GradScaler防止梯度下溢。FP16比FP32快大约1.5到2倍显存省一半。但LayerNorm和softmax建议用FP32避免数值不稳定。2.3 数据从哪来怎么洗个人开发者最大的瓶颈不是算力是数据。你没有Common Crawl的完整副本也没有几TB的清洗过的文本。我的建议是用公开的高质量小数据集配合你自己的领域数据。预训练阶段我用的是OpenWebText的一个子集大约8GB文本加上Wikipedia的中文和英文摘要。OpenWebText是GPT-2训练数据的开源复现质量比Common Crawl好很多噪声少。8GB文本大概对应20亿个token左右对于355M模型来说跑1-2个epoch足够看到loss下降。数据清洗的步骤不能省。我踩过的坑是直接拿原始文本训结果模型学会了输出HTML标签和乱码。必须做这几件事去重、去HTML标签、去超长行、去低信息量文本。去重我用的是MinHash LSH把相似度超过0.8的文档去掉。去HTML标签用BeautifulSoup但要注意保留段落换行。去超长行是指把超过2000字符的行截断或丢弃因为这种行往往是爬虫抓下来的导航栏或者JSON串。领域适配阶段的数据更关键。我选的是医疗问答场景数据来自公开的医疗百科和问答对大约500MB。这里要注意领域数据不是越多越好而是越干净、越贴近目标分布越好。500MB的高质量医疗文本比5GB的混杂网页文本效果好得多。3. 预训练实操从tokenizer到loss曲线3.1 tokenizer训练与词表选择GPT-2原版用的是BPE tokenizer词表大小50257。如果你做中文领域适配这个词表对中文很不友好一个汉字可能被拆成2-3个token序列长度膨胀训练效率低。我的做法是在预训练之前先用领域数据训练一个自定义的BPE tokenizer。具体操作是用tokenizers库训练一个词表大小32000的BPE。训练语料就是你的预训练数据加上领域数据。为什么要混在一起因为如果只用领域数据训tokenizer通用文本的压缩率会变差预训练阶段学到的通用知识会受影响。混在一起可以让tokenizer兼顾通用和领域。词表大小怎么定32000是一个经验值。太小常见词被拆碎太大embedding矩阵占显存而且低频token学不好。32000对于355M模型来说embedding层是32000×1024≈32M参数占模型总参数的9%左右可以接受。训练完tokenizer后要检查一下压缩率。压缩率原始字符数/token数。英文一般能到4左右中文能到1.5-2。如果中文压缩率低于1.2说明词表对中文覆盖不好需要增加中文语料比例重新训。3.2 模型配置与参数初始化GPT-2 355M的配置是n_layer24, n_head16, n_embd1024。FFN的中间维度是4×10244096。这个比例在LLaMA里变成了8/3×hidden但GPT-2时代就是4倍。我建议保持4倍不变因为你要对比的是GPT-2的原始架构改了之后不好归因。参数初始化用normal_(mean0.0, std0.02)这是GPT-2论文里的设置。但要注意残差路径上的投影层需要缩放。具体来说c_proj的权重初始化标准差要除以sqrt(2*n_layer)。这个细节在GPT-2论文里有提但很多复现代码漏掉了。不做这个缩放深层模型的残差激活值会爆炸loss直接NaN。位置编码用可学习的绝对位置编码最大长度1024。虽然现在主流是RoPE但GPT-2用的是绝对位置编码你既然复现GPT-2就保持一致。如果你想改成RoPE那是另一个实验不要混在一起。3.3 训练循环与学习率调度预训练的学习率调度是warmup cosine decay。warmup步数设为总步数的1%比如总步数10000warmup就是100步。峰值学习率我用的是6e-4这是GPT-2 small的训练设置355M可以降到3e-4。为什么降因为模型越大对学习率越敏感太大容易发散。batch size用梯度累积来等效放大。3090上单步batch size 8梯度累积4步等效batch size 32。序列长度512。这样每个step处理的token数是8×512×416384。总步数按1个epoch算8GB文本约20亿token20亿/16384≈12200步。优化器用AdamWbetas(0.9, 0.95)weight_decay0.1。注意GPT-2用的是0.01的weight decay但后来大家发现0.1更好。我实测0.1确实比0.01的验证loss低一点。梯度裁剪用1.0防止梯度爆炸。训练循环里要记录的东西训练loss、验证loss、学习率、梯度范数、吞吐量token/s。梯度范数如果突然飙升说明有bad batch需要检查数据。吞吐量在3090上355M模型FP16大概能到8000-10000 token/s。如果低于5000说明有瓶颈可能是数据加载或者CPU预处理。注意预训练过程中验证loss不一定要一直降。如果训练loss降但验证loss平了甚至升了说明过拟合。对于355M模型和8GB数据过拟合很容易发生。我的做法是早停验证loss连续3次评估不降就停。3.4 预训练结果怎么判断好坏预训练完的模型不要只看loss。Loss低不代表模型好用。我一般做三个检查生成样本、完形填空、困惑度。生成样本给几个prompt比如“The meaning of life is”看模型能不能生成语法通顺、语义连贯的句子。如果输出重复、乱码、或者很快退化成无意义字符说明训练有问题。完形填空用LAMBADA或者WikiText的句子遮住最后一个词看模型能不能猜对。这个任务考验的是模型的长距离依赖建模能力。GPT-2 355M在LAMBADA上应该有40%左右的准确率如果低于30%说明训练不充分。困惑度在验证集上算perplexity。GPT-2 355M在WikiText-103上大概20-25。如果你的困惑度超过40说明模型没学好。我自己的355M模型训了1个epoch后验证困惑度是23.7生成样本基本通顺LAMBADA准确率38%。这个水平不算好但作为个人开发者的预训练起点足够了。4. 领域适配让通用模型说行话4.1 领域适配的三种路线选择预训练完的模型是个“通才”什么都能聊一点但什么都不精。领域适配就是让它变成“专才”。有三条路线全量微调、LoRA、提示微调。全量微调是更新所有参数效果最好但显存占用大而且容易灾难性遗忘。LoRA是冻结原模型只训练低秩矩阵显存省但效果上限低。提示微调是只训练soft prompt参数最少但效果最不稳定。我选的是全量微调因为355M模型在3090上全量微调完全可行。领域数据只有500MB全量微调1-2个epoch显存占用和预训练差不多。而且全量微调能让我观察到灾难性遗忘到底有多严重这是LoRA看不到的。如果你要适配7B以上的模型那必须用LoRA。但355M这个量级全量微调是更好的学习工具。4.2 领域数据配比与灾难性遗忘领域适配最大的坑是灾难性遗忘模型学会了医疗问答但忘了怎么正常说话。我试过只用医疗数据微调结果模型在通用文本上的困惑度从23飙升到80生成样本全是医学术语堆砌语法都不通了。解决办法是混合通用数据。我的配比是领域数据:通用数据1:3。也就是说每个batch里25%是医疗数据75%是预训练用的通用数据。这样模型在学领域知识的同时不会忘记通用语言能力。这个比例怎么定如果领域数据太少模型学不到东西如果通用数据太多领域适配效果不明显。1:3是一个经验值你可以根据领域数据的量和质量调整。如果领域数据质量极高可以到1:1如果领域数据噪声大就降到1:5。还有一个技巧是分层学习率底层参数用更小的学习率顶层用更大的。因为底层学的是通用语法和语义顶层学的是领域特定模式。我用的设置是底层学习率1e-5顶层1e-4中间线性插值。这样底层不会被领域数据带偏。4.3 微调超参与训练监控领域适配的学习率比预训练小一个数量级。预训练用3e-4微调用3e-5。为什么因为预训练是从随机初始化开始需要大学习率快速下降微调是在预训练权重上继续训练大学习率会破坏已经学好的表示。batch size可以比预训练小一点因为领域数据少不需要那么大的等效batch。我用的是单步batch size 4梯度累积2步等效8。序列长度还是512。训练监控要看两个指标领域验证loss和通用验证loss。领域验证loss要降说明模型在学领域知识通用验证loss不能升太多升超过20%就说明遗忘严重需要增加通用数据比例或者降低学习率。我实测下来1:3配比3e-5学习率微调2个epoch后领域验证loss从2.1降到1.4通用验证loss从2.3升到2.5升了8.7%可以接受。如果通用loss升超过15%我就会停掉调整配比重新来。提示微调的时候一定要保存每个epoch的checkpoint。因为最佳领域效果不一定在最后一个epoch。我遇到过领域loss还在降但生成质量已经下降的情况这时候就要回滚到上一个checkpoint。4.4 领域适配效果评估怎么判断领域适配成功了不能只看loss。我设计了三个评估维度领域知识准确率、通用能力保持率、生成流畅度。领域知识准确率准备100个医疗问答对看模型答对多少。我训完之后准确率从预训练模型的12%提升到67%。这个提升是显著的。通用能力保持率用同样的100个通用问答对看模型答对多少。预训练模型是45%微调后是41%只掉了4个百分点说明遗忘控制得不错。生成流畅度人工看生成样本打分1-5分。预训练模型3.2分微调后3.8分说明模型在医疗场景下更自信、更流畅。这三个维度结合起来才能判断领域适配是否成功。只看领域准确率可能会被过拟合骗了只看通用保持率那不如不微调。5. 常见问题与排查技巧实录5.1 训练loss NaN怎么办这是最常见的问题。原因通常有三个学习率太大、梯度爆炸、数据里有NaN。排查顺序先把学习率降10倍看还NaN不。如果还NaN检查数据。用torch.isnan扫一遍输入看有没有NaN。如果数据没问题那就是梯度爆炸加梯度裁剪把max_norm从1.0降到0.5。我遇到过一次数据里有个文档全是特殊字符tokenizer编码后产生了超长token idembedding查表越界直接NaN。解决办法是在数据预处理阶段过滤掉token id超过词表大小的样本。5.2 显存不够怎么优化3090的24GB显存跑355M预训练一般够用。但如果序列长度拉到1024或者batch size太大就会OOM。优化手段按优先级排优化手段显存节省速度影响推荐度梯度累积线性变慢高混合精度约50%变快高梯度检查点约60%变慢30%中序列长度减半约75%变快中模型并行可扩展变慢低梯度检查点gradient checkpointing是拿时间换空间把激活值不保存反向传播时重新计算。355M模型用梯度检查点显存能从14GB降到6GB但训练速度慢30%。如果你显存实在不够这是最后的办法。5.3 生成重复怎么办预训练模型很容易生成重复文本比如“I think I think I think”。原因是解码策略太贪心。解决办法用top-k采样k50或者top-p采样p0.95或者加重复惩罚repetition_penalty1.2。但要注意重复也可能是模型本身的问题。如果训练不充分模型没学会如何结束句子就会一直重复。这时候要回去检查训练loss看是不是还没收敛。5.4 领域适配后通用能力下降太多如果通用验证loss升超过20%说明遗忘严重。解决办法增加通用数据比例从1:3调到1:5降低学习率从3e-5降到1e-5减少微调epoch数从2降到1。还有一个技巧是EWC弹性权重巩固在loss里加一项惩罚对预训练重要参数的改动。但EWC实现复杂个人开发者用数据配比控制就够了。5.5 常见问题速查表问题可能原因排查方法解决方案loss NaN学习率大/梯度爆炸/数据NaN降学习率、查数据、加裁剪降lr到1e-5max_norm0.5显存OOMbatch大/序列长看nvidia-smi梯度累积、混合精度、检查点生成重复解码策略/训练不足换采样、看losstop-p0.95repetition_penalty1.2遗忘严重领域数据比例高看通用loss调配比到1:5降lr训练慢数据加载瓶颈看GPU利用率预tokenize多worker验证loss不降过拟合/学习率大看训练vs验证早停、降lr、加dropout6. 个人开发者的经验心得与扩展方向6.1 我踩过的三个大坑第一个坑是tokenizer和模型不匹配。我一开始用GPT-2原版tokenizer训中文模型结果中文压缩率只有0.8序列长度爆炸训练慢得离谱。后来自己训了中文BPE压缩率到1.8训练速度翻倍。这个教训是tokenizer是LLM的地基地基没打好后面全是坑。第二个坑是数据没去重。预训练数据里有大量重复文档模型在重复数据上过拟合生成时反复输出同样的句子。后来加了MinHash去重重复率从30%降到3%生成质量明显提升。第三个坑是微调学习率太大。我用预训练的学习率3e-4做微调结果模型直接崩溃通用能力全没了。后来降到3e-5才正常。这个教训是微调的学习率永远比预训练小一个数量级。6.2 单卡训练的极限在哪里RTX 3090单卡355M模型预训练1个epoch大约需要6-8小时。774M模型需要20-24小时。1.5B模型全量预训练基本不可行必须用LoRA或者ZeRO。所以个人开发者的舒适区是100M到500M参数。这个量级的模型虽然能力有限但足够让你理解全流程。如果你想挑战更大模型建议用LoRA梯度检查点8bit优化器。8bit Adam能把优化器状态从FP32降到INT8显存省75%。配合LoRA7B模型在3090上也能微调。但预训练还是算了那个显存需求是指数级的。6.3 后续可以怎么扩展跑通这条流程后你可以往几个方向扩展。一是换架构把GPT-2换成LLaMA架构用RoPE和SwiGLU对比效果差异。二是换领域医疗、法律、代码、小说每个领域的适配策略都不一样。三是换适配方法试试LoRA、Prefix Tuning、Adapter对比全量微调的效果和成本。四是上RAG把领域模型和检索结合用外部知识库增强生成这是现在最实用的落地方式。我个人最推荐的是先跑通全流程再选一个方向深挖。不要一上来就搞RAG或者Agent那些是应用层的东西。底层没搞明白应用层就是空中楼阁。最后分享一个小技巧训练日志一定要结构化存储。用TensorBoard或者WandB把loss、学习率、梯度范数、吞吐量都记下来。我一开始用print后来发现根本没法对比不同实验。结构化日志让你能回看每一次实验的超参和结果这是个人开发者最宝贵的资产。
1. 为什么个人开发者也要走一遍LLM全流程很多人一提到大模型第一反应就是“这玩意儿得几百张卡才能玩”。我一开始也这么想直到自己用一张RTX 3090把GPT-2级别的模型从零预训练跑通再做完领域适配才发现个人开发者的路径和大厂完全是两码事。大厂拼的是规模、吞吐和集群调度个人拼的是单卡利用率、数据质量和流程闭环。你不需要复现GPT-4但你需要理解从原始文本到能用的领域模型之间每一步到底发生了什么。这篇文章要聊的就是一条完整的个人开发者LLM实践路线预训练一个基础模型再通过领域适配让它真正解决某个垂直场景的问题。核心关键词包括LLM、预训练、领域适配、GPT-2和RTX 3090。适合谁看如果你手头有一张24GB显存的卡懂一点PyTorch想搞清楚大模型训练到底怎么回事而不是只会调API那这篇内容就是给你写的。我会把每一步的决策逻辑、参数计算、踩坑记录都摊开讲你照着抄作业也能跑通。先说清楚一个前提个人开发者做LLM目标不是刷榜而是建立对全流程的肌肉记忆。你预训练出来的模型可能写诗不如GPT-2领域适配后的效果也可能只在小测试集上好看但这个过程会让你对tokenizer、注意力机制、学习率调度、数据配比、灾难性遗忘这些概念有完全不同的理解。这种理解看一百篇论文也换不来。2. 整体方案设计与硬件账本2.1 为什么选GPT-2而不是LLaMA架构选GPT-2作为预训练起点不是因为它是最好用的而是因为它是个人开发者能完整走通预训练流程的最小可行架构。LLaMA-7B在RTX 3090上做全量预训练光是优化器状态就要吃掉超过80GB显存必须上ZeRO或者LoRA但那样你就跳过了“从零训练”的核心体验。GPT-2 small只有124M参数medium是355Mlarge是774M。124M在单卡24GB上做全量预训练绰绰有余355M稍微调一下batch size也能跑774M就需要梯度累积和混合精度了。我自己的选择是GPT-2 355M。124M太小预训练完的模型能力太弱领域适配后效果提升不明显容易让人误以为“领域适配没用”。774M在3090上跑起来太慢一个epoch可能要十几个小时调试周期太长。355M是一个甜点显存占用可控训练速度可接受模型能力足够让你看到领域适配前后的明显差异。这里要解释一个关键点GPT-2的架构是decoder-only的Transformer和现在主流LLM的架构一脉相承。你在这个架构上学到的所有东西——位置编码、层归一化的位置、注意力头的分组、FFN的中间维度比例——在LLaMA、Qwen、Mistral上都是相通的。所以不要觉得GPT-2过时了它是最好的教学平台。2.2 RTX 3090的显存账本怎么算RTX 3090有24GB GDDR6X显存带宽936GB/s。这个带宽在消费级卡里算高的对Transformer这种访存密集型的模型很友好。但24GB到底能干什么需要算一笔账。预训练阶段显存占用主要来自四块模型参数、梯度、优化器状态、激活值。以GPT-2 355M为例参数量约3.55亿。FP16下参数占0.71GB梯度占0.71GB。如果用AdamW优化器优化器状态包括一阶矩和二阶矩各占一份FP32的参数副本所以是3.55亿×4字节×22.84GB。这三项加起来约4.26GB。剩下的就是激活值激活值和batch size、序列长度成正比。我实测下来序列长度512batch size 8的时候激活值大约占6-8GB。加上CUDA上下文和碎片总占用在12-14GB左右。这意味着你还有余量把batch size提到12甚至16。但要注意激活值会随着序列长度平方增长注意力矩阵序列长度从512提到1024激活值可能翻三倍。所以如果你要训长文本batch size就得降下来。提示在3090上跑预训练一定要开torch.cuda.amp混合精度用GradScaler防止梯度下溢。FP16比FP32快大约1.5到2倍显存省一半。但LayerNorm和softmax建议用FP32避免数值不稳定。2.3 数据从哪来怎么洗个人开发者最大的瓶颈不是算力是数据。你没有Common Crawl的完整副本也没有几TB的清洗过的文本。我的建议是用公开的高质量小数据集配合你自己的领域数据。预训练阶段我用的是OpenWebText的一个子集大约8GB文本加上Wikipedia的中文和英文摘要。OpenWebText是GPT-2训练数据的开源复现质量比Common Crawl好很多噪声少。8GB文本大概对应20亿个token左右对于355M模型来说跑1-2个epoch足够看到loss下降。数据清洗的步骤不能省。我踩过的坑是直接拿原始文本训结果模型学会了输出HTML标签和乱码。必须做这几件事去重、去HTML标签、去超长行、去低信息量文本。去重我用的是MinHash LSH把相似度超过0.8的文档去掉。去HTML标签用BeautifulSoup但要注意保留段落换行。去超长行是指把超过2000字符的行截断或丢弃因为这种行往往是爬虫抓下来的导航栏或者JSON串。领域适配阶段的数据更关键。我选的是医疗问答场景数据来自公开的医疗百科和问答对大约500MB。这里要注意领域数据不是越多越好而是越干净、越贴近目标分布越好。500MB的高质量医疗文本比5GB的混杂网页文本效果好得多。3. 预训练实操从tokenizer到loss曲线3.1 tokenizer训练与词表选择GPT-2原版用的是BPE tokenizer词表大小50257。如果你做中文领域适配这个词表对中文很不友好一个汉字可能被拆成2-3个token序列长度膨胀训练效率低。我的做法是在预训练之前先用领域数据训练一个自定义的BPE tokenizer。具体操作是用tokenizers库训练一个词表大小32000的BPE。训练语料就是你的预训练数据加上领域数据。为什么要混在一起因为如果只用领域数据训tokenizer通用文本的压缩率会变差预训练阶段学到的通用知识会受影响。混在一起可以让tokenizer兼顾通用和领域。词表大小怎么定32000是一个经验值。太小常见词被拆碎太大embedding矩阵占显存而且低频token学不好。32000对于355M模型来说embedding层是32000×1024≈32M参数占模型总参数的9%左右可以接受。训练完tokenizer后要检查一下压缩率。压缩率原始字符数/token数。英文一般能到4左右中文能到1.5-2。如果中文压缩率低于1.2说明词表对中文覆盖不好需要增加中文语料比例重新训。3.2 模型配置与参数初始化GPT-2 355M的配置是n_layer24, n_head16, n_embd1024。FFN的中间维度是4×10244096。这个比例在LLaMA里变成了8/3×hidden但GPT-2时代就是4倍。我建议保持4倍不变因为你要对比的是GPT-2的原始架构改了之后不好归因。参数初始化用normal_(mean0.0, std0.02)这是GPT-2论文里的设置。但要注意残差路径上的投影层需要缩放。具体来说c_proj的权重初始化标准差要除以sqrt(2*n_layer)。这个细节在GPT-2论文里有提但很多复现代码漏掉了。不做这个缩放深层模型的残差激活值会爆炸loss直接NaN。位置编码用可学习的绝对位置编码最大长度1024。虽然现在主流是RoPE但GPT-2用的是绝对位置编码你既然复现GPT-2就保持一致。如果你想改成RoPE那是另一个实验不要混在一起。3.3 训练循环与学习率调度预训练的学习率调度是warmup cosine decay。warmup步数设为总步数的1%比如总步数10000warmup就是100步。峰值学习率我用的是6e-4这是GPT-2 small的训练设置355M可以降到3e-4。为什么降因为模型越大对学习率越敏感太大容易发散。batch size用梯度累积来等效放大。3090上单步batch size 8梯度累积4步等效batch size 32。序列长度512。这样每个step处理的token数是8×512×416384。总步数按1个epoch算8GB文本约20亿token20亿/16384≈12200步。优化器用AdamWbetas(0.9, 0.95)weight_decay0.1。注意GPT-2用的是0.01的weight decay但后来大家发现0.1更好。我实测0.1确实比0.01的验证loss低一点。梯度裁剪用1.0防止梯度爆炸。训练循环里要记录的东西训练loss、验证loss、学习率、梯度范数、吞吐量token/s。梯度范数如果突然飙升说明有bad batch需要检查数据。吞吐量在3090上355M模型FP16大概能到8000-10000 token/s。如果低于5000说明有瓶颈可能是数据加载或者CPU预处理。注意预训练过程中验证loss不一定要一直降。如果训练loss降但验证loss平了甚至升了说明过拟合。对于355M模型和8GB数据过拟合很容易发生。我的做法是早停验证loss连续3次评估不降就停。3.4 预训练结果怎么判断好坏预训练完的模型不要只看loss。Loss低不代表模型好用。我一般做三个检查生成样本、完形填空、困惑度。生成样本给几个prompt比如“The meaning of life is”看模型能不能生成语法通顺、语义连贯的句子。如果输出重复、乱码、或者很快退化成无意义字符说明训练有问题。完形填空用LAMBADA或者WikiText的句子遮住最后一个词看模型能不能猜对。这个任务考验的是模型的长距离依赖建模能力。GPT-2 355M在LAMBADA上应该有40%左右的准确率如果低于30%说明训练不充分。困惑度在验证集上算perplexity。GPT-2 355M在WikiText-103上大概20-25。如果你的困惑度超过40说明模型没学好。我自己的355M模型训了1个epoch后验证困惑度是23.7生成样本基本通顺LAMBADA准确率38%。这个水平不算好但作为个人开发者的预训练起点足够了。4. 领域适配让通用模型说行话4.1 领域适配的三种路线选择预训练完的模型是个“通才”什么都能聊一点但什么都不精。领域适配就是让它变成“专才”。有三条路线全量微调、LoRA、提示微调。全量微调是更新所有参数效果最好但显存占用大而且容易灾难性遗忘。LoRA是冻结原模型只训练低秩矩阵显存省但效果上限低。提示微调是只训练soft prompt参数最少但效果最不稳定。我选的是全量微调因为355M模型在3090上全量微调完全可行。领域数据只有500MB全量微调1-2个epoch显存占用和预训练差不多。而且全量微调能让我观察到灾难性遗忘到底有多严重这是LoRA看不到的。如果你要适配7B以上的模型那必须用LoRA。但355M这个量级全量微调是更好的学习工具。4.2 领域数据配比与灾难性遗忘领域适配最大的坑是灾难性遗忘模型学会了医疗问答但忘了怎么正常说话。我试过只用医疗数据微调结果模型在通用文本上的困惑度从23飙升到80生成样本全是医学术语堆砌语法都不通了。解决办法是混合通用数据。我的配比是领域数据:通用数据1:3。也就是说每个batch里25%是医疗数据75%是预训练用的通用数据。这样模型在学领域知识的同时不会忘记通用语言能力。这个比例怎么定如果领域数据太少模型学不到东西如果通用数据太多领域适配效果不明显。1:3是一个经验值你可以根据领域数据的量和质量调整。如果领域数据质量极高可以到1:1如果领域数据噪声大就降到1:5。还有一个技巧是分层学习率底层参数用更小的学习率顶层用更大的。因为底层学的是通用语法和语义顶层学的是领域特定模式。我用的设置是底层学习率1e-5顶层1e-4中间线性插值。这样底层不会被领域数据带偏。4.3 微调超参与训练监控领域适配的学习率比预训练小一个数量级。预训练用3e-4微调用3e-5。为什么因为预训练是从随机初始化开始需要大学习率快速下降微调是在预训练权重上继续训练大学习率会破坏已经学好的表示。batch size可以比预训练小一点因为领域数据少不需要那么大的等效batch。我用的是单步batch size 4梯度累积2步等效8。序列长度还是512。训练监控要看两个指标领域验证loss和通用验证loss。领域验证loss要降说明模型在学领域知识通用验证loss不能升太多升超过20%就说明遗忘严重需要增加通用数据比例或者降低学习率。我实测下来1:3配比3e-5学习率微调2个epoch后领域验证loss从2.1降到1.4通用验证loss从2.3升到2.5升了8.7%可以接受。如果通用loss升超过15%我就会停掉调整配比重新来。提示微调的时候一定要保存每个epoch的checkpoint。因为最佳领域效果不一定在最后一个epoch。我遇到过领域loss还在降但生成质量已经下降的情况这时候就要回滚到上一个checkpoint。4.4 领域适配效果评估怎么判断领域适配成功了不能只看loss。我设计了三个评估维度领域知识准确率、通用能力保持率、生成流畅度。领域知识准确率准备100个医疗问答对看模型答对多少。我训完之后准确率从预训练模型的12%提升到67%。这个提升是显著的。通用能力保持率用同样的100个通用问答对看模型答对多少。预训练模型是45%微调后是41%只掉了4个百分点说明遗忘控制得不错。生成流畅度人工看生成样本打分1-5分。预训练模型3.2分微调后3.8分说明模型在医疗场景下更自信、更流畅。这三个维度结合起来才能判断领域适配是否成功。只看领域准确率可能会被过拟合骗了只看通用保持率那不如不微调。5. 常见问题与排查技巧实录5.1 训练loss NaN怎么办这是最常见的问题。原因通常有三个学习率太大、梯度爆炸、数据里有NaN。排查顺序先把学习率降10倍看还NaN不。如果还NaN检查数据。用torch.isnan扫一遍输入看有没有NaN。如果数据没问题那就是梯度爆炸加梯度裁剪把max_norm从1.0降到0.5。我遇到过一次数据里有个文档全是特殊字符tokenizer编码后产生了超长token idembedding查表越界直接NaN。解决办法是在数据预处理阶段过滤掉token id超过词表大小的样本。5.2 显存不够怎么优化3090的24GB显存跑355M预训练一般够用。但如果序列长度拉到1024或者batch size太大就会OOM。优化手段按优先级排优化手段显存节省速度影响推荐度梯度累积线性变慢高混合精度约50%变快高梯度检查点约60%变慢30%中序列长度减半约75%变快中模型并行可扩展变慢低梯度检查点gradient checkpointing是拿时间换空间把激活值不保存反向传播时重新计算。355M模型用梯度检查点显存能从14GB降到6GB但训练速度慢30%。如果你显存实在不够这是最后的办法。5.3 生成重复怎么办预训练模型很容易生成重复文本比如“I think I think I think”。原因是解码策略太贪心。解决办法用top-k采样k50或者top-p采样p0.95或者加重复惩罚repetition_penalty1.2。但要注意重复也可能是模型本身的问题。如果训练不充分模型没学会如何结束句子就会一直重复。这时候要回去检查训练loss看是不是还没收敛。5.4 领域适配后通用能力下降太多如果通用验证loss升超过20%说明遗忘严重。解决办法增加通用数据比例从1:3调到1:5降低学习率从3e-5降到1e-5减少微调epoch数从2降到1。还有一个技巧是EWC弹性权重巩固在loss里加一项惩罚对预训练重要参数的改动。但EWC实现复杂个人开发者用数据配比控制就够了。5.5 常见问题速查表问题可能原因排查方法解决方案loss NaN学习率大/梯度爆炸/数据NaN降学习率、查数据、加裁剪降lr到1e-5max_norm0.5显存OOMbatch大/序列长看nvidia-smi梯度累积、混合精度、检查点生成重复解码策略/训练不足换采样、看losstop-p0.95repetition_penalty1.2遗忘严重领域数据比例高看通用loss调配比到1:5降lr训练慢数据加载瓶颈看GPU利用率预tokenize多worker验证loss不降过拟合/学习率大看训练vs验证早停、降lr、加dropout6. 个人开发者的经验心得与扩展方向6.1 我踩过的三个大坑第一个坑是tokenizer和模型不匹配。我一开始用GPT-2原版tokenizer训中文模型结果中文压缩率只有0.8序列长度爆炸训练慢得离谱。后来自己训了中文BPE压缩率到1.8训练速度翻倍。这个教训是tokenizer是LLM的地基地基没打好后面全是坑。第二个坑是数据没去重。预训练数据里有大量重复文档模型在重复数据上过拟合生成时反复输出同样的句子。后来加了MinHash去重重复率从30%降到3%生成质量明显提升。第三个坑是微调学习率太大。我用预训练的学习率3e-4做微调结果模型直接崩溃通用能力全没了。后来降到3e-5才正常。这个教训是微调的学习率永远比预训练小一个数量级。6.2 单卡训练的极限在哪里RTX 3090单卡355M模型预训练1个epoch大约需要6-8小时。774M模型需要20-24小时。1.5B模型全量预训练基本不可行必须用LoRA或者ZeRO。所以个人开发者的舒适区是100M到500M参数。这个量级的模型虽然能力有限但足够让你理解全流程。如果你想挑战更大模型建议用LoRA梯度检查点8bit优化器。8bit Adam能把优化器状态从FP32降到INT8显存省75%。配合LoRA7B模型在3090上也能微调。但预训练还是算了那个显存需求是指数级的。6.3 后续可以怎么扩展跑通这条流程后你可以往几个方向扩展。一是换架构把GPT-2换成LLaMA架构用RoPE和SwiGLU对比效果差异。二是换领域医疗、法律、代码、小说每个领域的适配策略都不一样。三是换适配方法试试LoRA、Prefix Tuning、Adapter对比全量微调的效果和成本。四是上RAG把领域模型和检索结合用外部知识库增强生成这是现在最实用的落地方式。我个人最推荐的是先跑通全流程再选一个方向深挖。不要一上来就搞RAG或者Agent那些是应用层的东西。底层没搞明白应用层就是空中楼阁。最后分享一个小技巧训练日志一定要结构化存储。用TensorBoard或者WandB把loss、学习率、梯度范数、吞吐量都记下来。我一开始用print后来发现根本没法对比不同实验。结构化日志让你能回看每一次实验的超参和结果这是个人开发者最宝贵的资产。
