1. 大模型系统性入门到底在学什么1.1 先搞清楚“入门”的边界在哪里很多人一说要学大模型第一反应就是去搜“大模型学习路线”然后收藏一堆从Transformer论文到RLHF再到分布式训练的链接最后躺在收藏夹里吃灰。我见过太多这样的案例了。问题出在哪儿出在没搞清楚“入门”这两个字的边界。大模型这个领域往浅了说会调API、会写提示词就能干活往深了说要懂注意力机制、要会手写反向传播、要能改架构做微调。这两个极端之间差了大概三年的全职学习量。所以系统性入门的第一步不是去啃论文而是先明确你的目标岗位或者目标场景到底需要你掌握到什么程度。我一般把入门需求分成三类。第一类是应用型主要工作是用现成的模型API或者开源模型搭应用比如做知识库问答、做文档摘要、做智能客服。这类岗位对底层原理要求不高但对提示词工程、上下文管理、RAG架构、Agent编排这些偏工程的东西要求很实在。第二类是调优型需要在开源模型基础上做微调让模型在特定领域表现更好比如医疗问答、法律文书生成、代码补全。这类岗位要求你懂训练框架、懂数据构造、懂评估方法。第三类是研究型要改模型架构、要复现论文、要做预训练。这类岗位基本就是博士或者有深厚积累的研究员在做不在大多数人的入门范围内。我的建议是如果你是从零开始先把目标锁定在应用型用两周时间把API调用、提示词设计、RAG流程跑通拿到正反馈之后再往调优型走。一上来就啃注意力机制的矩阵运算大概率三天就放弃了。1.2 核心知识模块的优先级排序确定了目标之后接下来要解决的是“先学什么后学什么”的问题。网上很多学习路线是平铺的把Transformer、微调、部署、评估并列在一起这其实很不合理。因为有些知识是前置依赖不学前面的后面根本看不懂。我自己的经验是按照依赖关系来排优先级应该是这样的第一层是提示词工程与上下文工程这是你和大模型交互的基本功不需要任何数学基础但决定了你能不能把模型的能力榨出来。第二层是模型调用与API集成包括怎么发请求、怎么处理流式输出、怎么管理token预算、怎么做错误重试。第三层是RAG与向量检索这是让模型能回答私有知识问题的核心手段。第四层是微调技术包括全量微调和参数高效微调比如LoRA和QLoRA。第五层是部署与推理优化涉及vLLM、量化、显存管理这些。第六层才是模型原理与架构细节。这个排序的逻辑是越靠前的模块反馈周期越短越容易看到效果越能支撑你继续往下学。越靠后的模块需要的前置知识越多投入产出比在入门阶段越低。很多人卡在第四层就上不去了不是因为微调本身有多难而是因为前三层没打好数据构造和评估都做不明白微调出来的模型根本没法用。1.3 不同背景的人该怎么切入我接触过各种背景想学大模型的人有做后端的、做前端的、做数据分析的、做产品的甚至还有做传统行业想转行的。不同背景的人切入点完全不一样。后端工程师的优势在于工程能力直接从前两层切入把API集成和RAG流程跑通然后补提示词工程和向量检索的知识很快就能出活。前端工程师可以从对话界面和流式输出入手先做一个能用的聊天界面再往后端和模型层延伸。数据分析师的优势在于对数据和评估的敏感度可以从提示词工程和评估方法切入然后学RAG和微调。产品经理不需要写代码但需要理解模型的能力边界和成本结构重点学提示词工程、上下文工程和评估方法。一个常见的误区是觉得自己数学不好就学不了大模型。实际上应用型和调优型的工作对数学的要求远没有想象中那么高。你不需要手推反向传播但需要理解损失函数在干什么、学习率意味着什么、过拟合是什么表现。这些概念用直觉理解就够了不需要严格的数学推导。2. 提示词工程与上下文工程的核心要点2.1 提示词工程不是“写咒语”很多人把提示词工程理解成找一套神奇的模板复制粘贴进去就能让模型变聪明。这个理解是错的。提示词工程的本质是用自然语言给模型设定任务边界和输出约束它更像是在给一个非常聪明但完全没有背景信息的实习生写工作说明书。我见过最典型的错误就是提示词写得太模糊。比如“帮我总结一下这篇文章”模型不知道你要多长的总结、面向什么读者、重点是什么。好的提示词应该包含角色设定、任务描述、输入数据、输出格式、约束条件这几个要素。角色设定是告诉模型“你是谁”比如“你是一个有十年经验的财务分析师”。任务描述是告诉模型“要做什么”比如“从以下财报中提取营收、净利润、毛利率三个指标”。输入数据就是你要处理的内容。输出格式是告诉模型“怎么输出”比如“用JSON格式输出字段名为revenue、net_profit、gross_margin”。约束条件是告诉模型“不要做什么”比如“如果数据中没有提到某个指标输出null不要编造”。这几个要素里输出格式和约束条件是最容易被忽略但最重要的。因为模型天生有“编造”的倾向你不给它明确的边界它就会自由发挥。而一旦你规定了输出格式后续的程序化处理就变得非常容易。2.2 上下文工程才是真正的分水岭提示词工程解决的是“单次交互”的问题上下文工程解决的是“多轮交互”和“长文档处理”的问题。这两者的难度差了一个量级。上下文工程的核心挑战是模型的上下文窗口是有限的但你的知识库可能是无限的。怎么在有限的窗口里塞进最有用的信息这就是上下文工程要解决的问题。常见的手段包括滑动窗口、摘要压缩、关键信息抽取、分层检索、重排序。滑动窗口最简单就是只保留最近N轮对话。但它的缺点是会丢失早期的重要信息。摘要压缩是把历史对话总结成一段话但总结本身会丢失细节。关键信息抽取是从历史对话中提取实体和关系存到结构化存储里需要的时候再查出来。分层检索是先粗筛再精排先用向量检索召回一批候选再用交叉编码器做重排序。重排序是提升RAG效果最明显的手段之一但很多人不知道或者懒得用。我实测下来在RAG场景里加一个重排序步骤回答准确率能提升15到25个百分点。这个投入产出比非常高强烈建议在入门阶段就把它纳入流程。2.3 提示词设计的实操模板与避坑下面给一个我常用的提示词模板结构适用于大多数信息抽取和问答场景# 角色 你是一个[具体角色]擅长[具体技能]。 # 任务 请根据以下[输入类型]完成[具体任务]。 # 输入 [输入内容] # 输出要求 1. 输出格式为[具体格式] 2. 必须包含[必填字段] 3. 如果[条件]则[处理方式] 4. 不要[禁止行为] # 示例 输入[示例输入] 输出[示例输出]这个模板里示例部分非常关键。模型对示例的敏感度远高于对指令的敏感度。你给一个高质量的示例比写十行指令都管用。但示例不能太多一般一到三个就够了太多会占用宝贵的上下文窗口。避坑方面有几个点一定要注意。第一不要在提示词里写否定句比如“不要编造数据”模型对否定句的理解能力很弱更好的写法是“如果数据中没有相关信息输出‘未找到’”。第二不要在提示词里放太多相互矛盾的约束比如既要“详细”又要“简洁”模型会无所适从。第三提示词的长度要控制超过一定长度后模型对中间部分的注意力会下降重要的指令要放在开头或结尾。3. 模型调用、RAG与微调的实操路径3.1 从API调用到本地部署的完整链路入门阶段我建议先用API把流程跑通再考虑本地部署。原因很简单API调用没有硬件门槛反馈快能让你把精力集中在业务逻辑上。等你把提示词、RAG、评估这些流程都跑顺了再考虑本地部署来降低成本或者满足数据隐私要求。API调用的核心知识点包括请求构造、流式输出处理、token计数、错误重试、并发控制。请求构造没什么好说的各家API的格式大同小异。流式输出是提升用户体验的关键能让用户看到逐字生成的效果而不是等半天才出结果。token计数关系到成本你需要知道每次请求消耗了多少token才能做预算控制。错误重试是保证稳定性的必要手段网络抖动、限流、超时都是常见问题。并发控制是防止你把API配额打爆。本地部署的门槛主要在硬件和软件环境上。硬件方面消费级显卡能跑7B到14B的模型量化之后能跑更大的。软件方面vLLM是目前最主流的推理框架支持连续批处理和PagedAttention吞吐量比HuggingFace的默认推理快很多。部署流程一般是下载模型权重、配置推理框架、启动服务、测试接口。# vLLM启动示例 python -m vllm.entrypoints.openai.api_server \ --model /path/to/model \ --tensor-parallel-size 1 \ --dtype auto \ --max-model-len 4096 \ --gpu-memory-utilization 0.9这个命令启动了一个兼容OpenAI接口的推理服务你可以用OpenAI的SDK直接调用。tensor-parallel-size是张量并行数单卡就设1。max-model-len是最大上下文长度根据你的显存来调。gpu-memory-utilization是显存利用率0.9表示用90%的显存。3.2 RAG流程的搭建与优化RAG是让大模型回答私有知识问题的标准方案。它的核心流程是文档加载、文本切分、向量化、存储、检索、重排序、生成。每一步都有坑。文档加载阶段要注意格式兼容性。PDF、Word、HTML、Markdown的解析方式都不一样。PDF里的表格和图片是难点很多解析库处理不好。文本切分阶段切分粒度很关键。切得太碎语义不完整切得太大检索精度下降。一般建议按语义切分比如按段落或者按标题层级切分每个块控制在200到500字。向量化阶段选对embedding模型很重要。中文场景下BGE系列和M3E系列是比较主流的选择。向量存储可以用FAISS、Chroma、Milvus这些。检索阶段除了向量检索还可以结合关键词检索做混合检索效果通常比单一检索好。重排序阶段用交叉编码器对候选结果重新打分能显著提升精度。一个容易被忽略的点是RAG的评估。很多人搭完RAG就上线了根本不知道效果好不好。你需要准备一批问答对定期跑评估看召回率和准确率的变化。没有评估的RAG就是在裸奔。3.3 微调技术的入门与实战微调是让模型适应特定领域的关键手段。入门阶段我强烈建议从LoRA开始不要一上来就做全量微调。LoRA的原理是在模型的权重矩阵旁边加一个低秩分解的旁路只训练这个旁路不动原始权重。这样做的好处是显存占用小、训练速度快、不容易过拟合。LoRA的关键参数包括秩、alpha、dropout、目标模块。秩决定了旁路的容量一般设8到64。alpha是缩放因子通常设成秩的两倍。dropout是防止过拟合的一般设0.05到0.1。目标模块是指对哪些层做LoRA通常对注意力层的Q、K、V、O都做。from peft import LoraConfig, get_peft_model lora_config LoraConfig( r16, lora_alpha32, lora_dropout0.05, target_modules[q_proj, k_proj, v_proj, o_proj], task_typeCAUSAL_LM ) model get_peft_model(base_model, lora_config) model.print_trainable_parameters()这段代码创建了一个LoRA配置并把它应用到基础模型上。print_trainable_parameters()会告诉你可训练参数占总参数的比例通常只有0.1%到1%。微调的数据构造是另一个关键点。数据质量比数量重要得多。一百条高质量的数据效果可能比一万条低质量的数据好。数据格式一般是instruction-input-output的三元组或者对话格式。构造数据的时候要注意多样性覆盖各种可能的输入情况。微调之后的评估也很重要。你不能只看loss曲线还要看实际生成的效果。准备一批测试用例对比微调前后的输出看是否达到了预期。如果效果不好可能是数据问题、参数问题、或者基础模型选得不对。4. 常见问题与排查技巧实录4.1 模型输出不稳定怎么办模型输出不稳定是入门阶段最常见的问题。同样的输入两次调用可能得到完全不同的输出。这个问题的根源是模型的采样策略。默认情况下模型会按照概率分布随机采样温度参数越高随机性越大。解决办法有几个。第一把温度调到0或者接近0这样模型会倾向于选择概率最高的token输出更确定。第二设置固定的随机种子保证每次采样的随机序列一致。第三在提示词里加约束比如“请严格按照以下格式输出”。第四用few-shot示例引导模型示例越明确输出越稳定。但要注意温度调到0也不是完全确定的因为浮点运算的精度问题、并行计算的顺序问题都可能导致微小差异。如果你需要完全确定的输出那只能做缓存同样的输入直接返回缓存结果。4.2 显存不够用的排查思路显存不够用是本地部署和微调时的常见问题。排查思路是这样的先看模型本身占了多少显存再看推理时的KV Cache占了多少最后看训练时的优化器状态和梯度占了多少。模型本身的显存占用可以用这个公式估算参数量乘以精度字节数。比如7B模型用FP16加载大概需要14GB显存。KV Cache的占用和序列长度、批大小、层数、注意力头数有关序列越长、批越大占用越多。训练时的显存占用通常是推理的三到四倍因为还要存梯度、优化器状态和激活值。解决办法包括用量化降低精度比如用4-bit量化能把显存占用降到四分之一用梯度检查点换显存代价是训练速度变慢用LoRA减少可训练参数用梯度累积模拟大批量用CPU offload把部分参数放到内存里。4.3 常见问题速查表问题现象可能原因排查方法解决方案输出乱码或重复模型加载不完整、精度不匹配检查模型文件完整性、检查dtype设置重新下载模型、统一精度推理速度极慢没有用推理框架、批大小太小检查是否用了vLLM、检查批处理配置切换到vLLM、增大批大小微调后效果变差学习率太大、数据质量差、过拟合检查loss曲线、检查数据样本降低学习率、清洗数据、加dropoutRAG回答不准确切分粒度不当、检索召回不足检查切分后的文本块、检查召回结果调整切分策略、加混合检索和重排序API调用超时网络问题、限流、请求过大检查网络、检查请求token数加重试、减小请求、错峰调用显存溢出模型太大、序列太长、批太大检查显存占用分布量化、减小序列长度、减小批大小这张表里的问题我基本上都踩过。最坑的是“微调后效果变差”因为原因可能有很多种需要逐一排查。我的经验是先看数据再看参数最后看模型。数据问题占了八成以上。4.4 几个容易被忽略的实操心得第一个心得永远先跑通最小闭环再优化。很多人一上来就想搭一个完美的系统结果卡在某个环节上迟迟出不来结果。正确的做法是先用一个最简单的方案把流程跑通哪怕效果很差至少你知道每个环节是通的然后再逐个优化。第二个心得评估集要提前准备不要事后补。很多人在微调或者搭RAG的时候先做开发做完再想怎么评估。这时候你已经对数据有了先入为主的印象评估集很难做到客观。正确的做法是在开发之前就准备好一批测试用例开发过程中定期跑评估。第三个心得日志要记全尤其是失败案例。模型调用失败、检索没召回、生成结果不对这些失败案例是最有价值的信息。把输入、输出、中间结果都记下来定期分析你会发现很多系统性的问题。第四个心得不要迷信排行榜要自己测。模型排行榜上的分数是在特定数据集上测出来的和你的实际场景可能差很远。选模型的时候拿你自己的数据跑一遍看实际效果比看排行榜靠谱得多。第五个心得成本要算清楚尤其是token消耗。API调用是按token计费的RAG和Agent场景下token消耗会成倍增加。你要知道每次请求大概消耗多少token才能做预算控制。本地部署虽然没有API费用但硬件成本和电费也要算进去。5. 学习路线与资源选择的个人建议5.1 分阶段的学习路线我把入门阶段分成三个阶段。第一阶段是“能用”目标是能调用模型API、能写提示词、能搭一个简单的RAG。这个阶段大概需要两到四周不需要任何数学基础重点是动手。第二阶段是“会调”目标是能做LoRA微调、能评估模型效果、能优化RAG流程。这个阶段大概需要一到两个月需要理解一些基本概念但不需要深入数学。第三阶段是“懂原理”目标是理解Transformer架构、理解注意力机制、理解训练和推理的细节。这个阶段是长期的可以边做项目边学。每个阶段的学习方式不一样。第一阶段以动手为主看教程、抄代码、改代码。第二阶段以项目为主找一个实际场景从头到尾做一遍。第三阶段以阅读为主看论文、看源码、看技术博客。我个人的经验是不要等“学完了”再去做项目而是在做项目的过程中学。遇到什么问题就学什么这样学到的知识是带着场景的记得牢、用得上。5.2 工具与框架的选择逻辑工具选择的核心逻辑是选社区活跃、文档完善、和你目标场景匹配的。不要选太新的、太偏的、或者已经停止维护的。推理框架方面vLLM是目前的主流选择社区活跃性能好兼容OpenAI接口。如果你需要更轻量的方案可以考虑llama.cpp它支持CPU推理和多种量化格式。如果你需要多模态支持可以考虑Lmdeploy或者TensorRT-LLM。微调框架方面HuggingFace的Transformers加PEFT是最通用的方案文档完善社区大。如果你需要更高效的训练可以考虑DeepSpeed或者FSDP。如果你需要更简单的接口可以考虑LLaMA-Factory它把训练流程封装得很好适合入门。RAG框架方面LangChain和LlamaIndex是两大主流。LangChain的生态更丰富但抽象层比较多调试起来有时候比较麻烦。LlamaIndex更专注于RAG场景接口更简洁。我的建议是先用LlamaIndex把RAG跑通再根据需要决定要不要上LangChain。向量数据库方面入门阶段用FAISS就够了它是本地的、轻量的、免费的。如果需要持久化和分布式可以考虑Milvus或者Qdrant。如果只是小规模使用Chroma也很方便。5.3 避免信息过载的策略大模型领域的信息量非常大每天都有新论文、新模型、新框架。如果什么都想学最后什么都学不深。我的策略是锁定一个目标场景围绕这个场景构建知识体系其他的一律先放一边。具体做法是先确定你要做什么比如“做一个企业知识库问答系统”。然后把这个系统拆解成几个模块文档解析、文本切分、向量化、检索、重排序、生成、评估。每个模块只学最主流的一到两个方案不要贪多。等这个系统跑通了再考虑扩展和优化。信息源的选择也很重要。不要什么都看关注几个高质量的信息源就够了。官方文档永远是最靠谱的遇到问题先查官方文档。技术博客和社区帖子可以作为补充但要注意甄别质量。论文在入门阶段可以少看除非你确实需要深入某个方向。5.4 从入门到进阶的衔接入门之后往哪个方向进阶取决于你的目标和兴趣。如果你偏工程可以深入推理优化、分布式训练、Agent编排这些方向。如果你偏算法可以深入微调技术、模型架构、评估方法这些方向。如果你偏产品可以深入场景设计、用户体验、成本控制这些方向。不管往哪个方向走有几项能力是通用的读源码的能力、做实验的能力、写文档的能力。读源码能让你理解框架的内部机制做实验能让你验证想法写文档能让你沉淀经验。这三项能力越早培养越好。我个人的体会是大模型这个领域入门不难难的是持续跟进。技术迭代太快了今天的主流方案可能半年后就过时了。所以重要的不是记住某个具体的方案而是理解方案背后的原理和取舍逻辑。原理是不太变的方案是经常变的。把原理搞懂了新方案出来的时候你很快就能判断它适不适合你的场景。最后分享一个小技巧如果你在某个问题上卡住了试着用大模型本身来帮你排查。把错误信息、你的代码、你的配置都贴给模型让它帮你分析可能的原因。很多时候模型能给出你没想到的思路。这个技巧我在排查环境问题和配置问题时经常用效率比自己瞎试高得多。
1. 大模型系统性入门到底在学什么1.1 先搞清楚“入门”的边界在哪里很多人一说要学大模型第一反应就是去搜“大模型学习路线”然后收藏一堆从Transformer论文到RLHF再到分布式训练的链接最后躺在收藏夹里吃灰。我见过太多这样的案例了。问题出在哪儿出在没搞清楚“入门”这两个字的边界。大模型这个领域往浅了说会调API、会写提示词就能干活往深了说要懂注意力机制、要会手写反向传播、要能改架构做微调。这两个极端之间差了大概三年的全职学习量。所以系统性入门的第一步不是去啃论文而是先明确你的目标岗位或者目标场景到底需要你掌握到什么程度。我一般把入门需求分成三类。第一类是应用型主要工作是用现成的模型API或者开源模型搭应用比如做知识库问答、做文档摘要、做智能客服。这类岗位对底层原理要求不高但对提示词工程、上下文管理、RAG架构、Agent编排这些偏工程的东西要求很实在。第二类是调优型需要在开源模型基础上做微调让模型在特定领域表现更好比如医疗问答、法律文书生成、代码补全。这类岗位要求你懂训练框架、懂数据构造、懂评估方法。第三类是研究型要改模型架构、要复现论文、要做预训练。这类岗位基本就是博士或者有深厚积累的研究员在做不在大多数人的入门范围内。我的建议是如果你是从零开始先把目标锁定在应用型用两周时间把API调用、提示词设计、RAG流程跑通拿到正反馈之后再往调优型走。一上来就啃注意力机制的矩阵运算大概率三天就放弃了。1.2 核心知识模块的优先级排序确定了目标之后接下来要解决的是“先学什么后学什么”的问题。网上很多学习路线是平铺的把Transformer、微调、部署、评估并列在一起这其实很不合理。因为有些知识是前置依赖不学前面的后面根本看不懂。我自己的经验是按照依赖关系来排优先级应该是这样的第一层是提示词工程与上下文工程这是你和大模型交互的基本功不需要任何数学基础但决定了你能不能把模型的能力榨出来。第二层是模型调用与API集成包括怎么发请求、怎么处理流式输出、怎么管理token预算、怎么做错误重试。第三层是RAG与向量检索这是让模型能回答私有知识问题的核心手段。第四层是微调技术包括全量微调和参数高效微调比如LoRA和QLoRA。第五层是部署与推理优化涉及vLLM、量化、显存管理这些。第六层才是模型原理与架构细节。这个排序的逻辑是越靠前的模块反馈周期越短越容易看到效果越能支撑你继续往下学。越靠后的模块需要的前置知识越多投入产出比在入门阶段越低。很多人卡在第四层就上不去了不是因为微调本身有多难而是因为前三层没打好数据构造和评估都做不明白微调出来的模型根本没法用。1.3 不同背景的人该怎么切入我接触过各种背景想学大模型的人有做后端的、做前端的、做数据分析的、做产品的甚至还有做传统行业想转行的。不同背景的人切入点完全不一样。后端工程师的优势在于工程能力直接从前两层切入把API集成和RAG流程跑通然后补提示词工程和向量检索的知识很快就能出活。前端工程师可以从对话界面和流式输出入手先做一个能用的聊天界面再往后端和模型层延伸。数据分析师的优势在于对数据和评估的敏感度可以从提示词工程和评估方法切入然后学RAG和微调。产品经理不需要写代码但需要理解模型的能力边界和成本结构重点学提示词工程、上下文工程和评估方法。一个常见的误区是觉得自己数学不好就学不了大模型。实际上应用型和调优型的工作对数学的要求远没有想象中那么高。你不需要手推反向传播但需要理解损失函数在干什么、学习率意味着什么、过拟合是什么表现。这些概念用直觉理解就够了不需要严格的数学推导。2. 提示词工程与上下文工程的核心要点2.1 提示词工程不是“写咒语”很多人把提示词工程理解成找一套神奇的模板复制粘贴进去就能让模型变聪明。这个理解是错的。提示词工程的本质是用自然语言给模型设定任务边界和输出约束它更像是在给一个非常聪明但完全没有背景信息的实习生写工作说明书。我见过最典型的错误就是提示词写得太模糊。比如“帮我总结一下这篇文章”模型不知道你要多长的总结、面向什么读者、重点是什么。好的提示词应该包含角色设定、任务描述、输入数据、输出格式、约束条件这几个要素。角色设定是告诉模型“你是谁”比如“你是一个有十年经验的财务分析师”。任务描述是告诉模型“要做什么”比如“从以下财报中提取营收、净利润、毛利率三个指标”。输入数据就是你要处理的内容。输出格式是告诉模型“怎么输出”比如“用JSON格式输出字段名为revenue、net_profit、gross_margin”。约束条件是告诉模型“不要做什么”比如“如果数据中没有提到某个指标输出null不要编造”。这几个要素里输出格式和约束条件是最容易被忽略但最重要的。因为模型天生有“编造”的倾向你不给它明确的边界它就会自由发挥。而一旦你规定了输出格式后续的程序化处理就变得非常容易。2.2 上下文工程才是真正的分水岭提示词工程解决的是“单次交互”的问题上下文工程解决的是“多轮交互”和“长文档处理”的问题。这两者的难度差了一个量级。上下文工程的核心挑战是模型的上下文窗口是有限的但你的知识库可能是无限的。怎么在有限的窗口里塞进最有用的信息这就是上下文工程要解决的问题。常见的手段包括滑动窗口、摘要压缩、关键信息抽取、分层检索、重排序。滑动窗口最简单就是只保留最近N轮对话。但它的缺点是会丢失早期的重要信息。摘要压缩是把历史对话总结成一段话但总结本身会丢失细节。关键信息抽取是从历史对话中提取实体和关系存到结构化存储里需要的时候再查出来。分层检索是先粗筛再精排先用向量检索召回一批候选再用交叉编码器做重排序。重排序是提升RAG效果最明显的手段之一但很多人不知道或者懒得用。我实测下来在RAG场景里加一个重排序步骤回答准确率能提升15到25个百分点。这个投入产出比非常高强烈建议在入门阶段就把它纳入流程。2.3 提示词设计的实操模板与避坑下面给一个我常用的提示词模板结构适用于大多数信息抽取和问答场景# 角色 你是一个[具体角色]擅长[具体技能]。 # 任务 请根据以下[输入类型]完成[具体任务]。 # 输入 [输入内容] # 输出要求 1. 输出格式为[具体格式] 2. 必须包含[必填字段] 3. 如果[条件]则[处理方式] 4. 不要[禁止行为] # 示例 输入[示例输入] 输出[示例输出]这个模板里示例部分非常关键。模型对示例的敏感度远高于对指令的敏感度。你给一个高质量的示例比写十行指令都管用。但示例不能太多一般一到三个就够了太多会占用宝贵的上下文窗口。避坑方面有几个点一定要注意。第一不要在提示词里写否定句比如“不要编造数据”模型对否定句的理解能力很弱更好的写法是“如果数据中没有相关信息输出‘未找到’”。第二不要在提示词里放太多相互矛盾的约束比如既要“详细”又要“简洁”模型会无所适从。第三提示词的长度要控制超过一定长度后模型对中间部分的注意力会下降重要的指令要放在开头或结尾。3. 模型调用、RAG与微调的实操路径3.1 从API调用到本地部署的完整链路入门阶段我建议先用API把流程跑通再考虑本地部署。原因很简单API调用没有硬件门槛反馈快能让你把精力集中在业务逻辑上。等你把提示词、RAG、评估这些流程都跑顺了再考虑本地部署来降低成本或者满足数据隐私要求。API调用的核心知识点包括请求构造、流式输出处理、token计数、错误重试、并发控制。请求构造没什么好说的各家API的格式大同小异。流式输出是提升用户体验的关键能让用户看到逐字生成的效果而不是等半天才出结果。token计数关系到成本你需要知道每次请求消耗了多少token才能做预算控制。错误重试是保证稳定性的必要手段网络抖动、限流、超时都是常见问题。并发控制是防止你把API配额打爆。本地部署的门槛主要在硬件和软件环境上。硬件方面消费级显卡能跑7B到14B的模型量化之后能跑更大的。软件方面vLLM是目前最主流的推理框架支持连续批处理和PagedAttention吞吐量比HuggingFace的默认推理快很多。部署流程一般是下载模型权重、配置推理框架、启动服务、测试接口。# vLLM启动示例 python -m vllm.entrypoints.openai.api_server \ --model /path/to/model \ --tensor-parallel-size 1 \ --dtype auto \ --max-model-len 4096 \ --gpu-memory-utilization 0.9这个命令启动了一个兼容OpenAI接口的推理服务你可以用OpenAI的SDK直接调用。tensor-parallel-size是张量并行数单卡就设1。max-model-len是最大上下文长度根据你的显存来调。gpu-memory-utilization是显存利用率0.9表示用90%的显存。3.2 RAG流程的搭建与优化RAG是让大模型回答私有知识问题的标准方案。它的核心流程是文档加载、文本切分、向量化、存储、检索、重排序、生成。每一步都有坑。文档加载阶段要注意格式兼容性。PDF、Word、HTML、Markdown的解析方式都不一样。PDF里的表格和图片是难点很多解析库处理不好。文本切分阶段切分粒度很关键。切得太碎语义不完整切得太大检索精度下降。一般建议按语义切分比如按段落或者按标题层级切分每个块控制在200到500字。向量化阶段选对embedding模型很重要。中文场景下BGE系列和M3E系列是比较主流的选择。向量存储可以用FAISS、Chroma、Milvus这些。检索阶段除了向量检索还可以结合关键词检索做混合检索效果通常比单一检索好。重排序阶段用交叉编码器对候选结果重新打分能显著提升精度。一个容易被忽略的点是RAG的评估。很多人搭完RAG就上线了根本不知道效果好不好。你需要准备一批问答对定期跑评估看召回率和准确率的变化。没有评估的RAG就是在裸奔。3.3 微调技术的入门与实战微调是让模型适应特定领域的关键手段。入门阶段我强烈建议从LoRA开始不要一上来就做全量微调。LoRA的原理是在模型的权重矩阵旁边加一个低秩分解的旁路只训练这个旁路不动原始权重。这样做的好处是显存占用小、训练速度快、不容易过拟合。LoRA的关键参数包括秩、alpha、dropout、目标模块。秩决定了旁路的容量一般设8到64。alpha是缩放因子通常设成秩的两倍。dropout是防止过拟合的一般设0.05到0.1。目标模块是指对哪些层做LoRA通常对注意力层的Q、K、V、O都做。from peft import LoraConfig, get_peft_model lora_config LoraConfig( r16, lora_alpha32, lora_dropout0.05, target_modules[q_proj, k_proj, v_proj, o_proj], task_typeCAUSAL_LM ) model get_peft_model(base_model, lora_config) model.print_trainable_parameters()这段代码创建了一个LoRA配置并把它应用到基础模型上。print_trainable_parameters()会告诉你可训练参数占总参数的比例通常只有0.1%到1%。微调的数据构造是另一个关键点。数据质量比数量重要得多。一百条高质量的数据效果可能比一万条低质量的数据好。数据格式一般是instruction-input-output的三元组或者对话格式。构造数据的时候要注意多样性覆盖各种可能的输入情况。微调之后的评估也很重要。你不能只看loss曲线还要看实际生成的效果。准备一批测试用例对比微调前后的输出看是否达到了预期。如果效果不好可能是数据问题、参数问题、或者基础模型选得不对。4. 常见问题与排查技巧实录4.1 模型输出不稳定怎么办模型输出不稳定是入门阶段最常见的问题。同样的输入两次调用可能得到完全不同的输出。这个问题的根源是模型的采样策略。默认情况下模型会按照概率分布随机采样温度参数越高随机性越大。解决办法有几个。第一把温度调到0或者接近0这样模型会倾向于选择概率最高的token输出更确定。第二设置固定的随机种子保证每次采样的随机序列一致。第三在提示词里加约束比如“请严格按照以下格式输出”。第四用few-shot示例引导模型示例越明确输出越稳定。但要注意温度调到0也不是完全确定的因为浮点运算的精度问题、并行计算的顺序问题都可能导致微小差异。如果你需要完全确定的输出那只能做缓存同样的输入直接返回缓存结果。4.2 显存不够用的排查思路显存不够用是本地部署和微调时的常见问题。排查思路是这样的先看模型本身占了多少显存再看推理时的KV Cache占了多少最后看训练时的优化器状态和梯度占了多少。模型本身的显存占用可以用这个公式估算参数量乘以精度字节数。比如7B模型用FP16加载大概需要14GB显存。KV Cache的占用和序列长度、批大小、层数、注意力头数有关序列越长、批越大占用越多。训练时的显存占用通常是推理的三到四倍因为还要存梯度、优化器状态和激活值。解决办法包括用量化降低精度比如用4-bit量化能把显存占用降到四分之一用梯度检查点换显存代价是训练速度变慢用LoRA减少可训练参数用梯度累积模拟大批量用CPU offload把部分参数放到内存里。4.3 常见问题速查表问题现象可能原因排查方法解决方案输出乱码或重复模型加载不完整、精度不匹配检查模型文件完整性、检查dtype设置重新下载模型、统一精度推理速度极慢没有用推理框架、批大小太小检查是否用了vLLM、检查批处理配置切换到vLLM、增大批大小微调后效果变差学习率太大、数据质量差、过拟合检查loss曲线、检查数据样本降低学习率、清洗数据、加dropoutRAG回答不准确切分粒度不当、检索召回不足检查切分后的文本块、检查召回结果调整切分策略、加混合检索和重排序API调用超时网络问题、限流、请求过大检查网络、检查请求token数加重试、减小请求、错峰调用显存溢出模型太大、序列太长、批太大检查显存占用分布量化、减小序列长度、减小批大小这张表里的问题我基本上都踩过。最坑的是“微调后效果变差”因为原因可能有很多种需要逐一排查。我的经验是先看数据再看参数最后看模型。数据问题占了八成以上。4.4 几个容易被忽略的实操心得第一个心得永远先跑通最小闭环再优化。很多人一上来就想搭一个完美的系统结果卡在某个环节上迟迟出不来结果。正确的做法是先用一个最简单的方案把流程跑通哪怕效果很差至少你知道每个环节是通的然后再逐个优化。第二个心得评估集要提前准备不要事后补。很多人在微调或者搭RAG的时候先做开发做完再想怎么评估。这时候你已经对数据有了先入为主的印象评估集很难做到客观。正确的做法是在开发之前就准备好一批测试用例开发过程中定期跑评估。第三个心得日志要记全尤其是失败案例。模型调用失败、检索没召回、生成结果不对这些失败案例是最有价值的信息。把输入、输出、中间结果都记下来定期分析你会发现很多系统性的问题。第四个心得不要迷信排行榜要自己测。模型排行榜上的分数是在特定数据集上测出来的和你的实际场景可能差很远。选模型的时候拿你自己的数据跑一遍看实际效果比看排行榜靠谱得多。第五个心得成本要算清楚尤其是token消耗。API调用是按token计费的RAG和Agent场景下token消耗会成倍增加。你要知道每次请求大概消耗多少token才能做预算控制。本地部署虽然没有API费用但硬件成本和电费也要算进去。5. 学习路线与资源选择的个人建议5.1 分阶段的学习路线我把入门阶段分成三个阶段。第一阶段是“能用”目标是能调用模型API、能写提示词、能搭一个简单的RAG。这个阶段大概需要两到四周不需要任何数学基础重点是动手。第二阶段是“会调”目标是能做LoRA微调、能评估模型效果、能优化RAG流程。这个阶段大概需要一到两个月需要理解一些基本概念但不需要深入数学。第三阶段是“懂原理”目标是理解Transformer架构、理解注意力机制、理解训练和推理的细节。这个阶段是长期的可以边做项目边学。每个阶段的学习方式不一样。第一阶段以动手为主看教程、抄代码、改代码。第二阶段以项目为主找一个实际场景从头到尾做一遍。第三阶段以阅读为主看论文、看源码、看技术博客。我个人的经验是不要等“学完了”再去做项目而是在做项目的过程中学。遇到什么问题就学什么这样学到的知识是带着场景的记得牢、用得上。5.2 工具与框架的选择逻辑工具选择的核心逻辑是选社区活跃、文档完善、和你目标场景匹配的。不要选太新的、太偏的、或者已经停止维护的。推理框架方面vLLM是目前的主流选择社区活跃性能好兼容OpenAI接口。如果你需要更轻量的方案可以考虑llama.cpp它支持CPU推理和多种量化格式。如果你需要多模态支持可以考虑Lmdeploy或者TensorRT-LLM。微调框架方面HuggingFace的Transformers加PEFT是最通用的方案文档完善社区大。如果你需要更高效的训练可以考虑DeepSpeed或者FSDP。如果你需要更简单的接口可以考虑LLaMA-Factory它把训练流程封装得很好适合入门。RAG框架方面LangChain和LlamaIndex是两大主流。LangChain的生态更丰富但抽象层比较多调试起来有时候比较麻烦。LlamaIndex更专注于RAG场景接口更简洁。我的建议是先用LlamaIndex把RAG跑通再根据需要决定要不要上LangChain。向量数据库方面入门阶段用FAISS就够了它是本地的、轻量的、免费的。如果需要持久化和分布式可以考虑Milvus或者Qdrant。如果只是小规模使用Chroma也很方便。5.3 避免信息过载的策略大模型领域的信息量非常大每天都有新论文、新模型、新框架。如果什么都想学最后什么都学不深。我的策略是锁定一个目标场景围绕这个场景构建知识体系其他的一律先放一边。具体做法是先确定你要做什么比如“做一个企业知识库问答系统”。然后把这个系统拆解成几个模块文档解析、文本切分、向量化、检索、重排序、生成、评估。每个模块只学最主流的一到两个方案不要贪多。等这个系统跑通了再考虑扩展和优化。信息源的选择也很重要。不要什么都看关注几个高质量的信息源就够了。官方文档永远是最靠谱的遇到问题先查官方文档。技术博客和社区帖子可以作为补充但要注意甄别质量。论文在入门阶段可以少看除非你确实需要深入某个方向。5.4 从入门到进阶的衔接入门之后往哪个方向进阶取决于你的目标和兴趣。如果你偏工程可以深入推理优化、分布式训练、Agent编排这些方向。如果你偏算法可以深入微调技术、模型架构、评估方法这些方向。如果你偏产品可以深入场景设计、用户体验、成本控制这些方向。不管往哪个方向走有几项能力是通用的读源码的能力、做实验的能力、写文档的能力。读源码能让你理解框架的内部机制做实验能让你验证想法写文档能让你沉淀经验。这三项能力越早培养越好。我个人的体会是大模型这个领域入门不难难的是持续跟进。技术迭代太快了今天的主流方案可能半年后就过时了。所以重要的不是记住某个具体的方案而是理解方案背后的原理和取舍逻辑。原理是不太变的方案是经常变的。把原理搞懂了新方案出来的时候你很快就能判断它适不适合你的场景。最后分享一个小技巧如果你在某个问题上卡住了试着用大模型本身来帮你排查。把错误信息、你的代码、你的配置都贴给模型让它帮你分析可能的原因。很多时候模型能给出你没想到的思路。这个技巧我在排查环境问题和配置问题时经常用效率比自己瞎试高得多。
