做这行三年多被问得最多的就是“有没有大模型的系统性入门资料”。说实话现在不缺资料缺的是把资料串起来的那条线。微信收藏夹里躺着几十篇“保姆级教程”云盘里囤着上百G的PDF关注了一堆技术博主结果真到要动手写代码或面试讲原理的时候脑子里还是只剩“Attention Is All You Need”这个标题原理说不清代码也不会跑。所以这篇东西不打算再给你塞一份书单而是想从“怎么画学习地图”开始把理论、模型、工具、实战路线按顺序拆开让每个阶段该看什么、该做什么、该避什么坑都清清楚楚。无论你是准备转算法岗还是想做大模型应用、私有化部署这条路线都能直接照着走。1. 入门大模型前先把“学习地图”给自己画出来1.1 为什么资料越多人越慌我见过太多人从“大模型提示词工程”开始学学了两周感觉很简单转头去看Transformer源码发现崩了然后又跑去看微调教程显存不够再次放弃最后回到收藏夹里翻资料发现还是不知道下一步干嘛。这不是学习能力的问题是学习地图没画好。大模型这个领域天然是“三层结构”底层是原理Transformer、Token、注意力机制中间层是工具推理引擎、微调框架、API封装顶层是应用Prompt工程、RAG、Agent。新手最容易犯的错误就是在三层之间反复横跳今天看底层明天看顶层看着很努力知识却是碎片化的。系统性入门的第一件事不是找资料而是先明确自己的位置和目标。你学大模型是为了什么是为了理解这门技术还是为了拿着它去做一个产品不同目标对应完全不同的学习路径。没有主线的人资料越多反而越焦虑。1.2 先明确你的目标类型再决定资料怎么选我把想入门的人分成三类你可以自己对号入座目标画像典型诉求学习重点资料优先级算法研究者进算法岗、复现论文、做训练优化LLM原理、数据配方、训练细节、微调方法论文精读 源码阅读 实验复现应用开发者做智能应用、RAG、Agent、AI产品API调用、Prompt/上下文工程、Agent框架官方文档 工程实战 开源Demo工程部署者私有化部署、推理加速、降本增效推理引擎、量化、显存管理、分布式服务vLLM/Ollama文档 压测 故障排查注意大多数人想入门其实是第二种“应用开发者”但网上一搜跳出来的都是论文解读和预训练源码分析默认你是个算法研究者于是很多人第一周就被劝退了。这不是你的问题是资料和你的目标不匹配。我个人的建议是哪怕你最终目标是做算法研究也先从“应用开发者”的路径走一遍因为大模型是极度工程化的技术你只有真正调用过模型、部署过模型、被流式输出和幻觉折磨过回头读论文时才能读懂那些公式到底在解决什么问题。本文后续的内容我也会以这条主线为主同时把研究向和工程向的资料单独标出来。2. 理论打底从Transformer到Token你需要补的硬核清单2.1 最值得精读的资料按这个顺序来很多人问我“大模型基础理论看什么”我的答案从来不是一张长长的书单而是一条有先后顺序的清单。你可以按下面这条线走第一步如果你完全不懂神经网络先看3Blue1Brown的“神经网络”系列视频B站有翻译版把前向传播、反向传播、梯度下降建立起直觉。第二步看李沐老师的Transformer论文精读视频同时对照《Attention Is All You Need》原文。这是大模型最重要的奠基论文值得看三遍以上。第三步过一遍Hugging Face推出的NLP Course它把Tokenization、模型架构、微调用代码串起来了非常适合从理论过渡到工程。第四步如果你想把底子打得更扎实读《动手学深度学习》里关于注意力机制和Transformer的章节。这本书最大的优点是“代码即理论”每一章都能跑。第五步学提示词工程时可以看吴恩达的《ChatGPT Prompt Engineering for Developers》时长短、例子多是应用向入门的标杆课程。这套清单唯一的缺点是不“速成”但它能让你后面的每一步都快。很多人跳过前四步直接学微调和部署遇到“为什么LoRA能省显存”“为什么量化后效果变差”这类问题就完全卡住了。2.2 Token、Embedding和注意力机制怎么理解才不抽象理论环节有三个词必须先理解Token、Embedding、注意力机制。Token是模型处理文字的最小单元可以简单理解成“把句子切成小块”。切法不同模型的表现也不同。中文字符、英文单词、甚至空格都可能被切成一个或多个Token。实际做应用时Token数量直接决定你的成本所以很多优化工作都围绕“怎么让模型少看一些Token”展开。Embedding嵌入是把Token映射成一组数字向量的过程。为什么要映射因为模型只能算数字不能算文字。这个过程可以类比成“给每个词做了一张身份证”身份证上的数字编码了这个词的含义、语法角色、甚至和其他词的关系。向量之间的距离越近语义越相似这是很多检索和RAG方案背后的基础。注意力机制解决了“生成下一个词时应该重点关注句子里的哪些部分”这个问题。它像做菜时的“统筹思维”不是每样配料平均对待而是根据当前口味优先考虑某几样材料。Attention让模型在长文本里找到了“谁和谁相关”这是Transformer能取代RNN、成为大模型核心架构的关键。你不需要能把这三个概念的公式完整推导一遍但至少要能给同事讲清楚它们解决什么问题。这是“系统入门”和“刷了一堆视频”的分水岭。2.3 大模型训练的三大阶段和你的关系有多大大模型的完整训练流程可以粗略分成三个阶段预训练、指令微调、人类偏好对齐。预训练是让模型在大规模语料上学习语言规律这个过程极贵通常需要几千张GPU普通人和小公司基本不碰。指令微调是拿“问题-答案”格式的数据让模型学会按指令输出比如“把这段话翻译成英文”“总结这篇文章”。人类偏好对齐RLHF等是在最后阶段让模型输出的内容更符合人类的价值观和喜好解决“模型能力很强但不听话”的问题。理解这三个阶段对你最大的价值是别试图用微调去做预训练的事情。我遇到过有人拿着几百条数据就想微调一个领域大模型问他想实现什么效果他说想让模型掌握公司内部的行业知识。这种需求其实更适合用RAG检索增强生成解决因为几百条数据对模型来说是杯水车薪但塞进上下文绰绰有余。搞清楚这个边界你后面做微调时就不会走偏。3. 主流大模型全景现在有哪些值得学习和使用的模型3.1 闭源与开源模型速览很多新手问“世界有哪些知名的大模型”其实现在的格局已经比较清晰了。我建议你按“闭源商用”和“开源可部署”两个维度来记类型代表模型适合做什么闭源商用模型OpenAI的GPT系列、Google的Gemini、Anthropic的Claude等追求效果、需要快速上线的产品和研究开源可下载权重模型Llama系列、Qwen系列、DeepSeek系列、GLM系列、Mistral、Phi私有化部署、二次微调、学习研究不需要把每个模型都下载一遍尤其是新手阶段选一支开源模型比如Qwen或Llama深入研究就够了。你会发现它们之间的架构差异远没有想象中大更多是数据、规模、训练技巧上的差别。闭源模型一般通过API调用适合做产品原型和验证想法开源模型可以拿到权重适合做本地部署、定制化微调和源码级学习。3.2 场景选型模型不是越贵越好选模型这件事我建议你围绕三个问题来问自己数据能不能出域预算有多少需要什么能力举个例子“写科研论文哪个大模型好用”这个问题核心诉求通常包括长文理解、逻辑推理、稳定的学术表达。这种情况下推理能力较强的模型比如DeepSeek的推理系列、GPT系列更合适你还需要配合提示词工程把论文的章节结构和格式要求说清楚而不是指望模型自动生成一篇完整论文。再比如做中文产品如果你面向的是中文用户Qwen、GLM这些中文语料占比更高的开源模型通常会更好用而且支持本地化部署。对数据敏感的场景比如处理合同、病历、公司内部资料你就必须考虑私有化部署这时候选一个7B或14B的开源模型量化后在本地服务器上运行比每天把数据发到外部API安全得多。如果只是想在个人电脑上体验一下大模型跑个小参数的量化模型比如7B的Q4量化版就够了一块普通显卡甚至纯CPU都能跑速度慢一点但学习效果不打折扣。3.3 多模态、Agent与安全评测入门阶段可以占多少比例多模态大模型是当前的热点它在文本之外增加了图像、音频、视频的输入理解能力。入门阶段建议先不用专门去学多模态而是把单模态的文本大模型原理吃透后面再看多模态的实现会发现思路是延伸的。Agent智能体是应用层最热的词之一核心是让大模型学会调用工具、执行多步任务。入门阶段可以先了解框架的套路不用急着几天内做出一个Agent因为Agent的效果上限取决于模型的理解能力和你设计的上下文结构。网上很多Agent Demo看着炫酷实际生产环境里大量时间花在错误处理、状态管理、超时重试上这些都要靠工程经验积累。还有一个容易被忽略的方向是安全评测比如“大模型投毒测试”这类话题。大模型领域不能只看能力不看风险了解数据投毒、提示词注入、越狱攻击的基本概念会让你在设计系统时更早地考虑安全边界。这部分不需要在入门阶段深入但至少要建立意识。4. 资料和项目怎么选书架与代码仓库的实践建议4.1 系统性书籍和公开课别成收藏党书籍方面我推荐的原则是“代码优先、版本优先”。大模型技术迭代速度非常快两三年前的书里很多示例代码已经跑不起来了所以看好评多、更新勤、代码能复现的资料比囤绝版书有意义。我筛选后觉得最有长期价值的是这几类《动手学深度学习》的Transformer相关章节它教会你如何用PyTorch写出可运行的模型组件Hugging Face Course它覆盖了从加载模型到微调的完整流程并且与开源生态同步更新吴恩达的系列短课特别是提示词工程和Agent部分节奏快、贴近真实产品设计。另外像《大模型智能体开发平台技术能力综合测试报告》这类第三方评测报告适合你在选Agent平台时当作横向参考但不必从头读到尾。公开课方面斯坦福的CS224NNLP深度学习和CS25Transformer专题都有讲义和课件开放适合学有余力的人深挖。不要试图把每门课都刷完能精读两门并完成课后作业比刷十门的效果强得多。4.2 值得放进收藏夹的开源项目和工具仓库我给你列一份“实战型”清单这些不是我瞎凑的基本上每个都踩过实际项目Hugging Face Transformers最常用的模型加载和推理库几乎所有开源模型都能用它跑起来。Ollama和LM Studio本地部署入门最顺手的工具一个偏命令行一个偏图形界面Windows和Mac都能用。vLLM和SGLang生产环境推理加速引擎适合部署到服务器上做高并发服务。想深入理解推理优化的话可以去看nano-vllm这样的教学项目代码量小能把PagedAttention、连续批处理这些关键机制讲透。LLaMA-Factory和Unsloth微调工具对新手特别友好能可视化地跑LoRA和QLoRA。LangChain、LangGraph、Dify、Coze应用层框架分别对应流程编排、Agent状态机、低代码应用搭建。OneKE如果要做知识抽取、知识图谱这个框架可以帮你把非结构化文本转成结构化知识属于垂直场景工具。记住一个原则任何工具至少跑通一个最小Demo再收藏。我见过太多人收藏了20个仓库最后连一个ollama run qwen2.5:7b都没敲过。4.3 论文精读的正确姿势论文是必修课但不需要从第一篇开始读。优先级是这样Transformer原始论文是第一篇然后是GPT系列和InstructGPT了解RLHF怎么落地接着是LoRA现在微调最常用的技术最后可以读一两篇开源模型的技术报告比如Llama或Qwen的看看工业界到底是怎么做的。读论文我推荐“三遍法”第一遍只看标题、摘要、图表搞清楚这篇论文解决了什么问题第二遍把论文里的关键实现和公开代码对照着看尝试跑通第三遍再抠公式和细节比如注意力分数为什么除根号d。这个方法看起来慢但实际上效率最高因为你每一步都是有明确目的。那些英文看不懂的怎么办先看李沐等人的论文精读视频很多经典论文都有逐段讲解。但注意视频只是拐杖最终还是要回到原文和代码上因为二手解读总会有偏差。5. 上手路线从本地部署到微调Agent按顺序走一遍5.1 第一步用Ollama和LM Studio跑通第一个本地模型不要再从零搭建环境了太容易劝退。先用Ollama把本地部署的流程跑通手感和信心一下就上来了。在Windows 11上安装Ollama后打开终端执行ollama pull qwen2.5:7b ollama run qwen2.5:7b等模型下载完你就能在终端和它对话了。这一步的价值不是聊天而是让你理解“模型权重 推理程序”的本地部署模型模型文件很大存放在本地推理程序负责加载模型并生成回答。如果你用的是低配电脑可以拉更小的量化版本比如qwen2.5:3b或者带q4标记的GGUF模型速度会快很多。不习惯命令行的朋友直接用LM Studio。它提供了图形界面可以浏览模型、下载、起一个本地服务。LM Studio还有一个很实用的功能自动生成一个兼容OpenAI格式的本地API地址这样你后续写代码调用时直接把base_url指到本地就能用同一套API代码切换本地模型和云端模型。这一步的验收标准很简单能在本地发起一段多轮对话并能解释出请求是从哪里发出去、模型在哪里计算、结果怎么返回。这就够了。5.2 第二步把大模型接进你的技术栈本地部署玩熟后第二步就是写代码调用大模型。绝大多数大模型服务都提供“OpenAI兼容接口”格式非常统一POST /v1/chat/completions请求体里带上model、messages、stream等参数。这里我想特别聊一下流式输出。很多人第一次接入时用普通HTTP请求等两三秒Get完整回答再渲染到页面体验非常生硬。正确做法是用SSEServer-Sent Events技术让模型边生成边把Token吐给前端这就是ChatGPT页面打字机效果的原理。前端如果用的是JavaScript需要配合AbortController实现“停止生成”const controller new AbortController(); const response await fetch(/v1/chat/completions, { method: POST, headers: { Content-Type: application/json, Authorization: Bearer YOUR_API_KEY }, body: JSON.stringify({ model: qwen2.5:7b, messages: [{ role: user, content: 你好请介绍一下大模型 }], stream: true }), signal: controller.signal }); const reader response.body.getReader(); // 逐帧读取SSE数据按行解析并渲染到页面后端封装方面如果你做Java技术栈可以用Spring AI它把对话、提示词模板、输出解析都封装好了几行代码就能让后端服务连上大模型如果做Python技术栈可以直接用OpenAI SDK或LangChain。关键是要理解你封装的“AI交互逻辑”本质上就是把历史消息组织成messages结构发给模型再把模型回答追加进历史记录循环往复。这一步做完你已经有了一个完整的“对话应用”骨架前端、后端、大模型服务全通了。5.3 第三步用GPU做一次微调实战微调是大模型入门的“成人礼”但没必要从零训练用LoRA就够了。流程也很固定准备数据。数据格式通常为instruction、input、output三字段每一条代表一个“指令-回答”对。用LLaMA-Factory或Unsloth加载一个基础模型。配置LoRA参数关键是rank和alpha。rank决定新增参数量的规模常见取8或16alpha是LoRA缩放系数通常设为rank的2倍。根据显卡显存设置batch_size和gradient_checkpointing。显存不够时一定要开梯度检查点并把输入序列长度调短。我个人强烈建议不要一上来就微调7B以上的模型。先用qwen2.5-3b-instruct这类小模型造500条数据把流程跑通观察loss曲线下降然后反复推理尝试你会明显看到模型输出的格式被“纠正”了。这时候再换更大的模型也不迟。微调的坑也很多。最典型的是“过拟合”训练集上loss很低但稍微换个问法就崩了。应对方法是用多样性的数据并且加入一定比例的通用对话数据保持模型的原有能力。记住一个原则微调是改变模型的“说话风格和输出格式”不是灌入新知识。5.4 第四步深入提示词工程、上下文工程与Agent走到这一步你已经不是新人了可以开始碰真正的上层应用。提示词工程的核心不是“念咒语”而是把任务说清楚。一个合格的Prompt通常包含角色设定、背景信息、输出要求、示例。示例比规则更有效因为模型是通过模仿学会模式的。上下文工程是大模型应用里更进阶的能力。它的核心思想是大模型只能基于它“看到”的内容回答那么你要主动往上下文里塞有用的信息。RAG就是最典型的实践把用户问题拿去检索相关资料再把资料拼进Prompt让模型基于资料回答。优点是可以随时更新知识不用重新训练模型。Agent可以理解成“大模型 规划能力 工具调用”。框架很多但底层逻辑相似模型根据当前状态决定下一步动作动作可能是调用搜索API、执行代码、查询数据库然后根据返回结果继续推理。建议你先用Dify拖一个带工具的Agent出来跑一遍再去看LangGraph的状态机设计自然就理解Agent是怎么一回事了。如果你要处理的是知识抽取场景可以关注OneKE这类知识抽取框架它能把长文本中的实体、关系抽出来存入知识图谱属于“大模型知识工程”的交叉方向。理解了RAG之后再学这个会顺手很多。6. 避坑清单给零基础和大厂外包开发者的几句实话6.1 “收藏就是学会”是最大的幻觉我认识的真正入门快的人没有一个是在收藏夹里学会的全都是被项目赶着学出来的。建议你给自己定一个“最小可跑原则”每看一篇资料必须产出一个可运行的东西。看到本地部署教程就花半小时跑起来看到微调教程就用小模型微调一次看到Agent教程就搭一个最简单的“查天气Agent”。跑起来才是你的收藏夹不是。资料的筛选还有一个成本问题一篇文章如果看了15分钟还没讲到能动手的东西大概率不适合你当前阶段先关掉。大模型领域好资料太多了但你的时间是有限的。6.2 显存不够怎么办别硬撑很多人私信问我显存不够能不能学我的答案非常明确能。单就学习体验来说跑一个3B量化模型甚至不需要独立显卡CPU也能跑只是慢一点。真要本地部署7B模型用Q4量化后大约需要5GB左右显存或内存很多笔记本也扛得住。推理加速引擎vLLM虽然效果好但需要CUDA环境对显存也有要求属于生产向工具不建议入门阶段硬上。真正需要大量显存的是微调。没有8GB以上显存老老实实用QLoRA并且把lora_rank调小。也可以考虑用云端GPU按小时租用不要为了学一个Demo买好几万的卡。算清楚成本账之后你会发现API优先是最适合新手的方案等你的需求真到了“数据不能出域”或者“调用太频繁”的时候再考虑本地私有大模型的部署。6.3 几个常见认知误区“模型越大越好”是错的。小模型在特定窄任务上微调后可能比大模型零样本更可靠而且部署成本低一个量级。“必须要微调才能做定制”是错的。很多时候用上下文工程把少量示例塞进Prompt就能解决七八成需求微调是最后手段。“Agent框架会替模型思考”是错的。框架只是帮你管理状态、工具和流程推理质量还是取决于模型能力和上下文信息框架救不了一个看不清上下文的模型。“大模型什么都知道”是错的。它只是从训练数据里学到了相关性会有知识截止日期也会一本正经地编造答案。做生产系统时一定要用检索和引用兜底。6.4 3个月规划参考按周拆目标我最后给一个不焦虑的时间规划适合多数业余时间学习的人第1个月完成理论补底和API熟悉。目标是跑通一次流式对话并能解释Transformer和Token的基本概念。第2个月完成本地部署和RAG。用Ollama跑一个小模型做一个基于本地知识库的问答Demo理解Prompt和上下文的关系。第3个月完成一次微调和Agent。用小模型微调一个垂直场景任务再用Dify或LangGraph组装一个带工具调用的Agent整理成作品集。这个节奏不算快但每一步都非常扎实。学大模型最忌讳的不是看不懂而是东一榔头西一棒槌。资料永远只是地图上的点你要先把路线画出来然后老老实实走完。我个人的体会是只要你按这条线走三个月后回头看那些曾经觉得黑话满满的概念其实也就那么回事。
做这行三年多被问得最多的就是“有没有大模型的系统性入门资料”。说实话现在不缺资料缺的是把资料串起来的那条线。微信收藏夹里躺着几十篇“保姆级教程”云盘里囤着上百G的PDF关注了一堆技术博主结果真到要动手写代码或面试讲原理的时候脑子里还是只剩“Attention Is All You Need”这个标题原理说不清代码也不会跑。所以这篇东西不打算再给你塞一份书单而是想从“怎么画学习地图”开始把理论、模型、工具、实战路线按顺序拆开让每个阶段该看什么、该做什么、该避什么坑都清清楚楚。无论你是准备转算法岗还是想做大模型应用、私有化部署这条路线都能直接照着走。1. 入门大模型前先把“学习地图”给自己画出来1.1 为什么资料越多人越慌我见过太多人从“大模型提示词工程”开始学学了两周感觉很简单转头去看Transformer源码发现崩了然后又跑去看微调教程显存不够再次放弃最后回到收藏夹里翻资料发现还是不知道下一步干嘛。这不是学习能力的问题是学习地图没画好。大模型这个领域天然是“三层结构”底层是原理Transformer、Token、注意力机制中间层是工具推理引擎、微调框架、API封装顶层是应用Prompt工程、RAG、Agent。新手最容易犯的错误就是在三层之间反复横跳今天看底层明天看顶层看着很努力知识却是碎片化的。系统性入门的第一件事不是找资料而是先明确自己的位置和目标。你学大模型是为了什么是为了理解这门技术还是为了拿着它去做一个产品不同目标对应完全不同的学习路径。没有主线的人资料越多反而越焦虑。1.2 先明确你的目标类型再决定资料怎么选我把想入门的人分成三类你可以自己对号入座目标画像典型诉求学习重点资料优先级算法研究者进算法岗、复现论文、做训练优化LLM原理、数据配方、训练细节、微调方法论文精读 源码阅读 实验复现应用开发者做智能应用、RAG、Agent、AI产品API调用、Prompt/上下文工程、Agent框架官方文档 工程实战 开源Demo工程部署者私有化部署、推理加速、降本增效推理引擎、量化、显存管理、分布式服务vLLM/Ollama文档 压测 故障排查注意大多数人想入门其实是第二种“应用开发者”但网上一搜跳出来的都是论文解读和预训练源码分析默认你是个算法研究者于是很多人第一周就被劝退了。这不是你的问题是资料和你的目标不匹配。我个人的建议是哪怕你最终目标是做算法研究也先从“应用开发者”的路径走一遍因为大模型是极度工程化的技术你只有真正调用过模型、部署过模型、被流式输出和幻觉折磨过回头读论文时才能读懂那些公式到底在解决什么问题。本文后续的内容我也会以这条主线为主同时把研究向和工程向的资料单独标出来。2. 理论打底从Transformer到Token你需要补的硬核清单2.1 最值得精读的资料按这个顺序来很多人问我“大模型基础理论看什么”我的答案从来不是一张长长的书单而是一条有先后顺序的清单。你可以按下面这条线走第一步如果你完全不懂神经网络先看3Blue1Brown的“神经网络”系列视频B站有翻译版把前向传播、反向传播、梯度下降建立起直觉。第二步看李沐老师的Transformer论文精读视频同时对照《Attention Is All You Need》原文。这是大模型最重要的奠基论文值得看三遍以上。第三步过一遍Hugging Face推出的NLP Course它把Tokenization、模型架构、微调用代码串起来了非常适合从理论过渡到工程。第四步如果你想把底子打得更扎实读《动手学深度学习》里关于注意力机制和Transformer的章节。这本书最大的优点是“代码即理论”每一章都能跑。第五步学提示词工程时可以看吴恩达的《ChatGPT Prompt Engineering for Developers》时长短、例子多是应用向入门的标杆课程。这套清单唯一的缺点是不“速成”但它能让你后面的每一步都快。很多人跳过前四步直接学微调和部署遇到“为什么LoRA能省显存”“为什么量化后效果变差”这类问题就完全卡住了。2.2 Token、Embedding和注意力机制怎么理解才不抽象理论环节有三个词必须先理解Token、Embedding、注意力机制。Token是模型处理文字的最小单元可以简单理解成“把句子切成小块”。切法不同模型的表现也不同。中文字符、英文单词、甚至空格都可能被切成一个或多个Token。实际做应用时Token数量直接决定你的成本所以很多优化工作都围绕“怎么让模型少看一些Token”展开。Embedding嵌入是把Token映射成一组数字向量的过程。为什么要映射因为模型只能算数字不能算文字。这个过程可以类比成“给每个词做了一张身份证”身份证上的数字编码了这个词的含义、语法角色、甚至和其他词的关系。向量之间的距离越近语义越相似这是很多检索和RAG方案背后的基础。注意力机制解决了“生成下一个词时应该重点关注句子里的哪些部分”这个问题。它像做菜时的“统筹思维”不是每样配料平均对待而是根据当前口味优先考虑某几样材料。Attention让模型在长文本里找到了“谁和谁相关”这是Transformer能取代RNN、成为大模型核心架构的关键。你不需要能把这三个概念的公式完整推导一遍但至少要能给同事讲清楚它们解决什么问题。这是“系统入门”和“刷了一堆视频”的分水岭。2.3 大模型训练的三大阶段和你的关系有多大大模型的完整训练流程可以粗略分成三个阶段预训练、指令微调、人类偏好对齐。预训练是让模型在大规模语料上学习语言规律这个过程极贵通常需要几千张GPU普通人和小公司基本不碰。指令微调是拿“问题-答案”格式的数据让模型学会按指令输出比如“把这段话翻译成英文”“总结这篇文章”。人类偏好对齐RLHF等是在最后阶段让模型输出的内容更符合人类的价值观和喜好解决“模型能力很强但不听话”的问题。理解这三个阶段对你最大的价值是别试图用微调去做预训练的事情。我遇到过有人拿着几百条数据就想微调一个领域大模型问他想实现什么效果他说想让模型掌握公司内部的行业知识。这种需求其实更适合用RAG检索增强生成解决因为几百条数据对模型来说是杯水车薪但塞进上下文绰绰有余。搞清楚这个边界你后面做微调时就不会走偏。3. 主流大模型全景现在有哪些值得学习和使用的模型3.1 闭源与开源模型速览很多新手问“世界有哪些知名的大模型”其实现在的格局已经比较清晰了。我建议你按“闭源商用”和“开源可部署”两个维度来记类型代表模型适合做什么闭源商用模型OpenAI的GPT系列、Google的Gemini、Anthropic的Claude等追求效果、需要快速上线的产品和研究开源可下载权重模型Llama系列、Qwen系列、DeepSeek系列、GLM系列、Mistral、Phi私有化部署、二次微调、学习研究不需要把每个模型都下载一遍尤其是新手阶段选一支开源模型比如Qwen或Llama深入研究就够了。你会发现它们之间的架构差异远没有想象中大更多是数据、规模、训练技巧上的差别。闭源模型一般通过API调用适合做产品原型和验证想法开源模型可以拿到权重适合做本地部署、定制化微调和源码级学习。3.2 场景选型模型不是越贵越好选模型这件事我建议你围绕三个问题来问自己数据能不能出域预算有多少需要什么能力举个例子“写科研论文哪个大模型好用”这个问题核心诉求通常包括长文理解、逻辑推理、稳定的学术表达。这种情况下推理能力较强的模型比如DeepSeek的推理系列、GPT系列更合适你还需要配合提示词工程把论文的章节结构和格式要求说清楚而不是指望模型自动生成一篇完整论文。再比如做中文产品如果你面向的是中文用户Qwen、GLM这些中文语料占比更高的开源模型通常会更好用而且支持本地化部署。对数据敏感的场景比如处理合同、病历、公司内部资料你就必须考虑私有化部署这时候选一个7B或14B的开源模型量化后在本地服务器上运行比每天把数据发到外部API安全得多。如果只是想在个人电脑上体验一下大模型跑个小参数的量化模型比如7B的Q4量化版就够了一块普通显卡甚至纯CPU都能跑速度慢一点但学习效果不打折扣。3.3 多模态、Agent与安全评测入门阶段可以占多少比例多模态大模型是当前的热点它在文本之外增加了图像、音频、视频的输入理解能力。入门阶段建议先不用专门去学多模态而是把单模态的文本大模型原理吃透后面再看多模态的实现会发现思路是延伸的。Agent智能体是应用层最热的词之一核心是让大模型学会调用工具、执行多步任务。入门阶段可以先了解框架的套路不用急着几天内做出一个Agent因为Agent的效果上限取决于模型的理解能力和你设计的上下文结构。网上很多Agent Demo看着炫酷实际生产环境里大量时间花在错误处理、状态管理、超时重试上这些都要靠工程经验积累。还有一个容易被忽略的方向是安全评测比如“大模型投毒测试”这类话题。大模型领域不能只看能力不看风险了解数据投毒、提示词注入、越狱攻击的基本概念会让你在设计系统时更早地考虑安全边界。这部分不需要在入门阶段深入但至少要建立意识。4. 资料和项目怎么选书架与代码仓库的实践建议4.1 系统性书籍和公开课别成收藏党书籍方面我推荐的原则是“代码优先、版本优先”。大模型技术迭代速度非常快两三年前的书里很多示例代码已经跑不起来了所以看好评多、更新勤、代码能复现的资料比囤绝版书有意义。我筛选后觉得最有长期价值的是这几类《动手学深度学习》的Transformer相关章节它教会你如何用PyTorch写出可运行的模型组件Hugging Face Course它覆盖了从加载模型到微调的完整流程并且与开源生态同步更新吴恩达的系列短课特别是提示词工程和Agent部分节奏快、贴近真实产品设计。另外像《大模型智能体开发平台技术能力综合测试报告》这类第三方评测报告适合你在选Agent平台时当作横向参考但不必从头读到尾。公开课方面斯坦福的CS224NNLP深度学习和CS25Transformer专题都有讲义和课件开放适合学有余力的人深挖。不要试图把每门课都刷完能精读两门并完成课后作业比刷十门的效果强得多。4.2 值得放进收藏夹的开源项目和工具仓库我给你列一份“实战型”清单这些不是我瞎凑的基本上每个都踩过实际项目Hugging Face Transformers最常用的模型加载和推理库几乎所有开源模型都能用它跑起来。Ollama和LM Studio本地部署入门最顺手的工具一个偏命令行一个偏图形界面Windows和Mac都能用。vLLM和SGLang生产环境推理加速引擎适合部署到服务器上做高并发服务。想深入理解推理优化的话可以去看nano-vllm这样的教学项目代码量小能把PagedAttention、连续批处理这些关键机制讲透。LLaMA-Factory和Unsloth微调工具对新手特别友好能可视化地跑LoRA和QLoRA。LangChain、LangGraph、Dify、Coze应用层框架分别对应流程编排、Agent状态机、低代码应用搭建。OneKE如果要做知识抽取、知识图谱这个框架可以帮你把非结构化文本转成结构化知识属于垂直场景工具。记住一个原则任何工具至少跑通一个最小Demo再收藏。我见过太多人收藏了20个仓库最后连一个ollama run qwen2.5:7b都没敲过。4.3 论文精读的正确姿势论文是必修课但不需要从第一篇开始读。优先级是这样Transformer原始论文是第一篇然后是GPT系列和InstructGPT了解RLHF怎么落地接着是LoRA现在微调最常用的技术最后可以读一两篇开源模型的技术报告比如Llama或Qwen的看看工业界到底是怎么做的。读论文我推荐“三遍法”第一遍只看标题、摘要、图表搞清楚这篇论文解决了什么问题第二遍把论文里的关键实现和公开代码对照着看尝试跑通第三遍再抠公式和细节比如注意力分数为什么除根号d。这个方法看起来慢但实际上效率最高因为你每一步都是有明确目的。那些英文看不懂的怎么办先看李沐等人的论文精读视频很多经典论文都有逐段讲解。但注意视频只是拐杖最终还是要回到原文和代码上因为二手解读总会有偏差。5. 上手路线从本地部署到微调Agent按顺序走一遍5.1 第一步用Ollama和LM Studio跑通第一个本地模型不要再从零搭建环境了太容易劝退。先用Ollama把本地部署的流程跑通手感和信心一下就上来了。在Windows 11上安装Ollama后打开终端执行ollama pull qwen2.5:7b ollama run qwen2.5:7b等模型下载完你就能在终端和它对话了。这一步的价值不是聊天而是让你理解“模型权重 推理程序”的本地部署模型模型文件很大存放在本地推理程序负责加载模型并生成回答。如果你用的是低配电脑可以拉更小的量化版本比如qwen2.5:3b或者带q4标记的GGUF模型速度会快很多。不习惯命令行的朋友直接用LM Studio。它提供了图形界面可以浏览模型、下载、起一个本地服务。LM Studio还有一个很实用的功能自动生成一个兼容OpenAI格式的本地API地址这样你后续写代码调用时直接把base_url指到本地就能用同一套API代码切换本地模型和云端模型。这一步的验收标准很简单能在本地发起一段多轮对话并能解释出请求是从哪里发出去、模型在哪里计算、结果怎么返回。这就够了。5.2 第二步把大模型接进你的技术栈本地部署玩熟后第二步就是写代码调用大模型。绝大多数大模型服务都提供“OpenAI兼容接口”格式非常统一POST /v1/chat/completions请求体里带上model、messages、stream等参数。这里我想特别聊一下流式输出。很多人第一次接入时用普通HTTP请求等两三秒Get完整回答再渲染到页面体验非常生硬。正确做法是用SSEServer-Sent Events技术让模型边生成边把Token吐给前端这就是ChatGPT页面打字机效果的原理。前端如果用的是JavaScript需要配合AbortController实现“停止生成”const controller new AbortController(); const response await fetch(/v1/chat/completions, { method: POST, headers: { Content-Type: application/json, Authorization: Bearer YOUR_API_KEY }, body: JSON.stringify({ model: qwen2.5:7b, messages: [{ role: user, content: 你好请介绍一下大模型 }], stream: true }), signal: controller.signal }); const reader response.body.getReader(); // 逐帧读取SSE数据按行解析并渲染到页面后端封装方面如果你做Java技术栈可以用Spring AI它把对话、提示词模板、输出解析都封装好了几行代码就能让后端服务连上大模型如果做Python技术栈可以直接用OpenAI SDK或LangChain。关键是要理解你封装的“AI交互逻辑”本质上就是把历史消息组织成messages结构发给模型再把模型回答追加进历史记录循环往复。这一步做完你已经有了一个完整的“对话应用”骨架前端、后端、大模型服务全通了。5.3 第三步用GPU做一次微调实战微调是大模型入门的“成人礼”但没必要从零训练用LoRA就够了。流程也很固定准备数据。数据格式通常为instruction、input、output三字段每一条代表一个“指令-回答”对。用LLaMA-Factory或Unsloth加载一个基础模型。配置LoRA参数关键是rank和alpha。rank决定新增参数量的规模常见取8或16alpha是LoRA缩放系数通常设为rank的2倍。根据显卡显存设置batch_size和gradient_checkpointing。显存不够时一定要开梯度检查点并把输入序列长度调短。我个人强烈建议不要一上来就微调7B以上的模型。先用qwen2.5-3b-instruct这类小模型造500条数据把流程跑通观察loss曲线下降然后反复推理尝试你会明显看到模型输出的格式被“纠正”了。这时候再换更大的模型也不迟。微调的坑也很多。最典型的是“过拟合”训练集上loss很低但稍微换个问法就崩了。应对方法是用多样性的数据并且加入一定比例的通用对话数据保持模型的原有能力。记住一个原则微调是改变模型的“说话风格和输出格式”不是灌入新知识。5.4 第四步深入提示词工程、上下文工程与Agent走到这一步你已经不是新人了可以开始碰真正的上层应用。提示词工程的核心不是“念咒语”而是把任务说清楚。一个合格的Prompt通常包含角色设定、背景信息、输出要求、示例。示例比规则更有效因为模型是通过模仿学会模式的。上下文工程是大模型应用里更进阶的能力。它的核心思想是大模型只能基于它“看到”的内容回答那么你要主动往上下文里塞有用的信息。RAG就是最典型的实践把用户问题拿去检索相关资料再把资料拼进Prompt让模型基于资料回答。优点是可以随时更新知识不用重新训练模型。Agent可以理解成“大模型 规划能力 工具调用”。框架很多但底层逻辑相似模型根据当前状态决定下一步动作动作可能是调用搜索API、执行代码、查询数据库然后根据返回结果继续推理。建议你先用Dify拖一个带工具的Agent出来跑一遍再去看LangGraph的状态机设计自然就理解Agent是怎么一回事了。如果你要处理的是知识抽取场景可以关注OneKE这类知识抽取框架它能把长文本中的实体、关系抽出来存入知识图谱属于“大模型知识工程”的交叉方向。理解了RAG之后再学这个会顺手很多。6. 避坑清单给零基础和大厂外包开发者的几句实话6.1 “收藏就是学会”是最大的幻觉我认识的真正入门快的人没有一个是在收藏夹里学会的全都是被项目赶着学出来的。建议你给自己定一个“最小可跑原则”每看一篇资料必须产出一个可运行的东西。看到本地部署教程就花半小时跑起来看到微调教程就用小模型微调一次看到Agent教程就搭一个最简单的“查天气Agent”。跑起来才是你的收藏夹不是。资料的筛选还有一个成本问题一篇文章如果看了15分钟还没讲到能动手的东西大概率不适合你当前阶段先关掉。大模型领域好资料太多了但你的时间是有限的。6.2 显存不够怎么办别硬撑很多人私信问我显存不够能不能学我的答案非常明确能。单就学习体验来说跑一个3B量化模型甚至不需要独立显卡CPU也能跑只是慢一点。真要本地部署7B模型用Q4量化后大约需要5GB左右显存或内存很多笔记本也扛得住。推理加速引擎vLLM虽然效果好但需要CUDA环境对显存也有要求属于生产向工具不建议入门阶段硬上。真正需要大量显存的是微调。没有8GB以上显存老老实实用QLoRA并且把lora_rank调小。也可以考虑用云端GPU按小时租用不要为了学一个Demo买好几万的卡。算清楚成本账之后你会发现API优先是最适合新手的方案等你的需求真到了“数据不能出域”或者“调用太频繁”的时候再考虑本地私有大模型的部署。6.3 几个常见认知误区“模型越大越好”是错的。小模型在特定窄任务上微调后可能比大模型零样本更可靠而且部署成本低一个量级。“必须要微调才能做定制”是错的。很多时候用上下文工程把少量示例塞进Prompt就能解决七八成需求微调是最后手段。“Agent框架会替模型思考”是错的。框架只是帮你管理状态、工具和流程推理质量还是取决于模型能力和上下文信息框架救不了一个看不清上下文的模型。“大模型什么都知道”是错的。它只是从训练数据里学到了相关性会有知识截止日期也会一本正经地编造答案。做生产系统时一定要用检索和引用兜底。6.4 3个月规划参考按周拆目标我最后给一个不焦虑的时间规划适合多数业余时间学习的人第1个月完成理论补底和API熟悉。目标是跑通一次流式对话并能解释Transformer和Token的基本概念。第2个月完成本地部署和RAG。用Ollama跑一个小模型做一个基于本地知识库的问答Demo理解Prompt和上下文的关系。第3个月完成一次微调和Agent。用小模型微调一个垂直场景任务再用Dify或LangGraph组装一个带工具调用的Agent整理成作品集。这个节奏不算快但每一步都非常扎实。学大模型最忌讳的不是看不懂而是东一榔头西一棒槌。资料永远只是地图上的点你要先把路线画出来然后老老实实走完。我个人的体会是只要你按这条线走三个月后回头看那些曾经觉得黑话满满的概念其实也就那么回事。
核心思想与竞赛应用解析)
