我这两年带过不少零基础转行的人学大模型也在几个技术社群里长期答疑。见得最多的不是学不会而是学了一堆零碎名词到了考试或面试时拼不起来卡在“知道但说不出所以然”的状态。这篇文章我按考点精讲的思路把大模型技术里最常考、最容易混淆的知识点全部拆开讲透配合部署和微调的实操经验零基础也可以照这个顺序体系化地过一遍。先说清楚它适合谁要考大模型相关认证或期末考试的学生、准备转行 AI 应用开发的工程师、以及对大模型只有概念却需要快速上手做事的非技术朋友。你不需要一开始就会写代码前两章纯概念也能看懂第三章开始涉及工具命令照着敲就行。每章末尾我都标注了考点和答题方向方便直接拿去复习。1. 零基础起步先把大模型的“考试范围”画出来1.1 大模型到底是什么三句话讲透本质先背结论大模型Large Language ModelLLM是在海量文本数据上预训练得到的、参数规模通常在十亿以上的神经网络语言模型。这个定义里有三个限定词考试特别喜欢拆开来问海量数据、大规模参数、语言模型。把这三个词理解透了后面所有考点都能串起来。海量数据指的是预训练阶段用的语料基本不需要人工标注模型自己通过“预测下一个词”这种自监督任务学习语言规律。大规模参数给了模型足够容量去记住文本里的统计规律这也是模型变大后能力变强的原因。语言模型意味着它的底层任务是计算文本序列的概率分布生成能力本质上就是一次次取样预测。三者缺一个都不能叫严格意义上的大模型。零基础最容易在“模型是否真的理解语言”这种题上翻车。正确的答题逻辑是模型学到了 Token 之间的共现与语义关联输出在统计上接近人类表达但它没有常识校验和事实追溯能力所以会产生幻觉。把这条逻辑写透比堆十个术语都管用。另外要区分大模型和传统 NLP 模型。传统方法如 LSTM、朴素贝叶斯通常是任务导向的一个模型只服务一个任务大模型是通用基底同一个模型能聊天、写代码、做翻译、做摘要靠的是后续的指令微调和对齐。考题里常以“为什么大模型能一个模型做多个任务”的形式出现答案就是从通用预训练基底到任务适配的过程。1.2 token、上下文、参数三个必须背透的概念这三个概念贯穿全书几乎所有考点最后都会绕回来。我建议零基础不要把精力花在背精确数值上而是先理解“它们分别在回答什么问题”token 回答“模型怎么切文本”上下文回答“一次能看多长”参数回答“模型有多大、要多少显存”。Token 是模型处理文本的最小单元不是字也不是词。中文一般在 0.5 到 1.5 个 token 一个汉字之间波动英文大约 4 个字符一个 token。考试里的换算题比如“一段 2000 字中文文本约等于多少 token”按 1:1 到 1:1.5 估算就是 2000 到 3000 token。记忆这个估算逻辑就够了考场上推导比背诵靠谱。上下文长度Context Length是模型单次能处理的 token 上限。它并不等于“越大越聪明”长度翻倍KV Cache 显存几乎线性翻倍注意力计算也会变慢而且长文本下模型表现往往会退化因为位置编码的外推能力有限注意力也被拉散。实操题的考法经常是128K 上下文的模型实际给个 8K 就够用了没必要全程拉满。参数规模直接决定模型体积和推理显存。FP16 精度下1B 参数约占 2GB 显存所以 7B 模型权重就要 14GB加上 KV Cache 和运行时激活值16GB 显存勉强、24GB 才从容。这个公式务必记牢后面部署选型题基本全靠它很多实操故障也都是因为没算这一笔账导致的。1.3 能力评价考点困惑度、基准测试与幻觉评价模型能力也是高频考点。生成类的经典指标是困惑度PerplexityPPL数值越低说明模型对语料的预测越准但困惑度低不代表生成质量好它只反映统计拟合程度。考试里常出的辨析题就是“PPL 低是否等于模型好”答案是否定的因为 PPL 无法衡量事实性和有用性。更常用的是综合基准测试。国外看 MMLU综合知识、HumanEval代码生成中文场景看 C-Eval。这些基准的本质是给模型一大批标准化题目计算正确率用来横向对比不同模型。答题时点到即可但一定要能解释清楚基准成绩高不等于真实场景好用因为数据集可能泄漏进预训练语料也就是“刷题刷出来的高分”。幻觉Hallucination是大模型最出名的短板也是论述题最爱。答题要点幻觉来自模型只会做概率预测、没有事实核查机制缓解手段有三个方向——RAG 检索引入外部事实、采样参数调低如 temperature 设为 0 附近、对生成结果做规则校验。这三条也会在后面应用章节反复出现属于“一处学会多处拿分”的核心考点。2. 核心技术考点Transformer 与模型训练全景图2.1 Transformer 架构与自注意力机制模型内部原理是必考区。现在主流大模型几乎都是 Transformer 架构它由自注意力Self-Attention、多头注意力、前馈网络、残差连接和层归一化组成。考概念题时一句话概括Transformer 通过自注意力机制计算序列中每个 Token 与其他 Token 的关联权重从而建模长距离依赖。自注意力的计算过程可以类比成“开小组会”每个 Token 先把自己投影成查询Q、键K、值V三份材料然后用自己和所有人的 Q 和 K 算相似度得分得分归一化成权重最后按权重加权求和所有人的 V。这样每个位置都能动态聚焦到对当前输出最有用的其他位置这就是它比 RNN 更擅长处理长文本的原因——不需要一步步顺序传递信息。考点里的另一个细节是位置编码。注意力本身不感知 Token 顺序所以需要注入位置信息常见的有 RoPE旋转位置编码和 ALiBi。RoPE 是现在大模型的主流选择优势是能建模相对位置关系对长文本相对友好。遇到“为什么 Transformer 需要位置编码”这种题标准答法自注意力是排列等变的输入换序输出也跟着换序不编码位置就无法区分“我爱你”和“你爱我”。2.2 预训练与微调SFT、LoRA 和 QLoRA从训练流程看大模型的生命周期分四步预训练、监督微调SFT、对齐RLHF、部署推理。考试最爱问的是第二步里“全参微调和 LoRA 的区别”这里我展开讲清楚。预训练是在海量无标注文本上学习语言规律成本极高不是普通人干的事。SFT 则是用人工标注的“指令-回答”对让模型学会听从指令、以对话形式输出。全参微调意味着更新模型所有权重7B 模型就需要 14GB 以上的显存来做优化器状态和梯度存储成本高LoRA 的做法是冻结原权重只在每层旁边插入一个低秩矩阵进行训练可训练参数通常只有原来的 1% 左右显存占用大幅下降效果在多数任务上能接近全参微调。QLoRA 再进一步把底座模型量化到 4bit 之后再套 LoRA这样普通消费级显卡也能微调 7B 甚至 13B 模型。实操里我的建议是没有 A100 级别显卡的团队一律走 LoRA 或 QLoRA想微调的显存估算可以粗略按“底座模型量化后体积 2GB 到 4GB 余量”来算。比如 7B 模型 4bit 量化后约 4GB16GB 显卡跑 QLoRA 微调是可行的24GB 就更稳。2.3 对齐技术RLHF 与 DPO 的考点方向对齐Alignment是让模型“听话且有用”的关键步骤代表方案是 RLHF即基于人类反馈的强化学习。它分三步先做 SFT 得到一个基础对话模型再训练一个奖励模型学会给模型输出打分最后用强化学习算法经典的是 PPO让对话模型优化输出以获取更高奖励。考试里最常见的简化问法是“RLHF 的作用是什么”标准答案让模型从“像人说话”升级为“按人类偏好说话”减少有害输出、提升有用性。但答题时最好补一句局限RLHF 依赖人工标注偏好成本高且容易让模型“过度优化”丢失多样性。现在业界也有不少替代方案比如 DPO直接把偏好数据变成可直接优化的目标不需要单独训练奖励模型门槛低很多。遇到“近年来对齐技术有哪些新发展”的开放题答 DPO、RLAIFAI 反馈再对比 RLHF基本就能拿高分。注意这类题重在比较思路不用展开算法细节。3. 应用层考点Prompt、RAG 与 Agent 三件套3.1 Prompt 工程必考套路三层技巧与通用模板Prompt 是零基础学习里性价比最高的技能也是考试必考。它的核心考点其实就三个角色设定、结构化指令、示例引导。角色设定就是告诉模型“你是什么身份”比如“你是一名资深运维工程师”模型输出风格会立刻变化。结构化指令要求把任务拆成明确的步骤、约束和输出格式减少模型的自由发挥空间。示例引导Few-shot是给出两个输入输出对让模型照着做。三个手法可以叠加也是实际项目中最常用的套路。考试如果考 prompt 模板建议直接记一个通用结构背景 任务 约束 示例 输出格式。背景交代场景任务说清楚要做什么约束限定边界字数、语气、禁止什么示例给格式参考输出格式方便下游解析。我用的生产级 prompt 基本都是这个结构稳定性和可维护性比随手写一句“帮我总结一下”高得多。有一个经常被忽略的考点prompt 不只是写给模型看的也是写给迭代者看的。好的 prompt 要让下一个接手的人能快速理解意图所以变量要抽出来、版本要留记录。答题时可以补充“prompt 也是需要版本管理的工程资产”这比单纯背套路更容易拿高分。3.2 RAG原理、链路与落地要点RAG检索增强生成是大模型应用开发的核心考点几乎必考。它的出现是为了解决幻觉和知识过时两个问题模型内部知识是训练时固化的无法感知最新信息也无法访问企业私有文档。RAG 的思路是“先检索再生成”——把外部知识库里的相关内容先捞出来塞进 prompt 里让模型基于检索结果回答。完整链路是五步文档切分chunking、向量化embedding、向量入库、检索召回相似度 Top-K、组织 prompt 生成。考试和实操都爱考切分参数chunk 太小则语义不完整太大则检索噪声多且浪费 token经验值一般在 256 到 1024 个 token 之间文档类型越结构化取越大值。embedding 模型选择上中文场景可以优先考虑开源的 bge 系列英文场景 text-embedding 类模型是常见选择。落地时还有几个细节容易被忽略检索回来不是直接拼进去就完事需要对结果做重排rerank把最相关的几条提到前面向量库要定期重建或增量更新相似度阈值要设好检索结果太差时宁可让模型说“不知道”也不要硬编。这些虽然不一定直接考但面试开放题答出来会明显加分。3.3 Agent 与 Function Calling智能体的最小实现Agent智能体是现在最热的应用考点。概念上Agent 大模型 规划 工具 记忆。模型负责推理和决策规划负责拆任务工具负责执行外部动作查天气、调接口、写文件记忆负责暂存对话和历史状态。考试的简答题答出这四个组件基本框架就成立了。Function Calling函数调用是 Agent 的技术底座。它的原理是系统预先把可用函数的结构化描述函数名、参数、用途注入给模型用户提问时模型输出的内容不是普通文本而是一个结构化调用指令比如函数名 get_weather、参数 city北京应用侧解析指令、执行真实调用、把结果返回给模型模型再基于结果生成最终回复。这个“模型出参数、程序执行、结果回填”的循环就是智能体执行任务的最小闭环。我实际做项目时发现Function Calling 比想象中的更依赖模型能力。小参数模型经常漏参数或凭空捏造函数名所以生产环境一般选 7B 以上或直接接云上大模型。另外函数描述越明确、参数约束写进描述里成功率越高。这些经验在考试的场景题里可以直接用比如问到“怎么提高工具调用成功率”答案就是写清函数描述和参数约束。4. 部署与实操考点从模型权重到可用服务4.1 本地部署选型Ollama、vLLM 与 LM Studio大模型部署是实操性最强的考点。零基础学习我建议按工具分层理解Ollama 负责“个人电脑跑模型”LM Studio 负责“图形界面玩模型”vLLM 负责“服务器高并发提供服务”。Ollama 的优势是极简一行命令拉模型、一行命令启动服务还自带 OpenAI 兼容接口适合本地学习和验证想法。LM Studio 是带界面的桌面工具模型下载、参数调节、本地聊天都在图形界面里完成对没接触过命令行的朋友最友好。vLLM 则是生产级推理引擎主打高吞吐核心技术是 PagedAttention 和连续批处理适合部署成 API 服务给线上应用调用。考试如果问“同一台机器上选哪个”答题逻辑是看场景单机自用选 Ollama图形界面选 LM Studio对外服务选 vLLM。这三个工具还都兼容 OpenAI 的 API 格式意味着你的应用代码可以无缝切换底层的模型来源。这个“API 兼容解耦”思想本身就是考点记住它部署题就能举一反三。4.2 量化原理与显存估算公式量化是部署绕不开的话题面试必问。量化原理一句话把模型的浮点权重从 FP16 降到 INT8、INT4 等低精度表示用微小精度损失换取显存和算力的大幅下降。常见格式有 GGUFOllama 等工具常用、GPTQ 和 AWQGPU 推理常用。考试常考的换算题可以直接背公式FP16 下显存GB约等于参数量B乘以 2INT8 下约等于参数量乘以 1INT4 下约等于参数量乘以 0.5。所以 7B 模型 FP16 约 14GBINT4 约 3.5GB这就是为什么 8GB 显卡也能跑 7B 量化模型的原理。加上 KV Cache 和推理开销估算时再加 2 到 4GB 余量更保险。这里有一条实操心得不要为了追求跑得动而无脑选最低精度。4bit 量化在复杂推理和代码生成任务上会有可感知的精度下降生产环境建议从 8bit 起步做评测再决定要不要降到 4bit。考试问“量化的代价是什么”答精度损失、个别场景输出质量下降即可。4.3 上下文长度与 KV Cache 的因果关系上下文长度这个考点前面提过这里从显存角度再展开。Transformer 推理时每生成一个 token都要把历史 token 的 Key 和 Value 缓存下来这个缓存叫 KV Cache。它的大小与序列长度、层数、注意力头相关参数成正比上下文越长显存占用越大而且随着生成长度线性增长。这也是为什么很多本地部署项目表面参数体量不大一跑长文本就爆显存。实操里的解法有几类限制 max_tokens 和上下文上限用 vLLM 这类带 PagedAttention 的引擎管理 KV Cache或者选架构上更省显存的长上下文模型。考试考这个点本质是看你能不能把“上下文长度、显存、推理延迟”三个变量串成一条因果关系线。5. 高频考点问答与避坑实录5.1 零基础最常踩的五个坑第一个坑把 token 当成字数。所有长度换算题都错在“1 字 1 token”的直觉上。中文一般偏 1 到 1.5英文偏 0.75 词左右做题前先换算别凭感觉估。第二混淆“上下文长度”和“训练数据长度”。上下文是模型单次能看到的输入上限训练数据是预训练见过的全部文本两者完全不同。论述题里把它们放在一起考就是为了抓混用的人。第三以为微调能“注入”新知识。很多零基础朋友把微调当成给模型补充知识的途径其实微调更适合改变行为风格和输出格式知识更新应该走 RAG。这个认知错误在面试里非常致命务必纠正。第四部署时只看模型体积不看 KV Cache。曾经就有学员拿 16GB 显卡跑 8B 模型权重快 16GB结果一开长文本就 OOM原因就是没算 KV Cache。按前面的公式加 2 到 4GB 余量再决定模型大小。第五把 Prompt 工程和微调对立起来。实际项目里两者是配合关系能用 Prompt 解决的不微调Prompt 解决不了的行为级问题才微调。这个“由轻到重”的技术选型思路本身就是开放性考点的标准答法。5.2 实操排查速查表部署和调用最常见问题我把带学员时反复出现的问题整理成了速查表适合直接打印参考。现象可能原因排查思路模型加载就 OOM权重量级超显存换算参数量乘精度字节数加 KV 余量降精度或换小模型生成长文中途 OOMKV Cache 涨满调低 max_tokens缩短上下文换 vLLM 的 PagedAttention输出明显变傻或错乱量化精度过低或采样参数过高恢复到 8bittemperature 调低到 0.1 附近API 一直超时单机推理吞吐不足换并发引擎 vLLM或换成更小的量化模型本地模型接 Dify 后没反应API 地址或鉴权方式不匹配确认工具暴露的是原生接口还是 OpenAI 兼容格式微调后效果反而变差LoRA 只覆盖风格没覆盖任务增加任务专有数据量检查学习率是否过大或过小遇到部署问题最高效的排查方式永远是“先看日志和报错再查显存指标”而不是反复改参数。用 nvidia-smi 看显存占用Ollama 和 vLLM 都有日志输出多数问题都能定位到 KV Cache 和量化这两条线上。测下来80% 以上的本地部署问题都出在显存预估不准剩下 20% 出在 API 兼容格式对不上速查表里这两类都覆盖了。最后再分享一个带过无数零基础学员之后的真实感受大模型的考点并不难难的是把零散名词串成体系。只要按“定义—原理—应用—部署”这条线把每个知识点理解一遍再亲手跑一次本地模型、调一次 LoRA、搭一次 RAG考试和实操都会顺手很多。我每次带新人都是这个顺序目前来看也是最不容易走弯路的一条路径。
我这两年带过不少零基础转行的人学大模型也在几个技术社群里长期答疑。见得最多的不是学不会而是学了一堆零碎名词到了考试或面试时拼不起来卡在“知道但说不出所以然”的状态。这篇文章我按考点精讲的思路把大模型技术里最常考、最容易混淆的知识点全部拆开讲透配合部署和微调的实操经验零基础也可以照这个顺序体系化地过一遍。先说清楚它适合谁要考大模型相关认证或期末考试的学生、准备转行 AI 应用开发的工程师、以及对大模型只有概念却需要快速上手做事的非技术朋友。你不需要一开始就会写代码前两章纯概念也能看懂第三章开始涉及工具命令照着敲就行。每章末尾我都标注了考点和答题方向方便直接拿去复习。1. 零基础起步先把大模型的“考试范围”画出来1.1 大模型到底是什么三句话讲透本质先背结论大模型Large Language ModelLLM是在海量文本数据上预训练得到的、参数规模通常在十亿以上的神经网络语言模型。这个定义里有三个限定词考试特别喜欢拆开来问海量数据、大规模参数、语言模型。把这三个词理解透了后面所有考点都能串起来。海量数据指的是预训练阶段用的语料基本不需要人工标注模型自己通过“预测下一个词”这种自监督任务学习语言规律。大规模参数给了模型足够容量去记住文本里的统计规律这也是模型变大后能力变强的原因。语言模型意味着它的底层任务是计算文本序列的概率分布生成能力本质上就是一次次取样预测。三者缺一个都不能叫严格意义上的大模型。零基础最容易在“模型是否真的理解语言”这种题上翻车。正确的答题逻辑是模型学到了 Token 之间的共现与语义关联输出在统计上接近人类表达但它没有常识校验和事实追溯能力所以会产生幻觉。把这条逻辑写透比堆十个术语都管用。另外要区分大模型和传统 NLP 模型。传统方法如 LSTM、朴素贝叶斯通常是任务导向的一个模型只服务一个任务大模型是通用基底同一个模型能聊天、写代码、做翻译、做摘要靠的是后续的指令微调和对齐。考题里常以“为什么大模型能一个模型做多个任务”的形式出现答案就是从通用预训练基底到任务适配的过程。1.2 token、上下文、参数三个必须背透的概念这三个概念贯穿全书几乎所有考点最后都会绕回来。我建议零基础不要把精力花在背精确数值上而是先理解“它们分别在回答什么问题”token 回答“模型怎么切文本”上下文回答“一次能看多长”参数回答“模型有多大、要多少显存”。Token 是模型处理文本的最小单元不是字也不是词。中文一般在 0.5 到 1.5 个 token 一个汉字之间波动英文大约 4 个字符一个 token。考试里的换算题比如“一段 2000 字中文文本约等于多少 token”按 1:1 到 1:1.5 估算就是 2000 到 3000 token。记忆这个估算逻辑就够了考场上推导比背诵靠谱。上下文长度Context Length是模型单次能处理的 token 上限。它并不等于“越大越聪明”长度翻倍KV Cache 显存几乎线性翻倍注意力计算也会变慢而且长文本下模型表现往往会退化因为位置编码的外推能力有限注意力也被拉散。实操题的考法经常是128K 上下文的模型实际给个 8K 就够用了没必要全程拉满。参数规模直接决定模型体积和推理显存。FP16 精度下1B 参数约占 2GB 显存所以 7B 模型权重就要 14GB加上 KV Cache 和运行时激活值16GB 显存勉强、24GB 才从容。这个公式务必记牢后面部署选型题基本全靠它很多实操故障也都是因为没算这一笔账导致的。1.3 能力评价考点困惑度、基准测试与幻觉评价模型能力也是高频考点。生成类的经典指标是困惑度PerplexityPPL数值越低说明模型对语料的预测越准但困惑度低不代表生成质量好它只反映统计拟合程度。考试里常出的辨析题就是“PPL 低是否等于模型好”答案是否定的因为 PPL 无法衡量事实性和有用性。更常用的是综合基准测试。国外看 MMLU综合知识、HumanEval代码生成中文场景看 C-Eval。这些基准的本质是给模型一大批标准化题目计算正确率用来横向对比不同模型。答题时点到即可但一定要能解释清楚基准成绩高不等于真实场景好用因为数据集可能泄漏进预训练语料也就是“刷题刷出来的高分”。幻觉Hallucination是大模型最出名的短板也是论述题最爱。答题要点幻觉来自模型只会做概率预测、没有事实核查机制缓解手段有三个方向——RAG 检索引入外部事实、采样参数调低如 temperature 设为 0 附近、对生成结果做规则校验。这三条也会在后面应用章节反复出现属于“一处学会多处拿分”的核心考点。2. 核心技术考点Transformer 与模型训练全景图2.1 Transformer 架构与自注意力机制模型内部原理是必考区。现在主流大模型几乎都是 Transformer 架构它由自注意力Self-Attention、多头注意力、前馈网络、残差连接和层归一化组成。考概念题时一句话概括Transformer 通过自注意力机制计算序列中每个 Token 与其他 Token 的关联权重从而建模长距离依赖。自注意力的计算过程可以类比成“开小组会”每个 Token 先把自己投影成查询Q、键K、值V三份材料然后用自己和所有人的 Q 和 K 算相似度得分得分归一化成权重最后按权重加权求和所有人的 V。这样每个位置都能动态聚焦到对当前输出最有用的其他位置这就是它比 RNN 更擅长处理长文本的原因——不需要一步步顺序传递信息。考点里的另一个细节是位置编码。注意力本身不感知 Token 顺序所以需要注入位置信息常见的有 RoPE旋转位置编码和 ALiBi。RoPE 是现在大模型的主流选择优势是能建模相对位置关系对长文本相对友好。遇到“为什么 Transformer 需要位置编码”这种题标准答法自注意力是排列等变的输入换序输出也跟着换序不编码位置就无法区分“我爱你”和“你爱我”。2.2 预训练与微调SFT、LoRA 和 QLoRA从训练流程看大模型的生命周期分四步预训练、监督微调SFT、对齐RLHF、部署推理。考试最爱问的是第二步里“全参微调和 LoRA 的区别”这里我展开讲清楚。预训练是在海量无标注文本上学习语言规律成本极高不是普通人干的事。SFT 则是用人工标注的“指令-回答”对让模型学会听从指令、以对话形式输出。全参微调意味着更新模型所有权重7B 模型就需要 14GB 以上的显存来做优化器状态和梯度存储成本高LoRA 的做法是冻结原权重只在每层旁边插入一个低秩矩阵进行训练可训练参数通常只有原来的 1% 左右显存占用大幅下降效果在多数任务上能接近全参微调。QLoRA 再进一步把底座模型量化到 4bit 之后再套 LoRA这样普通消费级显卡也能微调 7B 甚至 13B 模型。实操里我的建议是没有 A100 级别显卡的团队一律走 LoRA 或 QLoRA想微调的显存估算可以粗略按“底座模型量化后体积 2GB 到 4GB 余量”来算。比如 7B 模型 4bit 量化后约 4GB16GB 显卡跑 QLoRA 微调是可行的24GB 就更稳。2.3 对齐技术RLHF 与 DPO 的考点方向对齐Alignment是让模型“听话且有用”的关键步骤代表方案是 RLHF即基于人类反馈的强化学习。它分三步先做 SFT 得到一个基础对话模型再训练一个奖励模型学会给模型输出打分最后用强化学习算法经典的是 PPO让对话模型优化输出以获取更高奖励。考试里最常见的简化问法是“RLHF 的作用是什么”标准答案让模型从“像人说话”升级为“按人类偏好说话”减少有害输出、提升有用性。但答题时最好补一句局限RLHF 依赖人工标注偏好成本高且容易让模型“过度优化”丢失多样性。现在业界也有不少替代方案比如 DPO直接把偏好数据变成可直接优化的目标不需要单独训练奖励模型门槛低很多。遇到“近年来对齐技术有哪些新发展”的开放题答 DPO、RLAIFAI 反馈再对比 RLHF基本就能拿高分。注意这类题重在比较思路不用展开算法细节。3. 应用层考点Prompt、RAG 与 Agent 三件套3.1 Prompt 工程必考套路三层技巧与通用模板Prompt 是零基础学习里性价比最高的技能也是考试必考。它的核心考点其实就三个角色设定、结构化指令、示例引导。角色设定就是告诉模型“你是什么身份”比如“你是一名资深运维工程师”模型输出风格会立刻变化。结构化指令要求把任务拆成明确的步骤、约束和输出格式减少模型的自由发挥空间。示例引导Few-shot是给出两个输入输出对让模型照着做。三个手法可以叠加也是实际项目中最常用的套路。考试如果考 prompt 模板建议直接记一个通用结构背景 任务 约束 示例 输出格式。背景交代场景任务说清楚要做什么约束限定边界字数、语气、禁止什么示例给格式参考输出格式方便下游解析。我用的生产级 prompt 基本都是这个结构稳定性和可维护性比随手写一句“帮我总结一下”高得多。有一个经常被忽略的考点prompt 不只是写给模型看的也是写给迭代者看的。好的 prompt 要让下一个接手的人能快速理解意图所以变量要抽出来、版本要留记录。答题时可以补充“prompt 也是需要版本管理的工程资产”这比单纯背套路更容易拿高分。3.2 RAG原理、链路与落地要点RAG检索增强生成是大模型应用开发的核心考点几乎必考。它的出现是为了解决幻觉和知识过时两个问题模型内部知识是训练时固化的无法感知最新信息也无法访问企业私有文档。RAG 的思路是“先检索再生成”——把外部知识库里的相关内容先捞出来塞进 prompt 里让模型基于检索结果回答。完整链路是五步文档切分chunking、向量化embedding、向量入库、检索召回相似度 Top-K、组织 prompt 生成。考试和实操都爱考切分参数chunk 太小则语义不完整太大则检索噪声多且浪费 token经验值一般在 256 到 1024 个 token 之间文档类型越结构化取越大值。embedding 模型选择上中文场景可以优先考虑开源的 bge 系列英文场景 text-embedding 类模型是常见选择。落地时还有几个细节容易被忽略检索回来不是直接拼进去就完事需要对结果做重排rerank把最相关的几条提到前面向量库要定期重建或增量更新相似度阈值要设好检索结果太差时宁可让模型说“不知道”也不要硬编。这些虽然不一定直接考但面试开放题答出来会明显加分。3.3 Agent 与 Function Calling智能体的最小实现Agent智能体是现在最热的应用考点。概念上Agent 大模型 规划 工具 记忆。模型负责推理和决策规划负责拆任务工具负责执行外部动作查天气、调接口、写文件记忆负责暂存对话和历史状态。考试的简答题答出这四个组件基本框架就成立了。Function Calling函数调用是 Agent 的技术底座。它的原理是系统预先把可用函数的结构化描述函数名、参数、用途注入给模型用户提问时模型输出的内容不是普通文本而是一个结构化调用指令比如函数名 get_weather、参数 city北京应用侧解析指令、执行真实调用、把结果返回给模型模型再基于结果生成最终回复。这个“模型出参数、程序执行、结果回填”的循环就是智能体执行任务的最小闭环。我实际做项目时发现Function Calling 比想象中的更依赖模型能力。小参数模型经常漏参数或凭空捏造函数名所以生产环境一般选 7B 以上或直接接云上大模型。另外函数描述越明确、参数约束写进描述里成功率越高。这些经验在考试的场景题里可以直接用比如问到“怎么提高工具调用成功率”答案就是写清函数描述和参数约束。4. 部署与实操考点从模型权重到可用服务4.1 本地部署选型Ollama、vLLM 与 LM Studio大模型部署是实操性最强的考点。零基础学习我建议按工具分层理解Ollama 负责“个人电脑跑模型”LM Studio 负责“图形界面玩模型”vLLM 负责“服务器高并发提供服务”。Ollama 的优势是极简一行命令拉模型、一行命令启动服务还自带 OpenAI 兼容接口适合本地学习和验证想法。LM Studio 是带界面的桌面工具模型下载、参数调节、本地聊天都在图形界面里完成对没接触过命令行的朋友最友好。vLLM 则是生产级推理引擎主打高吞吐核心技术是 PagedAttention 和连续批处理适合部署成 API 服务给线上应用调用。考试如果问“同一台机器上选哪个”答题逻辑是看场景单机自用选 Ollama图形界面选 LM Studio对外服务选 vLLM。这三个工具还都兼容 OpenAI 的 API 格式意味着你的应用代码可以无缝切换底层的模型来源。这个“API 兼容解耦”思想本身就是考点记住它部署题就能举一反三。4.2 量化原理与显存估算公式量化是部署绕不开的话题面试必问。量化原理一句话把模型的浮点权重从 FP16 降到 INT8、INT4 等低精度表示用微小精度损失换取显存和算力的大幅下降。常见格式有 GGUFOllama 等工具常用、GPTQ 和 AWQGPU 推理常用。考试常考的换算题可以直接背公式FP16 下显存GB约等于参数量B乘以 2INT8 下约等于参数量乘以 1INT4 下约等于参数量乘以 0.5。所以 7B 模型 FP16 约 14GBINT4 约 3.5GB这就是为什么 8GB 显卡也能跑 7B 量化模型的原理。加上 KV Cache 和推理开销估算时再加 2 到 4GB 余量更保险。这里有一条实操心得不要为了追求跑得动而无脑选最低精度。4bit 量化在复杂推理和代码生成任务上会有可感知的精度下降生产环境建议从 8bit 起步做评测再决定要不要降到 4bit。考试问“量化的代价是什么”答精度损失、个别场景输出质量下降即可。4.3 上下文长度与 KV Cache 的因果关系上下文长度这个考点前面提过这里从显存角度再展开。Transformer 推理时每生成一个 token都要把历史 token 的 Key 和 Value 缓存下来这个缓存叫 KV Cache。它的大小与序列长度、层数、注意力头相关参数成正比上下文越长显存占用越大而且随着生成长度线性增长。这也是为什么很多本地部署项目表面参数体量不大一跑长文本就爆显存。实操里的解法有几类限制 max_tokens 和上下文上限用 vLLM 这类带 PagedAttention 的引擎管理 KV Cache或者选架构上更省显存的长上下文模型。考试考这个点本质是看你能不能把“上下文长度、显存、推理延迟”三个变量串成一条因果关系线。5. 高频考点问答与避坑实录5.1 零基础最常踩的五个坑第一个坑把 token 当成字数。所有长度换算题都错在“1 字 1 token”的直觉上。中文一般偏 1 到 1.5英文偏 0.75 词左右做题前先换算别凭感觉估。第二混淆“上下文长度”和“训练数据长度”。上下文是模型单次能看到的输入上限训练数据是预训练见过的全部文本两者完全不同。论述题里把它们放在一起考就是为了抓混用的人。第三以为微调能“注入”新知识。很多零基础朋友把微调当成给模型补充知识的途径其实微调更适合改变行为风格和输出格式知识更新应该走 RAG。这个认知错误在面试里非常致命务必纠正。第四部署时只看模型体积不看 KV Cache。曾经就有学员拿 16GB 显卡跑 8B 模型权重快 16GB结果一开长文本就 OOM原因就是没算 KV Cache。按前面的公式加 2 到 4GB 余量再决定模型大小。第五把 Prompt 工程和微调对立起来。实际项目里两者是配合关系能用 Prompt 解决的不微调Prompt 解决不了的行为级问题才微调。这个“由轻到重”的技术选型思路本身就是开放性考点的标准答法。5.2 实操排查速查表部署和调用最常见问题我把带学员时反复出现的问题整理成了速查表适合直接打印参考。现象可能原因排查思路模型加载就 OOM权重量级超显存换算参数量乘精度字节数加 KV 余量降精度或换小模型生成长文中途 OOMKV Cache 涨满调低 max_tokens缩短上下文换 vLLM 的 PagedAttention输出明显变傻或错乱量化精度过低或采样参数过高恢复到 8bittemperature 调低到 0.1 附近API 一直超时单机推理吞吐不足换并发引擎 vLLM或换成更小的量化模型本地模型接 Dify 后没反应API 地址或鉴权方式不匹配确认工具暴露的是原生接口还是 OpenAI 兼容格式微调后效果反而变差LoRA 只覆盖风格没覆盖任务增加任务专有数据量检查学习率是否过大或过小遇到部署问题最高效的排查方式永远是“先看日志和报错再查显存指标”而不是反复改参数。用 nvidia-smi 看显存占用Ollama 和 vLLM 都有日志输出多数问题都能定位到 KV Cache 和量化这两条线上。测下来80% 以上的本地部署问题都出在显存预估不准剩下 20% 出在 API 兼容格式对不上速查表里这两类都覆盖了。最后再分享一个带过无数零基础学员之后的真实感受大模型的考点并不难难的是把零散名词串成体系。只要按“定义—原理—应用—部署”这条线把每个知识点理解一遍再亲手跑一次本地模型、调一次 LoRA、搭一次 RAG考试和实操都会顺手很多。我每次带新人都是这个顺序目前来看也是最不容易走弯路的一条路径。
全解析：从ERM失效到领域泛化与不变性学习)
