1. 为什么这8个问题成了LLM面试的硬门槛面过LLM岗位的人大概都有体会简历上写着“熟悉Transformer”“做过RAG”“调过Agent”结果面试官几个问题下来冷汗就冒出来了。不是问得偏而是问得深——深到你必须真正理解过底层机制、踩过工程坑、做过取舍才能答得上来。我前后参与过几十场大模型相关岗位的技术面试也帮朋友做过模拟面。一个很明显的规律是面试官问来问去核心就那么8个方向。这8个问题覆盖了从模型原理到工程落地的完整链路任何一个答不上来基本就暴露了知识体系里的硬伤。尤其是现在岗位竞争激烈面试官没时间慢慢引导你往往一个问题就能判断出你是“真做过”还是“只听过”。这篇文章不打算给你一份标准答案让你背。我想做的是把这8个问题拆开讲清楚面试官到底在考什么、你应该从哪个角度回答、哪些细节是加分项、哪些坑千万别踩。不管你是刚转行准备入局还是已经做了几年想跳槽这些内容都能直接拿来用。先说一下这8个问题的整体框架让你心里有个底序号问题方向核心考察点常见追问1Transformer架构理解自注意力机制、位置编码、残差连接为什么用多头为什么除以根号d2Tokenization与词表设计BPE原理、词表大小取舍、多语言处理中文分词为什么容易出问题3预训练与微调策略训练目标、数据配比、LoRA原理全量微调vs参数高效微调怎么选4推理优化与部署KV Cache、量化、批处理显存不够怎么办延迟怎么降5RAG系统设计检索策略、重排序、上下文压缩召回不准怎么排查6Function Calling与Agent工具调用协议、规划能力、容错模型不按格式输出怎么办7评估与对齐评测指标、RLHF、DPO怎么判断模型变好了还是变差了8工程化与系统设计分布式训练、数据管道、监控训练loss突然飙升怎么排查这8个方向不是孤立的面试官往往会交叉着问。比如聊RAG的时候突然问你“检索回来的文档太长KV Cache扛不住怎么办”这就是在考推理优化。所以准备的时候不能只背单点要把知识串起来。接下来我逐个拆解每个问题都会告诉你面试官的心理预期是什么、回答的层次怎么拉开、哪些细节能让面试官眼前一亮。2. 逐个击破8个必问问题的深度拆解2.1 Transformer架构别只会画图要讲清楚“为什么”这是LLM面试的必考题没有之一。但很多人准备的方向就错了——背了一遍“Self-Attention就是QKV点积”面试官一追问就露馅。面试官真正想知道的是你有没有从第一性原理理解这个架构的设计动机。我建议你按这个逻辑来组织回答第一层自注意力到底解决了什么问题。在Transformer之前RNN系模型处理长序列时有两个致命问题一是串行计算导致训练慢二是长距离依赖容易梯度消失。自注意力的核心创新是让序列中任意两个位置直接建立连接计算复杂度虽然是O(n²)但换来了完全并行的训练和更好的长距离建模能力。这里你可以补一句“其实O(n²)在早期不是大问题因为当时序列长度普遍在512以内真正成为瓶颈是后来长上下文需求爆发之后。”第二层QKV的本质。别只背公式用类比讲。Query是“我在找什么信息”Key是“我有什么信息可以被找到”Value是“我实际提供的信息内容”。注意力权重就是Query和Key的匹配程度然后对Value做加权求和。这个类比面试官一听就知道你理解了。第三层为什么是多头。单头注意力只能学到一种“关注模式”多头让模型在不同子空间里并行学习不同的关系模式——有的头关注语法结构有的头关注语义相似性有的头关注位置邻近。你可以补一句实测经验“我做过注意力头的可视化分析确实能看到不同头分工不同有些头甚至专门关注标点符号或句法边界。”第四层位置编码的演进。从正弦位置编码到可学习位置编码再到RoPE旋转位置编码。面试官如果问到这里说明他在试探你对长上下文扩展的理解。RoPE的核心优势是通过旋转矩阵编码相对位置信息天然支持外推这也是为什么现在主流模型都用它。你可以提一下“RoPE的外推能力也不是无限的实际用的时候还是需要配合NTK-aware插值或者YaRN这类方法做上下文扩展。”第五层残差连接和LayerNorm。残差连接解决深层网络的梯度传播问题LayerNorm解决训练稳定性问题。Pre-Norm和Post-Norm的区别也值得说Pre-Norm训练更稳定适合深层模型但表达力可能略弱Post-Norm表达力强但需要更精细的学习率预热。现在主流大模型基本都用Pre-Norm或者RMSNorm。注意面试官如果问你“Transformer有什么缺点”千万别只说“计算复杂度高”。更好的回答是O(n²)的注意力计算、固定位置编码的外推限制、缺乏真正的递归推理能力、对训练数据质量和规模的高度依赖。这样回答显得你有全局视野。2.2 Tokenization最容易被忽视的“隐形杀手”Tokenization看起来是个预处理步骤但它对模型性能的影响远超大多数人想象。面试官问这个问题往往是想看你有没有实际处理过数据、踩过坑。BPE的核心原理。Byte Pair Encoding的本质是迭代合并高频字节对。从字符级别开始每次找出现频率最高的相邻对合并成新的token重复直到达到目标词表大小。你可以用一句话总结“BPE是在字符级和词级之间找平衡让常见词保持完整罕见词拆成子词。”词表大小的取舍。词表太小序列变长推理成本增加词表太大embedding矩阵参数量膨胀低频token训练不充分。主流模型一般在32K到128K之间。你可以补充“我实际做过对比实验中文场景下词表从32K扩到64K平均序列长度缩短了约15%但embedding层参数量增加了不少需要根据实际场景权衡。”中文Tokenization的特殊问题。很多模型的中文词表覆盖不够导致一个常用汉字被拆成多个byte token序列长度暴涨。比如“你好”在某些tokenizer里可能变成3-4个token。解决办法是在训练tokenizer时加入足够的中文语料或者做词表扩展。你可以说“我遇到过一个case同样的中文文本不同tokenizer的token数量差了将近一倍直接影响了推理成本和效果。”特殊token的设计。BOS、EOS、PAD、UNK这些基础的不说了更重要的是对话模板相关的特殊token。比如ChatML格式里的|im_start|和|im_end|Function Calling里的工具调用标记。这些token的设计直接影响模型的行为。面试官如果问“为什么模型有时候不按格式输出”你可以从特殊token训练不充分的角度来分析。常见问题原因分析解决思路中文序列过长词表中文覆盖不足扩充中文语料训练tokenizer数字被拆散数字未加入词表添加数字相关合并规则代码token效率低缩进和符号处理差代码语料专项训练特殊token被忽略训练时mask不当检查loss mask设置2.3 预训练与微调从“能跑”到“跑得好”的关键这个问题考察的是你对训练全流程的理解。面试官想知道的不是“你会不会调LoRA”而是你能不能根据场景做出合理的技术选型。预训练目标。主流是自回归语言建模也就是预测下一个token。但细节上有区别有的模型用因果掩码有的用前缀语言建模。你可以提一下“现在也有一些工作在探索多token预测比如一次预测多个未来token能提升训练效率。”数据配比。这是预训练中最玄学也最关键的部分。代码、中文、英文、数学、多语言各占多少比例直接决定模型的能力分布。你可以说“我参与过一个继续预训练的项目数据配比调了三轮才找到比较优的组合代码比例太低会导致推理能力弱中文比例太高又会影响英文表现。”LoRA的原理和实操。LoRA的核心是在原始权重旁边加一个低秩分解矩阵训练时只更新这个小矩阵。优势是显存占用低、可以多任务切换。但面试官可能会追问“LoRA的秩怎么选”我的经验是简单任务rank8到16够用复杂任务可能需要64甚至128。另外LoRA加在哪些层也很关键一般Q、V层是标配K、O层加上也有帮助MLP层加不加要看任务。全量微调vs参数高效微调。数据量足够大、任务和预训练分布差异大全量微调效果更好数据量小、需要快速迭代LoRA更合适。你可以补充“实际项目中我倾向于先用LoRA快速验证效果达标就不做全量了性价比高很多。”实操心得LoRA训练时学习率一般设得比全量微调大一个数量级比如1e-4到3e-4。另外LoRA的dropout不要设太大0.05到0.1就够了太大反而影响收敛。2.4 推理优化显存和延迟的“极限拉扯”这是工程岗面试的重头戏。面试官会通过这个问题判断你有没有真正部署过模型、处理过线上问题。KV Cache的原理。自回归生成时每生成一个新token都需要和之前所有token做注意力计算。如果不缓存每次都要重新计算之前所有token的K和V计算量随序列长度平方增长。KV Cache就是把之前算过的K和V存下来新token只需要计算自己的Q和当前K、V然后和缓存拼接。你可以说“KV Cache是用显存换计算没有它推理速度根本没法接受。”KV Cache的显存计算。这个面试官很爱问。公式是2 × num_layers × num_heads × head_dim × seq_len × batch_size × dtype_size。以LLaMA-7B为例32层、32头、head_dim128、FP16序列长度2048、batch1时KV Cache大约是2×32×32×128×2048×2字节算下来约1GB。你可以现场算给面试官看这比背答案有说服力得多。量化。FP16到INT8再到INT4显存占用逐级下降但精度损失需要评估。GPTQ、AWQ、GGUF是常见的量化方案。你可以说“我实测下来INT8量化基本无损INT4在大多数任务上也能接受但数学和代码任务可能会有明显下降。”批处理与调度。Continuous Batching和PagedAttention是现在推理引擎的标配。Continuous Batching让不同请求的动态拼接成为可能PagedAttention解决了KV Cache的碎片化问题。你可以提一下vLLM和TensorRT-LLM的对比“vLLM上手快、社区活跃TensorRT-LLM性能极致但调优成本高选哪个看团队情况。”优化手段显存收益延迟影响适用场景KV Cache增加占用大幅降低所有自回归生成INT8量化减少约50%基本不变大多数场景INT4量化减少约75%略增显存紧张场景Continuous Batching不变吞吐大幅提升高并发服务PagedAttention减少碎片基本不变长序列场景2.5 RAG系统检索质量决定上限RAG看起来简单——检索加生成嘛。但真正做过的人都知道RAG系统的瓶颈几乎永远在检索侧。面试官问这个问题就是想看你对检索链路的理解深度。检索策略。稠密检索用embedding做语义匹配稀疏检索用BM25做关键词匹配。实际系统中往往是混合检索各取所长。你可以说“纯稠密检索在专有名词和罕见词上容易翻车加上BM25做补充会稳很多。”重排序。召回阶段追求高召回率重排序阶段追求高精度。Cross-Encoder重排序效果最好但速度慢ColBERT这类延迟交互模型是折中方案。你可以补充“重排序的收益在Top-20到Top-5这个区间最明显再往后边际收益就递减了。”上下文压缩。检索回来的文档往往很长全部塞进上下文既浪费token又引入噪声。压缩方法包括抽取式压缩、生成式压缩、LLMLingua这类token级压缩。你可以说“我一般会先做一轮规则过滤去掉明显不相关的段落再用模型做精细压缩。”RAG的常见失败模式。检索不到相关内容、检索到但排序不对、内容对但模型没用好、模型用了但格式不对。每个环节都需要针对性的排查手段。你可以分享“我排查RAG问题一般先看检索结果如果检索没问题再看生成这样能快速定位是检索侧还是生成侧的问题。”避坑技巧RAG系统一定要做端到端评估不能只看检索指标或生成指标。我见过检索Recall很高但最终答案质量很差的case问题出在生成阶段模型没有正确使用检索内容。2.6 Function Calling与Agent从“会说”到“会做”这是当前最热的方向也是面试官区分“传统NLP背景”和“LLM原生背景”的分水岭。Function Calling的协议设计。模型需要输出结构化的工具调用请求包括工具名和参数。OpenAI的function calling格式是事实标准但开源模型往往需要自己定义格式。你可以说“格式设计的关键是让模型容易学会、解析器容易处理。我一般用JSON Schema定义参数训练时加入足够的格式示例。”Agent的规划能力。ReAct模式是基础——推理加行动交替进行。但实际系统中往往需要更复杂的规划比如任务分解、多步推理、反思重试。你可以提一下“纯ReAct在简单任务上够用但复杂任务需要加入任务分解和中间结果验证。”容错与鲁棒性。模型不按格式输出怎么办工具调用失败怎么办参数解析错误怎么办这些都是实际部署必须处理的。你可以分享“我的做法是加一层输出校验和重试机制格式不对就重新生成连续失败就降级到人工兜底。”多工具编排。当有几十个工具时模型怎么选全部塞进prompt会太长需要做工具检索或分组。你可以说“工具数量超过20个之后我一般会先做一轮工具召回只把相关的工具描述给模型。”失败模式典型表现处理策略格式错误输出不是合法JSON校验加重试工具选错调用了不相关的工具工具描述优化召回参数错误参数类型或值不对Schema校验默认值死循环反复调用同一工具最大步数限制幻觉调用调用不存在的工具工具白名单校验2.7 评估与对齐怎么证明“模型变好了”这个问题最容易被低估。很多人觉得“评估不就是跑个benchmark嘛”但面试官想看到的是你对评估方法论的理解。自动评估指标。Perplexity、BLEU、ROUGE这些传统指标在大模型时代局限性很大。现在更常用的是基于模型的评估比如用GPT-4做裁判。你可以说“自动指标只能做粗筛最终还是要靠人工评估和线上指标。”人工评估的设计。评估维度怎么定、评分标准怎么统一、标注者间一致性怎么保证这些都是实操中的难点。你可以分享“我做过一轮人工评估发现不同标注者对‘有用性’的理解差异很大后来加了详细的评分指南才把一致性提上来。”RLHF与DPO。RLHF是经典方案但训练复杂、不稳定。DPO直接优化偏好数据省去了奖励模型。你可以对比“DPO实现简单、训练稳定但效果上限可能略低于精细调优的RLHF。实际选型看团队工程能力和数据情况。”对齐税。对齐之后模型能力往往会下降这就是对齐税。怎么在安全性和能力之间找平衡是每个做对齐的人都要面对的问题。你可以说“我的经验是对齐数据质量比数量重要得多少量高质量偏好数据往往比大量噪声数据效果好。”2.8 工程化与系统设计从“实验室”到“生产环境”这是高级岗位面试的压轴题。面试官会给你一个场景让你设计完整的系统方案。分布式训练。数据并行、张量并行、流水线并行、ZeRO优化这些是基础。面试官可能会问“100B模型怎么训”你需要根据显存、带宽、集群规模给出合理方案。你可以说“小集群优先考虑ZeRO-3加数据并行大集群再考虑张量并行和流水线并行。”数据管道。训练数据的清洗、去重、配比、tokenize、打包每个环节都有坑。你可以分享“数据去重没做好模型很容易记住重复内容评估时看着好但泛化差。”监控与告警。训练loss、梯度范数、学习率、吞吐量这些指标需要实时监控。推理侧的延迟、QPS、错误率、显存占用同样重要。你可以说“我一般会设loss突增和梯度爆炸的告警这两个是最常见的训练故障信号。”故障排查。Loss突然飙升怎么办先看数据有没有问题再看学习率是不是太大然后看梯度范数。推理延迟突然变高怎么办先看是不是有长序列请求再看KV Cache是不是满了然后看批处理调度。你可以说“排查问题的核心思路是分层定位从数据到模型到系统逐层排除。”实操心得生产环境的LLM系统一定要有降级方案。模型服务挂了怎么办切到小模型或者规则兜底。检索服务挂了怎么办用缓存结果或者直接让模型裸生成。这些预案平时用不上但关键时刻能救命。3. 面试官视角他们到底在找什么样的人聊完8个技术方向我想换个角度说说面试官的评判逻辑。很多人技术不差但面试总挂问题往往出在没有站在面试官的视角思考。3.1 知识深度vs工程经验怎么平衡面试官评估候选人时通常看三个维度知识深度、工程经验、学习能力。不同岗位侧重点不同研究岗知识深度权重最高会追问论文细节和数学推导工程岗工程经验权重最高会追问部署细节和故障处理应用岗学习能力权重最高会看你对新技术的敏感度和上手速度但不管什么岗位“真做过”和“只听过”的差距在面试中非常明显。真做过的人能说出具体的数字、踩过的坑、做过的取舍只听过的人只能说出概念和流程。我建议你在准备面试时每个技术点都问自己三个问题我实际做过什么遇到过什么问题怎么解决的如果答不上来说明这个点还需要补。3.2 回答的层次感从及格到优秀同一个问题不同层次的回答差距很大。以“什么是KV Cache”为例及格回答KV Cache是缓存Key和Value的机制加速自回归生成。良好回答加上显存计算公式、具体数字、和不用KV Cache的对比。优秀回答再加上PagedAttention怎么优化KV Cache、Continuous Batching怎么配合、实际部署中的调优经验。面试官往往会在你回答的基础上追问一层看你的边界在哪里。所以准备的时候不要只准备“标准答案”要准备“追问答案”。3.3 不会的问题怎么处理面试中遇到不会的问题很正常关键是怎么处理。我的建议是不要硬编面试官一眼就能看出来可以先说“这个点我了解得不够深入但我可以从相关经验来推测”然后展示你的思考过程哪怕最终答案不对思考过程也能加分最后可以补一句“面试结束后我会去补一下这块”面试官考察的不只是知识储备还有面对未知问题的态度和方法。4. 准备策略从“背八股”到“真理解”最后聊聊怎么高效准备这类面试。我见过太多人把八股文背得滚瓜烂熟但面试官换个问法就懵了。根本原因是只记了结论没理解逻辑。4.1 建立知识树而不是知识清单零散的知识点很容易忘也容易被问穿。建议你按“架构-训练-推理-应用-评估”这条主线把知识串起来。每个节点问自己这个技术解决什么问题有什么替代方案为什么选这个实际用的时候有什么坑比如“推理优化”这个节点往下可以挂KV Cache、量化、批处理、投机采样每个子节点再往下挂原理、参数、实操经验。这样面试官问到任何一个点你都能从知识树里快速定位。4.2 用项目经历串联技术点面试官最喜欢听的是“我在某个项目里遇到了什么问题用了什么方案效果怎么样”。这种回答既有技术深度又有工程经验还能展示你的思考过程。建议你准备3-5个项目故事每个故事覆盖多个技术点。比如一个RAG项目可以覆盖Tokenization、检索、推理优化、评估一个Agent项目可以覆盖Function Calling、规划、容错、监控。面试时根据问题灵活调用。4.3 模拟面试找人虐你自己准备和实际面试差距很大。建议找朋友或者同行做模拟面试让对方故意追问、故意问偏、故意打断。练几次之后你会发现很多你以为会的问题其实经不起追问。我帮人做模拟面时最常发现的问题是回答太笼统缺少具体数字和细节。比如问“推理延迟多少”答“挺快的”就不行要说“首token延迟200ms每token 30msbatch8的情况下”。数字能让面试官相信你真的做过。4.4 持续跟进这个领域没有“复习完”的一天LLM领域变化太快今天的热点明天可能就过时了。但底层原理和技术框架是相对稳定的。我的建议是底层原理要扎实新技术要保持敏感。每周花点时间看看新论文、新工具、新方案面试时能提到最近的技术进展会让面试官觉得你是在持续学习的。最后分享一个我自己的习惯每次面试结束后不管过没过我都会把被问到的问题记下来然后补上当时答得不好的点。几次下来知识体系就补得差不多了。面试本身就是最好的学习机会。
1. 为什么这8个问题成了LLM面试的硬门槛面过LLM岗位的人大概都有体会简历上写着“熟悉Transformer”“做过RAG”“调过Agent”结果面试官几个问题下来冷汗就冒出来了。不是问得偏而是问得深——深到你必须真正理解过底层机制、踩过工程坑、做过取舍才能答得上来。我前后参与过几十场大模型相关岗位的技术面试也帮朋友做过模拟面。一个很明显的规律是面试官问来问去核心就那么8个方向。这8个问题覆盖了从模型原理到工程落地的完整链路任何一个答不上来基本就暴露了知识体系里的硬伤。尤其是现在岗位竞争激烈面试官没时间慢慢引导你往往一个问题就能判断出你是“真做过”还是“只听过”。这篇文章不打算给你一份标准答案让你背。我想做的是把这8个问题拆开讲清楚面试官到底在考什么、你应该从哪个角度回答、哪些细节是加分项、哪些坑千万别踩。不管你是刚转行准备入局还是已经做了几年想跳槽这些内容都能直接拿来用。先说一下这8个问题的整体框架让你心里有个底序号问题方向核心考察点常见追问1Transformer架构理解自注意力机制、位置编码、残差连接为什么用多头为什么除以根号d2Tokenization与词表设计BPE原理、词表大小取舍、多语言处理中文分词为什么容易出问题3预训练与微调策略训练目标、数据配比、LoRA原理全量微调vs参数高效微调怎么选4推理优化与部署KV Cache、量化、批处理显存不够怎么办延迟怎么降5RAG系统设计检索策略、重排序、上下文压缩召回不准怎么排查6Function Calling与Agent工具调用协议、规划能力、容错模型不按格式输出怎么办7评估与对齐评测指标、RLHF、DPO怎么判断模型变好了还是变差了8工程化与系统设计分布式训练、数据管道、监控训练loss突然飙升怎么排查这8个方向不是孤立的面试官往往会交叉着问。比如聊RAG的时候突然问你“检索回来的文档太长KV Cache扛不住怎么办”这就是在考推理优化。所以准备的时候不能只背单点要把知识串起来。接下来我逐个拆解每个问题都会告诉你面试官的心理预期是什么、回答的层次怎么拉开、哪些细节能让面试官眼前一亮。2. 逐个击破8个必问问题的深度拆解2.1 Transformer架构别只会画图要讲清楚“为什么”这是LLM面试的必考题没有之一。但很多人准备的方向就错了——背了一遍“Self-Attention就是QKV点积”面试官一追问就露馅。面试官真正想知道的是你有没有从第一性原理理解这个架构的设计动机。我建议你按这个逻辑来组织回答第一层自注意力到底解决了什么问题。在Transformer之前RNN系模型处理长序列时有两个致命问题一是串行计算导致训练慢二是长距离依赖容易梯度消失。自注意力的核心创新是让序列中任意两个位置直接建立连接计算复杂度虽然是O(n²)但换来了完全并行的训练和更好的长距离建模能力。这里你可以补一句“其实O(n²)在早期不是大问题因为当时序列长度普遍在512以内真正成为瓶颈是后来长上下文需求爆发之后。”第二层QKV的本质。别只背公式用类比讲。Query是“我在找什么信息”Key是“我有什么信息可以被找到”Value是“我实际提供的信息内容”。注意力权重就是Query和Key的匹配程度然后对Value做加权求和。这个类比面试官一听就知道你理解了。第三层为什么是多头。单头注意力只能学到一种“关注模式”多头让模型在不同子空间里并行学习不同的关系模式——有的头关注语法结构有的头关注语义相似性有的头关注位置邻近。你可以补一句实测经验“我做过注意力头的可视化分析确实能看到不同头分工不同有些头甚至专门关注标点符号或句法边界。”第四层位置编码的演进。从正弦位置编码到可学习位置编码再到RoPE旋转位置编码。面试官如果问到这里说明他在试探你对长上下文扩展的理解。RoPE的核心优势是通过旋转矩阵编码相对位置信息天然支持外推这也是为什么现在主流模型都用它。你可以提一下“RoPE的外推能力也不是无限的实际用的时候还是需要配合NTK-aware插值或者YaRN这类方法做上下文扩展。”第五层残差连接和LayerNorm。残差连接解决深层网络的梯度传播问题LayerNorm解决训练稳定性问题。Pre-Norm和Post-Norm的区别也值得说Pre-Norm训练更稳定适合深层模型但表达力可能略弱Post-Norm表达力强但需要更精细的学习率预热。现在主流大模型基本都用Pre-Norm或者RMSNorm。注意面试官如果问你“Transformer有什么缺点”千万别只说“计算复杂度高”。更好的回答是O(n²)的注意力计算、固定位置编码的外推限制、缺乏真正的递归推理能力、对训练数据质量和规模的高度依赖。这样回答显得你有全局视野。2.2 Tokenization最容易被忽视的“隐形杀手”Tokenization看起来是个预处理步骤但它对模型性能的影响远超大多数人想象。面试官问这个问题往往是想看你有没有实际处理过数据、踩过坑。BPE的核心原理。Byte Pair Encoding的本质是迭代合并高频字节对。从字符级别开始每次找出现频率最高的相邻对合并成新的token重复直到达到目标词表大小。你可以用一句话总结“BPE是在字符级和词级之间找平衡让常见词保持完整罕见词拆成子词。”词表大小的取舍。词表太小序列变长推理成本增加词表太大embedding矩阵参数量膨胀低频token训练不充分。主流模型一般在32K到128K之间。你可以补充“我实际做过对比实验中文场景下词表从32K扩到64K平均序列长度缩短了约15%但embedding层参数量增加了不少需要根据实际场景权衡。”中文Tokenization的特殊问题。很多模型的中文词表覆盖不够导致一个常用汉字被拆成多个byte token序列长度暴涨。比如“你好”在某些tokenizer里可能变成3-4个token。解决办法是在训练tokenizer时加入足够的中文语料或者做词表扩展。你可以说“我遇到过一个case同样的中文文本不同tokenizer的token数量差了将近一倍直接影响了推理成本和效果。”特殊token的设计。BOS、EOS、PAD、UNK这些基础的不说了更重要的是对话模板相关的特殊token。比如ChatML格式里的|im_start|和|im_end|Function Calling里的工具调用标记。这些token的设计直接影响模型的行为。面试官如果问“为什么模型有时候不按格式输出”你可以从特殊token训练不充分的角度来分析。常见问题原因分析解决思路中文序列过长词表中文覆盖不足扩充中文语料训练tokenizer数字被拆散数字未加入词表添加数字相关合并规则代码token效率低缩进和符号处理差代码语料专项训练特殊token被忽略训练时mask不当检查loss mask设置2.3 预训练与微调从“能跑”到“跑得好”的关键这个问题考察的是你对训练全流程的理解。面试官想知道的不是“你会不会调LoRA”而是你能不能根据场景做出合理的技术选型。预训练目标。主流是自回归语言建模也就是预测下一个token。但细节上有区别有的模型用因果掩码有的用前缀语言建模。你可以提一下“现在也有一些工作在探索多token预测比如一次预测多个未来token能提升训练效率。”数据配比。这是预训练中最玄学也最关键的部分。代码、中文、英文、数学、多语言各占多少比例直接决定模型的能力分布。你可以说“我参与过一个继续预训练的项目数据配比调了三轮才找到比较优的组合代码比例太低会导致推理能力弱中文比例太高又会影响英文表现。”LoRA的原理和实操。LoRA的核心是在原始权重旁边加一个低秩分解矩阵训练时只更新这个小矩阵。优势是显存占用低、可以多任务切换。但面试官可能会追问“LoRA的秩怎么选”我的经验是简单任务rank8到16够用复杂任务可能需要64甚至128。另外LoRA加在哪些层也很关键一般Q、V层是标配K、O层加上也有帮助MLP层加不加要看任务。全量微调vs参数高效微调。数据量足够大、任务和预训练分布差异大全量微调效果更好数据量小、需要快速迭代LoRA更合适。你可以补充“实际项目中我倾向于先用LoRA快速验证效果达标就不做全量了性价比高很多。”实操心得LoRA训练时学习率一般设得比全量微调大一个数量级比如1e-4到3e-4。另外LoRA的dropout不要设太大0.05到0.1就够了太大反而影响收敛。2.4 推理优化显存和延迟的“极限拉扯”这是工程岗面试的重头戏。面试官会通过这个问题判断你有没有真正部署过模型、处理过线上问题。KV Cache的原理。自回归生成时每生成一个新token都需要和之前所有token做注意力计算。如果不缓存每次都要重新计算之前所有token的K和V计算量随序列长度平方增长。KV Cache就是把之前算过的K和V存下来新token只需要计算自己的Q和当前K、V然后和缓存拼接。你可以说“KV Cache是用显存换计算没有它推理速度根本没法接受。”KV Cache的显存计算。这个面试官很爱问。公式是2 × num_layers × num_heads × head_dim × seq_len × batch_size × dtype_size。以LLaMA-7B为例32层、32头、head_dim128、FP16序列长度2048、batch1时KV Cache大约是2×32×32×128×2048×2字节算下来约1GB。你可以现场算给面试官看这比背答案有说服力得多。量化。FP16到INT8再到INT4显存占用逐级下降但精度损失需要评估。GPTQ、AWQ、GGUF是常见的量化方案。你可以说“我实测下来INT8量化基本无损INT4在大多数任务上也能接受但数学和代码任务可能会有明显下降。”批处理与调度。Continuous Batching和PagedAttention是现在推理引擎的标配。Continuous Batching让不同请求的动态拼接成为可能PagedAttention解决了KV Cache的碎片化问题。你可以提一下vLLM和TensorRT-LLM的对比“vLLM上手快、社区活跃TensorRT-LLM性能极致但调优成本高选哪个看团队情况。”优化手段显存收益延迟影响适用场景KV Cache增加占用大幅降低所有自回归生成INT8量化减少约50%基本不变大多数场景INT4量化减少约75%略增显存紧张场景Continuous Batching不变吞吐大幅提升高并发服务PagedAttention减少碎片基本不变长序列场景2.5 RAG系统检索质量决定上限RAG看起来简单——检索加生成嘛。但真正做过的人都知道RAG系统的瓶颈几乎永远在检索侧。面试官问这个问题就是想看你对检索链路的理解深度。检索策略。稠密检索用embedding做语义匹配稀疏检索用BM25做关键词匹配。实际系统中往往是混合检索各取所长。你可以说“纯稠密检索在专有名词和罕见词上容易翻车加上BM25做补充会稳很多。”重排序。召回阶段追求高召回率重排序阶段追求高精度。Cross-Encoder重排序效果最好但速度慢ColBERT这类延迟交互模型是折中方案。你可以补充“重排序的收益在Top-20到Top-5这个区间最明显再往后边际收益就递减了。”上下文压缩。检索回来的文档往往很长全部塞进上下文既浪费token又引入噪声。压缩方法包括抽取式压缩、生成式压缩、LLMLingua这类token级压缩。你可以说“我一般会先做一轮规则过滤去掉明显不相关的段落再用模型做精细压缩。”RAG的常见失败模式。检索不到相关内容、检索到但排序不对、内容对但模型没用好、模型用了但格式不对。每个环节都需要针对性的排查手段。你可以分享“我排查RAG问题一般先看检索结果如果检索没问题再看生成这样能快速定位是检索侧还是生成侧的问题。”避坑技巧RAG系统一定要做端到端评估不能只看检索指标或生成指标。我见过检索Recall很高但最终答案质量很差的case问题出在生成阶段模型没有正确使用检索内容。2.6 Function Calling与Agent从“会说”到“会做”这是当前最热的方向也是面试官区分“传统NLP背景”和“LLM原生背景”的分水岭。Function Calling的协议设计。模型需要输出结构化的工具调用请求包括工具名和参数。OpenAI的function calling格式是事实标准但开源模型往往需要自己定义格式。你可以说“格式设计的关键是让模型容易学会、解析器容易处理。我一般用JSON Schema定义参数训练时加入足够的格式示例。”Agent的规划能力。ReAct模式是基础——推理加行动交替进行。但实际系统中往往需要更复杂的规划比如任务分解、多步推理、反思重试。你可以提一下“纯ReAct在简单任务上够用但复杂任务需要加入任务分解和中间结果验证。”容错与鲁棒性。模型不按格式输出怎么办工具调用失败怎么办参数解析错误怎么办这些都是实际部署必须处理的。你可以分享“我的做法是加一层输出校验和重试机制格式不对就重新生成连续失败就降级到人工兜底。”多工具编排。当有几十个工具时模型怎么选全部塞进prompt会太长需要做工具检索或分组。你可以说“工具数量超过20个之后我一般会先做一轮工具召回只把相关的工具描述给模型。”失败模式典型表现处理策略格式错误输出不是合法JSON校验加重试工具选错调用了不相关的工具工具描述优化召回参数错误参数类型或值不对Schema校验默认值死循环反复调用同一工具最大步数限制幻觉调用调用不存在的工具工具白名单校验2.7 评估与对齐怎么证明“模型变好了”这个问题最容易被低估。很多人觉得“评估不就是跑个benchmark嘛”但面试官想看到的是你对评估方法论的理解。自动评估指标。Perplexity、BLEU、ROUGE这些传统指标在大模型时代局限性很大。现在更常用的是基于模型的评估比如用GPT-4做裁判。你可以说“自动指标只能做粗筛最终还是要靠人工评估和线上指标。”人工评估的设计。评估维度怎么定、评分标准怎么统一、标注者间一致性怎么保证这些都是实操中的难点。你可以分享“我做过一轮人工评估发现不同标注者对‘有用性’的理解差异很大后来加了详细的评分指南才把一致性提上来。”RLHF与DPO。RLHF是经典方案但训练复杂、不稳定。DPO直接优化偏好数据省去了奖励模型。你可以对比“DPO实现简单、训练稳定但效果上限可能略低于精细调优的RLHF。实际选型看团队工程能力和数据情况。”对齐税。对齐之后模型能力往往会下降这就是对齐税。怎么在安全性和能力之间找平衡是每个做对齐的人都要面对的问题。你可以说“我的经验是对齐数据质量比数量重要得多少量高质量偏好数据往往比大量噪声数据效果好。”2.8 工程化与系统设计从“实验室”到“生产环境”这是高级岗位面试的压轴题。面试官会给你一个场景让你设计完整的系统方案。分布式训练。数据并行、张量并行、流水线并行、ZeRO优化这些是基础。面试官可能会问“100B模型怎么训”你需要根据显存、带宽、集群规模给出合理方案。你可以说“小集群优先考虑ZeRO-3加数据并行大集群再考虑张量并行和流水线并行。”数据管道。训练数据的清洗、去重、配比、tokenize、打包每个环节都有坑。你可以分享“数据去重没做好模型很容易记住重复内容评估时看着好但泛化差。”监控与告警。训练loss、梯度范数、学习率、吞吐量这些指标需要实时监控。推理侧的延迟、QPS、错误率、显存占用同样重要。你可以说“我一般会设loss突增和梯度爆炸的告警这两个是最常见的训练故障信号。”故障排查。Loss突然飙升怎么办先看数据有没有问题再看学习率是不是太大然后看梯度范数。推理延迟突然变高怎么办先看是不是有长序列请求再看KV Cache是不是满了然后看批处理调度。你可以说“排查问题的核心思路是分层定位从数据到模型到系统逐层排除。”实操心得生产环境的LLM系统一定要有降级方案。模型服务挂了怎么办切到小模型或者规则兜底。检索服务挂了怎么办用缓存结果或者直接让模型裸生成。这些预案平时用不上但关键时刻能救命。3. 面试官视角他们到底在找什么样的人聊完8个技术方向我想换个角度说说面试官的评判逻辑。很多人技术不差但面试总挂问题往往出在没有站在面试官的视角思考。3.1 知识深度vs工程经验怎么平衡面试官评估候选人时通常看三个维度知识深度、工程经验、学习能力。不同岗位侧重点不同研究岗知识深度权重最高会追问论文细节和数学推导工程岗工程经验权重最高会追问部署细节和故障处理应用岗学习能力权重最高会看你对新技术的敏感度和上手速度但不管什么岗位“真做过”和“只听过”的差距在面试中非常明显。真做过的人能说出具体的数字、踩过的坑、做过的取舍只听过的人只能说出概念和流程。我建议你在准备面试时每个技术点都问自己三个问题我实际做过什么遇到过什么问题怎么解决的如果答不上来说明这个点还需要补。3.2 回答的层次感从及格到优秀同一个问题不同层次的回答差距很大。以“什么是KV Cache”为例及格回答KV Cache是缓存Key和Value的机制加速自回归生成。良好回答加上显存计算公式、具体数字、和不用KV Cache的对比。优秀回答再加上PagedAttention怎么优化KV Cache、Continuous Batching怎么配合、实际部署中的调优经验。面试官往往会在你回答的基础上追问一层看你的边界在哪里。所以准备的时候不要只准备“标准答案”要准备“追问答案”。3.3 不会的问题怎么处理面试中遇到不会的问题很正常关键是怎么处理。我的建议是不要硬编面试官一眼就能看出来可以先说“这个点我了解得不够深入但我可以从相关经验来推测”然后展示你的思考过程哪怕最终答案不对思考过程也能加分最后可以补一句“面试结束后我会去补一下这块”面试官考察的不只是知识储备还有面对未知问题的态度和方法。4. 准备策略从“背八股”到“真理解”最后聊聊怎么高效准备这类面试。我见过太多人把八股文背得滚瓜烂熟但面试官换个问法就懵了。根本原因是只记了结论没理解逻辑。4.1 建立知识树而不是知识清单零散的知识点很容易忘也容易被问穿。建议你按“架构-训练-推理-应用-评估”这条主线把知识串起来。每个节点问自己这个技术解决什么问题有什么替代方案为什么选这个实际用的时候有什么坑比如“推理优化”这个节点往下可以挂KV Cache、量化、批处理、投机采样每个子节点再往下挂原理、参数、实操经验。这样面试官问到任何一个点你都能从知识树里快速定位。4.2 用项目经历串联技术点面试官最喜欢听的是“我在某个项目里遇到了什么问题用了什么方案效果怎么样”。这种回答既有技术深度又有工程经验还能展示你的思考过程。建议你准备3-5个项目故事每个故事覆盖多个技术点。比如一个RAG项目可以覆盖Tokenization、检索、推理优化、评估一个Agent项目可以覆盖Function Calling、规划、容错、监控。面试时根据问题灵活调用。4.3 模拟面试找人虐你自己准备和实际面试差距很大。建议找朋友或者同行做模拟面试让对方故意追问、故意问偏、故意打断。练几次之后你会发现很多你以为会的问题其实经不起追问。我帮人做模拟面时最常发现的问题是回答太笼统缺少具体数字和细节。比如问“推理延迟多少”答“挺快的”就不行要说“首token延迟200ms每token 30msbatch8的情况下”。数字能让面试官相信你真的做过。4.4 持续跟进这个领域没有“复习完”的一天LLM领域变化太快今天的热点明天可能就过时了。但底层原理和技术框架是相对稳定的。我的建议是底层原理要扎实新技术要保持敏感。每周花点时间看看新论文、新工具、新方案面试时能提到最近的技术进展会让面试官觉得你是在持续学习的。最后分享一个我自己的习惯每次面试结束后不管过没过我都会把被问到的问题记下来然后补上当时答得不好的点。几次下来知识体系就补得差不多了。面试本身就是最好的学习机会。
全解析：从ERM失效到领域泛化与不变性学习)
