本文深入解析了大模型在AI FDEFoundation Model Engineering中的应用从基础模型到八层工程构建详细介绍了模型基础、推理服务、上下文工程、智能体与运行框架、检索与记忆、适应与训练等关键环节。通过学习这些层次开发者可以更好地理解和应用大模型提升AI应用的开发效率和效果。你的专属 AI FDE。全球最新 AI我替你读完告诉你能不能用、怎么用。两个团队使用同一个基础模型也可能交付完全不同的产品。模型作为固定输入产品差异来自围绕模型构建的八层工程既包括如何提供 token也包括如何控制 Agent智能体循环。本文将这些层次整理在下图中。Model foundations模型基础解释模型如何将文本转化为概率Tokenization分词在文本进入模型之前将其拆分为子词单元。token 数量影响成本和上下文限制。Embeddings嵌入将 token 映射到高维向量含义相近的向量位置接近。Pretraining预训练从原始文本学习语言post-training后训练如 SFT、RLHF塑造行为和对人类要求的适应方式。Context window上下文窗口是模型一次能够关注的固定 token 预算由提示词、历史记录和输出共同使用。Logits 是词表中各个 token 的原始分数采样会将这些分数转化为实际输出的 token。Sampling采样控制从分布中选择下一个 token 的方式通过 temperature温度和 top-p在确定性与多样性之间取舍。Inference and serving推理与服务负责将权重转化为成本更低、生成更快的 tokenPrefill预填充并行处理整个提示词主要受计算能力限制Decode解码逐个生成 token主要受内存访问限制。KV cache键值缓存保存之前 token 的注意力键和值避免每一步重复计算。Prompt caching 和 prefix caching提示词缓存与前缀缓存复用共享前缀的 KV 状态。原文将其效果描述为固定系统提示词在首次调用之后处理成本基本可以忽略。Speculative decoding推测解码使用较小的草稿模型提出多个 token再由主模型并行验证获得整体加速。Continuous batching连续批处理在已有请求完成后立即将新请求加入 GPU 的空闲处理位置无需等待整个批次完成。Quantization量化使用更少位数保存权重例如 FP8、AWQ以减少内存占用并加速计算。较新的 GPU 可以原生执行 FP8 运算。Paged Attention将操作系统式的分页机制用于 KV cache消除碎片是 vLLM 的主要技术之一。TTFT首个 token 等待时间和 TPOT每个输出 token 的时间分别衡量预填充与解码速度两者都需要与总吞吐量进行取舍。Context engineering上下文工程管理模型执行操作时能够看到的信息Context budgeting上下文预算将窗口视为有限资源只为有助于提高回答质量的信息分配 token。Context rot上下文质量衰减指窗口逐渐填满时输出质量随之下降而且往往早于窗口达到硬性上限。Lost in the middle中间信息容易被忽略描述模型更关注上下文开头和结尾导致中间细节的权重偏低。Compaction and summarization压缩与摘要将旧历史整理成尽量忠实的摘要使 Agent 能够在新的窗口中继续处理任务。Context offloading上下文外部存储将大量细节保存到外部文件或存储系统窗口中只保留引用。Just-in-time retrieval即时检索在需要数据的步骤加载信息。Structured note-taking结构化笔记让 Agent 在窗口之外保存持久笔记并按需读取。Agents and harness engineering智能体与运行框架工程将无状态模型组织成能够完成任务的系统。Agent loop智能体循环重复执行思考、行动、观察采用 ReAct 或 TAO 等方式直到任务完成。Tool use 和 function calling工具使用与函数调用让模型生成结构化调用由运行框架执行再将结果反馈给模型。Thin harness轻量运行框架更多依赖模型保持较少的基础设施thick harness较完整的运行框架将更多控制逻辑编码到程序中减少交给模型决定的部分。Subagents and orchestration子智能体与编排为专门任务创建拥有独立上下文的 Agent使主 Agent 保持较少的上下文负担。MCP 是连接模型与工具、数据的标准接口用于替代 N×M 个定制集成。Skills、hooks 和 state技能、钩子与状态提供可复用能力、生命周期触发机制以及跨步骤保留的持久记忆。Planning 与 reacting规划与即时决策分别表示提前确定计划和逐步决定下一步速度与成本各有不同。Verification loops验证循环在任务被认定完成之前使用规则、测试或 LLM 评审检查 Agent 输出。Retrieval and memory检索与记忆向模型提供训练中未见过的事实。RAG pipelines检索增强生成流程在查询时检索相关分块并在生成之前加入提示词。Chunking 和 re-ranking分块与重排序将文档拆成单元再按实际相关性重新排列检索候选结果。Vector DB向量数据库保存嵌入向量支持大规模最近邻搜索。Hybrid search混合搜索结合关键词和向量匹配同时识别准确词项与语义关联。Knowledge graphs知识图谱表示实体及其关系使检索能够沿关联进行。Episodic and temporal memory事件记忆与时序记忆保存发生了什么及其时间让 Agent 回忆过去的会话和事实变化。Agentic retrieval智能体检索让 Agent 自行发起并细化查询。Adaptation and training适应与训练在提示词和上下文不足以满足需求的时候修改模型权重。Fine-tuningSFT监督微调使用输入输出示例训练模型教授格式和行为。LoRA 和 QLoRAPEFT参数高效微调训练小规模适配器权重显著减少成本和内存占用。RLHF 和 DPO 针对人类偏好优化DPO 无需单独训练奖励模型。GRPO 和奖励模型依据奖励信号训练适用于具有评分函数但没有偏好标签的情况。Distillation知识蒸馏训练较小的学生模型匹配较大的教师模型以较低成本保留大部分准确性。Synthetic data合成数据在真实标注数据稀缺的时候使用模型生成训练示例。Evaluation and observability评估与可观测性检查变更带来了改善还是引入了未被察觉的问题。Offline 和 online evals离线与在线评估分别在交付前使用固定测试集、交付后使用真实流量指标。LLM-as-judge使用 LLM 作为评审为规则难以评判的开放式输出评分。Agent trajectory eval智能体轨迹评估检查 Agent 的完整执行路径。Tracing 和 spans追踪与追踪片段记录每个步骤、工具调用和 token帮助定位运行出错的位置。Token 和成本跟踪将支出归属到每次请求与每个步骤识别成本较高的部分。Regression testing回归测试在提示词或模型变更后重新运行基准测试发现未被察觉的功能退化。Safety, security and reliability安全与可靠性保障系统面向真实用户运行。Prompt injection提示词注入通过不可信输入夹带指令试图改变模型行为。Jailbreaks越狱提示是专门设计的提示词诱使模型绕过自身安全约束。Hallucination mitigation幻觉缓解通过事实依据、检索和验证识别语气确定但内容错误的回答。Structured outputs结构化输出将生成限制为有效 JSON 或指定 schema供下游代码解析。PII 和数据隐私控制在信息进入或离开模型之前检测并移除敏感数据。Fallbacks 和 rate limits故障切换与速率限制通过多供应商故障转移和请求上限维持负载下的服务可用性。Guardrails安全检查机制通过输入输出过滤阻止不安全或违反策略的请求与回答。大部分生产成本来自推理层。在 H100 上运行 Llama 70B 时单个请求在预填充阶段的 GPU 利用率达到 92%随后解码阶段在同一硬件上降到 28%变化来自工作负载。单独一种技术对这一数字的影响有限。将压缩、注意力、解码、缓存和路由等方面的八九种技术结合能够缩小相对于直接使用 FP16 推理的 58 倍成本差距。如何学习大模型 AI 由于新岗位的生产效率要优于被取代岗位的生产效率所以实际上整个社会的生产效率是提升的。但是具体到个人只能说是“最先掌握AI的人将会比较晚掌握AI的人有竞争优势”。这句话放在计算机、互联网、移动互联网的开局时期都是一样的道理。我在一线科技企业深耕十二载见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事早已在效率与薪资上形成代际优势我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。我们整理出这套AI 大模型突围资料包✅ 从零到一的 AI 学习路径图✅ 大模型调优实战手册附医疗/金融等大厂真实案例✅ 百度/阿里专家闭门录播课✅ 大模型当下最新行业报告✅ 真实大厂面试真题✅ 2026 最新岗位需求图谱所有资料 ⚡️ 朋友们如果有需要《AI大模型入门进阶学习资源包》下方扫码获取~① 全套AI大模型应用开发视频教程包含提示工程、RAG、LangChain、Agent、模型微调与部署、DeepSeek等技术点② 大模型系统化学习路线作为学习AI大模型技术的新手方向至关重要。 正确的学习路线可以为你节省时间少走弯路方向不对努力白费。这里我给大家准备了一份最科学最系统的学习成长路线图和学习规划带你从零基础入门到精通③ 大模型学习书籍文档学习AI大模型离不开书籍文档我精选了一系列大模型技术的书籍和学习文档电子版它们由领域内的顶尖专家撰写内容全面、深入、详尽为你学习大模型提供坚实的理论基础。④ AI大模型最新行业报告2025最新行业报告针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估以了解哪些行业更适合引入大模型的技术和应用以及在哪些方面可以发挥大模型的优势。⑤ 大模型项目实战配套源码学以致用在项目实战中检验和巩固你所学到的知识同时为你找工作就业和职业发展打下坚实的基础。⑥ 大模型大厂面试真题面试不仅是技术的较量更需要充分的准备。在你已经掌握了大模型技术之后就需要开始准备面试我精心整理了一份大模型面试题库涵盖当前面试中可能遇到的各种技术问题让你在面试中游刃有余。以上资料如何领取为什么大家都在学大模型最近科技巨头英特尔宣布裁员2万人传统岗位不断缩减但AI相关技术岗疯狂扩招有3-5年经验大厂薪资就能给到50K*20薪不出1年“有AI项目经验”将成为投递简历的门槛。风口之下与其像“温水煮青蛙”一样坐等被行业淘汰不如先人一步掌握AI大模型原理应用技术项目实操经验“顺风”翻盘这些资料真的有用吗这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理现任上海殷泊信息科技CEO其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证服务航天科工、国家电网等1000企业以第一作者在IEEE Transactions发表论文50篇获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。资料内容涵盖了从入门到进阶的各类视频教程和实战项目无论你是小白还是有些技术基础的技术人员这份资料都绝对能帮助你提升薪资待遇转行大模型岗位。以上全套大模型资料如何领取
本文深入解析了大模型在AI FDEFoundation Model Engineering中的应用从基础模型到八层工程构建详细介绍了模型基础、推理服务、上下文工程、智能体与运行框架、检索与记忆、适应与训练等关键环节。通过学习这些层次开发者可以更好地理解和应用大模型提升AI应用的开发效率和效果。你的专属 AI FDE。全球最新 AI我替你读完告诉你能不能用、怎么用。两个团队使用同一个基础模型也可能交付完全不同的产品。模型作为固定输入产品差异来自围绕模型构建的八层工程既包括如何提供 token也包括如何控制 Agent智能体循环。本文将这些层次整理在下图中。Model foundations模型基础解释模型如何将文本转化为概率Tokenization分词在文本进入模型之前将其拆分为子词单元。token 数量影响成本和上下文限制。Embeddings嵌入将 token 映射到高维向量含义相近的向量位置接近。Pretraining预训练从原始文本学习语言post-training后训练如 SFT、RLHF塑造行为和对人类要求的适应方式。Context window上下文窗口是模型一次能够关注的固定 token 预算由提示词、历史记录和输出共同使用。Logits 是词表中各个 token 的原始分数采样会将这些分数转化为实际输出的 token。Sampling采样控制从分布中选择下一个 token 的方式通过 temperature温度和 top-p在确定性与多样性之间取舍。Inference and serving推理与服务负责将权重转化为成本更低、生成更快的 tokenPrefill预填充并行处理整个提示词主要受计算能力限制Decode解码逐个生成 token主要受内存访问限制。KV cache键值缓存保存之前 token 的注意力键和值避免每一步重复计算。Prompt caching 和 prefix caching提示词缓存与前缀缓存复用共享前缀的 KV 状态。原文将其效果描述为固定系统提示词在首次调用之后处理成本基本可以忽略。Speculative decoding推测解码使用较小的草稿模型提出多个 token再由主模型并行验证获得整体加速。Continuous batching连续批处理在已有请求完成后立即将新请求加入 GPU 的空闲处理位置无需等待整个批次完成。Quantization量化使用更少位数保存权重例如 FP8、AWQ以减少内存占用并加速计算。较新的 GPU 可以原生执行 FP8 运算。Paged Attention将操作系统式的分页机制用于 KV cache消除碎片是 vLLM 的主要技术之一。TTFT首个 token 等待时间和 TPOT每个输出 token 的时间分别衡量预填充与解码速度两者都需要与总吞吐量进行取舍。Context engineering上下文工程管理模型执行操作时能够看到的信息Context budgeting上下文预算将窗口视为有限资源只为有助于提高回答质量的信息分配 token。Context rot上下文质量衰减指窗口逐渐填满时输出质量随之下降而且往往早于窗口达到硬性上限。Lost in the middle中间信息容易被忽略描述模型更关注上下文开头和结尾导致中间细节的权重偏低。Compaction and summarization压缩与摘要将旧历史整理成尽量忠实的摘要使 Agent 能够在新的窗口中继续处理任务。Context offloading上下文外部存储将大量细节保存到外部文件或存储系统窗口中只保留引用。Just-in-time retrieval即时检索在需要数据的步骤加载信息。Structured note-taking结构化笔记让 Agent 在窗口之外保存持久笔记并按需读取。Agents and harness engineering智能体与运行框架工程将无状态模型组织成能够完成任务的系统。Agent loop智能体循环重复执行思考、行动、观察采用 ReAct 或 TAO 等方式直到任务完成。Tool use 和 function calling工具使用与函数调用让模型生成结构化调用由运行框架执行再将结果反馈给模型。Thin harness轻量运行框架更多依赖模型保持较少的基础设施thick harness较完整的运行框架将更多控制逻辑编码到程序中减少交给模型决定的部分。Subagents and orchestration子智能体与编排为专门任务创建拥有独立上下文的 Agent使主 Agent 保持较少的上下文负担。MCP 是连接模型与工具、数据的标准接口用于替代 N×M 个定制集成。Skills、hooks 和 state技能、钩子与状态提供可复用能力、生命周期触发机制以及跨步骤保留的持久记忆。Planning 与 reacting规划与即时决策分别表示提前确定计划和逐步决定下一步速度与成本各有不同。Verification loops验证循环在任务被认定完成之前使用规则、测试或 LLM 评审检查 Agent 输出。Retrieval and memory检索与记忆向模型提供训练中未见过的事实。RAG pipelines检索增强生成流程在查询时检索相关分块并在生成之前加入提示词。Chunking 和 re-ranking分块与重排序将文档拆成单元再按实际相关性重新排列检索候选结果。Vector DB向量数据库保存嵌入向量支持大规模最近邻搜索。Hybrid search混合搜索结合关键词和向量匹配同时识别准确词项与语义关联。Knowledge graphs知识图谱表示实体及其关系使检索能够沿关联进行。Episodic and temporal memory事件记忆与时序记忆保存发生了什么及其时间让 Agent 回忆过去的会话和事实变化。Agentic retrieval智能体检索让 Agent 自行发起并细化查询。Adaptation and training适应与训练在提示词和上下文不足以满足需求的时候修改模型权重。Fine-tuningSFT监督微调使用输入输出示例训练模型教授格式和行为。LoRA 和 QLoRAPEFT参数高效微调训练小规模适配器权重显著减少成本和内存占用。RLHF 和 DPO 针对人类偏好优化DPO 无需单独训练奖励模型。GRPO 和奖励模型依据奖励信号训练适用于具有评分函数但没有偏好标签的情况。Distillation知识蒸馏训练较小的学生模型匹配较大的教师模型以较低成本保留大部分准确性。Synthetic data合成数据在真实标注数据稀缺的时候使用模型生成训练示例。Evaluation and observability评估与可观测性检查变更带来了改善还是引入了未被察觉的问题。Offline 和 online evals离线与在线评估分别在交付前使用固定测试集、交付后使用真实流量指标。LLM-as-judge使用 LLM 作为评审为规则难以评判的开放式输出评分。Agent trajectory eval智能体轨迹评估检查 Agent 的完整执行路径。Tracing 和 spans追踪与追踪片段记录每个步骤、工具调用和 token帮助定位运行出错的位置。Token 和成本跟踪将支出归属到每次请求与每个步骤识别成本较高的部分。Regression testing回归测试在提示词或模型变更后重新运行基准测试发现未被察觉的功能退化。Safety, security and reliability安全与可靠性保障系统面向真实用户运行。Prompt injection提示词注入通过不可信输入夹带指令试图改变模型行为。Jailbreaks越狱提示是专门设计的提示词诱使模型绕过自身安全约束。Hallucination mitigation幻觉缓解通过事实依据、检索和验证识别语气确定但内容错误的回答。Structured outputs结构化输出将生成限制为有效 JSON 或指定 schema供下游代码解析。PII 和数据隐私控制在信息进入或离开模型之前检测并移除敏感数据。Fallbacks 和 rate limits故障切换与速率限制通过多供应商故障转移和请求上限维持负载下的服务可用性。Guardrails安全检查机制通过输入输出过滤阻止不安全或违反策略的请求与回答。大部分生产成本来自推理层。在 H100 上运行 Llama 70B 时单个请求在预填充阶段的 GPU 利用率达到 92%随后解码阶段在同一硬件上降到 28%变化来自工作负载。单独一种技术对这一数字的影响有限。将压缩、注意力、解码、缓存和路由等方面的八九种技术结合能够缩小相对于直接使用 FP16 推理的 58 倍成本差距。如何学习大模型 AI 由于新岗位的生产效率要优于被取代岗位的生产效率所以实际上整个社会的生产效率是提升的。但是具体到个人只能说是“最先掌握AI的人将会比较晚掌握AI的人有竞争优势”。这句话放在计算机、互联网、移动互联网的开局时期都是一样的道理。我在一线科技企业深耕十二载见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事早已在效率与薪资上形成代际优势我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。我们整理出这套AI 大模型突围资料包✅ 从零到一的 AI 学习路径图✅ 大模型调优实战手册附医疗/金融等大厂真实案例✅ 百度/阿里专家闭门录播课✅ 大模型当下最新行业报告✅ 真实大厂面试真题✅ 2026 最新岗位需求图谱所有资料 ⚡️ 朋友们如果有需要《AI大模型入门进阶学习资源包》下方扫码获取~① 全套AI大模型应用开发视频教程包含提示工程、RAG、LangChain、Agent、模型微调与部署、DeepSeek等技术点② 大模型系统化学习路线作为学习AI大模型技术的新手方向至关重要。 正确的学习路线可以为你节省时间少走弯路方向不对努力白费。这里我给大家准备了一份最科学最系统的学习成长路线图和学习规划带你从零基础入门到精通③ 大模型学习书籍文档学习AI大模型离不开书籍文档我精选了一系列大模型技术的书籍和学习文档电子版它们由领域内的顶尖专家撰写内容全面、深入、详尽为你学习大模型提供坚实的理论基础。④ AI大模型最新行业报告2025最新行业报告针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估以了解哪些行业更适合引入大模型的技术和应用以及在哪些方面可以发挥大模型的优势。⑤ 大模型项目实战配套源码学以致用在项目实战中检验和巩固你所学到的知识同时为你找工作就业和职业发展打下坚实的基础。⑥ 大模型大厂面试真题面试不仅是技术的较量更需要充分的准备。在你已经掌握了大模型技术之后就需要开始准备面试我精心整理了一份大模型面试题库涵盖当前面试中可能遇到的各种技术问题让你在面试中游刃有余。以上资料如何领取为什么大家都在学大模型最近科技巨头英特尔宣布裁员2万人传统岗位不断缩减但AI相关技术岗疯狂扩招有3-5年经验大厂薪资就能给到50K*20薪不出1年“有AI项目经验”将成为投递简历的门槛。风口之下与其像“温水煮青蛙”一样坐等被行业淘汰不如先人一步掌握AI大模型原理应用技术项目实操经验“顺风”翻盘这些资料真的有用吗这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理现任上海殷泊信息科技CEO其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证服务航天科工、国家电网等1000企业以第一作者在IEEE Transactions发表论文50篇获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。资料内容涵盖了从入门到进阶的各类视频教程和实战项目无论你是小白还是有些技术基础的技术人员这份资料都绝对能帮助你提升薪资待遇转行大模型岗位。以上全套大模型资料如何领取
 与 data-* 自定义属性)
