一、先搞清楚本质你给模型的到底是什么很多人把这三者混为一谈是因为他们都属于让大模型听话的手段。但如果从你给模型的信息类型这个维度切进去三者立刻泾渭分明1. 提示词工程Prompt Engineering 给指令你告诉模型我要你干成一件什么事按照什么方式干。这是要求类、指令类的信息。模型本身已经具备完成这件事的知识和能力你只是帮它明确方向、约束格式、设定角色。核心特征不动模型权重不增加知识只激发已有能力。2. RAG 给资料你告诉模型要完成上面的指令你需要以下这些资料。这是支撑类、上下文类的信息。模型可能不知道也可能知道但不全面你通过检索联网、知识库、文档读取把信息塞给它。核心特征不动模型权重外挂知识实时补充。3. 微调Fine-tuning 改习惯你拿一堆 QA 对去训练模型让它把回答的策略、风格、范式、甚至特定结构固化到参数里。这不是给模型增加知识后面会详细说而是把原本需要每次写提示词、每次挂知识库才能得到的输出变成模型自带的条件反射。核心特征改变模型权重表层固化行为模式。二、RAG 到底解决什么问题两种场景要分清RAG 被提到最多但很多人用错了场景。RAG 本质上只解决两类问题场景 A模型明确不知道的事你们公司的内部规章制度从没发到网上训练语料里不可能有昨天刚发生的新闻模型训练截止到某个月份你私有的、未公开的专业数据这类场景很清晰模型知识盲区必须外挂。场景 B你不知道模型知不知道但你必须控制它用什么知识回答这是更高级、也更容易被忽略的场景。举个例子你让模型写个程序它可能直接给你写个 HTMLJS 的轻量方案也可能给你上 React 后端框架。如果你是个产品经理对后端技术栈不熟悉模型输出的结果就超出了你的可控范围。再比如法律场景你让模型分析案情如果不限定法条范围它可能引用你已废止的条例或者引用你不希望它引用的判例。RAG 在这里的作用不是补缺而是定向供给——我要你基于这些资料回答而不是基于你脑子里那些我不知道对不对的东西。这也是为什么有些人说 RAG 能降低幻觉。严格来说幻觉是模型推理机制的固有特性无法根除但 RAG 能通过限定知识来源让模型的输出可控、可溯源。三、微调的真实边界普通企业到底能调什么这是直播里反复强调的一个反常识观点普通企业能做的微调最多是给模型提供一些回答策略它没有办法去构建底层知识。预训练 vs. 后训练 vs. 微调预训练Pre-training用海量语料构建模型的底层知识成本高到只有大厂玩得起。继续训练Continual Pre-training在基座模型上继续灌入特定领域数据如 Cursor 基于 Kimi 做代码训练。这确实能改变模型能力但不是普通企业能做的。微调Fine-tuning包括 SFT、DPO 等在已经做过指令对齐Instruct的模型上用 QA 对调整输出风格。微调的本质是什么不是让模型学会新知识而是让模型知道面对这类问题我应该这么回答用这样的结构、这样的语气、这样的步骤。为什么底层知识调不了如果模型基座里根本没有某个概念你拿几千条 QA 对去微调模型连那个词都不理解怎么可能组织出正确的语言微调只能让模型重新排列组合它已有的知识不能凭空创造知识。微调的适用场景懒得每次写提示词/RAG把固定的回答范式烧进模型里以后输入简单指令就能出结果。延迟敏感RAG 每次要检索再生成微调后的模型可以直接吐结果省掉检索时间。端侧/小模型部署大模型跑不动用小模型微调让它在特定任务上表现得像大模型。风格极度固化比如必须严格遵循某种法律文书格式、必须始终使用特定行业黑话、必须保持某种对话人格。四、三者的递进关系不是替代而是层层加码很多人以为这三者是哪个搞不定就换下一个这是错的。真实关系是递进且相互依赖提示词工程 → RAG → 微调提示词搞不定RAG 也搞不定因为你写不出清晰的检索策略和上下文组织逻辑。RAG 搞不定微调也难搞定因为你连需要固化的 QA 对都整理不出来微调数据从哪来微调不是终点它只是在提示词RAG这套外挂系统太重时把其中一部分烧进模型减重。一个残酷的真相如果你连提示词都写不明白别指望靠 RAG 或微调解决问题。这三者是认知门槛逐级升高不是技术门槛逐级降低。五、几个必须避开的深坑坑 1用 AI 生成三者对比表然后信以为真因为 AI 在对比这三者时会为了制造差异而强行编造差异比如提示词适合简单任务RAG 适合复杂任务——错复杂任务反而更依赖提示词工程如 Agent 工作流。RAG 适合知识更新快的场景——不完全对更新频率不是选 RAG 的核心标准知识边界是否可控才是。微调适合垂直领域专业知识——错专业知识靠 RAG 补充微调只管回答风格。建议这种底层认知类问题别直接问 AI。AI 会迎合你的预期给出看似有道理的答案但可能直接污染你的认知。坑 2以为数据上传给 API 就安全了我们的知识库涉密不能外传所以不能用公有 API要做本地 RAG。这个逻辑前半句对后半句没必要。现实是只要你调用了大模型 API数据基本都会被拿去做训练。Anthropic、OpenAI 等公司的用户条款里写得明明白白或默认勾选。互联网公开数据已经快不够喂模型了你的私有文档对厂商来说是珍贵语料。唯一真正安全的做法本地部署模型物理隔离。只要过 API就别想保密。坑 3把幻觉当成 RAG 能解决的核心问题2024 年 RAG 刚火时全网都在说RAG 解决幻觉。现在一线工程师基本不提这个词了。为什么幻觉不是病是模型的固有特性。你知道模型会瞎编就像你知道某个同事腿不好那你别让他去买咖啡就行了没必要天天念叨你是个瘸子。RAG 的作用是限定知识来源、提升可控性不是治病。六、一句话总结怎么选你的需求选什么判断标准模型本身就会只是需要按我的方式输出提示词工程任务在模型已有能力范围内只需约束格式/角色/步骤模型可能不知道或我不确定它知道多少必须控制知识来源RAG需要补充私有知识、最新信息或限定回答依据提示词RAG 太重、太慢、太啰嗦想把固定范式烧进模型微调回答策略极度固定且提示词已写得非常成熟最后送一句直播里的金句提示词工程是门槛极高的事不是技术门槛是认知门槛。别觉得它简单能把提示词写好的人RAG 和微调才能玩得转。如果你正在做 AI 产品的落地选型建议先把提示词工程做到极致再考虑要不要上 RAGRAG 跑通了再考虑要不要微调。跳步的结果往往是返工。
一、先搞清楚本质你给模型的到底是什么很多人把这三者混为一谈是因为他们都属于让大模型听话的手段。但如果从你给模型的信息类型这个维度切进去三者立刻泾渭分明1. 提示词工程Prompt Engineering 给指令你告诉模型我要你干成一件什么事按照什么方式干。这是要求类、指令类的信息。模型本身已经具备完成这件事的知识和能力你只是帮它明确方向、约束格式、设定角色。核心特征不动模型权重不增加知识只激发已有能力。2. RAG 给资料你告诉模型要完成上面的指令你需要以下这些资料。这是支撑类、上下文类的信息。模型可能不知道也可能知道但不全面你通过检索联网、知识库、文档读取把信息塞给它。核心特征不动模型权重外挂知识实时补充。3. 微调Fine-tuning 改习惯你拿一堆 QA 对去训练模型让它把回答的策略、风格、范式、甚至特定结构固化到参数里。这不是给模型增加知识后面会详细说而是把原本需要每次写提示词、每次挂知识库才能得到的输出变成模型自带的条件反射。核心特征改变模型权重表层固化行为模式。二、RAG 到底解决什么问题两种场景要分清RAG 被提到最多但很多人用错了场景。RAG 本质上只解决两类问题场景 A模型明确不知道的事你们公司的内部规章制度从没发到网上训练语料里不可能有昨天刚发生的新闻模型训练截止到某个月份你私有的、未公开的专业数据这类场景很清晰模型知识盲区必须外挂。场景 B你不知道模型知不知道但你必须控制它用什么知识回答这是更高级、也更容易被忽略的场景。举个例子你让模型写个程序它可能直接给你写个 HTMLJS 的轻量方案也可能给你上 React 后端框架。如果你是个产品经理对后端技术栈不熟悉模型输出的结果就超出了你的可控范围。再比如法律场景你让模型分析案情如果不限定法条范围它可能引用你已废止的条例或者引用你不希望它引用的判例。RAG 在这里的作用不是补缺而是定向供给——我要你基于这些资料回答而不是基于你脑子里那些我不知道对不对的东西。这也是为什么有些人说 RAG 能降低幻觉。严格来说幻觉是模型推理机制的固有特性无法根除但 RAG 能通过限定知识来源让模型的输出可控、可溯源。三、微调的真实边界普通企业到底能调什么这是直播里反复强调的一个反常识观点普通企业能做的微调最多是给模型提供一些回答策略它没有办法去构建底层知识。预训练 vs. 后训练 vs. 微调预训练Pre-training用海量语料构建模型的底层知识成本高到只有大厂玩得起。继续训练Continual Pre-training在基座模型上继续灌入特定领域数据如 Cursor 基于 Kimi 做代码训练。这确实能改变模型能力但不是普通企业能做的。微调Fine-tuning包括 SFT、DPO 等在已经做过指令对齐Instruct的模型上用 QA 对调整输出风格。微调的本质是什么不是让模型学会新知识而是让模型知道面对这类问题我应该这么回答用这样的结构、这样的语气、这样的步骤。为什么底层知识调不了如果模型基座里根本没有某个概念你拿几千条 QA 对去微调模型连那个词都不理解怎么可能组织出正确的语言微调只能让模型重新排列组合它已有的知识不能凭空创造知识。微调的适用场景懒得每次写提示词/RAG把固定的回答范式烧进模型里以后输入简单指令就能出结果。延迟敏感RAG 每次要检索再生成微调后的模型可以直接吐结果省掉检索时间。端侧/小模型部署大模型跑不动用小模型微调让它在特定任务上表现得像大模型。风格极度固化比如必须严格遵循某种法律文书格式、必须始终使用特定行业黑话、必须保持某种对话人格。四、三者的递进关系不是替代而是层层加码很多人以为这三者是哪个搞不定就换下一个这是错的。真实关系是递进且相互依赖提示词工程 → RAG → 微调提示词搞不定RAG 也搞不定因为你写不出清晰的检索策略和上下文组织逻辑。RAG 搞不定微调也难搞定因为你连需要固化的 QA 对都整理不出来微调数据从哪来微调不是终点它只是在提示词RAG这套外挂系统太重时把其中一部分烧进模型减重。一个残酷的真相如果你连提示词都写不明白别指望靠 RAG 或微调解决问题。这三者是认知门槛逐级升高不是技术门槛逐级降低。五、几个必须避开的深坑坑 1用 AI 生成三者对比表然后信以为真因为 AI 在对比这三者时会为了制造差异而强行编造差异比如提示词适合简单任务RAG 适合复杂任务——错复杂任务反而更依赖提示词工程如 Agent 工作流。RAG 适合知识更新快的场景——不完全对更新频率不是选 RAG 的核心标准知识边界是否可控才是。微调适合垂直领域专业知识——错专业知识靠 RAG 补充微调只管回答风格。建议这种底层认知类问题别直接问 AI。AI 会迎合你的预期给出看似有道理的答案但可能直接污染你的认知。坑 2以为数据上传给 API 就安全了我们的知识库涉密不能外传所以不能用公有 API要做本地 RAG。这个逻辑前半句对后半句没必要。现实是只要你调用了大模型 API数据基本都会被拿去做训练。Anthropic、OpenAI 等公司的用户条款里写得明明白白或默认勾选。互联网公开数据已经快不够喂模型了你的私有文档对厂商来说是珍贵语料。唯一真正安全的做法本地部署模型物理隔离。只要过 API就别想保密。坑 3把幻觉当成 RAG 能解决的核心问题2024 年 RAG 刚火时全网都在说RAG 解决幻觉。现在一线工程师基本不提这个词了。为什么幻觉不是病是模型的固有特性。你知道模型会瞎编就像你知道某个同事腿不好那你别让他去买咖啡就行了没必要天天念叨你是个瘸子。RAG 的作用是限定知识来源、提升可控性不是治病。六、一句话总结怎么选你的需求选什么判断标准模型本身就会只是需要按我的方式输出提示词工程任务在模型已有能力范围内只需约束格式/角色/步骤模型可能不知道或我不确定它知道多少必须控制知识来源RAG需要补充私有知识、最新信息或限定回答依据提示词RAG 太重、太慢、太啰嗦想把固定范式烧进模型微调回答策略极度固定且提示词已写得非常成熟最后送一句直播里的金句提示词工程是门槛极高的事不是技术门槛是认知门槛。别觉得它简单能把提示词写好的人RAG 和微调才能玩得转。如果你正在做 AI 产品的落地选型建议先把提示词工程做到极致再考虑要不要上 RAGRAG 跑通了再考虑要不要微调。跳步的结果往往是返工。
