构建现代AI Agent：从LLM到RAG的六大核心模块全解析

1. 项目概述一个现代AI Agent的完整拼图最近和几个做AI应用落地的朋友聊天大家普遍有个感觉单靠一个大语言模型LLM已经玩不转了。无论是做个简单的客服助手还是想搞个能自动处理复杂流程的智能体总会遇到各种“天花板”——模型记不住长对话、不懂调用外部工具、无法访问私有知识库或者干脆就是个“一次性”的问答机器毫无智能可言。这让我开始系统性地梳理一个真正能“干活”、有“智能”的AI Agent到底需要哪些核心组件。答案逐渐清晰它远不止一个LLM那么简单。我把它总结为六个关键模块LLM大脑、Memory记忆、Tool工具、RAG知识、MCP连接、Skills技能。这六个部分环环相扣共同构成了一个现代AI Agent的完整技术栈。今天这篇笔记就是我对这六大模块的深度思考、实践踩坑和未来展望希望能给正在或准备踏入Agent开发领域的你提供一张清晰的“拼图”和一份实用的“避坑指南”。2. 核心模块深度拆解从大脑到手脚2.1 LLM不止是推理引擎更是决策中枢很多人把LLM单纯看作一个文本生成器或问答机但在Agent架构里它的角色是决策中枢和任务规划器。它的核心职责是理解用户意图、拆解复杂任务、规划执行步骤并协调其他模块工作。选型考量远不止于“大”和“强”上下文长度这是硬门槛。处理长文档、维持多轮对话128K甚至更长的上下文窗口是基础。但要注意超长上下文下的推理速度、注意力机制效率以及“中间遗忘”问题都需要实测验证。函数调用/工具调用能力这是Agent的“手”。模型必须能精准理解何时该调用工具、调用哪个工具并结构化地输出调用参数。OpenAI的function calling、Anthropic的tool use以及开源模型的ReAct格式支持度是关键评估点。思维链与规划能力对于多步任务模型是否具备“Let‘s think step by step”的潜质至关重要。一些模型在零样本或少样本提示下就能展现出优秀的任务分解和规划能力这能极大降低工程复杂度。成本与延迟在原型阶段可以不计成本但一旦走向生产环境Token成本和API延迟就是必须精打细算的账。混合使用不同规格的模型如用小模型做路由大模型做复杂规划是常见策略。实操心得别盲目追求最新最强的模型。对于大多数任务GPT-4o或Claude 3 Haiku这类均衡型模型已经足够优秀且性价比高。将GPT-4 Turbo或Claude 3 Opus这类“重型模型”保留给最复杂的规划或审核环节是控制成本的黄金法则。2.2 Memory让Agent拥有“过去”和“个性”没有记忆的Agent就像金鱼对话一结束就一切归零。Memory模块的目标是让Agent能记住对话历史、用户偏好、执行上下文甚至形成长期“性格”。记忆的层次与实现短期/对话记忆最简单的是将整个对话历史作为上下文喂给LLM。但当对话轮次增多这会迅速耗尽上下文窗口。解决方案是摘要记忆定期如每5轮对话让LLM对之前的对话进行摘要只保留关键信息将摘要而非原始历史送入下文。长期记忆需要外部存储。通常使用向量数据库如Chroma, Pinecone, Weaviate来存储记忆片段。每条记忆一段文本被编码成向量存入。当需要回忆时将当前对话的上下文作为查询向量从库中检索最相关的几条记忆注入到当前提示词中。实体记忆专门记忆关于特定人、地点、事物的详细信息。可以构建一个结构化的“记忆图谱”或者简单地在向量记忆的元数据中打上实体标签方便定向检索。一个关键挑战是记忆的更新与冲突当新信息与旧记忆矛盾时怎么办一种策略是引入“记忆版本”或“置信度”概念或者设计一个记忆融合机制让LLM来判断如何处理冲突信息。踩坑记录早期我们直接把所有历史对话存入向量库结果检索时经常出现无关记忆干扰导致Agent行为混乱。后来我们改进了记忆的“写入”策略只有LLM判断为“重要、需要长期记住”的信息如用户说“我住在北京”、“我对花生过敏”才会触发向量存储。这大大提升了记忆的相关性和质量。2.3 ToolAgent的“瑞士军刀”Tool是Agent与外部世界交互的桥梁。一个只会“说”的Agent是残疾的必须能“做”——查询天气、发送邮件、操作数据库、调用API。工具的设计哲学描述清晰给LLM的工具描述必须极其精确。包括工具名称、功能描述、每个参数的名字、类型、是否必填、枚举值、示例。模糊的描述会导致LLM错误调用。功能原子化每个工具应只做一件事并且做好。避免设计“巨无霸”工具。例如“发送邮件”是一个工具“创建草稿”是另一个工具。原子化工具有利于LLM理解和组合。安全性第一工具调用是高风险操作。必须建立严格的权限和验证机制。例如删除类操作需要二次确认涉及敏感数据的操作必须有用户授权记录对工具的调用频率和资源消耗进行限流。工具发现与组合当工具数量庞大时如何让LLM快速找到合适的工具常见的做法是建立工具索引向量化工具描述先检索出相关工具候选集再让LLM精挑细选。更高级的Agent能学会组合多个工具来完成复杂任务这需要LLM具备强大的规划能力。2.4 RAG为Agent注入专属知识灵魂当问题超出LLM的预训练知识范围如公司内部文档、最新行业报告、私有代码库就需要RAG。它让Agent能“即插即用”地访问最新、最专有的信息。超越基础的RAG优化检索质量是生命线分块策略按段落、按章节、按语义分割没有银弹。对于技术文档按函数/类分割可能更好对于法律合同按条款分割更合适。可以尝试重叠分块来避免上下文断裂。检索器升级除了基础的余弦相似度可以融合关键词检索BM25来保证召回关键术语或者使用重排序模型对初步检索结果进行精排把最相关的排到最前面。多路召回与混合同时使用向量检索和关键词检索然后去重、融合能有效提升召回率。提示工程优化给LLM的提示词不能只是“请根据以下上下文回答问题”。需要明确指令“严格依据提供的上下文回答。如果上下文未包含足够信息请直接说明‘根据已知信息无法回答’切勿杜撰。” 这能极大缓解幻觉问题。迭代式检索对于复杂问题可以采用“检索-阅读-再检索”的循环。LLM先根据初始问题检索一批文档阅读后可能产生新的、更精确的问题再进行第二轮检索。避坑技巧RAG效果不好八成问题出在检索环节而不是LLM。建立一个简单的评估流水线准备一批QA对看检索器能否在前K个结果中召回包含答案的文档。这个“检索命中率”是比最终答案准确性更前置、更关键的指标。2.5 MCP统一的“外设”连接协议当你为Agent接入了十几个工具和知识源后管理成本会爆炸式增长。每个工具都有不同的API格式、认证方式和调用逻辑。这就是Model Context Protocol这类协议要解决的问题。MCP的核心价值标准化它定义了一套统一的协议让任何资源工具、数据源都能以标准方式向LLM“宣告”自己的能力。LLM不再需要为每个工具学习特定的调用方式。解耦与可扩展性Agent核心逻辑与具体工具实现解耦。新增一个工具只需启动一个对应的MCP Server并注册到Agent无需修改核心代码。安全性协议层可以统一实现权限控制、审计日志和调用隔离提升整体安全性。MCP的工作流程Server注册一个“天气查询MCP Server”启动向Agent的MCP Host注册声明自己提供“get_weather”工具并描述参数。工具发现Agent启动时向所有已注册的Server查询可用工具列表并整合成一个统一的工具清单。统一调用当LLM决定调用“get_weather”时它生成标准化的调用请求。MCP Host负责将请求路由到正确的Weather Server执行并将结果返回给LLM。这相当于为Agent世界建立了“USB标准”让“外设”即插即用。目前除了MCP类似思路的还有LangChain的Tools标准、Microsoft的Semantic Kernel插件等但MCP因其与Claude的深度集成和简洁设计获得了大量关注。2.6 Skills高阶能力的模块化封装如果说Tools是原子操作那么Skills就是由多个Tools和逻辑流组成的、能完成特定领域任务的复合能力模块。它封装了更复杂的业务逻辑和决策流。Skill与Tool的区别预订酒店这是一个Skill。它内部可能包含以下步骤调用“搜索城市”Tool - 调用“查询酒店列表”Tool - 调用“比价”Tool - 调用“读取用户偏好”Memory - 综合决策 - 调用“创建订单”Tool。这个流程是固定的、内聚的。查询天气这是一个Tool。它就是一个简单的API调用输入城市输出天气。Skill的设计模式流程编排型使用工作流引擎如LangGraph、微软的AutoGen来定义Skill内部多个步骤的执行顺序、条件和循环。这适合有明确步骤的任务。LLM规划型Skill只定义目标和高层约束具体执行步骤由LLM实时规划动态调用Tools完成。这更加灵活但可控性稍差。混合型核心主干流程由编排引擎固定但其中的某些决策点如选择哪个酒店交给LLM。将常用复杂任务封装成Skill能极大提升Agent的开发效率和执行可靠性。例如“周报生成Skill”、“竞品分析Skill”、“客户支持工单分类与路由Skill”。3. 架构设计与集成实战3.1 核心架构蓝图模块如何协同工作理解了每个模块我们来看它们如何组装成一个有机整体。一个典型的现代Agent架构遵循“控制流”与“数据流”分离的思想。核心控制流大脑指挥用户输入触发新一轮交互。记忆检索Memory模块根据当前对话和用户信息从长期记忆中检索相关片段。知识检索如需如果判断问题涉及专有知识RAG模块被激活从知识库中检索相关文档。规划与决策LLM作为大脑接收用户输入、记忆上下文、检索到的知识然后进行思考。它决定下一步是直接回答还是调用某个Tool或Skill或者需要进一步提问澄清。工具/技能执行如果决定调用MCP Host将标准化的请求路由到对应的Tool或Skill执行。Skill内部可能再次触发LLM子规划或调用多个Tools。观察与学习执行结果返回给LLM。LLM分析结果判断任务是否完成。如果完成则生成最终回复如果未完成则规划下一步。同时重要的交互结果可能被选择性地写入长期Memory。数据流与状态管理 整个Agent需要维护一个会话状态这个状态贯穿始终包含原始对话历史、当前轮次的输入输出、已检索的记忆和知识、已调用工具的历史及结果、以及Agent自身的内部思考过程Chain of Thought。这个状态通常由一个状态机如LangGraph的StateGraph来管理确保每一步操作都能访问到完整的上下文。3.2 技术栈选型与组合策略市面上有众多框架可以帮助我们搭建这个架构但不存在“一招鲜”的解决方案。需要根据团队技术栈、应用场景和复杂度进行选择。框架/组件核心定位优势适用场景LangChain / LangGraph全能型应用框架生态丰富组件齐全文档成熟社区活跃。LangGraph特别擅长构建有状态的、多步骤的Agent工作流。快速原型验证构建复杂、定制化程度高的生产级Agent。需要较多开发量。LlamaIndex专注于RAG和数据连接在数据加载、索引、检索方面功能强大且精细提供了多种高级检索策略。与LangChain集成良好。当你的应用核心是复杂RAG需要处理多种格式数据源和复杂查询时。Semantic Kernel微软系规划与编排框架与.NET生态和Azure服务深度集成插件Skills模型清晰规划器功能强大。企业级应用尤其是已有微软技术栈或需要与Azure OpenAI、Copilot生态深度整合。AutoGen多Agent对话与协作框架专注于构建多个Agent之间通过对话协作来解决问题的场景角色定义清晰。需要模拟团队协作如程序员、测试员、产品经理Agent共同开发的复杂任务。直接基于MCP轻量级、协议化集成极度轻量核心是协议。可以自己用任何语言实现Host和Server定制自由度高。希望最小化框架依赖追求极致性能和可控性或者主要集成支持MCP的第三方工具。组合策略建议新手入门/快速验证从LangChain开始它的“电池内置”特性让你能最快搭出一个可运行的Agent。重度RAG应用用LlamaIndex做数据索引和检索层用LangGraph做Agent的工作流编排强强联合。企业级集成评估Semantic Kernel特别是如果你的基础设施在Azure上。追求轻量与定制可以基于MCP协议自建核心只引入必要的组件库如专门的向量数据库客户端、工具SDK。3.3 一个实战案例构建智能研发助手Agent假设我们要为一个研发团队构建一个内部助手它能回答技术问题、查询API文档、甚至辅助进行简单的故障排查。1. 模块定义LLM选用GPT-4o平衡能力、成本和速度。Memory使用向量数据库Chroma存储长期记忆记录每个开发者的技术偏好、常问问题等。Toolsearch_internal_wiki检索内部技术Wiki。query_jira查询任务单状态。search_github_issues在GitHub仓库中搜索相关Issue。run_simple_shell_command高危需严格管控在沙箱环境执行预定义的安全命令如git log,docker ps。RAG知识源公司所有项目的API文档Markdown、设计文档PDF、历史故障报告。实现用LlamaIndex进行分块和向量化索引采用混合检索向量关键词。MCP将query_jira和search_github_issues这两个需要认证的工具封装成独立的MCP Server实现安全隔离。Skillstroubleshoot_error一个Skill。输入错误日志它自动调用多个Tools搜索内部Wiki、搜索GitHub Issues、检索相似历史故障报告最后综合给出排查建议。2. 工作流实现使用LangGraphfrom langgraph.graph import StateGraph, END from typing import TypedDict class AgentState(TypedDict): question: str conversation_history: list retrieved_memories: list retrieved_docs: list tool_calls: list final_answer: str def retrieve_memory(state): # 从向量库检索相关长期记忆 state[“retrieved_memories”] memory_vector_store.similarity_search(state[“question”]) return state def retrieve_rag(state): # 判断是否需要RAG如果需要则检索 if needs_rag(state[“question”]): state[“retrieved_docs”] rag_index.as_retriever().invoke(state[“question”]) return state def plan_and_act(state): # LLM核心决策节点 # 1. 组装提示词含问题、历史、记忆、知识 prompt build_prompt(state) # 2. 调用LLM获取响应可能是回答也可能是工具调用 llm_response call_llm(prompt) # 3. 解析响应如果是工具调用则执行工具并更新状态 if is_tool_call(llm_response): tool_name, args parse_tool_call(llm_response) result execute_tool_via_mcp(tool_name, args) # 通过MCP调用 state[“tool_calls”].append({“tool”: tool_name, “result”: result}) # 将结果加入上下文准备下一轮思考 state[“conversation_history”].append({“role”: “tool”, “content”: result}) # 这里不直接结束需要让LLM继续处理工具结果 return “plan_and_act” # 循环回自身继续处理 else: # 如果是最终回答则存入状态 state[“final_answer”] llm_response return “generate_response” def generate_response(state): # 整理并输出最终回答 return {“final_answer”: state[“final_answer”]} # 构建图 workflow StateGraph(AgentState) workflow.add_node(“retrieve_memory”, retrieve_memory) workflow.add_node(“retrieve_rag”, retrieve_rag) workflow.add_node(“plan_and_act”, plan_and_act) workflow.add_node(“generate_response”, generate_response) # 定义边 workflow.set_entry_point(“retrieve_memory”) workflow.add_edge(“retrieve_memory”, “retrieve_rag”) workflow.add_edge(“retrieve_rag”, “plan_and_act”) workflow.add_conditional_edges( “plan_and_act”, # 根据plan_and_act函数的返回值决定下一个节点 lambda x: x, # 返回“plan_and_act”自身或“generate_response” {“plan_and_act”: “plan_and_act”, “generate_response”: “generate_response”} ) workflow.add_edge(“generate_response”, END) # 编译并运行 app workflow.compile()这个图清晰地定义了Agent的思考回路检索记忆 - 检索知识 - 规划/行动 - 如果需要循环规划/行动- 生成响应。4. 开发陷阱与性能优化指南4.1 常见陷阱与避坑方案在开发过程中我踩过不少坑这里总结几个最具代表性的陷阱一无限循环或“思考旋涡”现象Agent陷入“调用工具 - 分析结果 - 再次调用相同或类似工具”的死循环无法产出最终答案。根因LLM未能从工具返回结果中提取出足够做出决策的信息或者任务本身定义模糊。解决方案设置最大迭代次数在状态图中硬性限制plan_and_act节点的循环次数如最多5次。改进工具反馈确保工具返回的结果是结构化、信息丰富的而不仅仅是原始数据。例如search_internal_wiki工具返回时可以附带一句摘要“找到了3篇相关文档其中一篇‘API鉴权指南’的第5节直接提到了这个错误代码。”设计“放弃”机制在提示词中明确告诉LLM如果经过几轮尝试仍无法解决可以给出一个“基于目前信息的最佳推测”并说明局限性然后结束任务。陷阱二RAG幻觉严重现象尽管检索到了相关文档但LLM生成的答案仍然包含大量文档中不存在的信息。根因提示词指令不明确或者LLM过于依赖自身的预训练知识而“忽视”了提供的上下文。解决方案强化提示词使用“基于以下上下文且仅基于以下上下文回答问题”的强硬指令。在上下文前后添加明显的标记如“[开始上下文]...[结束上下文]”。引用溯源要求LLM在答案中注明引用的来源如文档标题和章节这既能降低幻觉也方便用户核实。后处理验证用一个轻量级模型或规则检查答案中的关键事实是否能在提供的上下文中找到支持。陷阱三工具调用参数错误现象LLM理解了需要调用哪个工具但生成的参数格式错误、类型不对或缺少必填字段。根因工具描述不够清晰或LLM对复杂参数结构的理解能力有限。解决方案提供高质量示例在工具描述中除了文字说明务必提供1-2个完整的、正确的调用示例Example。LLM从示例中学习的效果往往比从描述中学习更好。使用JSON Schema如果框架支持用JSON Schema严格定义参数结构。这比自然语言描述更精确。参数验证与重试在工具执行前对参数进行格式验证。如果验证失败不要直接报错给用户而是将错误信息反馈给LLM让它修正参数后重试。4.2 性能与成本优化策略当Agent从Demo走向生产性能和成本压力随之而来。1. 降低LLM调用开销缓存对频繁出现的、结果确定的用户查询如“你好”、“谢谢”或者RAG检索中相同的文档块可以缓存LLM的响应结果。小模型路由使用一个廉价、快速的小模型如gpt-3.5-turbo作为“路由员”先判断用户意图的复杂度。简单问题直接回答复杂问题再交给大模型处理。流式输出对于长文本生成务必使用流式接口让用户能边生成边看到内容提升体验也便于中途中断。2. 优化RAG检索速度与精度索引优化使用更快的向量索引如HNSW。在保证召回率的前提下调整索引参数如ef_construction,M以平衡构建速度和查询速度。分层检索先使用简单的关键词匹配如BM25从海量文档中快速筛选出一个小候选集再在这个小集合上做精确但耗时的向量相似度计算。预计算与预热对于核心知识库可以预计算一些常见问题的答案或摘要直接存储实现“零延迟”响应。3. 管理Agent状态与上下文状态压缩长时间运行的Agent其状态对话历史、中间结果会不断膨胀。需要定期对历史对话进行摘要压缩只保留精华丢弃细节。选择性记忆不是所有交互都值得存入长期记忆。设计规则或让LLM判断只将重要的、具有长期参考价值的信息向量化存储。5. 未来展望与进阶思考Agent技术正在以惊人的速度演进。回顾这六大模块我认为下一步的突破点可能在于1. 模块的深度智能化Self-RAG让LLM自己判断是否需要检索、何时检索、检索什么。这比固定的“先检索后生成”流程更灵活高效。自我进化的Memory记忆系统不仅能存储和检索还能自动对记忆进行关联、总结、去重甚至发现矛盾并尝试解决形成更有机的知识网络。工具的自动学习与创建Agent能否通过观察人类操作或阅读API文档自动创建或组合出新的工具这将是能力边界的一次巨大拓展。2. 多模态与具身智能 当前的Agent大多还是“文本世界”的原住民。未来的Agent必须能理解和处理图像、音频、视频并能通过更丰富的“工具”如机械臂、软件界面在物理世界或数字世界中直接行动。这要求LLM、Memory、Tool等模块都进行多模态升级。3. 可靠性与可解释性 要让企业放心地将关键业务流程交给Agent就必须解决其“黑箱”问题。我们需要更强大的监控、审计和调试工具能清晰追踪Agent的每一次思考、每一次决策、每一次工具调用的原因和结果。当Agent出错时我们能像调试程序一样定位到是哪个模块、哪条数据或哪个提示词出了问题。4. 从“单个超人”到“协作团队” 一个Agent包打天下是不现实的。未来更可能是由多个各司其职的Agent组成的“团队”。一个负责规划一个负责检索一个负责执行一个负责审核。它们之间通过高效的通信协议进行协作共同完成超复杂的任务。AutoGen等框架已经在这个方向上做出了有趣的探索。构建一个强大的AI Agent就像组装一台精密仪器。LLM是它的CPUMemory是它的硬盘Tool是它的外设接口RAG是它的扩展知识卡MCP是它的主板总线协议而Skills则是预装的专业软件。理解每一部分的工作原理掌握它们之间的集成艺术并时刻警惕其中的陷阱是我们从“调API”走向“造智能”的必经之路。这条路没有终点但每拼上一块拼图我们离那个真正智能、可靠、有用的数字伙伴就更近一步。