当前B站最全最细的 LangchainV1.3 应用开发全套教程从LangChain构建RAG应用到LangGraph构建多智能体工作流少走99%的弯路最近在AI应用开发领域LangChain无疑是最热门的技术框架之一。但很多开发者在学习过程中都会遇到各种问题版本兼容性困扰、RAG系统效果不佳、多智能体工作流配置复杂等。本文基于LangChain 1.3.x最新版本从基础概念到实战应用完整拆解RAG系统构建和多智能体工作流开发的全流程帮助大家避开常见的坑点。无论你是刚接触LangChain的新手还是有一定经验想要深入学习的开发者都能从本文获得实用的技术指导。我们将从环境搭建开始逐步深入到复杂的多智能体系统构建每个步骤都提供可运行的代码示例和详细的原理说明。1. LangChain与RAG技术核心概念解析1.1 什么是LangChain及其核心价值LangChain是一个用于开发由语言模型驱动的应用程序的框架。它不仅仅是一个简单的API封装而是提供了一套完整的工具链帮助开发者更高效地构建复杂的AI应用。LangChain的核心价值体现在以下几个方面组件化设计将复杂的AI应用拆分为多个可复用的组件如模型调用、提示模板、记忆管理、索引检索等链式调用支持将多个组件连接成工作流实现复杂的业务逻辑多模型支持兼容OpenAI、Anthropic、本地模型等多种大语言模型生态丰富拥有庞大的社区和丰富的第三方集成# LangChain基础组件示例 from langchain.chains import LLMChain from langchain.prompts import PromptTemplate from langchain.llms import OpenAI # 创建提示模板 prompt PromptTemplate( input_variables[product], template为{product}写一个创意广告文案不超过50字。 ) # 创建LLM实例 llm OpenAI(temperature0.7) # 创建链 chain LLMChain(llmllm, promptprompt) # 执行链 result chain.run(智能手表) print(result)1.2 RAG技术原理与优势RAGRetrieval-Augmented Generation检索增强生成是当前最流行的知识增强型AI应用架构。其核心思想是在生成答案前先从知识库中检索相关信息然后将检索到的信息与问题一起提供给大模型生成最终答案。RAG系统的优势包括知识实时性可以随时更新知识库而不需要重新训练模型事实准确性基于可信的知识源生成答案减少模型幻觉成本效益不需要为每个特定领域训练专用模型可解释性可以追溯答案的知识来源RAG工作流程通常包含三个主要步骤文档处理与索引将原始文档转换为向量并建立索引相似性检索根据用户问题检索最相关的文档片段增强生成将检索结果与问题结合生成最终答案1.3 LangChain与LangGraph的关系与区别很多开发者容易混淆LangChain和LangGraph其实它们是互补的关系LangChain专注于单链路的AI应用开发提供丰富的组件和工具LangGraph建立在LangChain之上专门用于构建有状态的多智能体工作流LangGraph的核心特点是支持循环和条件分支能够处理更复杂的对话状态和智能体协作场景。如果你的应用需要多个AI智能体协作或者有复杂的状态管理需求LangGraph是更好的选择。2. 环境准备与版本兼容性配置2.1 基础环境要求在开始LangChain开发前需要确保你的开发环境满足以下要求Python 3.8或更高版本pip 20.0或更高版本虚拟环境推荐使用conda或venv# 创建虚拟环境 python -m venv langchain-env # 激活虚拟环境 # Windows langchain-env\Scripts\activate # Linux/Mac source langchain-env/bin/activate # 升级pip pip install --upgrade pip2.2 LangChain 1.3.x版本安装与兼容性LangChain 1.3.x版本在架构上做了重要优化安装时需要注意依赖兼容性# 安装LangChain核心包 pip install langchain1.3.11 # 安装社区包包含大量第三方集成 pip install langchain-community0.3.6 # 安装文本分割工具 pip install langchain-text-splitters0.3.6 # 安装核心组件 pip install langchain-core0.3.7 # 如果需要OpenAI集成 pip install openai重要版本兼容性说明langchain 1.3.11 与 langchain-community 0.3.6 是经过验证的稳定组合避免混用不同大版本的包否则可能出现导入错误如果遇到兼容性问题可以尝试使用pip check来验证依赖关系2.3 开发工具配置推荐使用VS Code或PyCharm进行开发并安装以下扩展Python扩展Jupyter扩展用于交互式测试GitLens版本管理创建项目基础结构my-langchain-project/ ├── src/ │ ├── __init__.py │ ├── rag_system.py │ └── multi_agent.py ├── data/ │ └── documents/ ├── tests/ ├── requirements.txt └── README.md3. LangChain核心组件深度解析3.1 模型调用与管理LangChain支持多种大语言模型以下是常用的模型调用方式from langchain.llms import OpenAI from langchain.chat_models import ChatOpenAI from langchain.schema import HumanMessage # 使用Completion模型 llm OpenAI( model_namegpt-3.5-turbo-instruct, temperature0.7, max_tokens500 ) # 使用Chat模型推荐 chat_model ChatOpenAI( model_namegpt-3.5-turbo, temperature0.7 ) # 调用示例 response chat_model([ HumanMessage(content请用简单的话解释人工智能) ]) print(response.content)3.2 提示模板与输出解析提示模板是LangChain的核心组件之一帮助标准化与模型的交互from langchain.prompts import ChatPromptTemplate from langchain.schema import BaseOutputParser # 自定义输出解析器 class CommaSeparatedListOutputParser(BaseOutputParser): def parse(self, text: str): return [item.strip() for item in text.split(,) if item.strip()] # 创建聊天提示模板 template ChatPromptTemplate.from_messages([ (system, 你是一个有帮助的助手能够将用户输入分类。), (human, 将以下内容分类为技术、文学或体育{input}。请用逗号分隔回答。) ]) # 创建链 chain template | chat_model | CommaSeparatedListOutputParser() result chain.invoke({input: Python编程和足球比赛}) print(result) # [技术, 体育]3.3 文档加载与处理LangChain支持多种文档格式的加载和处理from langchain.document_loaders import TextLoader, PyPDFLoader from langchain.text_splitter import RecursiveCharacterTextSplitter # 文档加载 loader PyPDFLoader(example.pdf) documents loader.load() # 文本分割 text_splitter RecursiveCharacterTextSplitter( chunk_size1000, chunk_overlap200, length_functionlen ) split_docs text_splitter.split_documents(documents) print(f原始文档数{len(documents)}) print(f分割后文档块数{len(split_docs)})4. 构建完整的RAG知识库系统4.1 向量数据库选择与配置向量数据库是RAG系统的核心组件常用的选择有Chroma、FAISS、Milvus等from langchain.vectorstores import Chroma from langchain.embeddings import OpenAIEmbeddings # 初始化嵌入模型 embeddings OpenAIEmbeddings() # 创建向量数据库 vectorstore Chroma.from_documents( documentssplit_docs, embeddingembeddings, persist_directory./chroma_db ) # 相似性搜索 query 什么是机器学习 docs vectorstore.similarity_search(query, k3) for doc in docs: print(f内容{doc.page_content[:200]}...) print(---)4.2 检索器配置与优化检索器的配置直接影响RAG系统的效果from langchain.retrievers import BM25Retriever, EnsembleRetriever from langchain.vectorstores import FAISS # 创建BM25检索器 bm25_retriever BM25Retriever.from_documents(split_docs) bm25_retriever.k 3 # 创建向量检索器 vector_retriever vectorstore.as_retriever(search_kwargs{k: 3}) # 创建混合检索器提升检索效果 ensemble_retriever EnsembleRetriever( retrievers[bm25_retriever, vector_retriever], weights[0.5, 0.5] )4.3 完整的RAG链实现将各个组件组合成完整的RAG系统from langchain.chains import RetrievalQA from langchain.prompts import PromptTemplate # 自定义提示模板 qa_prompt PromptTemplate( template基于以下上下文信息请回答问题。如果上下文信息不足以回答问题请直接说明不知道。 上下文 {context} 问题{question} 答案, input_variables[context, question] ) # 创建RAG链 qa_chain RetrievalQA.from_chain_type( llmchat_model, chain_typestuff, retrieverensemble_retriever, chain_type_kwargs{prompt: qa_prompt}, return_source_documentsTrue ) # 测试RAG系统 question 机器学习的主要应用领域有哪些 result qa_chain({query: question}) print(f问题{question}) print(f答案{result[result]}) print(来源文档) for doc in result[source_documents][:2]: print(f- {doc.page_content[:100]}...)5. LangGraph多智能体工作流构建5.1 LangGraph基础概念LangGraph用于构建有状态的多智能体工作流其核心概念包括节点Nodes工作流中的处理单元边Edges节点之间的连接决定工作流走向状态State在工作流中传递的共享数据条件分支根据状态决定下一步执行哪个节点from langgraph.graph import StateGraph, END from typing import TypedDict, Annotated from langchain_core.messages import HumanMessage, BaseMessage # 定义状态类型 class AgentState(TypedDict): messages: Annotated[list[BaseMessage], add_message] current_step: str # 创建图 graph_builder StateGraph(AgentState)5.2 多智能体系统设计设计一个包含多个专业智能体的协作系统from langchain.agents import AgentExecutor, create_tool_calling_agent from langchain.tools import Tool # 定义工具函数 def search_knowledgebase(query: str) - str: 搜索知识库工具 # 这里可以集成之前的RAG系统 return f找到关于{query}的相关信息 def calculate_math(expression: str) - str: 数学计算工具 try: result eval(expression) return f{expression} {result} except: return 计算表达式无效 # 创建工具 tools [ Tool( nameknowledge_search, funcsearch_knowledgebase, description用于搜索知识库信息 ), Tool( namemath_calculator, funccalculate_math, description用于执行数学计算 ) ] # 创建智能体 agent_prompt 你是一个专业的助手可以调用工具来解决问题。 可用的工具{tools} 请根据用户问题选择合适的工具并给出详细解答。 agent create_tool_calling_agent(chat_model, tools, agent_prompt) agent_executor AgentExecutor(agentagent, toolstools, verboseTrue)5.3 复杂工作流实现实现一个包含多个智能体协作的复杂工作流from langgraph.prebuilt import create_react_agent # 定义专业智能体 class ResearchAgent: def __init__(self): self.agent create_react_agent(chat_model, tools) def research(self, topic: str) - str: return f关于{topic}的研究报告摘要... class WritingAgent: def __init__(self): self.llm chat_model def write_report(self, research_data: str) - str: prompt f基于以下研究数据撰写报告{research_data} response self.llm.invoke([HumanMessage(contentprompt)]) return response.content # 构建工作流图 def research_node(state: AgentState): research_agent ResearchAgent() topic state[messages][-1].content research_result research_agent.research(topic) return {messages: [HumanMessage(contentf研究结果{research_result})]} def writing_node(state: AgentState): writing_agent WritingAgent() research_data state[messages][-1].content report writing_agent.write_report(research_data) return {messages: [HumanMessage(contentf最终报告{report})]} def route_after_research(state: AgentState): last_message state[messages][-1].content if 需要深入分析 in last_message: return deep_analysis else: return writing # 构建图 graph_builder.add_node(research, research_node) graph_builder.add_node(writing, writing_node) graph_builder.add_edge(research, writing) graph_builder.add_conditional_edges( research, route_after_research, {deep_analysis: research, writing: writing} ) graph_builder.add_edge(writing, END) # 编译图 workflow graph_builder.compile()6. 高级特性与性能优化6.1 记忆管理机制LangChain提供多种记忆管理方式用于维护对话上下文from langchain.memory import ConversationBufferMemory, ConversationSummaryMemory # 缓冲区记忆 buffer_memory ConversationBufferMemory( memory_keychat_history, return_messagesTrue ) # 摘要记忆适合长对话 summary_memory ConversationSummaryMemory( llmchat_model, memory_keychat_history ) # 在链中使用记忆 from langchain.chains import ConversationChain conversation ConversationChain( llmchat_model, memorybuffer_memory, verboseTrue ) # 测试对话记忆 conversation.predict(input你好我是小明) response conversation.predict(input你还记得我叫什么名字吗) print(response)6.2 异步处理与性能优化对于生产环境异步处理可以显著提升性能import asyncio from langchain.chains import RetrievalQA from langchain.callbacks import AsyncIteratorCallbackHandler # 异步回调处理器 class CustomCallbackHandler(AsyncIteratorCallbackHandler): def __init__(self): super().__init__() async def on_llm_new_token(self, token: str, **kwargs) - None: print(f新token: {token}) # 异步RAG查询 async def async_rag_query(question: str): callback_handler CustomCallbackHandler() # 创建异步链 async_chain RetrievalQA.from_chain_type( llmchat_model, chain_typestuff, retrievervector_retriever, callbacks[callback_handler] ) result await async_chain.ainvoke({query: question}) return result # 批量处理多个查询 async def batch_process_questions(questions: list): tasks [async_rag_query(q) for q in questions] results await asyncio.gather(*tasks) return results # 使用示例 questions [什么是AI, 机器学习有哪些类型, 深度学习如何工作] # results asyncio.run(batch_process_questions(questions))6.3 监控与日志记录生产环境需要完善的监控和日志记录import logging from langchain.callbacks import FileCallbackHandler # 配置日志 logging.basicConfig(levellogging.INFO) logger logging.getLogger(__name__) # 文件回调处理器 log_handler FileCallbackHandler(langchain_logs.jsonl) # 带有监控的链 from langchain.chains import LLMChain from langchain.prompts import PromptTemplate monitored_prompt PromptTemplate( input_variables[topic], template为{topic}写一段介绍文字。 ) monitored_chain LLMChain( llmchat_model, promptmonitored_prompt, callbacks[log_handler] ) # 使用监控链 result monitored_chain.invoke({topic: 人工智能}) logger.info(f生成内容{result[text]})7. 常见问题与解决方案7.1 版本兼容性问题问题现象导入错误或运行时异常ImportError: cannot import name XYZ from langchain解决方案检查版本兼容性确保langchain、langchain-community等包版本匹配清理重装pip uninstall langchain langchain-community然后重新安装指定版本查看官方文档访问LangChain官方文档确认API变更7.2 RAG检索效果不佳问题现象检索到的文档与问题不相关导致生成答案质量差优化策略调整文本分割参数尝试不同的chunk_size和chunk_overlap使用混合检索结合向量检索和关键词检索重排序优化对初步检索结果进行相关性重排序查询扩展对原始问题进行同义词扩展或改写# 查询扩展示例 from langchain.retrievers import ContextualCompressionRetriever from langchain.retrievers.document_compressors import LLMChainExtractor # 使用LLM进行查询扩展和重排序 compressor LLMChainExtractor.from_llm(chat_model) compression_retriever ContextualCompressionRetriever( base_compressorcompressor, base_retrievervector_retriever )7.3 多智能体工作流状态管理问题问题现象状态丢失或智能体间通信异常解决方案明确状态类型定义使用TypedDict精确定义状态结构状态验证在每个节点添加状态验证逻辑错误处理实现完善的异常处理机制调试模式启用verbose模式跟踪状态变化8. 生产环境最佳实践8.1 安全与权限管理在生产环境中部署LangChain应用时安全是首要考虑因素import os from langchain.llms import OpenAI from langchain.prompts import PromptTemplate # 安全的API密钥管理 def get_secure_llm(): api_key os.getenv(OPENAI_API_KEY) if not api_key: raise ValueError(OPENAI_API_KEY环境变量未设置) return OpenAI( api_keyapi_key, temperature0.7, max_tokens1000 ) # 输入验证和清理 def sanitize_input(user_input: str) - str: # 移除潜在的恶意内容 import html return html.escape(user_input.strip()) # 安全提示模板 safe_prompt PromptTemplate( input_variables[user_input], template请回答以下问题{user_input}。回答要客观准确。 )8.2 性能优化策略数据库优化使用连接池管理数据库连接实现缓存层减少重复检索定期清理和优化向量索引模型调用优化批量处理请求减少API调用次数实现请求限流和重试机制使用流式响应提升用户体验from langchain.callbacks import StreamingStdOutCallbackHandler # 流式响应示例 streaming_llm OpenAI( streamingTrue, callbacks[StreamingStdOutCallbackHandler()], temperature0.7 ) # 缓存实现 from langchain.cache import InMemoryCache from langchain.globals import set_llm_cache # 设置缓存 set_llm_cache(InMemoryCache())8.3 监控与运维建立完整的监控体系import time from prometheus_client import Counter, Histogram, start_http_server # 定义监控指标 requests_counter Counter(langchain_requests_total, Total requests) request_duration Histogram(langchain_request_duration_seconds, Request duration) # 装饰器模式添加监控 def monitor_chain(chain_func): def wrapper(*args, **kwargs): requests_counter.inc() start_time time.time() try: result chain_func(*args, **kwargs) duration time.time() - start_time request_duration.observe(duration) return result except Exception as e: # 记录错误指标 return {error: str(e)} return wrapper # 应用监控 monitor_chain def monitored_qa_chain(question: str): return qa_chain.invoke({query: question})9. 实战项目企业知识问答系统9.1 系统架构设计构建一个完整的企业级知识问答系统企业知识问答系统架构 1. 数据层文档存储 向量数据库 2. 处理层文档预处理 向量化 3. 服务层RAG引擎 多智能体工作流 4. 接口层REST API Web界面9.2 核心代码实现import uvicorn from fastapi import FastAPI, HTTPException from pydantic import BaseModel from typing import List, Optional app FastAPI(title企业知识问答系统) class QuestionRequest(BaseModel): question: str context: Optional[str] None class AnswerResponse(BaseModel): answer: str sources: List[str] confidence: float app.post(/ask, response_modelAnswerResponse) async def ask_question(request: QuestionRequest): try: # 使用RAG系统回答问题 result qa_chain.invoke({query: request.question}) # 提取来源文档 sources [doc.metadata.get(source, 未知) for doc in result.get(source_documents, [])] # 计算置信度简化版 confidence min(1.0, len(result[result]) / 1000) return AnswerResponse( answerresult[result], sourcessources[:3], # 最多返回3个来源 confidenceconfidence ) except Exception as e: raise HTTPException(status_code500, detailstr(e)) if __name__ __main__: uvicorn.run(app, host0.0.0.0, port8000)9.3 系统部署与测试部署注意事项使用Docker容器化部署配置反向代理和SSL证书设置健康检查端点实现日志聚合和错误追踪测试策略单元测试测试各个组件功能集成测试测试完整工作流性能测试模拟高并发场景安全测试验证输入验证和权限控制通过本文的完整学习你应该已经掌握了LangChain 1.3.x的核心用法能够构建复杂的RAG系统和多智能体工作流。在实际项目中建议先从简单的功能开始逐步迭代优化同时密切关注LangChain社区的更新和最佳实践。
当前B站最全最细的 LangchainV1.3 应用开发全套教程从LangChain构建RAG应用到LangGraph构建多智能体工作流少走99%的弯路最近在AI应用开发领域LangChain无疑是最热门的技术框架之一。但很多开发者在学习过程中都会遇到各种问题版本兼容性困扰、RAG系统效果不佳、多智能体工作流配置复杂等。本文基于LangChain 1.3.x最新版本从基础概念到实战应用完整拆解RAG系统构建和多智能体工作流开发的全流程帮助大家避开常见的坑点。无论你是刚接触LangChain的新手还是有一定经验想要深入学习的开发者都能从本文获得实用的技术指导。我们将从环境搭建开始逐步深入到复杂的多智能体系统构建每个步骤都提供可运行的代码示例和详细的原理说明。1. LangChain与RAG技术核心概念解析1.1 什么是LangChain及其核心价值LangChain是一个用于开发由语言模型驱动的应用程序的框架。它不仅仅是一个简单的API封装而是提供了一套完整的工具链帮助开发者更高效地构建复杂的AI应用。LangChain的核心价值体现在以下几个方面组件化设计将复杂的AI应用拆分为多个可复用的组件如模型调用、提示模板、记忆管理、索引检索等链式调用支持将多个组件连接成工作流实现复杂的业务逻辑多模型支持兼容OpenAI、Anthropic、本地模型等多种大语言模型生态丰富拥有庞大的社区和丰富的第三方集成# LangChain基础组件示例 from langchain.chains import LLMChain from langchain.prompts import PromptTemplate from langchain.llms import OpenAI # 创建提示模板 prompt PromptTemplate( input_variables[product], template为{product}写一个创意广告文案不超过50字。 ) # 创建LLM实例 llm OpenAI(temperature0.7) # 创建链 chain LLMChain(llmllm, promptprompt) # 执行链 result chain.run(智能手表) print(result)1.2 RAG技术原理与优势RAGRetrieval-Augmented Generation检索增强生成是当前最流行的知识增强型AI应用架构。其核心思想是在生成答案前先从知识库中检索相关信息然后将检索到的信息与问题一起提供给大模型生成最终答案。RAG系统的优势包括知识实时性可以随时更新知识库而不需要重新训练模型事实准确性基于可信的知识源生成答案减少模型幻觉成本效益不需要为每个特定领域训练专用模型可解释性可以追溯答案的知识来源RAG工作流程通常包含三个主要步骤文档处理与索引将原始文档转换为向量并建立索引相似性检索根据用户问题检索最相关的文档片段增强生成将检索结果与问题结合生成最终答案1.3 LangChain与LangGraph的关系与区别很多开发者容易混淆LangChain和LangGraph其实它们是互补的关系LangChain专注于单链路的AI应用开发提供丰富的组件和工具LangGraph建立在LangChain之上专门用于构建有状态的多智能体工作流LangGraph的核心特点是支持循环和条件分支能够处理更复杂的对话状态和智能体协作场景。如果你的应用需要多个AI智能体协作或者有复杂的状态管理需求LangGraph是更好的选择。2. 环境准备与版本兼容性配置2.1 基础环境要求在开始LangChain开发前需要确保你的开发环境满足以下要求Python 3.8或更高版本pip 20.0或更高版本虚拟环境推荐使用conda或venv# 创建虚拟环境 python -m venv langchain-env # 激活虚拟环境 # Windows langchain-env\Scripts\activate # Linux/Mac source langchain-env/bin/activate # 升级pip pip install --upgrade pip2.2 LangChain 1.3.x版本安装与兼容性LangChain 1.3.x版本在架构上做了重要优化安装时需要注意依赖兼容性# 安装LangChain核心包 pip install langchain1.3.11 # 安装社区包包含大量第三方集成 pip install langchain-community0.3.6 # 安装文本分割工具 pip install langchain-text-splitters0.3.6 # 安装核心组件 pip install langchain-core0.3.7 # 如果需要OpenAI集成 pip install openai重要版本兼容性说明langchain 1.3.11 与 langchain-community 0.3.6 是经过验证的稳定组合避免混用不同大版本的包否则可能出现导入错误如果遇到兼容性问题可以尝试使用pip check来验证依赖关系2.3 开发工具配置推荐使用VS Code或PyCharm进行开发并安装以下扩展Python扩展Jupyter扩展用于交互式测试GitLens版本管理创建项目基础结构my-langchain-project/ ├── src/ │ ├── __init__.py │ ├── rag_system.py │ └── multi_agent.py ├── data/ │ └── documents/ ├── tests/ ├── requirements.txt └── README.md3. LangChain核心组件深度解析3.1 模型调用与管理LangChain支持多种大语言模型以下是常用的模型调用方式from langchain.llms import OpenAI from langchain.chat_models import ChatOpenAI from langchain.schema import HumanMessage # 使用Completion模型 llm OpenAI( model_namegpt-3.5-turbo-instruct, temperature0.7, max_tokens500 ) # 使用Chat模型推荐 chat_model ChatOpenAI( model_namegpt-3.5-turbo, temperature0.7 ) # 调用示例 response chat_model([ HumanMessage(content请用简单的话解释人工智能) ]) print(response.content)3.2 提示模板与输出解析提示模板是LangChain的核心组件之一帮助标准化与模型的交互from langchain.prompts import ChatPromptTemplate from langchain.schema import BaseOutputParser # 自定义输出解析器 class CommaSeparatedListOutputParser(BaseOutputParser): def parse(self, text: str): return [item.strip() for item in text.split(,) if item.strip()] # 创建聊天提示模板 template ChatPromptTemplate.from_messages([ (system, 你是一个有帮助的助手能够将用户输入分类。), (human, 将以下内容分类为技术、文学或体育{input}。请用逗号分隔回答。) ]) # 创建链 chain template | chat_model | CommaSeparatedListOutputParser() result chain.invoke({input: Python编程和足球比赛}) print(result) # [技术, 体育]3.3 文档加载与处理LangChain支持多种文档格式的加载和处理from langchain.document_loaders import TextLoader, PyPDFLoader from langchain.text_splitter import RecursiveCharacterTextSplitter # 文档加载 loader PyPDFLoader(example.pdf) documents loader.load() # 文本分割 text_splitter RecursiveCharacterTextSplitter( chunk_size1000, chunk_overlap200, length_functionlen ) split_docs text_splitter.split_documents(documents) print(f原始文档数{len(documents)}) print(f分割后文档块数{len(split_docs)})4. 构建完整的RAG知识库系统4.1 向量数据库选择与配置向量数据库是RAG系统的核心组件常用的选择有Chroma、FAISS、Milvus等from langchain.vectorstores import Chroma from langchain.embeddings import OpenAIEmbeddings # 初始化嵌入模型 embeddings OpenAIEmbeddings() # 创建向量数据库 vectorstore Chroma.from_documents( documentssplit_docs, embeddingembeddings, persist_directory./chroma_db ) # 相似性搜索 query 什么是机器学习 docs vectorstore.similarity_search(query, k3) for doc in docs: print(f内容{doc.page_content[:200]}...) print(---)4.2 检索器配置与优化检索器的配置直接影响RAG系统的效果from langchain.retrievers import BM25Retriever, EnsembleRetriever from langchain.vectorstores import FAISS # 创建BM25检索器 bm25_retriever BM25Retriever.from_documents(split_docs) bm25_retriever.k 3 # 创建向量检索器 vector_retriever vectorstore.as_retriever(search_kwargs{k: 3}) # 创建混合检索器提升检索效果 ensemble_retriever EnsembleRetriever( retrievers[bm25_retriever, vector_retriever], weights[0.5, 0.5] )4.3 完整的RAG链实现将各个组件组合成完整的RAG系统from langchain.chains import RetrievalQA from langchain.prompts import PromptTemplate # 自定义提示模板 qa_prompt PromptTemplate( template基于以下上下文信息请回答问题。如果上下文信息不足以回答问题请直接说明不知道。 上下文 {context} 问题{question} 答案, input_variables[context, question] ) # 创建RAG链 qa_chain RetrievalQA.from_chain_type( llmchat_model, chain_typestuff, retrieverensemble_retriever, chain_type_kwargs{prompt: qa_prompt}, return_source_documentsTrue ) # 测试RAG系统 question 机器学习的主要应用领域有哪些 result qa_chain({query: question}) print(f问题{question}) print(f答案{result[result]}) print(来源文档) for doc in result[source_documents][:2]: print(f- {doc.page_content[:100]}...)5. LangGraph多智能体工作流构建5.1 LangGraph基础概念LangGraph用于构建有状态的多智能体工作流其核心概念包括节点Nodes工作流中的处理单元边Edges节点之间的连接决定工作流走向状态State在工作流中传递的共享数据条件分支根据状态决定下一步执行哪个节点from langgraph.graph import StateGraph, END from typing import TypedDict, Annotated from langchain_core.messages import HumanMessage, BaseMessage # 定义状态类型 class AgentState(TypedDict): messages: Annotated[list[BaseMessage], add_message] current_step: str # 创建图 graph_builder StateGraph(AgentState)5.2 多智能体系统设计设计一个包含多个专业智能体的协作系统from langchain.agents import AgentExecutor, create_tool_calling_agent from langchain.tools import Tool # 定义工具函数 def search_knowledgebase(query: str) - str: 搜索知识库工具 # 这里可以集成之前的RAG系统 return f找到关于{query}的相关信息 def calculate_math(expression: str) - str: 数学计算工具 try: result eval(expression) return f{expression} {result} except: return 计算表达式无效 # 创建工具 tools [ Tool( nameknowledge_search, funcsearch_knowledgebase, description用于搜索知识库信息 ), Tool( namemath_calculator, funccalculate_math, description用于执行数学计算 ) ] # 创建智能体 agent_prompt 你是一个专业的助手可以调用工具来解决问题。 可用的工具{tools} 请根据用户问题选择合适的工具并给出详细解答。 agent create_tool_calling_agent(chat_model, tools, agent_prompt) agent_executor AgentExecutor(agentagent, toolstools, verboseTrue)5.3 复杂工作流实现实现一个包含多个智能体协作的复杂工作流from langgraph.prebuilt import create_react_agent # 定义专业智能体 class ResearchAgent: def __init__(self): self.agent create_react_agent(chat_model, tools) def research(self, topic: str) - str: return f关于{topic}的研究报告摘要... class WritingAgent: def __init__(self): self.llm chat_model def write_report(self, research_data: str) - str: prompt f基于以下研究数据撰写报告{research_data} response self.llm.invoke([HumanMessage(contentprompt)]) return response.content # 构建工作流图 def research_node(state: AgentState): research_agent ResearchAgent() topic state[messages][-1].content research_result research_agent.research(topic) return {messages: [HumanMessage(contentf研究结果{research_result})]} def writing_node(state: AgentState): writing_agent WritingAgent() research_data state[messages][-1].content report writing_agent.write_report(research_data) return {messages: [HumanMessage(contentf最终报告{report})]} def route_after_research(state: AgentState): last_message state[messages][-1].content if 需要深入分析 in last_message: return deep_analysis else: return writing # 构建图 graph_builder.add_node(research, research_node) graph_builder.add_node(writing, writing_node) graph_builder.add_edge(research, writing) graph_builder.add_conditional_edges( research, route_after_research, {deep_analysis: research, writing: writing} ) graph_builder.add_edge(writing, END) # 编译图 workflow graph_builder.compile()6. 高级特性与性能优化6.1 记忆管理机制LangChain提供多种记忆管理方式用于维护对话上下文from langchain.memory import ConversationBufferMemory, ConversationSummaryMemory # 缓冲区记忆 buffer_memory ConversationBufferMemory( memory_keychat_history, return_messagesTrue ) # 摘要记忆适合长对话 summary_memory ConversationSummaryMemory( llmchat_model, memory_keychat_history ) # 在链中使用记忆 from langchain.chains import ConversationChain conversation ConversationChain( llmchat_model, memorybuffer_memory, verboseTrue ) # 测试对话记忆 conversation.predict(input你好我是小明) response conversation.predict(input你还记得我叫什么名字吗) print(response)6.2 异步处理与性能优化对于生产环境异步处理可以显著提升性能import asyncio from langchain.chains import RetrievalQA from langchain.callbacks import AsyncIteratorCallbackHandler # 异步回调处理器 class CustomCallbackHandler(AsyncIteratorCallbackHandler): def __init__(self): super().__init__() async def on_llm_new_token(self, token: str, **kwargs) - None: print(f新token: {token}) # 异步RAG查询 async def async_rag_query(question: str): callback_handler CustomCallbackHandler() # 创建异步链 async_chain RetrievalQA.from_chain_type( llmchat_model, chain_typestuff, retrievervector_retriever, callbacks[callback_handler] ) result await async_chain.ainvoke({query: question}) return result # 批量处理多个查询 async def batch_process_questions(questions: list): tasks [async_rag_query(q) for q in questions] results await asyncio.gather(*tasks) return results # 使用示例 questions [什么是AI, 机器学习有哪些类型, 深度学习如何工作] # results asyncio.run(batch_process_questions(questions))6.3 监控与日志记录生产环境需要完善的监控和日志记录import logging from langchain.callbacks import FileCallbackHandler # 配置日志 logging.basicConfig(levellogging.INFO) logger logging.getLogger(__name__) # 文件回调处理器 log_handler FileCallbackHandler(langchain_logs.jsonl) # 带有监控的链 from langchain.chains import LLMChain from langchain.prompts import PromptTemplate monitored_prompt PromptTemplate( input_variables[topic], template为{topic}写一段介绍文字。 ) monitored_chain LLMChain( llmchat_model, promptmonitored_prompt, callbacks[log_handler] ) # 使用监控链 result monitored_chain.invoke({topic: 人工智能}) logger.info(f生成内容{result[text]})7. 常见问题与解决方案7.1 版本兼容性问题问题现象导入错误或运行时异常ImportError: cannot import name XYZ from langchain解决方案检查版本兼容性确保langchain、langchain-community等包版本匹配清理重装pip uninstall langchain langchain-community然后重新安装指定版本查看官方文档访问LangChain官方文档确认API变更7.2 RAG检索效果不佳问题现象检索到的文档与问题不相关导致生成答案质量差优化策略调整文本分割参数尝试不同的chunk_size和chunk_overlap使用混合检索结合向量检索和关键词检索重排序优化对初步检索结果进行相关性重排序查询扩展对原始问题进行同义词扩展或改写# 查询扩展示例 from langchain.retrievers import ContextualCompressionRetriever from langchain.retrievers.document_compressors import LLMChainExtractor # 使用LLM进行查询扩展和重排序 compressor LLMChainExtractor.from_llm(chat_model) compression_retriever ContextualCompressionRetriever( base_compressorcompressor, base_retrievervector_retriever )7.3 多智能体工作流状态管理问题问题现象状态丢失或智能体间通信异常解决方案明确状态类型定义使用TypedDict精确定义状态结构状态验证在每个节点添加状态验证逻辑错误处理实现完善的异常处理机制调试模式启用verbose模式跟踪状态变化8. 生产环境最佳实践8.1 安全与权限管理在生产环境中部署LangChain应用时安全是首要考虑因素import os from langchain.llms import OpenAI from langchain.prompts import PromptTemplate # 安全的API密钥管理 def get_secure_llm(): api_key os.getenv(OPENAI_API_KEY) if not api_key: raise ValueError(OPENAI_API_KEY环境变量未设置) return OpenAI( api_keyapi_key, temperature0.7, max_tokens1000 ) # 输入验证和清理 def sanitize_input(user_input: str) - str: # 移除潜在的恶意内容 import html return html.escape(user_input.strip()) # 安全提示模板 safe_prompt PromptTemplate( input_variables[user_input], template请回答以下问题{user_input}。回答要客观准确。 )8.2 性能优化策略数据库优化使用连接池管理数据库连接实现缓存层减少重复检索定期清理和优化向量索引模型调用优化批量处理请求减少API调用次数实现请求限流和重试机制使用流式响应提升用户体验from langchain.callbacks import StreamingStdOutCallbackHandler # 流式响应示例 streaming_llm OpenAI( streamingTrue, callbacks[StreamingStdOutCallbackHandler()], temperature0.7 ) # 缓存实现 from langchain.cache import InMemoryCache from langchain.globals import set_llm_cache # 设置缓存 set_llm_cache(InMemoryCache())8.3 监控与运维建立完整的监控体系import time from prometheus_client import Counter, Histogram, start_http_server # 定义监控指标 requests_counter Counter(langchain_requests_total, Total requests) request_duration Histogram(langchain_request_duration_seconds, Request duration) # 装饰器模式添加监控 def monitor_chain(chain_func): def wrapper(*args, **kwargs): requests_counter.inc() start_time time.time() try: result chain_func(*args, **kwargs) duration time.time() - start_time request_duration.observe(duration) return result except Exception as e: # 记录错误指标 return {error: str(e)} return wrapper # 应用监控 monitor_chain def monitored_qa_chain(question: str): return qa_chain.invoke({query: question})9. 实战项目企业知识问答系统9.1 系统架构设计构建一个完整的企业级知识问答系统企业知识问答系统架构 1. 数据层文档存储 向量数据库 2. 处理层文档预处理 向量化 3. 服务层RAG引擎 多智能体工作流 4. 接口层REST API Web界面9.2 核心代码实现import uvicorn from fastapi import FastAPI, HTTPException from pydantic import BaseModel from typing import List, Optional app FastAPI(title企业知识问答系统) class QuestionRequest(BaseModel): question: str context: Optional[str] None class AnswerResponse(BaseModel): answer: str sources: List[str] confidence: float app.post(/ask, response_modelAnswerResponse) async def ask_question(request: QuestionRequest): try: # 使用RAG系统回答问题 result qa_chain.invoke({query: request.question}) # 提取来源文档 sources [doc.metadata.get(source, 未知) for doc in result.get(source_documents, [])] # 计算置信度简化版 confidence min(1.0, len(result[result]) / 1000) return AnswerResponse( answerresult[result], sourcessources[:3], # 最多返回3个来源 confidenceconfidence ) except Exception as e: raise HTTPException(status_code500, detailstr(e)) if __name__ __main__: uvicorn.run(app, host0.0.0.0, port8000)9.3 系统部署与测试部署注意事项使用Docker容器化部署配置反向代理和SSL证书设置健康检查端点实现日志聚合和错误追踪测试策略单元测试测试各个组件功能集成测试测试完整工作流性能测试模拟高并发场景安全测试验证输入验证和权限控制通过本文的完整学习你应该已经掌握了LangChain 1.3.x的核心用法能够构建复杂的RAG系统和多智能体工作流。在实际项目中建议先从简单的功能开始逐步迭代优化同时密切关注LangChain社区的更新和最佳实践。
