文章目录大模型应用与实战 核心内容模块一、大模型推理与部署1.1 推理框架应用实践1.2 框架源码深度解析1.3 并发与显存部署优化1.4 国产化平台适配1.5 大模型数理基础与常见问题二、Agent框架专题2.1 Langchain系列2.2 Qwen-Agent系列2.3 Dify应用实践2.4 框架对比与迁移三、微调技术研究3.1 微调方法综述3.2 LLaMA-Factory专题3.3 多模态专题3.4 量化与强化学习专题四、其他技术应用大模型应用与实战 专栏简介 | 大模型技术深度实践指南掌握大模型前沿技术探索实战应用的无限可能 为什么订阅本专栏从理论到落地拒绝纸上谈兵专栏聚焦工业级场景覆盖模型推理优化、Agent智能体开发、低成本微调、RAG增强等核心领域提供可直接复现的代码方案。源码级深度剖析不止于API调用更深入Langchain、Qwen-Agent、Dify等热门框架源码揭示设计思想与性能优化秘诀。避坑全攻略汇总华为昇腾适配、高并发部署、长上下文优化等实战难题的解决方案节省开发者80%的试错时间。技术生态全景图对比分析主流框架Langchain/Dify/Qwen/LLaMA-Factory等的优劣与适用场景帮你快速构建技术选型能力。 适合读者✓ 希望将大模型应用于实际业务的开发者✓ 追求技术深度的框架研究者✓ 需要解决企业级部署难题的工程师✓ 渴望构建完整知识体系的技术管理者 你将获得▸工程化能力掌握大模型从本地部署到云端适配的全链路实战经验▸源码思维通过框架核心模块解析培养二次开发与定制化能力▸方法论体系构建涵盖模型优化、Agent编排、知识增强的技术矩阵▸持续进化专栏随技术演进动态更新订阅即锁定大模型技术前沿 核心内容模块以下为完整文章目录点击标题直达深度解析一、大模型推理与部署聚焦大模型生产环境落地的关键技术覆盖推理框架实践、源码级原理剖析、高并发优化及国产硬件适配。从API启动、上下文修改到昇腾平台迁移提供端到端的部署指南与性能调优方案。1.1 推理框架应用实践《汇总开源大模型的本地API启动方式》《ollama修改模型问答的上下文长度num_ctx》《基于Transformer框架实现微调后Qwen/DeepSeek模型的非流式批量推理》《基于Transformer框架实现微调后Qwen/DeepSeek模型的流式推理并封装成接口》《基于Xinference框架实现微调后Qwen/DeepSeek模型的流式与非流式批量推理》《如何解决使用transformer推理微调后的Qwen/DeepSeek生成式模型时出现的输出无限重复类问题》1.2 框架源码深度解析《langchain-ChatGLM源码阅读前端样式》《langchain-ChatGLM源码阅读参数设置》《langchain-ChatGLM源码阅读模型加载》1.3 并发与显存部署优化《使用fastchat实现大模型高并发对话》《高并发场景下该选择哪个LLM推理框架Ollama与vLLM实测对比》《LLM推理后台极速搭建FastAPI 异步架构 动态路由实战》《从KV Cache竞争到多卡优化vLLM加载AWQ模型的显存优化全攻略》《vLLM显存逆向计算如何得到最优gpu-memory-utilization参数》1.4 国产化平台适配《华为昇腾云平台适配Baichuan2大模型记录》《华为昇腾NPU驱动问题排查与vLLM部署踩坑记录》1.5 大模型数理基础与常见问题《一文讲透投机解码里的拒绝采样与残差采样》《从权重交织读懂SwiGLU的前世今生》二、Agent框架专题深入解析主流Agent框架的工程实现与应用迁移。涵盖Langchain源码解读、Qwen-Agent工具调用机制、Dify全流程实践并通过多框架对比提供技术选型依据助力开发者实现Agent能力无缝切换。2.1 Langchain系列《一文读懂LangchainChatGLM3和ChatGPT的Agent调用分析》《Agent系统工程实践Langchain-Chatchat框架定制与优化》2.2 Qwen-Agent系列《针对Qwen-Agent框架的Function Call及ReAct的源码阅读与解析Agent基类篇》《基于Qwen-Agent框架的Function Call及ReAct方式调用自定义工具》《针对Qwen-Agent框架的源码阅读与解析FnCallAgent与ReActChat篇》《Qwen-Agent框架的文件相关操作从Assistant到BasicDocQA》《超越Dify工作流如何通过修改QwenAgent的Function Call及ReAct方法实现对日期时间的高效意图识别》《基于QwenAgent解锁Qwen3无思考高效模式vLLM部署实战与Ollama模板定制》2.3 Dify应用实践《Dify部署及初步测试》《基于Dify的Agent全流程测试》《基于Dify的工作流全流程测试》《多示例演绎基于DeepSeek和Dify工作流实现大模型应用的快速搭建》《Dify知识库文档批量下载神器一键导出所有文件到本地》2.4 框架对比与迁移《代码实现从Langchain到Dify的Agent切换》《基于Qwen2.5在多框架下的Function Call尝试及总结》三、微调技术研究系统梳理大模型微调方法论与实践陷阱。以LLaMA-Factory为核心载体详解数据集构建、参数调优及典型错误排查提供从理论到落地的全链路指导降低领域适配门槛。3.1 微调方法综述《主流开源大语言模型的微调方法》3.2 LLaMA-Factory专题《微调这件小事当我们执行LLaMA-Factory我们到底在执行什么》《微调这件小事深入修改源码实现LLaMA-Factory同时测试多个数据集并汇总结果》《微调这件小事训练集中的输入数据该作为instruction还是input从LLaMA-Factory的源码中寻找答案吧~》《微调这件小事模板是什么一文从LLaMA-Factory源码看穿Template的面纱》《LLaMA-Factory如何解决数据集加载时json.decoder.JSONDecodeError: Extra data: line 2 column 1 (char 214)的错误》《使用LLaMA-Factory微调时的数据集选择》《使用LLaMA-Factory微调时的问题与解决方案记录》《基于LLaMA-Factory的微调记录》《深入探究LLamaFactory推理DeepSeek蒸馏模型时无法展示think思考过程的问题》《如何通过微调Qwen/DeepSeek模型实现以思维链生成方式完成文本分类任务》《将LLamaFactory微调功能包装为API基于FastAPI的服务化改造》《基于SSH的远程模型微调系统设计与实现》《告别手动调参LLaMA-Factory超参数自动搜索插件设计与实现》3.3 多模态专题《从LoRA到OFTQwen2.5-VL在昇腾910B与4090上的多模态微调实践与踩坑记录》《Qwen2.5-VL多模态微调超参数深度解析(上)训练流程与优化策略的量化机制分析》《Qwen2.5-VL多模态微调超参数深度解析(下)LoRA/Oft的精细化调优与性能边界探索》3.4 量化与强化学习专题《基于LlamaFactory的LLM量化技术详解》《从PPO到ORPOLLaMA Factory强化学习算法技术详解》四、其他技术应用《基于Langchain的txt文本向量库搭建与检索》《如何通过训练Qwen/DeepSeek模型的传统分类能力实现文本分类任务》《大模型生成的代码如何安全执行一文搞定Docker沙盒全流程》《大模型显存占用评估完整指南》
文章目录大模型应用与实战 核心内容模块一、大模型推理与部署1.1 推理框架应用实践1.2 框架源码深度解析1.3 并发与显存部署优化1.4 国产化平台适配1.5 大模型数理基础与常见问题二、Agent框架专题2.1 Langchain系列2.2 Qwen-Agent系列2.3 Dify应用实践2.4 框架对比与迁移三、微调技术研究3.1 微调方法综述3.2 LLaMA-Factory专题3.3 多模态专题3.4 量化与强化学习专题四、其他技术应用大模型应用与实战 专栏简介 | 大模型技术深度实践指南掌握大模型前沿技术探索实战应用的无限可能 为什么订阅本专栏从理论到落地拒绝纸上谈兵专栏聚焦工业级场景覆盖模型推理优化、Agent智能体开发、低成本微调、RAG增强等核心领域提供可直接复现的代码方案。源码级深度剖析不止于API调用更深入Langchain、Qwen-Agent、Dify等热门框架源码揭示设计思想与性能优化秘诀。避坑全攻略汇总华为昇腾适配、高并发部署、长上下文优化等实战难题的解决方案节省开发者80%的试错时间。技术生态全景图对比分析主流框架Langchain/Dify/Qwen/LLaMA-Factory等的优劣与适用场景帮你快速构建技术选型能力。 适合读者✓ 希望将大模型应用于实际业务的开发者✓ 追求技术深度的框架研究者✓ 需要解决企业级部署难题的工程师✓ 渴望构建完整知识体系的技术管理者 你将获得▸工程化能力掌握大模型从本地部署到云端适配的全链路实战经验▸源码思维通过框架核心模块解析培养二次开发与定制化能力▸方法论体系构建涵盖模型优化、Agent编排、知识增强的技术矩阵▸持续进化专栏随技术演进动态更新订阅即锁定大模型技术前沿 核心内容模块以下为完整文章目录点击标题直达深度解析一、大模型推理与部署聚焦大模型生产环境落地的关键技术覆盖推理框架实践、源码级原理剖析、高并发优化及国产硬件适配。从API启动、上下文修改到昇腾平台迁移提供端到端的部署指南与性能调优方案。1.1 推理框架应用实践《汇总开源大模型的本地API启动方式》《ollama修改模型问答的上下文长度num_ctx》《基于Transformer框架实现微调后Qwen/DeepSeek模型的非流式批量推理》《基于Transformer框架实现微调后Qwen/DeepSeek模型的流式推理并封装成接口》《基于Xinference框架实现微调后Qwen/DeepSeek模型的流式与非流式批量推理》《如何解决使用transformer推理微调后的Qwen/DeepSeek生成式模型时出现的输出无限重复类问题》1.2 框架源码深度解析《langchain-ChatGLM源码阅读前端样式》《langchain-ChatGLM源码阅读参数设置》《langchain-ChatGLM源码阅读模型加载》1.3 并发与显存部署优化《使用fastchat实现大模型高并发对话》《高并发场景下该选择哪个LLM推理框架Ollama与vLLM实测对比》《LLM推理后台极速搭建FastAPI 异步架构 动态路由实战》《从KV Cache竞争到多卡优化vLLM加载AWQ模型的显存优化全攻略》《vLLM显存逆向计算如何得到最优gpu-memory-utilization参数》1.4 国产化平台适配《华为昇腾云平台适配Baichuan2大模型记录》《华为昇腾NPU驱动问题排查与vLLM部署踩坑记录》1.5 大模型数理基础与常见问题《一文讲透投机解码里的拒绝采样与残差采样》《从权重交织读懂SwiGLU的前世今生》二、Agent框架专题深入解析主流Agent框架的工程实现与应用迁移。涵盖Langchain源码解读、Qwen-Agent工具调用机制、Dify全流程实践并通过多框架对比提供技术选型依据助力开发者实现Agent能力无缝切换。2.1 Langchain系列《一文读懂LangchainChatGLM3和ChatGPT的Agent调用分析》《Agent系统工程实践Langchain-Chatchat框架定制与优化》2.2 Qwen-Agent系列《针对Qwen-Agent框架的Function Call及ReAct的源码阅读与解析Agent基类篇》《基于Qwen-Agent框架的Function Call及ReAct方式调用自定义工具》《针对Qwen-Agent框架的源码阅读与解析FnCallAgent与ReActChat篇》《Qwen-Agent框架的文件相关操作从Assistant到BasicDocQA》《超越Dify工作流如何通过修改QwenAgent的Function Call及ReAct方法实现对日期时间的高效意图识别》《基于QwenAgent解锁Qwen3无思考高效模式vLLM部署实战与Ollama模板定制》2.3 Dify应用实践《Dify部署及初步测试》《基于Dify的Agent全流程测试》《基于Dify的工作流全流程测试》《多示例演绎基于DeepSeek和Dify工作流实现大模型应用的快速搭建》《Dify知识库文档批量下载神器一键导出所有文件到本地》2.4 框架对比与迁移《代码实现从Langchain到Dify的Agent切换》《基于Qwen2.5在多框架下的Function Call尝试及总结》三、微调技术研究系统梳理大模型微调方法论与实践陷阱。以LLaMA-Factory为核心载体详解数据集构建、参数调优及典型错误排查提供从理论到落地的全链路指导降低领域适配门槛。3.1 微调方法综述《主流开源大语言模型的微调方法》3.2 LLaMA-Factory专题《微调这件小事当我们执行LLaMA-Factory我们到底在执行什么》《微调这件小事深入修改源码实现LLaMA-Factory同时测试多个数据集并汇总结果》《微调这件小事训练集中的输入数据该作为instruction还是input从LLaMA-Factory的源码中寻找答案吧~》《微调这件小事模板是什么一文从LLaMA-Factory源码看穿Template的面纱》《LLaMA-Factory如何解决数据集加载时json.decoder.JSONDecodeError: Extra data: line 2 column 1 (char 214)的错误》《使用LLaMA-Factory微调时的数据集选择》《使用LLaMA-Factory微调时的问题与解决方案记录》《基于LLaMA-Factory的微调记录》《深入探究LLamaFactory推理DeepSeek蒸馏模型时无法展示think思考过程的问题》《如何通过微调Qwen/DeepSeek模型实现以思维链生成方式完成文本分类任务》《将LLamaFactory微调功能包装为API基于FastAPI的服务化改造》《基于SSH的远程模型微调系统设计与实现》《告别手动调参LLaMA-Factory超参数自动搜索插件设计与实现》3.3 多模态专题《从LoRA到OFTQwen2.5-VL在昇腾910B与4090上的多模态微调实践与踩坑记录》《Qwen2.5-VL多模态微调超参数深度解析(上)训练流程与优化策略的量化机制分析》《Qwen2.5-VL多模态微调超参数深度解析(下)LoRA/Oft的精细化调优与性能边界探索》3.4 量化与强化学习专题《基于LlamaFactory的LLM量化技术详解》《从PPO到ORPOLLaMA Factory强化学习算法技术详解》四、其他技术应用《基于Langchain的txt文本向量库搭建与检索》《如何通过训练Qwen/DeepSeek模型的传统分类能力实现文本分类任务》《大模型生成的代码如何安全执行一文搞定Docker沙盒全流程》《大模型显存占用评估完整指南》
