 AI 相关-AI 编排平台 Dify 学习：dify接入 Ollama 本地大模型和公有云模型、配置deepseek 公有云模型)
本文记录 Dify 平台部署完成后，如何接入本地 Ollama 模型，以及如何接入公有云大模型。当前环境：Dify 访问地址：http://192.168.xx.xx:80Dify 服务器内网 IP：192.168.xx.xxOllama 服务地址：http://192.168.xx.xx:11434Ollama 已经下载好本地模型一、本文目标第一篇已经完成 Dify 平台安装。本篇继续完成模型接入：确认 Ollama 服务正常。确认 Dify 容器可以访问 Ollama。在 Dify 中安装 Ollama 插件。添加 Ollama 本地聊天模型。添加 Ollama 本地 Embedding 模型。接入公有云模型。在 Dify 中设置默认模型并测试。二、为什么要先配置模型Dify 本身是 AI 应用编排平台，不自带大模型能力。要让 Dify 能正常创建聊天应用、Agent 或 RAG 知识库，需要至少配置两类模型：模型类型作用是否必须LLM / Chat Model负责对话、总结、推理、生成回答必须Text Embedding负责把文本转成向量，用于知识库检索做 RAG 时必须Rerank对召回片段重新排序，提高 RAG 准确率可选如果只是做普通聊天，配置聊天模型即可。如果要做知识库问答，也就是 RAG，必须再配置 Embedding 模型。三、确认 Ollama 本地服务查看本机已经下载了哪些 Ollama 模型，后面在 Dify 中填写的模型名称，必须和这里显示的模型名称一致。ollama查询已下载模型列表:我使用docker安装的ollamasudodockerexec-itollama ollama list测试 Ollama API：curlhttp://192.168.xx.xx:11434/api/tags作用：验证 Ollama HTTP API 是否可访问,正常会返回本地模型列表 JSON,如果访问失败，先检查 Ollama 是否启动。四、下载本地聊天模型我已下载好qwen2.5:14b，下载指令sudodockerexec-itollama ollama pull qwen2.5:14b后续在 Dify 中填写模型名称时，必须和ollama list显示的一致。五、下载 Embedding 模型如果后续要做 RAG 知识库，必须配置 Embedding 模型。下载常用 Embedding 模型：dockerexec-itollama ollama pull nomic-embed-text查看：dockerexec
本文记录 Dify 平台部署完成后，如何接入本地 Ollama 模型，以及如何接入公有云大模型。当前环境：Dify 访问地址：http://192.168.xx.xx:80Dify 服务器内网 IP：192.168.xx.xxOllama 服务地址：http://192.168.xx.xx:11434Ollama 已经下载好本地模型一、本文目标第一篇已经完成 Dify 平台安装。本篇继续完成模型接入：确认 Ollama 服务正常。确认 Dify 容器可以访问 Ollama。在 Dify 中安装 Ollama 插件。添加 Ollama 本地聊天模型。添加 Ollama 本地 Embedding 模型。接入公有云模型。在 Dify 中设置默认模型并测试。二、为什么要先配置模型Dify 本身是 AI 应用编排平台，不自带大模型能力。要让 Dify 能正常创建聊天应用、Agent 或 RAG 知识库，需要至少配置两类模型：模型类型作用是否必须LLM / Chat Model负责对话、总结、推理、生成回答必须Text Embedding负责把文本转成向量，用于知识库检索做 RAG 时必须Rerank对召回片段重新排序，提高 RAG 准确率可选如果只是做普通聊天，配置聊天模型即可。如果要做知识库问答，也就是 RAG，必须再配置 Embedding 模型。三、确认 Ollama 本地服务查看本机已经下载了哪些 Ollama 模型，后面在 Dify 中填写的模型名称，必须和这里显示的模型名称一致。ollama查询已下载模型列表:我使用docker安装的ollamasudodockerexec-itollama ollama list测试 Ollama API：curlhttp://192.168.xx.xx:11434/api/tags作用：验证 Ollama HTTP API 是否可访问,正常会返回本地模型列表 JSON,如果访问失败，先检查 Ollama 是否启动。四、下载本地聊天模型我已下载好qwen2.5:14b，下载指令sudodockerexec-itollama ollama pull qwen2.5:14b后续在 Dify 中填写模型名称时，必须和ollama list显示的一致。五、下载 Embedding 模型如果后续要做 RAG 知识库，必须配置 Embedding 模型。下载常用 Embedding 模型：dockerexec-itollama ollama pull nomic-embed-text查看：dockerexec
