1.1 为什么要配置模型Dify只是一个封装好的微服务本身不提供模型能力如果想要真正的开始使用Dify需要自己来接入模型才能工作。1.2 配置前的准备1.2.1 模型插件安装Dify的插件市场基本上内置了市面上所有的模型的接入我们要接入模型之前首先要安装对应的模型供应商。Dify启动之后去到http://服务器地址/apps本机访问http://localhost/apps访问Dify主页随后点击右上角头像-设置-模型供应商下载需要接入的模型本文以deepseek和ollama为例安装完成之后会所安装的配置会出现在待配置区域1.2.1.1 安装时可能遇到的问题在Dify安装中安装所有的插件都有可能会遇到一个问题就是因为网络超时安装失败可以参考以下文章进行处理Dify 实战纯内网dify插件离线安装解决Dify是一款开源的大语言模型LLM应用开发平台旨在简化生成式AI应 - 掘金小提示如何加速 Dify 1.0.0 Plugin 安装_dyadin112的技术博客_51CTO博客1.2.2 DeepSeek Apikey获取访问DeepSeek 开放平台找到API keys tab页进入后创建一个APIkey用于后续的Dify配置注意APIkey创建完之后妥善保存一定不要遗忘或者泄露如果发现出现了泄露的情况请及时删除1.2.3 Ollama安装以及模型下载推荐根据如下教程按照自身情况安装Ollama 安装 | 菜鸟教程1.3 模型配置对应模型配置安装完以及APIkey准备好之后就到了配置环节首先回到下载模型时的配置页其次针对不同的模型进行配置1.3.1 DeepSeek配置点击添加API密钥填写好对应的参数后保存即可如果出现保存失败的情况可能是API Base URL错误或者密钥错误可以尝试重新填写或者申请一个新的密钥1.3.2 Ollama配置点击右下角添加模型按钮开始添加模型Dify配置Ollama模型支持配置3个类型的模型分别是LLMText Embedding和Rerank这里我们以LLM为例Text Embedding和Rerank主要用于RAG场景模型的配置方式都是一样的所有的参数填完之后点击保存即可可能会遇到的问题如果遇到ollama模型添加时报错An error occurred during credentials validation: HTTPConnectionPool(hostip, port端口): Max retries exceeded with url: /api/chat (Caused by NewConnectionError(HTTPConnection(hostip, port端口): Failed to establish a new connection: [Errno 111] Connection refused))可能由以下问题引起ip或者端口号错误端口号默认为:11434ollama服务未启动没有监听对应端口可以尝试访问http://ip:port/api/tags如果成功获取到响应证明服务启动否则可以尝试重启ollamaollama和Dify未在一个网络环境中例如以下情况Dify部署在Docker中但是ollama部署在本地上Dify和ollama都部署在Docker上但是互相的网络环境不通Dify部署在Docker中但是ollama部署在本地上的问题可以通过修改 基础 URL的参数为:http://host.docker.internal:端口来解决Dify和ollama都部署在Docker上但是互相的网络环境不通的问题可以通过docker network create my_network docker network connect my_network dify_container docker network connect my_network ollama_container把两个容器配置到一个网络环境中解决
1.1 为什么要配置模型Dify只是一个封装好的微服务本身不提供模型能力如果想要真正的开始使用Dify需要自己来接入模型才能工作。1.2 配置前的准备1.2.1 模型插件安装Dify的插件市场基本上内置了市面上所有的模型的接入我们要接入模型之前首先要安装对应的模型供应商。Dify启动之后去到http://服务器地址/apps本机访问http://localhost/apps访问Dify主页随后点击右上角头像-设置-模型供应商下载需要接入的模型本文以deepseek和ollama为例安装完成之后会所安装的配置会出现在待配置区域1.2.1.1 安装时可能遇到的问题在Dify安装中安装所有的插件都有可能会遇到一个问题就是因为网络超时安装失败可以参考以下文章进行处理Dify 实战纯内网dify插件离线安装解决Dify是一款开源的大语言模型LLM应用开发平台旨在简化生成式AI应 - 掘金小提示如何加速 Dify 1.0.0 Plugin 安装_dyadin112的技术博客_51CTO博客1.2.2 DeepSeek Apikey获取访问DeepSeek 开放平台找到API keys tab页进入后创建一个APIkey用于后续的Dify配置注意APIkey创建完之后妥善保存一定不要遗忘或者泄露如果发现出现了泄露的情况请及时删除1.2.3 Ollama安装以及模型下载推荐根据如下教程按照自身情况安装Ollama 安装 | 菜鸟教程1.3 模型配置对应模型配置安装完以及APIkey准备好之后就到了配置环节首先回到下载模型时的配置页其次针对不同的模型进行配置1.3.1 DeepSeek配置点击添加API密钥填写好对应的参数后保存即可如果出现保存失败的情况可能是API Base URL错误或者密钥错误可以尝试重新填写或者申请一个新的密钥1.3.2 Ollama配置点击右下角添加模型按钮开始添加模型Dify配置Ollama模型支持配置3个类型的模型分别是LLMText Embedding和Rerank这里我们以LLM为例Text Embedding和Rerank主要用于RAG场景模型的配置方式都是一样的所有的参数填完之后点击保存即可可能会遇到的问题如果遇到ollama模型添加时报错An error occurred during credentials validation: HTTPConnectionPool(hostip, port端口): Max retries exceeded with url: /api/chat (Caused by NewConnectionError(HTTPConnection(hostip, port端口): Failed to establish a new connection: [Errno 111] Connection refused))可能由以下问题引起ip或者端口号错误端口号默认为:11434ollama服务未启动没有监听对应端口可以尝试访问http://ip:port/api/tags如果成功获取到响应证明服务启动否则可以尝试重启ollamaollama和Dify未在一个网络环境中例如以下情况Dify部署在Docker中但是ollama部署在本地上Dify和ollama都部署在Docker上但是互相的网络环境不通Dify部署在Docker中但是ollama部署在本地上的问题可以通过修改 基础 URL的参数为:http://host.docker.internal:端口来解决Dify和ollama都部署在Docker上但是互相的网络环境不通的问题可以通过docker network create my_network docker network connect my_network dify_container docker network connect my_network ollama_container把两个容器配置到一个网络环境中解决
