一、准备环境个人笔记本电脑Windows11硬件配置参考CPUAMD Ryzen 5 4600H with Radeon Graphics 3.00 GHz内核6逻辑处理器12内存16GBGPU512MB操作系统Windows 11二、安装步骤1.1 安装Ollama服务ollama一个模型管理工具可下载并运行不同的模型。1.1.1 下载ollama官网ollama.com 下载windows版本1.1.2 检验ollama查看ollama是否安装成功命令行输入ollama -v命令出现如下版本号说明安装成功注常用ollama命令如下# 运行模型ollama run 模型名称# 列出模型ollamalist# 拉取模型ollama pull 模型名称# 删除模型ollama rm 模型名称# 显示模型信息ollama show# 启动ollama服务ollama serve1.1.3 修改ollama的环境变量可根据自己的需求修改ollama的环境变量一般本地部署修改OLLAMA_HOST和OLLAMA_MODELS即可OLLAMA_HOSTOllama 监听的网络接口设置OLLAMA_HOST 0.0.0.0可以让 Ollama 监听所有可用的网络接口从而允许外部网络访问0.0.0.0:11434否则在RagFlow中模型url无法使用本地IP进行注册。OLLAMA_MODELS指定模型镜像的存储路径。默认存储在C盘C:\Users%username%.ollama\models。例如设置OLLAMA_HOST D:\ollama可节约内存。OLLAMA_KEEP_ALIVE控制模型在内存中的存活时间。例如设置OLLAMA_KEEP_ALIVE24h可以让模型在内存中保持 24 小时提高访问速度。OLLAMA_PORT允许更改 ollama 的默认服务端端口11434。例如设置OLLAMA_PORT8080。OLLAMA_NUM_PARALLEL决定了 Ollama 可以同时处理的用户请求数量。例如设置OLLAMA_NUM_PARALLEL4可以让 Ollama 同时处理两个并发请求。OLLAMA_MAX_LOADED_MODELS限制了 Ollama 可以同时加载的模型数量。例如设置OLLAMA_MAX_LOADED_MODELS4可以确保系统资源得到合理分配。1.2 部署DeepSeek1.2.1 获取下载命令在ollama模型页面选择需要下载的DeepSeek参数规模然后点击右侧的“复制”按钮复制下载模型的命令。ollama run deepseek-r1:7b1.2.2 安装运行模型打开windows命令提示符工具WIN R快捷键然后输入cmd回车。输入安装运行命令ollama run deepseek-r1:7bollama会自动下载模型成功之后如下页面所示可查看当前加载的模型、所占的内存大小以及使用的处理器类型注意运行过程中会出现以下问题1内存不够需要释放本地内存保证本地内存充足。1.3 安装Docker桌面端目的RagFlow相关组件依赖于Docker运行。1.3.1 下载Docker Desktop下载Windows桌面端官网下载地址www.docker.com1.3.2 配置镜像源如下图所示打开Docker Desktop-点击设置-Docker Engine配置如下json镜像源点击应用并重启 Docker。registry-mirrors:[https://docker.1ms.run]1.4 安装RagFlow官方环境要求如下CPU 4 核 RAM 16 GB Disk 50 GB Docker 24.0.0 Docker Compose v2.26.11.4.1 下载下载或者克隆官方仓库至本地git clone https://github.com/infiniflow/ragflow.git1.4.2 修改基础配置按需镜像下载完整发行版 修改ragflow/docker/.env文件设置RAGFLOW_IMAGEinfiniflow/ragflow:v0.16.0来下载 RAGFlow 镜像的 v0.16.0 完整发行版文档引擎修改 修改ragflow/docker/.env文件设置DOC_ENGINEinfinity切换文档引擎。注意Infinity 目前官方并未正式支持在 Linux/arm64 架构下的机器上运行.上传文件大小修改 修改/ragflow/docker/nginx/nginx.conf文件设置client_max_body_size大小1.4.3 运行cd ragflow/docker docker compose -f docker-compose.yml up -d这个下载过程本地如果没有搭建梯子会很慢镜像下载容易失败ragflow镜像大概有10个G最好搭个梯子。镜像拉取失败如下镜像拉取失败之后先停止并删除容器重新配置好docker镜像源如果你搭建了梯子科学上网就不需要配置镜像源了docker compose -f docker-compose.yml down镜像拉取成功之后会自动启动ragflow查看Docker Desktop控制台包含如下六个运行中的容器Minio文件上传到此文件服务器。Redis文件解析度时候需要使用redis消息队列进行暂存方便异步执行。Elasticsearch存储向量数据、任务信息。MySql存储用户信息、系统配置信息比如配置知识库名称、任务定义、执行状态、结果等。1.5 知识库使用1.5.1 登陆注册在浏览器输入127.0.0.1默认端口号是80使用QQ邮箱注册登陆即可。1.5.2 配置模型LLM点击个人中心-》模型提供商-》在此设置模型参数1模型类型DeepSeek 模型选择chatbge-m3 模型选择 embedding2模型名称Ollama -list命令中列出的模型名称填写建议在列表中复制如deepseek-r1:7b3基础Urlhttp://host.docker.internal:114344最大token数可随便填写本地部署不消耗在线 token如10241.5.3 系统模型设置还是点击个人中心-》模型提供商-》系统模型设置聊天模型选择本地部署的deepseek-r1:7b嵌入模型Img2txt模型、Sequence2txt模型、Rerank模型、都是RagFlow默认的这里简单说一下这几个模型之间的联系嵌入模型提供数据表示Img2txt和Sequence2txt模型生成文本Rerank模型优化结果聊天模型生成最终回复TTS模型将文本转为语音。1.5.4 创建知识库1.5.5 上传文件并解析知识库的内容检索回答需要先将文件解析成块后才能问答。1.5.6 配置知识库模型配置创建好的知识库模型就可以进行检索了。1.5.6 聊天助手知识问题添加聊天助手做知识问答。1.6 使用问题1.6.1 docker运行ragflow内存不足的问题检索出错ERROR: Connection error caused by: ConnectionError(Connection error caused by: NewConnectionError(urllib3.connection.HTTPConnection object at 0x7fead7596a40: Failed to establish a new connection: 【Errno 111】 Connection refused))解决方案调整windows对docker desktop的内存分配。win r调出运行输入 %UserProfile%进入用户文件夹在用户文件夹下创建一个新的文件改名为 .wslconfig内容如下[wsl2]memory16GB# 分配的内存processors12# 处理器核心数量考虑超线程swap0localhostForwardingtrue保存文件后重启docker和WSL。退出docker任务管理器中确保无docker相关进程winr调出运行输入cmd并回车在命令提示符中输入以下内容并回车wsl --shutdown重新打开docker确保容器中所有的程序都运行重新在浏览器中连接ragflow进行尝试1.6.2 长文本回复中断问题ERROR: Tenant not found目前在官方发布的最版本v0.16.0中还是会存在长文本回复中断问题这个问题并且Github官方仓库中有很多关于此问题的issuse后续看ragflow官方团队发布最新版本时是否会解决这个问题。解决方案升级到最新的经过测试的版本nightly这里我查了一下官方升级文档如下ragflow.io/docs/dev/up…第一修改/docker/.env文件设置RAGFLOW_IMAGEinfiniflow/ragflow:nightly第二重新更新RagFlow镜像# 停止所有容器运行并且删除挂载卷docker compose-f docker-compose.yml down-v# 重新拉去RagFlow相关镜像docker compose-f docker-compose.yml pull# 运行docker compose-f docker-compose.yml up-d最后为什么要学AI大模型当下⼈⼯智能市场迎来了爆发期并逐渐进⼊以⼈⼯通⽤智能AGI为主导的新时代。企业纷纷官宣“ AI ”战略为新兴技术⼈才创造丰富的就业机会⼈才缺⼝将达 400 万DeepSeek问世以来生成式AI和大模型技术爆发式增长让很多岗位重新成了炙手可热的新星岗位薪资远超很多后端岗位在程序员中稳居前列。与此同时AI与各行各业深度融合飞速发展成为炙手可热的新风口企业非常需要了解AI、懂AI、会用AI的员工纷纷开出高薪招聘AI大模型相关岗位。最近很多程序员朋友都已经学习或者准备学习 AI 大模型后台也经常会有小伙伴咨询学习路线和学习资料我特别拜托北京清华大学学士和美国加州理工学院博士学位的鲁为民老师给大家这里给大家准备了一份涵盖了AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频全系列的学习资料这些学习资料不仅深入浅出而且非常实用让大家系统而高效地掌握AI大模型的各个知识点。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】AI大模型系统学习路线在面对AI大模型开发领域的复杂与深入精准学习显得尤为重要。一份系统的技术路线图不仅能够帮助开发者清晰地了解从入门到精通所需掌握的知识点还能提供一条高效、有序的学习路径。但知道是一回事做又是另一回事初学者最常遇到的问题主要是理论知识缺乏、资源和工具的限制、模型理解和调试的复杂性在这基础上找到高质量的学习资源不浪费时间、不走弯路又是重中之重。AI大模型入门到实战的视频教程项目包看视频学习是一种高效、直观、灵活且富有吸引力的学习方式可以更直观地展示过程能有效提升学习兴趣和理解力是现在获取知识的重要途径光学理论是没用的要学会跟着一起敲要动手实操才能将自己的所学运用到实际当中去这时候可以搞点实战案例来学习。海量AI大模型必读的经典书籍PDF阅读AI大模型经典书籍可以帮助读者提高技术水平开拓视野掌握核心技术提高解决问题的能力同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说阅读经典书籍是非常有必要的。600AI大模型报告实时更新这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示。AI大模型面试真题答案解析我们学习AI大模型必然是想找到高薪的工作下面这些面试题都是总结当前最新、最热、最高频的面试题并且每道题都有详细的答案面试前刷完这套面试题资料小小offer不在话下这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
一、准备环境个人笔记本电脑Windows11硬件配置参考CPUAMD Ryzen 5 4600H with Radeon Graphics 3.00 GHz内核6逻辑处理器12内存16GBGPU512MB操作系统Windows 11二、安装步骤1.1 安装Ollama服务ollama一个模型管理工具可下载并运行不同的模型。1.1.1 下载ollama官网ollama.com 下载windows版本1.1.2 检验ollama查看ollama是否安装成功命令行输入ollama -v命令出现如下版本号说明安装成功注常用ollama命令如下# 运行模型ollama run 模型名称# 列出模型ollamalist# 拉取模型ollama pull 模型名称# 删除模型ollama rm 模型名称# 显示模型信息ollama show# 启动ollama服务ollama serve1.1.3 修改ollama的环境变量可根据自己的需求修改ollama的环境变量一般本地部署修改OLLAMA_HOST和OLLAMA_MODELS即可OLLAMA_HOSTOllama 监听的网络接口设置OLLAMA_HOST 0.0.0.0可以让 Ollama 监听所有可用的网络接口从而允许外部网络访问0.0.0.0:11434否则在RagFlow中模型url无法使用本地IP进行注册。OLLAMA_MODELS指定模型镜像的存储路径。默认存储在C盘C:\Users%username%.ollama\models。例如设置OLLAMA_HOST D:\ollama可节约内存。OLLAMA_KEEP_ALIVE控制模型在内存中的存活时间。例如设置OLLAMA_KEEP_ALIVE24h可以让模型在内存中保持 24 小时提高访问速度。OLLAMA_PORT允许更改 ollama 的默认服务端端口11434。例如设置OLLAMA_PORT8080。OLLAMA_NUM_PARALLEL决定了 Ollama 可以同时处理的用户请求数量。例如设置OLLAMA_NUM_PARALLEL4可以让 Ollama 同时处理两个并发请求。OLLAMA_MAX_LOADED_MODELS限制了 Ollama 可以同时加载的模型数量。例如设置OLLAMA_MAX_LOADED_MODELS4可以确保系统资源得到合理分配。1.2 部署DeepSeek1.2.1 获取下载命令在ollama模型页面选择需要下载的DeepSeek参数规模然后点击右侧的“复制”按钮复制下载模型的命令。ollama run deepseek-r1:7b1.2.2 安装运行模型打开windows命令提示符工具WIN R快捷键然后输入cmd回车。输入安装运行命令ollama run deepseek-r1:7bollama会自动下载模型成功之后如下页面所示可查看当前加载的模型、所占的内存大小以及使用的处理器类型注意运行过程中会出现以下问题1内存不够需要释放本地内存保证本地内存充足。1.3 安装Docker桌面端目的RagFlow相关组件依赖于Docker运行。1.3.1 下载Docker Desktop下载Windows桌面端官网下载地址www.docker.com1.3.2 配置镜像源如下图所示打开Docker Desktop-点击设置-Docker Engine配置如下json镜像源点击应用并重启 Docker。registry-mirrors:[https://docker.1ms.run]1.4 安装RagFlow官方环境要求如下CPU 4 核 RAM 16 GB Disk 50 GB Docker 24.0.0 Docker Compose v2.26.11.4.1 下载下载或者克隆官方仓库至本地git clone https://github.com/infiniflow/ragflow.git1.4.2 修改基础配置按需镜像下载完整发行版 修改ragflow/docker/.env文件设置RAGFLOW_IMAGEinfiniflow/ragflow:v0.16.0来下载 RAGFlow 镜像的 v0.16.0 完整发行版文档引擎修改 修改ragflow/docker/.env文件设置DOC_ENGINEinfinity切换文档引擎。注意Infinity 目前官方并未正式支持在 Linux/arm64 架构下的机器上运行.上传文件大小修改 修改/ragflow/docker/nginx/nginx.conf文件设置client_max_body_size大小1.4.3 运行cd ragflow/docker docker compose -f docker-compose.yml up -d这个下载过程本地如果没有搭建梯子会很慢镜像下载容易失败ragflow镜像大概有10个G最好搭个梯子。镜像拉取失败如下镜像拉取失败之后先停止并删除容器重新配置好docker镜像源如果你搭建了梯子科学上网就不需要配置镜像源了docker compose -f docker-compose.yml down镜像拉取成功之后会自动启动ragflow查看Docker Desktop控制台包含如下六个运行中的容器Minio文件上传到此文件服务器。Redis文件解析度时候需要使用redis消息队列进行暂存方便异步执行。Elasticsearch存储向量数据、任务信息。MySql存储用户信息、系统配置信息比如配置知识库名称、任务定义、执行状态、结果等。1.5 知识库使用1.5.1 登陆注册在浏览器输入127.0.0.1默认端口号是80使用QQ邮箱注册登陆即可。1.5.2 配置模型LLM点击个人中心-》模型提供商-》在此设置模型参数1模型类型DeepSeek 模型选择chatbge-m3 模型选择 embedding2模型名称Ollama -list命令中列出的模型名称填写建议在列表中复制如deepseek-r1:7b3基础Urlhttp://host.docker.internal:114344最大token数可随便填写本地部署不消耗在线 token如10241.5.3 系统模型设置还是点击个人中心-》模型提供商-》系统模型设置聊天模型选择本地部署的deepseek-r1:7b嵌入模型Img2txt模型、Sequence2txt模型、Rerank模型、都是RagFlow默认的这里简单说一下这几个模型之间的联系嵌入模型提供数据表示Img2txt和Sequence2txt模型生成文本Rerank模型优化结果聊天模型生成最终回复TTS模型将文本转为语音。1.5.4 创建知识库1.5.5 上传文件并解析知识库的内容检索回答需要先将文件解析成块后才能问答。1.5.6 配置知识库模型配置创建好的知识库模型就可以进行检索了。1.5.6 聊天助手知识问题添加聊天助手做知识问答。1.6 使用问题1.6.1 docker运行ragflow内存不足的问题检索出错ERROR: Connection error caused by: ConnectionError(Connection error caused by: NewConnectionError(urllib3.connection.HTTPConnection object at 0x7fead7596a40: Failed to establish a new connection: 【Errno 111】 Connection refused))解决方案调整windows对docker desktop的内存分配。win r调出运行输入 %UserProfile%进入用户文件夹在用户文件夹下创建一个新的文件改名为 .wslconfig内容如下[wsl2]memory16GB# 分配的内存processors12# 处理器核心数量考虑超线程swap0localhostForwardingtrue保存文件后重启docker和WSL。退出docker任务管理器中确保无docker相关进程winr调出运行输入cmd并回车在命令提示符中输入以下内容并回车wsl --shutdown重新打开docker确保容器中所有的程序都运行重新在浏览器中连接ragflow进行尝试1.6.2 长文本回复中断问题ERROR: Tenant not found目前在官方发布的最版本v0.16.0中还是会存在长文本回复中断问题这个问题并且Github官方仓库中有很多关于此问题的issuse后续看ragflow官方团队发布最新版本时是否会解决这个问题。解决方案升级到最新的经过测试的版本nightly这里我查了一下官方升级文档如下ragflow.io/docs/dev/up…第一修改/docker/.env文件设置RAGFLOW_IMAGEinfiniflow/ragflow:nightly第二重新更新RagFlow镜像# 停止所有容器运行并且删除挂载卷docker compose-f docker-compose.yml down-v# 重新拉去RagFlow相关镜像docker compose-f docker-compose.yml pull# 运行docker compose-f docker-compose.yml up-d最后为什么要学AI大模型当下⼈⼯智能市场迎来了爆发期并逐渐进⼊以⼈⼯通⽤智能AGI为主导的新时代。企业纷纷官宣“ AI ”战略为新兴技术⼈才创造丰富的就业机会⼈才缺⼝将达 400 万DeepSeek问世以来生成式AI和大模型技术爆发式增长让很多岗位重新成了炙手可热的新星岗位薪资远超很多后端岗位在程序员中稳居前列。与此同时AI与各行各业深度融合飞速发展成为炙手可热的新风口企业非常需要了解AI、懂AI、会用AI的员工纷纷开出高薪招聘AI大模型相关岗位。最近很多程序员朋友都已经学习或者准备学习 AI 大模型后台也经常会有小伙伴咨询学习路线和学习资料我特别拜托北京清华大学学士和美国加州理工学院博士学位的鲁为民老师给大家这里给大家准备了一份涵盖了AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频全系列的学习资料这些学习资料不仅深入浅出而且非常实用让大家系统而高效地掌握AI大模型的各个知识点。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】AI大模型系统学习路线在面对AI大模型开发领域的复杂与深入精准学习显得尤为重要。一份系统的技术路线图不仅能够帮助开发者清晰地了解从入门到精通所需掌握的知识点还能提供一条高效、有序的学习路径。但知道是一回事做又是另一回事初学者最常遇到的问题主要是理论知识缺乏、资源和工具的限制、模型理解和调试的复杂性在这基础上找到高质量的学习资源不浪费时间、不走弯路又是重中之重。AI大模型入门到实战的视频教程项目包看视频学习是一种高效、直观、灵活且富有吸引力的学习方式可以更直观地展示过程能有效提升学习兴趣和理解力是现在获取知识的重要途径光学理论是没用的要学会跟着一起敲要动手实操才能将自己的所学运用到实际当中去这时候可以搞点实战案例来学习。海量AI大模型必读的经典书籍PDF阅读AI大模型经典书籍可以帮助读者提高技术水平开拓视野掌握核心技术提高解决问题的能力同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说阅读经典书籍是非常有必要的。600AI大模型报告实时更新这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示。AI大模型面试真题答案解析我们学习AI大模型必然是想找到高薪的工作下面这些面试题都是总结当前最新、最热、最高频的面试题并且每道题都有详细的答案面试前刷完这套面试题资料小小offer不在话下这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
