WeKnora 对接 Ollama：本地大模型 + 私有知识库 RAG 完整指南

WeKnora 对接 Ollama本地大模型 私有知识库 RAG 完整指南【免费下载链接】WeKnoraOpen-source LLM knowledge platform: turn raw documents into a queryable RAG, an autonomous reasoning agent, and a self-maintaining Wiki.项目地址: https://gitcode.com/GitHub_Trending/we/WeKnoraWeKnora 是一个开源的 LLM 知识平台能把原始文档变成可检索的 RAG 知识库、自主推理 Agent 和自维护 Wiki。配合 Ollama 做本地大模型推理与向量嵌入后整套问答链路可以在断网的内网机器上跑通这篇指南带你从零搭到调优。为什么选择本地化推理调云端 API 意味着文档内容持续外发敏感数据过第三方服务器很难过合规审查。token 按量计费文档量大时月账单会快速膨胀。弱网或内网环境连 API 本身都不稳定。WeKnora Ollama 的组合把推理和向量化都搬到本地文档、检索、生成全链路不出内网一次部署长期使用按机器性能决定吞吐没有按 token 付费的压力。五分钟跑通从安装到第一句对话环境要求项目最低要求推荐配置操作系统Linux / macOSUbuntu 20.04内存8 GB16 GB跑 7B 以上模型CPU 指令集x86-64支持 AVX2Docker20.10可选用于容器化部署安装与启动# 1. 克隆项目 git clone https://gitcode.com/GitHub_Trending/we/WeKnora cd WeKnora # 2. 安装 OllamaLinux 用 curl 脚本macOS 用 brew install ollama curl -fsSL https://ollama.com/install.sh | sh # 3. 启动服务 ollama serve 验证服务可用curl http://localhost:11434/api/version # 预期输出{version:0.x.x}能看到版本号就说明 Ollama 已就绪接下来拉一个模型如ollama pull llama3:8b就可以接 WeKnora 了。配置全景你需要改动的只有这几处最小可运行配置项目根目录.env# Ollama 地址与默认模型 OLLAMA_BASE_URLhttp://localhost:11434 OLLAMA_MODELllama3:8b OLLAMA_IS_OPTIONALfalseconfig/config.yaml 中model段的关键字段字段作用推荐值model_name使用的 Ollama 模型名llama3:8btemperature采样随机性0.7top_p核采样阈值0.9max_tokens单次回复最大 token 数2048初始化流程由 internal/handler/initialization.go 中的三个处理器串联完成先探测 Ollama 服务是否在线并读取版本再校验目标模型是否已安装缺失时自动触发拉取。整个过程在 Web 端点击完成不需要手动跑ollama pull。核心能力拆解聊天、嵌入、模型管理流式与非流式聊天Chat与ChatStream共用同一套请求构建逻辑差异只在流式标志位。流式版本开一个 goroutine 消费 Ollama 回调把每个增量 token 写入 channel天然支持 Qwen3 这类推理模型的思考内容转发// ChatStream 核心逻辑回调驱动 channel 输出 streamChan : make(chan types.StreamResponse) go func() { defer close(streamChan) err : c.ollamaService.Chat(ctx, chatReq, func(resp ollamaapi.ChatResponse) error { if resp.Message.Content ! { streamChan - types.StreamResponse{ // 增量 token 推给下游 ResponseType: types.ResponseTypeAnswer, Content: resp.Message.Content, } } return nil }) // 出错时向 channel 发送 ResponseTypeError 后退出 }()调用前先走ensureModelAvailable检查模型就绪两种模式都复用这一层保护。详见 internal/models/chat/ollama.go文本向量嵌入嵌入走 Ollama 的 embed 接口Embed是BatchEmbed的单条特例文档切块后可以批量向量化还能按需覆盖维度并开启截断控制上下文长度// BatchEmbed 核心逻辑批量文本 → 向量 req : ollamaapi.EmbedRequest{ Model: e.modelName, Input: texts, // 支持一次传多条文本 Options: make(map[string]interface{}), } if e.supportsDimensionOverride e.dimensions 0 { req.Dimensions e.dimensions // 按库配置覆盖输出维度 } resp, err : e.ollamaService.Embeddings(ctx, req) return resp.Embeddings, nil详见 internal/models/embedding/ollama.go模型生命周期管理模型管理集中在初始化处理器里三个关键 APICheckOllamaStatus探测服务在线状态与版本见 internal/handler/initialization.go#L931CheckOllamaModels校验指定模型是否已安装见 internal/handler/initialization.go#L986DownloadOllamaModel/ListOllamaModels拉取缺失模型、列出已装模型见 internal/handler/initialization.go#L1048实战用 WeKnora 搭一个本地 RAG 问答以上传 PDF → 提问 → 拿流式回答为主线Go client 调用如下省略 import 与错误处理// 1. 建库hybrid 混合检索 kb, _ : client.CreateKnowledgeBase(ctx, types.KnowledgeBase{ Name: my_kb, RetrieverType: hybrid, }) // 2. 上传 PDF 文档 client.UploadDocument(ctx, kb.ID, types.DocumentUploadRequest{ FilePath: local_docs/report.pdf, }) // 3. 提问并消费流式响应 resp, _ : client.Chat(ctx, types.ChatRequest{ KnowledgeBaseID: kb.ID, Query: 请总结文档第三章内容, Stream: true, }) for chunk : range resp.Stream { fmt.Print(chunk.Content) }终端里会看到回答按 token 逐字打印出来回答内容来自本地 llama3 对 PDF 切片的检索与生成全程不经过任何云端服务。调优清单让推理更快、更省内存模型参数量最低内存适合场景llama3:8b8B10 GB日常对话、文档理解mistral:7b7B8 GB快速响应需求gemma:7b7B9 GB代码理解与生成推理参数在config/config.yaml的model.options中调整num_ctx上下文窗口大小直接决定内存占用长文档场景设 4096内存紧张降到 2048。num_thread推理线程数设为物理核心数的一半左右推荐 4。temperature随机性控制摘要类任务用 0.5开放问答用 0.7。监控服务状态与模型加载情况curl http://localhost:11434/api/models踩坑速查高频问题与解法连接超时现象是 WeKnora 报 Ollama 不可达原因是服务没起或端口被占。用ps aux | grep ollama确认进程存在netstat -tulpn | grep 11434检查端口再核对防火墙放行 11434。模型下载中断现象是拉取大模型反复超时原因是网络波动或代理缺失。手动执行ollama pull llama3:8b断点续拉或先export HTTP_PROXYhttp://proxy:port再重试。推理 OOM 崩溃现象是模型加载或生成中进程被杀原因是上下文窗口撑爆内存。换 7B 小模型并把num_ctx调到 2048必要时给系统加交换空间。写在最后WeKnora 对接 Ollama 后隐私全流程本地、部署灵活裸机或容器皆可、功能完整聊天 嵌入 模型管理一站式三个诉求一次解决且推理成本为零。后续值得继续探索的方向包括多模型并行推理、GPU 加速与 4bit/8bit 量化。想深入可以看docs/CHUNKING.md 了解切块策略client/example.go 有完整的 client 调用示例。【免费下载链接】WeKnoraOpen-source LLM knowledge platform: turn raw documents into a queryable RAG, an autonomous reasoning agent, and a self-maintaining Wiki.项目地址: https://gitcode.com/GitHub_Trending/we/WeKnora创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考