ODS完整指南：如何将你的电脑变成私有AI服务器（2026本地AI终极方案）

ODS完整指南如何将你的电脑变成私有AI服务器2026本地AI终极方案【免费下载链接】ODSTurn your PC, Mac, or Linux box into an AI server. LLM inference, chat UI, voice, agents, workflows, RAG, and image generation.项目地址: https://gitcode.com/GitHub_Trending/dr/ODSODSOsmantic Deployment System是一个开源的本地AI服务器部署系统一条命令就能把你的 PC、Mac 或 Linux 主机变成私有AI服务器自动检测显卡、挑选合适的开源大模型、拉起聊天界面内置 LLM 推理、语音、智能体、工作流、RAG 和图像生成全程无需联网云服务提示词和数据都留在你自己的机器上。 ODS 是什么一条命令搞定的本地AI全家桶过去想让本地 AI 跑起来你得手动拼装 Ollama、Open WebUI、n8n、ComfyUI 和一堆隐私工具再手写 Docker 配置、祈祷各服务互通。大多数人折腾几小时就放弃了。ODS 把这些全部打包好装完即用的能力包括能力内置组件你能做什么 聊天与推理Open WebUI llama-server浏览器里像 ChatGPT 一样对话 控制面板Dashboard Dashboard API一处管理模型、服务、GPU 状态、扩展️ 语音Whisper语音转文字 Kokoro文字转语音听、说、对话一条龙 智能体与自动化Hermes Agent n8n自主执行任务、400 服务集成 RAG 与搜索Qdrant SearXNG Perplexica接本地文档、无追踪私搜、深度研究 图像生成ComfyUI本地出图提示词不出家门 隐私与运维Privacy Shield Token Spy Langfuse敏感信息过滤、用量监控、可观测性无需云、无需订阅。云端 API 与混合模式都是可选项默认一切本地运行。 支持的平台与硬件ODS 对新手最友好的一点不用懂 GPU 选型安装器会自动检测你的硬件档位tier并匹配模型。平台支持状态说明 Linux✅ 官方支持NVIDIA AMD Intel Arc已验证 Ubuntu、Debian、Fedora、Arch 等主流发行版 Windows✅ 官方支持需 Docker Desktop WSL2NVIDIA 走 GPU 直通AMD Strix Halo 走专用加速路径 macOS✅ 官方支持需 Apple SiliconM1llama-server 原生跑 Metal 加速安装前准备各平台Docker已安装并处于运行状态前置条件缺一不可40 GB 以上空闲磁盘模型 容器镜像macOS 建议 16 GB 统一内存以上详细支持矩阵可查阅ods/docs/SUPPORT-MATRIX.md与ods/docs/HARDWARE-GUIDE.md。 一键安装步骤Linux / macOS一行命令打开终端执行curl -fsSL https://install.osmantic.com/ods.sh | bashWindowsPowerShell 脚本先装好 Docker Desktop启用 WSL2 后端并确认其正在运行然后在普通用户的 PowerShell 窗口中执行$ProgressPreference SilentlyContinue $odsSrc Join-Path $env:TEMP (ods-install- [guid]::NewGuid().ToString(N)) $odsZip Join-Path $odsSrc ods-main.zip New-Item -ItemType Directory -Path $odsSrc | Out-Null Invoke-WebRequest https://gitcode.com/GitHub_Trending/dr/ODS/archive/refs/heads/main.zip -OutFile $odsZip Expand-Archive -LiteralPath $odsZip -DestinationPath $odsSrc -Force cd (Get-ChildItem -LiteralPath $odsSrc -Directory | Select-Object -First 1).FullName Set-ExecutionPolicy -Scope Process -ExecutionPolicy Bypass .\install.ps1 也可克隆仓库后运行根目录的 install.shLinux/macOS或 install.ps1Windowsgit clone https://gitcode.com/GitHub_Trending/dr/ODS常用安装参数参数作用--all/-All启用推荐完整服务栈--voice/-Voice开启 Whisper 语音转文字 Kokoro 语音合成--workflows/-Workflows开启 n8n 工作流--rag/-Rag开启 Qdrant 向量库与嵌入服务--no-bootstrap/-NoBootstrap跳过快速启动直接等完整模型--tier 3/-Tier 3手动指定硬件/模型档位⚡ 引导模式2 分钟开始聊天ODS 默认启用引导模式Bootstrap Mode这是新手体验最好的设计先下载一个 1.5B 的小模型不到一分钟你立刻可以开始聊天完整大模型在后台静默下载下载完成后热切换零中断不用盯着进度条干等几个小时这才是本地 AI 该有的样子。️ 安装完成后打开你的AI服务器安装结束浏览器打开聊天界面http://localhost:3000—— Open WebUI支持对话历史、文档上传、30 语言控制面板http://localhost:3001—— Dashboard实时 GPU 指标、服务健康、模型管理API 端点Linux Docker 默认http://localhost:11434llama-servermacOS/Windows 原生路径默认http://localhost:8080首次验证安装ods status # 健康检查 GPU 状态 ods chat Say exactly: ODS is ready. # 直接对话测试 ods doctor # 诊断问题 模型自动选择硬件决定能跑什么安装器根据你的显存/内存自动匹配模型以下是常见档位示例完整表格见 README.md 的 Hardware Auto-Detection 章节你的硬件默认匹配模型上下文RTX 4060 / 8GB 显存Qwen3.5 9B32KRTX 4070 级 / 12GBPhi-4 14B16KRTX 4090 / 24GBQwen3.5 27B32KM4 Pro Mac / 48GBQwen3.5 27B32KM2 Ultra / 64GBQwen3.6 35B-A3B128KAMD Strix Halo / 96GB 统一内存DeepSeek R1 70B32K想换模型随时可以ods model list # 查看所有可用档位 ods model swap T3 # 切换到 T3 档位加载失败会自动回滚完整模型管理策略见ods/docs/MODEL-MANAGEMENT.md。 扩展系统把每个服务都当作插件ODS 高度可定制——每个服务都是一个扩展一个带 manifest.yaml compose.yaml 的文件夹。内置 30 服务全部这样组织放在ods/extensions/services/下例如ods/extensions/services/n8n/—— 工作流自动化ods/extensions/services/comfyui/—— 图像生成ods/extensions/services/whisper/—— 语音转文字ods/extensions/services/qdrant/—— RAG 向量库管理命令简单直接ods list # 查看所有服务及状态 ods enable n8n # 启用一个扩展 ods disable whisper # 禁用一个 ods logs llm # 看推理引擎日志 ods start / ods stop # 整体启停想加自定义服务把一个文件夹丢进扩展目录运行ods enable 你的服务即可。扩展机制详解见ods/docs/EXTENSIONS.md。 常用资料速查文档路径适合谁读新手入门ods/QUICKSTART.md刚装完想跑通全流程硬件购买建议ods/docs/HARDWARE-GUIDE.md准备升级显卡/内存常见问题ods/FAQ.md遇到报错先查这里扩展开发ods/docs/EXTENSIONS.md想加自定义服务安装器架构ods/docs/INSTALLER-ARCHITECTURE.md进阶玩家️ 常见问题快速排障❓ 显存不足 / Out of Memory选择更低档位重装或调低.env中的CTX_SIZE。若启用了 Hermes 智能体上下文至少保留 65536否则安装时加--no-hermes。❓ 聊天界面看不到模型推理引擎可能还在加载或完整模型还在下载用ods status和docker compose logs llama-server查看。❓ 端口冲突每个端口都可用环境变量覆盖例如WEBUI_PORT9090 ./install.sh若 Ollama Desktop 已占用 11434改OLLAMA_PORT即可。全部端口列表见ods/config/ports.json。❓ 以后想卸载cd ~/ods ./ods-uninstall.sh --force # Linux/macOS .\ods.ps1 uninstall --force # Windows加--keep-data/--keep-models可保留本地数据与模型。✅ 总结为什么 2026 年本地AI应该拥有而非租用ODS 把私有AI服务器从折腾项目变成了安装软件⚡一条命令完成安装、GPU 检测、模型选择、凭据生成、服务启动2 分钟内开始对话完整模型后台静默下载数据主权提示词、文档、对话历史全部留在本地可选云/混合模式无限可玩语音、智能体、工作流、RAG、生图全部一键启用Apache 2.0 开源免费使用、修改、二次分发你的电脑 ODS 一台只属于你的 AI 服务器。现在就可以开始 【免费下载链接】ODSTurn your PC, Mac, or Linux box into an AI server. LLM inference, chat UI, voice, agents, workflows, RAG, and image generation.项目地址: https://gitcode.com/GitHub_Trending/dr/ODS创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考