背景与需求我有一台 MacBook Air M3 / 16GB平时主力使用云端大模型但断网就抓瞎。因此设定了三个核心目标断网可用模型跑在本机离线也能对话、写代码。OpenAI 兼容 API本机和局域网设备都能调用如 AtomCode、自写脚本等只需把 base_url 指向本机服务即可。平时零内存占用不用时服务空载、内存压力保持绿色调用时才加载模型用完自动释放。机器配置芯片Apple M38 核 CPU内存16GB 统一内存实际可分配给模型约 12-13GB系统macOS 26.5arm64工具链Homebrew 6.x方案选型为什么选择 ollama最终选择ollama 0.32.5理由如下一键安装一条命令装好省去复杂配置。自带 OpenAI 兼容端点提供/v1标准接口兼容现有工具链。模型懒加载不用不占内存符合“零内存占用”目标。支持局域网监听方便多设备调用。通过 Homebrew 安装时直连 ghcr.io 下载 bottle 可能很慢建议挂本机代理如 127.0.0.1:7890实现秒下。关键配置两个决定成败的环境变量变量值作用OLLAMA_HOST0.0.0.0:11434监听所有网卡使局域网设备可访问OLLAMA_CONTEXT_LENGTH16384上下文窗口大小默认 4096 会拒绝大请求坑1开机自启避免环境变量丢失不推荐使用brew services而是通过自定义 LaunchAgent~/Library/LaunchAgents/com.user.ollama.plist实现开机自启。关键点环境变量直接写死在 plist 文件里——因为通过launchctl setenv设置的环境变量重启后会丢失坑2。模型清单qwen3:8b5.2GB主力对话模型中英文表现均衡。deepseek-r1:8b5.2GB深度推理专用。qwen3-chat:8b自建无思考版日常秒回响应迅速。nomic-embed-text274MB文本向量化用于 RAG 场景。AI 与代码 Agent 速查手册# 安装 ollama brew install ollama Base URL 本机: http://localhost:11434/v1 局域网: http://Mac-IP:11434/v1 无需 API Key服务端不校验 curl http://localhost:11434/v1/chat/completions -H Content-Type: application/json -d {model:qwen3:8b,messages:[{role:user,content:hi}]} 自启 plist 路径: ~/Library/LaunchAgents/com.user.ollama.plist 手动启停脚本: ollama-start / ollama-stop位于 ~/bin已加入 PATH实战体验速度、内存与选型速度实测同一句问候模型耗时tokens说明qwen3-chat:8b无思考版1.2s~20日常对话推荐qwen3:8b默认思考27.5s100简单问题也要先想qwen3:8bAtomCode 内12s14.75Kplan 模式输入自带约 14K 上下文deepseek-r1:8b3m51s8.99K推理模型多数 token 是思考过程核心结论模型的思考模式是最大时间杀手。Qwen3 系列默认开启思考响应带 reasoning 字段对“今天天气”也要沉思半分钟关闭后同输入 1.2s快约 22 倍。deepseek-r1:8b 是纯推理模型慢是特性不是故障适合留给数学、逻辑、代码深挖。内存行为16GB 关键体验ollama 服务空闲仅占约 34MB内存压力图保持绿色模型懒加载不调用不加载调用时才载入 5.2GB压力变黄闲置 5 分钟自动卸载keep_alive 默认内存自动回落结论服务可以开机常驻平时零负担完美满足“平时绿、用时黄”的需求16GB 选型原则7-8B 模型 Q4 量化约 5GB甜点速度内存都舒服14B约 9GB能跑但偏慢16GB 下内存紧张32B别想KV 缓存放不下换页到磁盘慢到没法用血泪案例大编辑器 模型 swap 灾难用 Zed 打开了整个家目录占 7GB再调模型7.7GB16GB 直接爆掉swap 用掉 5.2GB推理从 30 秒被拖到 4 分钟。跑本地模型前先关掉大内存应用这是 16GB 机器的物理定律。AI 与代码 Agent 速查续内存压力变黄 模型加载中正常现象调用前关掉 Zed/浏览器等大户模型闲置 5 分钟自动卸载无需手动清理同一时刻 ollama 只驻留一个模型切换会自动换载踩坑清单坑 1num_ctx 默认 4096大请求直接 400症状请求 8688 tokens 报exceed_context_size_error (n_ctx4096)。原因ollama 服务端默认上下文 4096客户端没传 num_ctx 就按它算。修复设OLLAMA_CONTEXT_LENGTH1638416GB 平衡点重启服务生效。验证发一个 4096 tokens 的请求不再报错即生效。坑 2launchctl setenv 重启即丢症状重启后局域网监听、16384 上下文全部失效悄悄退回默认。原因setenv是会话级环境变量重启不保留。修复环境变量写进 LaunchAgent plist 的EnvironmentVariables字段永久生效。坑 3Qwen3 思考模式默认开启症状简单问题也要 30 秒响应带 reasoning 字段。原因Qwen3 系列默认enable_thinkingtrue。修复Modelfile 的 PARAMETER 不支持enable_thinking/think实测报 unknown parameter需复制原 TEMPLATE把最后一条 user 消息处的 think 开关分支替换为固定注入/no_think指令再 create 成无思考模型。⚠️ 注意模板结尾还有一段 range 闭合逻辑漏掉会报template error: unexpected EOF。坑 4AtomCode 的 Context window 只是 UI 假设界面里填 8192/16384 只是客户端的估算值真正生效的是服务端num_ctx。两边不一致会误报“接近上限”甚至 107% 超量显示实际请求能跑通。改配置时服务端为准。坑 5embedding 模型不能 chatnomic-embed-text 走对话接口报does not support chat。向量模型只认/v1/embeddings返回 768 维向量别在聊天界面里选它。AI 与代码 Agent 速查续# 验证上下文生效发 4096 token 请求不报错即 OK curl http://localhost:11434/v1/chat/completions \ -d {model:qwen3:8b,messages:[{role:user,content:大段文本}]} 查当前已加载模型与驻留情况 curl http://localhost:11434/api/ps 向量化embedding 模型专用 curl http://localhost:11434/v1/embeddings -d {model:nomic-embed-text,input:要向量化的文本}
背景与需求我有一台 MacBook Air M3 / 16GB平时主力使用云端大模型但断网就抓瞎。因此设定了三个核心目标断网可用模型跑在本机离线也能对话、写代码。OpenAI 兼容 API本机和局域网设备都能调用如 AtomCode、自写脚本等只需把 base_url 指向本机服务即可。平时零内存占用不用时服务空载、内存压力保持绿色调用时才加载模型用完自动释放。机器配置芯片Apple M38 核 CPU内存16GB 统一内存实际可分配给模型约 12-13GB系统macOS 26.5arm64工具链Homebrew 6.x方案选型为什么选择 ollama最终选择ollama 0.32.5理由如下一键安装一条命令装好省去复杂配置。自带 OpenAI 兼容端点提供/v1标准接口兼容现有工具链。模型懒加载不用不占内存符合“零内存占用”目标。支持局域网监听方便多设备调用。通过 Homebrew 安装时直连 ghcr.io 下载 bottle 可能很慢建议挂本机代理如 127.0.0.1:7890实现秒下。关键配置两个决定成败的环境变量变量值作用OLLAMA_HOST0.0.0.0:11434监听所有网卡使局域网设备可访问OLLAMA_CONTEXT_LENGTH16384上下文窗口大小默认 4096 会拒绝大请求坑1开机自启避免环境变量丢失不推荐使用brew services而是通过自定义 LaunchAgent~/Library/LaunchAgents/com.user.ollama.plist实现开机自启。关键点环境变量直接写死在 plist 文件里——因为通过launchctl setenv设置的环境变量重启后会丢失坑2。模型清单qwen3:8b5.2GB主力对话模型中英文表现均衡。deepseek-r1:8b5.2GB深度推理专用。qwen3-chat:8b自建无思考版日常秒回响应迅速。nomic-embed-text274MB文本向量化用于 RAG 场景。AI 与代码 Agent 速查手册# 安装 ollama brew install ollama Base URL 本机: http://localhost:11434/v1 局域网: http://Mac-IP:11434/v1 无需 API Key服务端不校验 curl http://localhost:11434/v1/chat/completions -H Content-Type: application/json -d {model:qwen3:8b,messages:[{role:user,content:hi}]} 自启 plist 路径: ~/Library/LaunchAgents/com.user.ollama.plist 手动启停脚本: ollama-start / ollama-stop位于 ~/bin已加入 PATH实战体验速度、内存与选型速度实测同一句问候模型耗时tokens说明qwen3-chat:8b无思考版1.2s~20日常对话推荐qwen3:8b默认思考27.5s100简单问题也要先想qwen3:8bAtomCode 内12s14.75Kplan 模式输入自带约 14K 上下文deepseek-r1:8b3m51s8.99K推理模型多数 token 是思考过程核心结论模型的思考模式是最大时间杀手。Qwen3 系列默认开启思考响应带 reasoning 字段对“今天天气”也要沉思半分钟关闭后同输入 1.2s快约 22 倍。deepseek-r1:8b 是纯推理模型慢是特性不是故障适合留给数学、逻辑、代码深挖。内存行为16GB 关键体验ollama 服务空闲仅占约 34MB内存压力图保持绿色模型懒加载不调用不加载调用时才载入 5.2GB压力变黄闲置 5 分钟自动卸载keep_alive 默认内存自动回落结论服务可以开机常驻平时零负担完美满足“平时绿、用时黄”的需求16GB 选型原则7-8B 模型 Q4 量化约 5GB甜点速度内存都舒服14B约 9GB能跑但偏慢16GB 下内存紧张32B别想KV 缓存放不下换页到磁盘慢到没法用血泪案例大编辑器 模型 swap 灾难用 Zed 打开了整个家目录占 7GB再调模型7.7GB16GB 直接爆掉swap 用掉 5.2GB推理从 30 秒被拖到 4 分钟。跑本地模型前先关掉大内存应用这是 16GB 机器的物理定律。AI 与代码 Agent 速查续内存压力变黄 模型加载中正常现象调用前关掉 Zed/浏览器等大户模型闲置 5 分钟自动卸载无需手动清理同一时刻 ollama 只驻留一个模型切换会自动换载踩坑清单坑 1num_ctx 默认 4096大请求直接 400症状请求 8688 tokens 报exceed_context_size_error (n_ctx4096)。原因ollama 服务端默认上下文 4096客户端没传 num_ctx 就按它算。修复设OLLAMA_CONTEXT_LENGTH1638416GB 平衡点重启服务生效。验证发一个 4096 tokens 的请求不再报错即生效。坑 2launchctl setenv 重启即丢症状重启后局域网监听、16384 上下文全部失效悄悄退回默认。原因setenv是会话级环境变量重启不保留。修复环境变量写进 LaunchAgent plist 的EnvironmentVariables字段永久生效。坑 3Qwen3 思考模式默认开启症状简单问题也要 30 秒响应带 reasoning 字段。原因Qwen3 系列默认enable_thinkingtrue。修复Modelfile 的 PARAMETER 不支持enable_thinking/think实测报 unknown parameter需复制原 TEMPLATE把最后一条 user 消息处的 think 开关分支替换为固定注入/no_think指令再 create 成无思考模型。⚠️ 注意模板结尾还有一段 range 闭合逻辑漏掉会报template error: unexpected EOF。坑 4AtomCode 的 Context window 只是 UI 假设界面里填 8192/16384 只是客户端的估算值真正生效的是服务端num_ctx。两边不一致会误报“接近上限”甚至 107% 超量显示实际请求能跑通。改配置时服务端为准。坑 5embedding 模型不能 chatnomic-embed-text 走对话接口报does not support chat。向量模型只认/v1/embeddings返回 768 维向量别在聊天界面里选它。AI 与代码 Agent 速查续# 验证上下文生效发 4096 token 请求不报错即 OK curl http://localhost:11434/v1/chat/completions \ -d {model:qwen3:8b,messages:[{role:user,content:大段文本}]} 查当前已加载模型与驻留情况 curl http://localhost:11434/api/ps 向量化embedding 模型专用 curl http://localhost:11434/v1/embeddings -d {model:nomic-embed-text,input:要向量化的文本}
