大家好我是邵奈一一个爱折腾的程序猿、正儿八经的斜杠青年。1、这几年我整理了不少 IT 技术教程也喜欢记录工作中的经验和生活的点滴。2、如果文章对你有帮助是我的荣幸欢迎在评论区交流。0x00 教程内容前面我讲了如何在本地跑大模型、怎么让推理更快一点这篇接着解决一个更实际的问题模型有了怎么让它真正干 Agent 的活而不是只能在聊天窗口里一问一答。背景本地模型跑 Agent 的痛认识 ornith-1.5 与 Bionic零下载接入把 ollama 的模型直接送给 Bionic在 Bionic 里加载模型用 Bionic 干活Code 项目和 Work 项目起本地 API让别的工具也能用Bionic 常用设置让模型说中文与参数调优实测对比MLX 反而不如 GGUF踩坑清单0x01 背景本地模型跑 Agent 的痛先说痛点。之前我在 ollama 里跑 ornith-1.5:9b单轮问答挺快一两秒就回复。但一旦放进 Agent 工作流里就废了——Agent 平台的每次请求都会带上几十个工具的定义 系统提示 对话历史一次请求轻松好几万 token。我的 ornith-1.5:9b 在 macOSM 系列芯片上 prefill 只有 200 tokens/秒左右处理五万 token 的请求四分钟只消化到一半Agent 平台等不及直接超时风扇倒是转得飞起。模型本身没病是大上下文 × 慢 prefill的组合问题。1. 本地模型跑 Agent 的两个硬门槛1prefill 速度Agent 请求上下文巨大prefill 慢就是灾难这是硬件和模型决定的换个聊天客户端也救不了。2工具调用能力模型必须支持 function calling否则 Agent 平台没法让它自主调工具。好在 ornith-1.5 天生就是为 Agent 训练的。0x02 认识两个主角ornith-1.5 与 Bionic1. ornith-1.5 是什么ornith-1.5 是 DeepReinforce 团队发布的模型系列走的是自我改进训练路线天生为 Agent 场景设计MIT 协议随便商用。家族有三个尺寸它支持工具调用、思考模式还能看图。全系原生上下文 256K。2. Bionic 是什么Bionic 是 LM Studio 团队Element Labs推出的独立 AI Agent 应用2026 年 7 月发布定位是开源模型的 AI Agent。注意它和经典 LM Studio 是两个独立应用不是改名——经典 LM Studio 偏聊天和模型管理Bionic 是能真正干活的 Agent写代码、改文档、生成 PPT模型自己规划、调用工具、执行多步任务。Bionic 的模型运行方式有三种默认本地优先。关键认知Bionic 不是连接外部模型的聊天客户端也不是纯服务端——它是一个 Agent 平台模型在会话里选择Agent 负责规划执行。0x03 零下载接入把 ollama 的模型直接送给 Bionic1. 最省事的方法软链接Bionic 与 LM Studio 共用同一个模型库目录~/.lmstudio/models/官方也支持把外部下载的 GGUF 模型导入lms import 命令。ollama 下载的模型都是标准的 GGUF 文件存在~/.ollama/models/blobs/里。同一个 GGUF 文件两边都能读——没必要重复下载软链接就行。先找到 ollama 里 ornith-1.5:9b 的 GGUF 文件——它的模型层就存在~/.ollama/models/blobs/下是标准的 GGUF 文件。按大小找9B 模型的 GGUF 约 5.6GB是最大的几个文件之一ls-la~/.ollama/models/blobs/|sort-rn|head如果想确认哪个文件属于 ornith-1.5:9b看它的 manifestlayers 里的 digest 就是 blob 文件名cat~/.ollama/models/manifests/registry.ollama.ai/library/ornith-1.5/9b2. 用 lms 导入带软链Bionic 自带命令行工具 lms在~/.lmstudio/bin/lms导入命令~/.lmstudio/bin/lmsimport~/.ollama/models/blobs/sha256-xxxxxxxx --symbolic-link--yes--user-repoornith-ai/Ornith-1.5-9B-GGUF注意lms import 只认.gguf结尾的文件名blob 是 sha256 哈希名会警告文件不像模型文件。所以要手动建一个带 .gguf 后缀的软链mkdir-p~/.lmstudio/models/ornith-ai/Ornith-1.5-9B-GGUFln-sfn~/.ollama/models/blobs/sha256-xxxxxxxx\~/.lmstudio/models/ornith-ai/Ornith-1.5-9B-GGUF/Ornith-1.5-9B-Q4_K_M.gguf这样零下载、零转换ollama 和 Bionic 共用同一份模型文件。0x04 在 Bionic 里加载模型Bionic 的本地模型入口在设置 → 本地模型探索Explore用来搜索下载新模型资源库Library显示已经索引的模型。国内直连 Hugging Face 下载很慢所以我们用软链 lms import 把 ollama 的模型导进来等价于官方导入流程还省了一次下载。重启 Bionic让模型库重新扫描左侧本地模型 → 资源库里就能看到导入的模型Qwen3.8-27b、ornith-1.5:9b 等点模型卡片即可加载。加载后可以在已加载的实例里看到运行状态。1. 模型默认设置在设置 → 本地模型默认设置里可以调整上下文长度AutoFit 会自动匹配。刚上手建议从 8K-16K 起步别一上来就拉满 256K长上下文会拖慢 prefill、多吃内存。2. 推理引擎Bionic 内置三套引擎GGUFllama.cpp、PTE、MLX。默认 GGUF 引擎跑 ornith 就够。0x05 用 Bionic 干活Code 项目和 Work 项目Bionic 本身就是 Agent 平台不需要切换模式。它的干活方式是建项目1. 两种项目Code 项目指向一个本地代码文件夹Agent 进去读代码、查 bug、解释逻辑、改代码改完生成行级 diff 给你审你确认才落地。Work 项目处理文档、PDF、PPT、表格在沙盒环境里操作改坏了可以回滚。2. Agent 怎么干活模型负责规划下一步做什么Bionic 的工具层负责真正执行文件搜索、文件修改、Git、Shell、网页搜索。你只需要把任务描述清楚剩下的交给 Agent。0x06 起本地 API让别的工具也能用Bionic 可以把加载好的模型以 OpenAI 兼容 API 对外提供服务任何支持 OpenAI 兼容协议的客户端都能连上来调用。1设置 → 本地模型 API → 打开开关。端口和地址以设置页显示为准LM Studio 系惯例是 1234 端口。2其他工具连Base URL: http://localhost:1234/v1 API Key: 随便填本地不校验 模型名: ornith-1.5:9b3验证curlhttp://localhost:1234/v1/chat/completions\-HContent-Type: application/json\-d{model:ornith-1.5:9b,messages:[{role:user,content:你好}]}0x07 Bionic 常用设置让模型说中文与参数调优模型加载好、API 也起来了接下来是日常使用最关心的设置。1. 让模型说中文我专门查过 Bionic 官方文档Bionic 没有独立的系统提示词设置框经典 LM Studio 的聊天界面有 System Prompt 字段但 Bionic 这个 Agent 应用没有。Bionic 是任务驱动的会话里的任务描述就是它的指令——直接在任务描述里提要求最有效1在会话开头或任务描述里加一句“请用中文回复”。2如果是在 Code / Work 项目里干活把这句话写进任务说明项目内相关任务都会遵循。模型说哪种语言由它自己判断通常跟着提问语言走。想要稳定中文就明确写进任务指令。关于中文还是英文我的实测感受顺带回答一个常见疑问中文回复会不会更快会快一点点但感知不强——中文一个汉字约 1-2 个 token英文一个词约 1-1.5 个 token同样内容中文 token 更少、生成时间略短但差距在 5%-15% 级别本地模型本身生成速度有限不值得为速度选语言为体验选中文就好。2. 上下文长度在设置 → 本地模型默认设置里调整。刚上手建议8K-16K起步1别一上来就拉满 256K——长上下文会拖慢 prefill、多吃内存。2Agent 任务需要较长上下文时再逐步加大够用就好。3. 温度Temperature控制回答的随机性4. 其他常规配置核心就三个对话里要求中文回复、上下文 16K、agent 任务温度调低其他默认就好。0x08 实测对比MLX 反而不如 GGUF这里有一段真实的弯路写出来帮大家避坑。1. 我一开始想走 MLXLLM 在 Mac 上用 MLX 框架通常比 llama.cpp 快不少于是我从 ModelScope 下载了 ornith-1.5-9B 官方 MLX 4bit 权重5GB国内源下载约 10 分钟然后用 mlx-lm 跑 benchmark。2. 结果出乎意料MLX 反而更慢原因ornith-1.5 的架构太新MLX 的优化还没跟上。MLX 的快是针对成熟架构Llama、Mistral 等的新模型发布初期往往跑不出优势。结论这个模型现阶段用 GGUF llama.cpp 就是最优解。3. 结论不要迷信 MLX 一定更快实测为准。新模型先用 GGUF 跑通等 MLX 生态跟上再切换。内存方面 MLX 占用确实更小约 6GBGGUF 在 256K 大上下文下会到 14GB 左右日常小上下文也会明显回落——内存紧张时 MLX 可以留作备选。0x09 踩坑清单0xFF 总结本地模型跑 Agent关键是 prefill 速度和工具调用能力ornith-1.5 是合适的模型。Bionic 是 LM Studio 团队推出的独立 Agent 应用模型在设置 → 本地模型里管理用 Code/Work 项目干活。ollama 的模型文件可以直接软链给 Bionic零重复下载。在对话里直接要求模型用中文回复agent 任务温度调低更稳。MLX 不一定比 GGUF 快新模型实测为准。下载模型优先用国内源ModelScope比直连快得多。邵奈一原创不易如转载请标明出处教育是一生的事业。
大家好我是邵奈一一个爱折腾的程序猿、正儿八经的斜杠青年。1、这几年我整理了不少 IT 技术教程也喜欢记录工作中的经验和生活的点滴。2、如果文章对你有帮助是我的荣幸欢迎在评论区交流。0x00 教程内容前面我讲了如何在本地跑大模型、怎么让推理更快一点这篇接着解决一个更实际的问题模型有了怎么让它真正干 Agent 的活而不是只能在聊天窗口里一问一答。背景本地模型跑 Agent 的痛认识 ornith-1.5 与 Bionic零下载接入把 ollama 的模型直接送给 Bionic在 Bionic 里加载模型用 Bionic 干活Code 项目和 Work 项目起本地 API让别的工具也能用Bionic 常用设置让模型说中文与参数调优实测对比MLX 反而不如 GGUF踩坑清单0x01 背景本地模型跑 Agent 的痛先说痛点。之前我在 ollama 里跑 ornith-1.5:9b单轮问答挺快一两秒就回复。但一旦放进 Agent 工作流里就废了——Agent 平台的每次请求都会带上几十个工具的定义 系统提示 对话历史一次请求轻松好几万 token。我的 ornith-1.5:9b 在 macOSM 系列芯片上 prefill 只有 200 tokens/秒左右处理五万 token 的请求四分钟只消化到一半Agent 平台等不及直接超时风扇倒是转得飞起。模型本身没病是大上下文 × 慢 prefill的组合问题。1. 本地模型跑 Agent 的两个硬门槛1prefill 速度Agent 请求上下文巨大prefill 慢就是灾难这是硬件和模型决定的换个聊天客户端也救不了。2工具调用能力模型必须支持 function calling否则 Agent 平台没法让它自主调工具。好在 ornith-1.5 天生就是为 Agent 训练的。0x02 认识两个主角ornith-1.5 与 Bionic1. ornith-1.5 是什么ornith-1.5 是 DeepReinforce 团队发布的模型系列走的是自我改进训练路线天生为 Agent 场景设计MIT 协议随便商用。家族有三个尺寸它支持工具调用、思考模式还能看图。全系原生上下文 256K。2. Bionic 是什么Bionic 是 LM Studio 团队Element Labs推出的独立 AI Agent 应用2026 年 7 月发布定位是开源模型的 AI Agent。注意它和经典 LM Studio 是两个独立应用不是改名——经典 LM Studio 偏聊天和模型管理Bionic 是能真正干活的 Agent写代码、改文档、生成 PPT模型自己规划、调用工具、执行多步任务。Bionic 的模型运行方式有三种默认本地优先。关键认知Bionic 不是连接外部模型的聊天客户端也不是纯服务端——它是一个 Agent 平台模型在会话里选择Agent 负责规划执行。0x03 零下载接入把 ollama 的模型直接送给 Bionic1. 最省事的方法软链接Bionic 与 LM Studio 共用同一个模型库目录~/.lmstudio/models/官方也支持把外部下载的 GGUF 模型导入lms import 命令。ollama 下载的模型都是标准的 GGUF 文件存在~/.ollama/models/blobs/里。同一个 GGUF 文件两边都能读——没必要重复下载软链接就行。先找到 ollama 里 ornith-1.5:9b 的 GGUF 文件——它的模型层就存在~/.ollama/models/blobs/下是标准的 GGUF 文件。按大小找9B 模型的 GGUF 约 5.6GB是最大的几个文件之一ls-la~/.ollama/models/blobs/|sort-rn|head如果想确认哪个文件属于 ornith-1.5:9b看它的 manifestlayers 里的 digest 就是 blob 文件名cat~/.ollama/models/manifests/registry.ollama.ai/library/ornith-1.5/9b2. 用 lms 导入带软链Bionic 自带命令行工具 lms在~/.lmstudio/bin/lms导入命令~/.lmstudio/bin/lmsimport~/.ollama/models/blobs/sha256-xxxxxxxx --symbolic-link--yes--user-repoornith-ai/Ornith-1.5-9B-GGUF注意lms import 只认.gguf结尾的文件名blob 是 sha256 哈希名会警告文件不像模型文件。所以要手动建一个带 .gguf 后缀的软链mkdir-p~/.lmstudio/models/ornith-ai/Ornith-1.5-9B-GGUFln-sfn~/.ollama/models/blobs/sha256-xxxxxxxx\~/.lmstudio/models/ornith-ai/Ornith-1.5-9B-GGUF/Ornith-1.5-9B-Q4_K_M.gguf这样零下载、零转换ollama 和 Bionic 共用同一份模型文件。0x04 在 Bionic 里加载模型Bionic 的本地模型入口在设置 → 本地模型探索Explore用来搜索下载新模型资源库Library显示已经索引的模型。国内直连 Hugging Face 下载很慢所以我们用软链 lms import 把 ollama 的模型导进来等价于官方导入流程还省了一次下载。重启 Bionic让模型库重新扫描左侧本地模型 → 资源库里就能看到导入的模型Qwen3.8-27b、ornith-1.5:9b 等点模型卡片即可加载。加载后可以在已加载的实例里看到运行状态。1. 模型默认设置在设置 → 本地模型默认设置里可以调整上下文长度AutoFit 会自动匹配。刚上手建议从 8K-16K 起步别一上来就拉满 256K长上下文会拖慢 prefill、多吃内存。2. 推理引擎Bionic 内置三套引擎GGUFllama.cpp、PTE、MLX。默认 GGUF 引擎跑 ornith 就够。0x05 用 Bionic 干活Code 项目和 Work 项目Bionic 本身就是 Agent 平台不需要切换模式。它的干活方式是建项目1. 两种项目Code 项目指向一个本地代码文件夹Agent 进去读代码、查 bug、解释逻辑、改代码改完生成行级 diff 给你审你确认才落地。Work 项目处理文档、PDF、PPT、表格在沙盒环境里操作改坏了可以回滚。2. Agent 怎么干活模型负责规划下一步做什么Bionic 的工具层负责真正执行文件搜索、文件修改、Git、Shell、网页搜索。你只需要把任务描述清楚剩下的交给 Agent。0x06 起本地 API让别的工具也能用Bionic 可以把加载好的模型以 OpenAI 兼容 API 对外提供服务任何支持 OpenAI 兼容协议的客户端都能连上来调用。1设置 → 本地模型 API → 打开开关。端口和地址以设置页显示为准LM Studio 系惯例是 1234 端口。2其他工具连Base URL: http://localhost:1234/v1 API Key: 随便填本地不校验 模型名: ornith-1.5:9b3验证curlhttp://localhost:1234/v1/chat/completions\-HContent-Type: application/json\-d{model:ornith-1.5:9b,messages:[{role:user,content:你好}]}0x07 Bionic 常用设置让模型说中文与参数调优模型加载好、API 也起来了接下来是日常使用最关心的设置。1. 让模型说中文我专门查过 Bionic 官方文档Bionic 没有独立的系统提示词设置框经典 LM Studio 的聊天界面有 System Prompt 字段但 Bionic 这个 Agent 应用没有。Bionic 是任务驱动的会话里的任务描述就是它的指令——直接在任务描述里提要求最有效1在会话开头或任务描述里加一句“请用中文回复”。2如果是在 Code / Work 项目里干活把这句话写进任务说明项目内相关任务都会遵循。模型说哪种语言由它自己判断通常跟着提问语言走。想要稳定中文就明确写进任务指令。关于中文还是英文我的实测感受顺带回答一个常见疑问中文回复会不会更快会快一点点但感知不强——中文一个汉字约 1-2 个 token英文一个词约 1-1.5 个 token同样内容中文 token 更少、生成时间略短但差距在 5%-15% 级别本地模型本身生成速度有限不值得为速度选语言为体验选中文就好。2. 上下文长度在设置 → 本地模型默认设置里调整。刚上手建议8K-16K起步1别一上来就拉满 256K——长上下文会拖慢 prefill、多吃内存。2Agent 任务需要较长上下文时再逐步加大够用就好。3. 温度Temperature控制回答的随机性4. 其他常规配置核心就三个对话里要求中文回复、上下文 16K、agent 任务温度调低其他默认就好。0x08 实测对比MLX 反而不如 GGUF这里有一段真实的弯路写出来帮大家避坑。1. 我一开始想走 MLXLLM 在 Mac 上用 MLX 框架通常比 llama.cpp 快不少于是我从 ModelScope 下载了 ornith-1.5-9B 官方 MLX 4bit 权重5GB国内源下载约 10 分钟然后用 mlx-lm 跑 benchmark。2. 结果出乎意料MLX 反而更慢原因ornith-1.5 的架构太新MLX 的优化还没跟上。MLX 的快是针对成熟架构Llama、Mistral 等的新模型发布初期往往跑不出优势。结论这个模型现阶段用 GGUF llama.cpp 就是最优解。3. 结论不要迷信 MLX 一定更快实测为准。新模型先用 GGUF 跑通等 MLX 生态跟上再切换。内存方面 MLX 占用确实更小约 6GBGGUF 在 256K 大上下文下会到 14GB 左右日常小上下文也会明显回落——内存紧张时 MLX 可以留作备选。0x09 踩坑清单0xFF 总结本地模型跑 Agent关键是 prefill 速度和工具调用能力ornith-1.5 是合适的模型。Bionic 是 LM Studio 团队推出的独立 Agent 应用模型在设置 → 本地模型里管理用 Code/Work 项目干活。ollama 的模型文件可以直接软链给 Bionic零重复下载。在对话里直接要求模型用中文回复agent 任务温度调低更稳。MLX 不一定比 GGUF 快新模型实测为准。下载模型优先用国内源ModelScope比直连快得多。邵奈一原创不易如转载请标明出处教育是一生的事业。
