1. 为什么我要在本地跑一个 7B 的 Computer Use AgentFara-7B 是微软放出的一个 70 亿参数 SLM Agent专门干一件事看屏幕截图然后直接输出鼠标点击坐标和键盘输入替你把浏览器里的活儿干完。它和传统聊天模型最大的区别在于它不生成一段文字让你自己去操作而是像人一样盯着浏览器窗口预测下一步该点哪里、该输入什么。对于想快速验证 Computer Use 场景的开发者来说这个体量意味着你不需要 A100 集群一张消费级显卡甚至量化后 CPU 都能跑起来。我关注它主要是两个原因。第一它不依赖 accessibility tree也不需要额外的屏幕解析模型输入就是截图输出就是 Playwright 风格的click(x,y)和type()链路极短。第二它把多智能体系统的复杂度蒸馏进了一个单模型部署时不用再维护 Orchestrator、WebSurfer、UserSimulator 那一套。但问题也很现实模型权重在 Hugging Face 上推理服务得自己搭而 Agent 循环里每一步都要调模型如果每次请求都走公网大模型 API延迟和成本都受不了。所以我用 TaoToken 的统一 Key 来承接模型调用本地只跑 Fara-7B 的推理和 Playwright 执行器把配置骨架固定下来后面换模型或换任务都不用改代码结构。这篇内容适合已经能跑 Python 和 Playwright、想快速验证最小操作电脑 Agent 的开发者。我会给出可复制的settings.json和config.toml骨架然后走一遍端到端验证让 Agent 打开一个页面、输入搜索词、点击结果确认它能完成基础桌面操作任务。2. TaoToken 前置统一 Key 与接入点确认在动手改配置文件之前先把 TaoToken 这边的接入信息确认清楚。TaoToken 提供的是统一 API Key你不需要为每个模型单独申请账号同一个 Key 可以路由到不同的模型端点。对于 Fara-7B 这种需要频繁调用的 Agent 场景统一 Key 的好处是Agent 循环里的每一次observe-think-act都走同一个入口省去多套凭证切换的麻烦。你需要先拿到 API Key。登录 TaoToken 控制台在 API Keys 页面创建一个新 Key权限选默认的调用权限即可。创建后复制保存后面写进config.toml的api_key字段。注意不要把这个 Key 提交到 Git 仓库建议用环境变量注入。接入地址用https://taotoken.net/api这是 API 调用的基础路径不要加 UTM 参数。模型对话的入口在https://taotoken.net/api下的 chat completions 路径具体拼接方式在下一节的配置里体现。如果你后面要长期跑编码类 Agent可以了解 Coding Plan如果只是验证模型对话能力可以直接用模型对话页面测试。注意Fara-7B 是实验版本官方建议在沙盒环境运行避免处理敏感数据或高风险领域。我自己的做法是单独开一个浏览器 profile不登录任何真实账号只跑公开页面任务。3. 可复制配置settings.json 与 config.toml 骨架Fara-7B 的官方仓库在github.com/microsoft/fara克隆后先建虚拟环境、装依赖、装 Playwright 浏览器。这部分命令直接照做git clone https://github.com/microsoft/fara.git cd fara python3 -m venv .venv source .venv/bin/activate pip install -e . playwright install接下来是配置。Fara-7B 的 Agent 循环需要两个东西模型推理端点以及浏览器执行器的参数。我把模型端点统一指向 TaoToken浏览器执行器保持本地 Playwright。先看settings.json这个文件放在项目根目录控制 Agent 的运行时行为{ agent: { name: fara-7b-local, max_steps: 15, step_timeout_seconds: 30, screenshot_history: 3, action_space: [click, type, scroll, web_search, visit_url], sandbox_mode: true }, browser: { headless: false, viewport: { width: 1280, height: 800 }, user_data_dir: ./.browser_profile, locale: zh-CN }, model: { provider: taotoken, base_url: https://taotoken.net/api, model_name: Fara-7B, max_tokens: 512, temperature: 0.1 } }几个参数说明一下。max_steps设 15 是因为最小验证任务通常 5 到 8 步就能完成留余量防止死循环。screenshot_history设 3 和官方训练时的上下文一致模型每次预测看最近三张截图。temperature压到 0.1Agent 任务要的是稳定复现不是创意。headless设 false 是为了肉眼观察它到底点了哪里调试阶段别开无头。然后是config.toml这个文件管凭证和端点细节[taotoken] api_key ${TAOTOKEN_API_KEY} base_url https://taotoken.net/api chat_path /v1/chat/completions timeout_seconds 60 max_retries 3 [fara] model_id Fara-7B vision_input true coordinate_format absolute [playwright] browser chromium slow_mo_ms 200api_key用${TAOTOKEN_API_KEY}占位运行时从环境变量读。chat_path拼在base_url后面就是完整的对话端点。slow_mo_ms设 200 是让每个动作慢一点方便你看清 Agent 的操作序列正式跑可以调 0。环境变量这样设置export TAOTOKEN_API_KEY你的Key如果你用的是 Windows PowerShell换成$env:TAOTOKEN_API_KEY你的Key。4. 端到端验证让 Agent 完成一次搜索点击配置就绪后写一个最小验证脚本。任务设计得简单但完整打开一个公开页面在搜索框输入关键词点击搜索结果里的第一个链接确认页面标题变化。这个任务覆盖了visit_url、type、click三种动作足够验证 Agent 的视觉定位和动作预测是否正常。import asyncio import os from fara.agent import FaraAgent from fara.browser import PlaywrightExecutor async def main(): executor PlaywrightExecutor( headlessFalse, slow_mo_ms200, user_data_dir./.browser_profile ) agent FaraAgent( model_endpointos.environ[TAOTOKEN_API_KEY], base_urlhttps://taotoken.net/api, model_nameFara-7B, max_steps15 ) task 打开 https://example.com在页面中找到搜索入口输入 agent点击第一个结果 result await agent.run(task, executor) print(任务状态:, result.status) print(执行步数:, result.steps) print(最终页面标题:, await executor.get_title()) asyncio.run(main())跑起来后你会看到浏览器窗口弹出Agent 先截图然后把截图和任务描述发给 TaoToken 的对话端点模型返回一个 reasoning 消息加一个 tool call比如click(640, 320)。执行器执行动作再截图循环直到任务完成或达到max_steps。成功的结果长这样终端打印任务状态: success执行步数在 5 到 8 之间最终页面标题变成搜索结果页的标题。如果标题没变或者步数跑满 15说明模型没定位到正确元素进入下一节排查。提示第一次跑建议把headless保持 false盯着浏览器看。如果 Agent 点偏了截图里能看到它点的坐标和实际元素的位置差多少这个反馈比日志直观。5. 本篇常见错排查报错一401 Unauthorized或invalid api key。先确认环境变量TAOTOKEN_API_KEY在当前 shell 里能echo出来。如果用的是 IDE 内置终端环境变量可能没继承重新开一个终端或者直接在脚本里临时写死测试。另外检查config.toml里api_key的占位符有没有被正确替换有些 TOML 解析库不认${}语法需要手动读环境变量再赋值。报错二playwright install后仍然提示浏览器不存在。这是因为 Playwright 的浏览器装在了虚拟环境的缓存目录但执行器可能去系统路径找。解决办法是激活虚拟环境后再跑一次playwright install chromium或者设置PLAYWRIGHT_BROWSERS_PATH指向虚拟环境内的路径。报错三Agent 反复点同一个位置步数跑满。这是视觉定位漂移的典型表现。先检查screenshot_history是不是设成了 3太少会导致模型看不到动作历史。再检查viewport尺寸如果截图被缩放模型预测的绝对坐标会和实际页面坐标对不上。把viewport固定成 1280x800和训练时的常见分辨率对齐。如果还不行把temperature降到 0减少随机性。报错四max_tokens不够导致 tool call 被截断。Fara-7B 的输出是 reasoning 加 tool callreasoning 部分可能比较长。如果max_tokens设得太小tool call 的 JSON 会被截断执行器解析失败。把max_tokens提到 512 以上观察返回内容是否完整。报错五任务涉及登录或表单提交时卡住。这是预期行为Fara-7B 在需要用户输入的场景会触发 UserSimulator 逻辑但本地最小配置里没接这个模块。验证阶段先跑不需要登录的公开页面任务别一上来就测账户管理。6. 后续怎么接从验证到长期编码 Agent跑通上面这个最小验证后你手里就有了一个能看屏幕、能点鼠标的 7B Agent。接下来如果想把它用到日常编码或更长的任务链上有两个方向可以走。第一个方向是换更稳定的模型端点。Fara-7B 是实验版本复杂任务上会有指令偏差和幻觉如果你要跑多步骤的编码 Agent可以考虑在 TaoToken 里切换到更适合长上下文和工具调用的模型。统一 Key 的好处在这里体现你只需要改config.toml里的model_idAgent 循环和浏览器执行器都不用动。长期跑编码类任务的话可以了解 Coding Plan它针对高频调用场景做了额度优化。第二个方向是把验证脚本里的硬编码任务换成任务队列。最小验证里任务是一个字符串实际用的时候你会有一批任务要跑。把agent.run()包一层循环每个任务独立开一个浏览器 context任务之间清空user_data_dir避免状态污染。执行日志按任务 ID 落盘方便回看每一步的截图和动作。如果你在接入过程中遇到端点拼接或 Key 权限的问题直接看接入文档里面有完整的路径说明和示例。验证模型对话能力的话模型对话页面可以快速试一条请求确认 Key 和端点都通。需要管理多个 Key 或查看调用量去控制台。跑编码 Agent 之前建议先在 API Keys 页面确认额度够用避免任务跑到一半断掉。
1. 为什么我要在本地跑一个 7B 的 Computer Use AgentFara-7B 是微软放出的一个 70 亿参数 SLM Agent专门干一件事看屏幕截图然后直接输出鼠标点击坐标和键盘输入替你把浏览器里的活儿干完。它和传统聊天模型最大的区别在于它不生成一段文字让你自己去操作而是像人一样盯着浏览器窗口预测下一步该点哪里、该输入什么。对于想快速验证 Computer Use 场景的开发者来说这个体量意味着你不需要 A100 集群一张消费级显卡甚至量化后 CPU 都能跑起来。我关注它主要是两个原因。第一它不依赖 accessibility tree也不需要额外的屏幕解析模型输入就是截图输出就是 Playwright 风格的click(x,y)和type()链路极短。第二它把多智能体系统的复杂度蒸馏进了一个单模型部署时不用再维护 Orchestrator、WebSurfer、UserSimulator 那一套。但问题也很现实模型权重在 Hugging Face 上推理服务得自己搭而 Agent 循环里每一步都要调模型如果每次请求都走公网大模型 API延迟和成本都受不了。所以我用 TaoToken 的统一 Key 来承接模型调用本地只跑 Fara-7B 的推理和 Playwright 执行器把配置骨架固定下来后面换模型或换任务都不用改代码结构。这篇内容适合已经能跑 Python 和 Playwright、想快速验证最小操作电脑 Agent 的开发者。我会给出可复制的settings.json和config.toml骨架然后走一遍端到端验证让 Agent 打开一个页面、输入搜索词、点击结果确认它能完成基础桌面操作任务。2. TaoToken 前置统一 Key 与接入点确认在动手改配置文件之前先把 TaoToken 这边的接入信息确认清楚。TaoToken 提供的是统一 API Key你不需要为每个模型单独申请账号同一个 Key 可以路由到不同的模型端点。对于 Fara-7B 这种需要频繁调用的 Agent 场景统一 Key 的好处是Agent 循环里的每一次observe-think-act都走同一个入口省去多套凭证切换的麻烦。你需要先拿到 API Key。登录 TaoToken 控制台在 API Keys 页面创建一个新 Key权限选默认的调用权限即可。创建后复制保存后面写进config.toml的api_key字段。注意不要把这个 Key 提交到 Git 仓库建议用环境变量注入。接入地址用https://taotoken.net/api这是 API 调用的基础路径不要加 UTM 参数。模型对话的入口在https://taotoken.net/api下的 chat completions 路径具体拼接方式在下一节的配置里体现。如果你后面要长期跑编码类 Agent可以了解 Coding Plan如果只是验证模型对话能力可以直接用模型对话页面测试。注意Fara-7B 是实验版本官方建议在沙盒环境运行避免处理敏感数据或高风险领域。我自己的做法是单独开一个浏览器 profile不登录任何真实账号只跑公开页面任务。3. 可复制配置settings.json 与 config.toml 骨架Fara-7B 的官方仓库在github.com/microsoft/fara克隆后先建虚拟环境、装依赖、装 Playwright 浏览器。这部分命令直接照做git clone https://github.com/microsoft/fara.git cd fara python3 -m venv .venv source .venv/bin/activate pip install -e . playwright install接下来是配置。Fara-7B 的 Agent 循环需要两个东西模型推理端点以及浏览器执行器的参数。我把模型端点统一指向 TaoToken浏览器执行器保持本地 Playwright。先看settings.json这个文件放在项目根目录控制 Agent 的运行时行为{ agent: { name: fara-7b-local, max_steps: 15, step_timeout_seconds: 30, screenshot_history: 3, action_space: [click, type, scroll, web_search, visit_url], sandbox_mode: true }, browser: { headless: false, viewport: { width: 1280, height: 800 }, user_data_dir: ./.browser_profile, locale: zh-CN }, model: { provider: taotoken, base_url: https://taotoken.net/api, model_name: Fara-7B, max_tokens: 512, temperature: 0.1 } }几个参数说明一下。max_steps设 15 是因为最小验证任务通常 5 到 8 步就能完成留余量防止死循环。screenshot_history设 3 和官方训练时的上下文一致模型每次预测看最近三张截图。temperature压到 0.1Agent 任务要的是稳定复现不是创意。headless设 false 是为了肉眼观察它到底点了哪里调试阶段别开无头。然后是config.toml这个文件管凭证和端点细节[taotoken] api_key ${TAOTOKEN_API_KEY} base_url https://taotoken.net/api chat_path /v1/chat/completions timeout_seconds 60 max_retries 3 [fara] model_id Fara-7B vision_input true coordinate_format absolute [playwright] browser chromium slow_mo_ms 200api_key用${TAOTOKEN_API_KEY}占位运行时从环境变量读。chat_path拼在base_url后面就是完整的对话端点。slow_mo_ms设 200 是让每个动作慢一点方便你看清 Agent 的操作序列正式跑可以调 0。环境变量这样设置export TAOTOKEN_API_KEY你的Key如果你用的是 Windows PowerShell换成$env:TAOTOKEN_API_KEY你的Key。4. 端到端验证让 Agent 完成一次搜索点击配置就绪后写一个最小验证脚本。任务设计得简单但完整打开一个公开页面在搜索框输入关键词点击搜索结果里的第一个链接确认页面标题变化。这个任务覆盖了visit_url、type、click三种动作足够验证 Agent 的视觉定位和动作预测是否正常。import asyncio import os from fara.agent import FaraAgent from fara.browser import PlaywrightExecutor async def main(): executor PlaywrightExecutor( headlessFalse, slow_mo_ms200, user_data_dir./.browser_profile ) agent FaraAgent( model_endpointos.environ[TAOTOKEN_API_KEY], base_urlhttps://taotoken.net/api, model_nameFara-7B, max_steps15 ) task 打开 https://example.com在页面中找到搜索入口输入 agent点击第一个结果 result await agent.run(task, executor) print(任务状态:, result.status) print(执行步数:, result.steps) print(最终页面标题:, await executor.get_title()) asyncio.run(main())跑起来后你会看到浏览器窗口弹出Agent 先截图然后把截图和任务描述发给 TaoToken 的对话端点模型返回一个 reasoning 消息加一个 tool call比如click(640, 320)。执行器执行动作再截图循环直到任务完成或达到max_steps。成功的结果长这样终端打印任务状态: success执行步数在 5 到 8 之间最终页面标题变成搜索结果页的标题。如果标题没变或者步数跑满 15说明模型没定位到正确元素进入下一节排查。提示第一次跑建议把headless保持 false盯着浏览器看。如果 Agent 点偏了截图里能看到它点的坐标和实际元素的位置差多少这个反馈比日志直观。5. 本篇常见错排查报错一401 Unauthorized或invalid api key。先确认环境变量TAOTOKEN_API_KEY在当前 shell 里能echo出来。如果用的是 IDE 内置终端环境变量可能没继承重新开一个终端或者直接在脚本里临时写死测试。另外检查config.toml里api_key的占位符有没有被正确替换有些 TOML 解析库不认${}语法需要手动读环境变量再赋值。报错二playwright install后仍然提示浏览器不存在。这是因为 Playwright 的浏览器装在了虚拟环境的缓存目录但执行器可能去系统路径找。解决办法是激活虚拟环境后再跑一次playwright install chromium或者设置PLAYWRIGHT_BROWSERS_PATH指向虚拟环境内的路径。报错三Agent 反复点同一个位置步数跑满。这是视觉定位漂移的典型表现。先检查screenshot_history是不是设成了 3太少会导致模型看不到动作历史。再检查viewport尺寸如果截图被缩放模型预测的绝对坐标会和实际页面坐标对不上。把viewport固定成 1280x800和训练时的常见分辨率对齐。如果还不行把temperature降到 0减少随机性。报错四max_tokens不够导致 tool call 被截断。Fara-7B 的输出是 reasoning 加 tool callreasoning 部分可能比较长。如果max_tokens设得太小tool call 的 JSON 会被截断执行器解析失败。把max_tokens提到 512 以上观察返回内容是否完整。报错五任务涉及登录或表单提交时卡住。这是预期行为Fara-7B 在需要用户输入的场景会触发 UserSimulator 逻辑但本地最小配置里没接这个模块。验证阶段先跑不需要登录的公开页面任务别一上来就测账户管理。6. 后续怎么接从验证到长期编码 Agent跑通上面这个最小验证后你手里就有了一个能看屏幕、能点鼠标的 7B Agent。接下来如果想把它用到日常编码或更长的任务链上有两个方向可以走。第一个方向是换更稳定的模型端点。Fara-7B 是实验版本复杂任务上会有指令偏差和幻觉如果你要跑多步骤的编码 Agent可以考虑在 TaoToken 里切换到更适合长上下文和工具调用的模型。统一 Key 的好处在这里体现你只需要改config.toml里的model_idAgent 循环和浏览器执行器都不用动。长期跑编码类任务的话可以了解 Coding Plan它针对高频调用场景做了额度优化。第二个方向是把验证脚本里的硬编码任务换成任务队列。最小验证里任务是一个字符串实际用的时候你会有一批任务要跑。把agent.run()包一层循环每个任务独立开一个浏览器 context任务之间清空user_data_dir避免状态污染。执行日志按任务 ID 落盘方便回看每一步的截图和动作。如果你在接入过程中遇到端点拼接或 Key 权限的问题直接看接入文档里面有完整的路径说明和示例。验证模型对话能力的话模型对话页面可以快速试一条请求确认 Key 和端点都通。需要管理多个 Key 或查看调用量去控制台。跑编码 Agent 之前建议先在 API Keys 页面确认额度够用避免任务跑到一半断掉。
