如何快速上手 Cua：让 AI 安全操作 macOS 桌面的完整指南

如何快速上手 Cua让 AI 安全操作 macOS 桌面的完整指南【免费下载链接】cuaScale computer-use 2.0 with open-source drivers, cross-OS fleets, and benchmarks for training, evaluation, and data generation.项目地址: https://gitcode.com/GitHub_Trending/cua/cuaCua发音 koo-ahComputer-Use Agent 的简称是一个开源的计算机使用代理框架它在 Apple Silicon 上创建并运行 macOS/Linux 虚拟机让 AI 代理看到屏幕、点击、输入在一个完全隔离的虚拟桌面里替你操作应用、浏览网页、编写代码。下文带你从零跑通第一个代理任务。上面这张架构图概括了 Cua 的三大支柱左边的Desktop Sandboxes提供运行环境macOS 虚拟机、Windows/Linux 沙盒等中间的Computer Framework负责截图、键鼠输入和代码执行右边的Agent Framework接入各种大模型把自然语言任务翻译成一连串桌面操作。为什么先给 AI 一个隔离桌面让大模型直接在你本机上点鼠标风险很明显误删文件、输错密码、打开陌生网页任何一步都可能造成不可逆的后果。Cua 的思路是把干活的地方和你的本机彻底分开隔离所有操作发生在虚拟机或容器里搞砸了直接丢弃重建本机和真实账号毫发无损。高速底层基于 Apple Virtualization.FrameworkmacOS 虚拟机在 Apple Silicon 上可达接近原生的性能最高约 90%不是缓慢的传统软件模拟。可重复每个任务环境可以按需创建、用完即毁适合批量跑自动化流程或评测。一句话AI 负责看和想Cua 给它一台随时可以扔掉的电脑。核心能力拆解macOS 虚拟化 代理控制Cua 由两类能力咬合而成各自独立、也可组合使用。虚拟化层Lume在 Mac 上创建、启动、管理 macOS 和 Linux 虚拟机。支持从苹果恢复镜像IPSW一键装出干净的 macOS 系统内置的sequoia、tahoe预设会自动建用户、开 SSH、配置自动登录省去整个 Setup Assistant 流程。细节可看 libs/lume/scripts/install.sh 所在的 Lume 模块。代理层Sandbox ComputerAgent统一的 Python SDK 抽象出Sandbox不管底层是 macOS 虚拟机、Linux 容器还是 Windows 镜像API 都一样——shell.run、screenshot、mouse.click、keyboard.type甚至支持多点触控手势。ComputerAgent则负责把帮我把这张图改成 800x600这样的指令循环拆解为截图 → 决策 → 动作 → 再截图直到任务完成。一条命令装好 Cua环境准备很简单只需要 Python3.12/3.13 推荐和一条 pip 命令pip install cua这一条装好的是统一 SDK里面打包了cua-sandbox沙盒、cua-agent代理、cua-cli命令行管理工具三件套OpenAI、Anthropic、Gemini 的 API 后端默认都已包含不需要额外配置。如果你还想在 Mac 上跑本地的 macOS 虚拟机再装 Lume CLI仓库里提供了一键安装脚本 libs/lume/scripts/install.sh在终端执行它即可完成安装随后就能用lume create/lume run管理虚拟机。更多安装细节见 libs/python/cua/README.md。3 分钟跑通第一个代理任务下面是最小的可运行示例创建一个本地 Linux 沙盒把沙盒交给代理让它自己打开浏览器访问一个网页from cua import Sandbox, Image, ComputerAgent async with Sandbox.ephemeral(Image.linux(), localTrue) as sb: agent ComputerAgent(modelanthropic/claude-sonnet-4-5, tools[sb]) async for response in agent.run(Open the browser and go to example.com): print(response)逐行解释一下在发生什么Sandbox.ephemeral(Image.linux())启动一个一次性的 Linux 桌面环境async with结束时就自动销毁ComputerAgent指定模型并声明工具是这个沙盒——代理之后所有点击、打字都发生在沙盒内部agent.run(...)是一个流式生成器每完成一步就 yield 一段响应你可以实时看到代理的推理和动作。跑起来后终端会滚动打印代理的步骤截图观察、判断当前界面、执行点击或输入直到打开 example.com。这就是一个最朴素的 computer use agent 闭环。真实场景速览跑通示例后可以试试这些更接近日常的路子仓库内均有对应示例模块如 libs/python/agent/example.pyGradio 交互界面把代理放进一个网页里左侧选模型和循环策略右侧直接下指令适合边调边看。多应用工作流同一个任务里让代理开浏览器查资料、切到 VS Code 改代码、再开终端验证模拟真实开发流程。CLI 驱动不写 Python 时也可以用 cuabot 这类命令行工具对桌面应用做点击和输入例如在 LibreOffice Calc 里定位单元格、填入内容。周边组件一览Cua 是一个组件化生态按需取用即可组件位置作用Lumelibs/lume/Apple Silicon 上的 macOS/Linux 虚拟机 CLIcua-sandboxlibs/python/cua-sandbox/创建与操控沙盒的 SDKcua-agentlibs/python/agent/LLM 驱动的计算机使用代理cua-driverlibs/cua-driver/在 macOS/Windows/Linux 上后台驱动原生桌面应用不抢焦点Computer Serverlibs/python/computer-server/CUI 框架的服务器组件支持自托管SOMlibs/python/som/Set-of-Mark 视觉定位库帮代理看清点哪里cua-benchlibs/cua-bench/基准测试与 RL 环境用于评测和训练模型Cuabotlibs/cuabot/命令行代理给桌面应用做带手的操作新手建议的路线先用统一 SDKpip install cua跑通 Linux 沙盒里的第一个任务 → 需要 macOS 环境时再装 Lume 拉起本地虚拟机 → 想评测或规模化时再引入 cua-bench 和 fleet 相关组件。按这条路径走完你就拥有了一个给 AI 的安全工作台——它能在里面随便折腾而你的真实电脑永远只是观众。【免费下载链接】cuaScale computer-use 2.0 with open-source drivers, cross-OS fleets, and benchmarks for training, evaluation, and data generation.项目地址: https://gitcode.com/GitHub_Trending/cua/cua创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考