10 分钟跑通 UI-TARS Desktop:用一句自然语言操作你的电脑

发布时间:2026/11/21 18:46:28

10 分钟跑通 UI-TARS Desktop:用一句自然语言操作你的电脑 10 分钟跑通 UI-TARS Desktop用一句自然语言操作你的电脑【免费下载链接】UI-TARS-desktopThe Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktopUI-TARS Desktop 是一款桌面端多模态 GUI Agent给它一句自然语言指令它会截图、识别屏幕再在你的本地电脑或浏览器里执行鼠标和键盘操作。既能直接当自动化助手也能拿仓库里的 SDK 去驱动自己的产品。核心能力一屏速览自然语言控制桌面一句打开 VS Code 并开启 Auto Save模型负责把意图翻译成菜单点击、输入和滚动。双本地操作器Computer Operator 接管整机Browser Operator 负责页面与表单后者要求系统装有 Chrome、Edge 或 Firefox。视觉化识别不依赖 DOM 或辅助功能树截图加视觉语言模型复杂布局的界面也能认。操作报告每轮任务结束自动产出分步报告支持下载文件或生成可分享链接。工作原理 / 架构速览核心链路是感知 → 规划 → 执行的循环你发出指令后操作器先截图完成感知VLM 根据截图与指令产出下一步动作操作器在真实电脑或浏览器上执行新的屏幕状态回传作为下一轮输入直到模型判定任务完成。报告环节是一条独立分支任务结束后先检查是否配置了报告存储服务有则上传报告文件并生成可访问链接没有则直接下载到本地。桌面应用主进程在apps/ui-tars/src/main/Agent 核心与环境抽象位于multimodal/目录。从零跑通分步实操第一步安装macOSbrew install --cask ui-tars或从 Releases 页下载安装包拖入 ApplicationsWindows下载安装包直接运行前置条件目前仅支持单显示器多显示器环境部分任务会失败第二步授权与配置 VLM 模型macOS 需要在系统设置 → 隐私与安全性里授予两项权限辅助功能控制鼠标键盘和屏幕录制识别屏幕内容。然后打开 Settings → VLM Settings选择 Provider 并填写参数VLM Provider: Hugging Face for UI-TARS-1.5 # 或 VolcEngine Ark for Doubao-1.5-UI-TARS VLM Base URL: https://xxx/v1/ # HF endpoint 必须以 /v1/ 结尾 VLM API KEY: your_api_key VLM Model Name: your_model_name点击Check Model Availability确认端点连通即可。第三步发出第一条指令点击开始按钮选择Computer Operator操作本机或Browser Operator操作浏览器在输入框填入任务例如打开浏览器查一下上海明天的天气Agent 即开始截图并执行动作。两个典型场景场景一查最新 Issue角色项目维护者痛点每天人工翻 issue 太慢指令打开浏览器查看本仓库最新的 open issue并总结给我结果Agent 自行导航页面、读取 issue汇总写入操作报告场景二改 VS Code 设置角色开发者痛点设置项藏得深找起来烦指令在 VS Code 中开启 Auto Save延迟设为 500 毫秒结果模型自己打开设置面板定位选项并改完高频坑与解法⚠️ 以下三条基本覆盖了新手的大部分失败案例模型检查不通过根因是 Base URL 没以/v1/结尾或 Provider 与模型不匹配——UI-TARS-1.5 必须选对应 Provider否则动作解析会出错。解法换成 endpoint 页面展示的地址后重新验证。动作打偏、识别不到界面根因是 macOS 未授予屏幕录制权限或多显示器环境。解法系统设置里补齐权限并切到单显示器运行。Remote Operator 无响应根因是免费远程服务已于 2025 年 8 月 20 日下线。解法改用本地操作器或按 quick-start 文档 自行部署远程 Agent。想深入改看这里multimodal/agent-tars/core/ — Agent 主循环与环境抽象environments/目录下有 20 多个环境实现想调整 Agent 与环境的交互方式从这里入手。packages/ui-tars/operators/ — 操作器层nut-js本地电脑、browser、ADB 等实现都在这新增执行环境就是在这里加一个 Operator。packages/ui-tars/sdk/ —ui-tars/sdk跨平台 GUI 自动化 SDKNode.js 与浏览器端均可调用适合嵌入自己的产品。examples/gui-agent-2.0/ — 最小可运行 demoSDK 接 AIO sandbox 跑一个天气查询熟悉 SDK 的最快路径。git clone https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop先跑examples/gui-agent-2.0/里的最小 demo再回桌面版试试打开记事本。【免费下载链接】UI-TARS-desktopThe Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
延伸阅读

更多相关文章

2026/11/20 10:29:30

老电脑指南:可以装Win7系统CPU盘点

ㅤㅤ尽管Windows 7系统官方已停止支持多年,但鉴于目前还有很多工控软件对高版本系统的兼容性、以及特定办公需求和用户的操作习惯,Win7系统直至目前依然具有不可替代的使用价值。然而,随着硬件架构的快速迭代,新款处理器与Windows…

2026/11/21 14:21:01

用 scrcpy 在电脑上跑手机游戏:轻量安卓投屏与控制方案

用 scrcpy 在电脑上跑手机游戏:轻量安卓投屏与控制方案 【免费下载链接】scrcpy Display and control your Android device 项目地址: https://gitcode.com/GitHub_Trending/sc/scrcpy scrcpy 是一款开源的安卓投屏工具,能把手机画面镜像到电脑&a…

2026/11/22 3:17:01

应城哪里办电工证官方回应来了,证书过期了怎么处理?

应城哪里办电工证官方回应来了,证书过期了怎么处理? 证书过期了不知道怎么复审延期,你不是一个人。最近有不少人因为电工证过期,被单位暂停上岗,甚至面临被罚款的风险。很多人以为电工证就是考了就完事,其实不然。 官方回应…

2026/11/22 3:17:01

射洪电工证在哪办理你知道吗?考前押题帮你拿证更轻松

射洪电工证在哪办理你知道吗?考前押题帮你拿证更轻松 之前考的证在外省能不能转过来?这个问题几乎每个在外地打工的朋友都会问。如果你正在射洪找工作,或者已经在射洪生活,手里有外地电工证但不知道如何转过来,这篇文章就是为你准备的。不仅告诉你…

2026/11/22 3:17:01

青海电工证好考吗?在哪考更靠谱?别让证书过期了才知道后悔

青海电工证好考吗?在哪考更靠谱?别让证书过期了才知道后悔 证书过期了不知道怎么复审延期,这种情况每年都在发生。很多人拿到电工证后,以为一劳永逸,结果一两年后突然发现证书已经失效,再想补救却发现流程复杂、时间来不及。尤其在青海,…

2026/11/22 3:17:01

持证上岗特种工有哪些,真实经历告诉你怎么转证不踩坑

持证上岗特种工有哪些,真实经历告诉你怎么转证不踩坑 之前考的证在外省能不能转过来?这事儿我见过太多人因为不懂政策,白白浪费了时间、钱和机会。今天我用自己在三门峡做公路工程的真实经历,给你讲清楚【持证上岗特种工有哪些】,还有怎么转证、报名、考…

2026/11/22 3:17:01

上饶电工证哪电考多久拿证?新手必看的3个真相

上饶电工证哪电考多久拿证?新手必看的3个真相 你手上没证,工地大门都进不去。现在找工作,电工证是硬门槛, 上饶电工证哪电考 是很多本地人头疼的问题,尤其想知道 多久拿证 。今天就带你拆解清楚,从报考到上岗的全流程。…

2026/11/22 3:12:01

技能入户电工证可以吗?通过率揭秘!你在外省的证能转过来吗?

技能入户电工证可以吗?通过率揭秘!你在外省的证能转过来吗? 之前考的证在外省能不能转过来?这是很多正在考虑技能入户或者想在河南发展的电工从业者最关心的问题。很多人在老家考了电工证,后来因为工作调动或想在大城市定居,都担心自己的证书能不能在河…

2026/11/22 0:09:40

高压电工证还能年审吗良心建议来了,学历不高也能考!

高压电工证还能年审吗良心建议来了,学历不高也能考! 你是不是也担心,自己学历不高,根本报不上高压电工证?其实不然,现在政策已经非常明确, 高压电工证还能年审 ,而且只要符合条件, 学历不是门槛 , 良心建议…

2026/11/22 0:09:40

吴江的电工证免费培训怎么报名?官方报名入口全解析

吴江的电工证免费培训怎么报名?官方报名入口全解析 你急需特种作业证才能上岗找工作,但不知道从哪里下手?别急,现在就给你讲明白【吴江的电工证免费培训】到底怎么操作,以及怎么通过 官方报名入口…

2026/11/22 0:09:40

电工证复审肃州区的真实经历:别被中介坑了,自己搞定更靠谱

电工证复审肃州区的真实经历:别被中介坑了,自己搞定更靠谱 不知道去哪报名怕被中介坑?这几乎是每个需要办理或复审电工证的人的真实经历。尤其在肃州区,信息不透明、流程复杂、中介收费高又不靠谱,让很多电工从业者感到头疼。作为一个在应急管理和特种作…

2026/11/22 0:09:40

高压电工证还能年审吗良心建议来了,学历不高也能考!

高压电工证还能年审吗良心建议来了,学历不高也能考! 你是不是也担心,自己学历不高,根本报不上高压电工证?其实不然,现在政策已经非常明确, 高压电工证还能年审 ,而且只要符合条件, 学历不是门槛 , 良心建议…

2026/11/22 0:09:40

吴江的电工证免费培训怎么报名?官方报名入口全解析

吴江的电工证免费培训怎么报名?官方报名入口全解析 你急需特种作业证才能上岗找工作,但不知道从哪里下手?别急,现在就给你讲明白【吴江的电工证免费培训】到底怎么操作,以及怎么通过 官方报名入口…

2026/11/22 0:09:40

电工证复审肃州区的真实经历:别被中介坑了,自己搞定更靠谱

电工证复审肃州区的真实经历:别被中介坑了,自己搞定更靠谱 不知道去哪报名怕被中介坑?这几乎是每个需要办理或复审电工证的人的真实经历。尤其在肃州区,信息不透明、流程复杂、中介收费高又不靠谱,让很多电工从业者感到头疼。作为一个在应急管理和特种作…

2026/11/21 7:57:43

面向复杂光照与角度的宠物面部识别鲁棒性增强策略

在智慧养宠时代,基于视觉的宠物身份识别技术正逐步从实验室走向家庭应用。然而,与配合度高的人类不同,宠物是典型的“非合作生物识别对象”——它们不会主动配合摄像头调整姿态,更无法控制光照环境。实际应用中,我们常…

2026/11/21 0:24:21

SSM电子书店源码全解析:结构、原理、部署与排错实战

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

还想了解更多?直接咨询顾问

免费诊断 + 免费方案 + 透明报价。

全国咨询热线400-8866-253
免费获取方案
☎咨询二维码 ☎ ↑