UI-TARS Desktop

📌 核心价值：字节跳动开源的多模态 AI Agent 栈，让 AI 像真人一样看屏幕、点鼠标、敲键盘，37.1K Star、Apache 2.0 协议、本地桌面 + 远程浏览器全场景覆盖。

当 ChatGPT Operator 还停在云端、Computer Use 还在 Beta，UI-TARS Desktop 已经把 GUI Agent 真正"装"进了你的电脑。

---

🚀 什么是 UI-TARS Desktop？

UI-TARS Desktop 是字节跳动 Seed 团队于 2025 年开源的多模态 AI Agent 栈（Apache 2.0 协议），包含两个核心组件：

• UI-TARS：基于视觉-语言模型（VLM）的 GUI 理解与操作基础模型
• UI-TARS Desktop：把 UI-TARS 模型装进 Electron 桌面壳，提供 GUI、CLI、Web 三种交互方式

和传统 RPA（UiPath、影刀）依赖 DOM 选择器、坐标定位不同，UI-TARS Desktop 完全靠"看屏幕"工作——你给它一句"帮我把桌面上 report.pdf 拖到桌面",它就像一个真人一样移动鼠标、点击、拖拽。背后是字节跳动自研的 UI-TARS-1.5-7B 视觉-语言模型，已经在 GUI Agent 基准上刷到 SOTA。

核心定位：把"会聊天的 AI"升级为"会干活的 AI"——不需要 API、不需要脚本、不需要 DOM，直接看屏幕动手干。

---

✨ 核心功能一览

UI-TARS Desktop 的核心能力可以归纳为 5 个维度：

维度	能力说明
纯视觉 GUI 理解	不依赖 DOM/XPath，直接基于屏幕截图推理界面元素
本地桌面操作	操控真实键鼠，跨 Windows / macOS / Linux 三大平台
远程浏览器操控	通过远程桥接，AI 在云端跑、用户本地看
MCP 生态扩展	支持 Model Context Protocol，可挂载任意 MCP Server
多模态 Agent 工作流	GUI Agent + Vision + Tool Use 组合，可完成多步复杂任务

---

🛠️ 快速上手：5 分钟跑通示例

1. 安装 CLI

# 环境要求：Node.js >= 22
node -v

# 全局安装 Agent TARS CLI
npm install @agent-tars/cli -g

# 验证安装
agent-tars --version

2. 启动 Web UI 模式

# 启动本地 Web 界面（默认 http://localhost:8888）
agent-tars serve --port 8888

3. 第一次任务：让 AI 自动整理桌面

打开浏览器访问 http://localhost:8888，在对话框输入：

"请把桌面上所有 .pdf 文件移动到 ~/Documents/PDFs 文件夹下，文件名按日期重命名。"

UI-TARS Desktop 会：

1. 截图 → 视觉模型识别桌面图标
2. 推理 → 规划操作序列（先打开文件管理器，再拖拽）
3. 执行 → 真实模拟鼠标键盘操作
4. 反馈 → 任务完成后输出结构化报告

4. 进阶：接入自定义 MCP Server

// mcp-config.ts
export default {
  mcpServers: {
    'my-mcp': {
      command: 'npx',
      args: ['tsx', './my-mcp-server.ts'],
      env: { API_KEY: 'your-key' }
    }
  }
}

启动时指定 --mcp-config ./mcp-config.ts，UI-TARS Desktop 就能调用你自己的 MCP 工具（例如查数据库、调内部 API）。

注意：第一次运行需要下载 UI-TARS-1.5-7B 模型（约 14GB），建议使用千兆宽带 + SSD 存储。

---

📊 与同类工具对比

GUI Agent 赛道 2025 年以来持续升温，我们横向对比 4 个最常被提及的工具：

维度	UI-TARS Desktop	Anthropic Computer Use	OpenAI Operator	AutoGPT
厂商	字节跳动	Anthropic	OpenAI	开源社区
协议 / 费用	Apache 2.0 免费	按 API 调用计费	ChatGPT Pro $200/月	MIT 免费
本地运行	支持	不支持	不支持	支持
GUI 理解	视觉 + 语言	视觉 + 语言	视觉 + 语言	仅文本指令
中文支持	原生	一般	良好	一般
模型可替换	是（Qwen-VL 等）	否	否	是
桌面端 vs 云端	桌面 + 远程	云端 API	云端	本地

核心差异：UI-TARS Desktop 是目前唯一"开源 + 本地 + 多模态 GUI 理解"三位一体的方案。

---

💡 适用场景

场景 1：重复性桌面办公自动化

功能说明：CLI 模式适合把 UI-TARS Desktop 嵌进 CI/CD 或定时任务，例如每天自动从 ERP 导出报表、自动填写 OA 审批单、自动从邮箱抓取附件归档。

输入要求：自然语言描述任务 + 必要凭证（如 ERP 登录态）

输出效果：执行日志 + 截图证据 + 结构化结果（JSON / Markdown）

适用场景：

• 财务：每日银行流水下载 + 分类整理
• HR：新员工入职材料自动提交
• 运营：多平台数据抓取（小红书 / 抖音 / 微博）

---

场景 2：跨应用数据搬运

功能说明：当数据需要从 A 应用复制到 B 应用，且 A/B 都不开放 API 时，UI-TARS Desktop 就像一个"数字员工"在窗口之间搬运数据。

输入要求：源窗口截图 + 目标窗口位置 + 字段映射规则

输出效果：源数据自动写入目标应用，过程中保留格式

适用场景：

• CRM → Excel 客户信息批量导出
• 邮件附件 → 云盘自动归档
• 微信群消息 → 飞书文档自动汇总

---

场景 3：远程办公 + 浏览器操作

功能说明：UI-TARS Desktop 支持"本地看 + 远程做"模式——AI Agent 运行在你的云服务器，但实际操作的浏览器 / 桌面是你家里或公司的电脑。适合需要访问内网系统的远程办公场景。

输入要求：远程桥接地址 + 任务描述

输出效果：在用户本地屏幕上看到 AI 操作全过程，结束后输出任务报告

适用场景：

• 居家办公访问公司内网 OA
• 跨国团队访问地域受限服务
• 自动化测试跨地域业务流

---

用户群体总结

• ✅ 个人开发者：搭建自己的"数字员工"、自动化日常重复任务
• ✅ 中小企业 IT 部门：替代部分 RPA，降低自动化成本
• ✅ 测试工程师：UI 自动化测试的新范式（自然语言驱动）
• ✅ AI 应用研究者：研究 GUI Agent / VLA 模型的最佳实践
• ❌ 不适合：纯云端 SaaS 场景（建议用 OpenAI Operator）、纯命令行场景（直接写脚本）

---

💰 定价方案

UI-TARS Desktop 本身完全免费（Apache 2.0 协议），但运行需要以下资源：

资源	最低配置	推荐配置
GPU	NVIDIA RTX 3060 12GB	NVIDIA RTX 4090 24GB
内存	16GB	32GB
存储	50GB SSD	100GB NVMe
模型	UI-TARS-1.5-7B（14GB）	UI-TARS-1.5-7B + 量化版

配套成本：

• 本地部署：电费 + 硬件折旧（≈ 0 边际成本）
• 远程模式：云服务器 GPU 实例（按小时计费，A10 大约 ¥3/小时）

开源协议： Apache-2.0

💡 省钱提示：用 Ollama / vLLM 加载 4-bit 量化版，显存需求可从 14GB 降到 6GB，3060 也能跑。

---

🎯 总结

UI-TARS Desktop 把字节跳动在 GUI Agent 领域的积累完整开源给社区——你不仅拿到一个能用的桌面应用，还拿到一个可微调、可二次开发的视觉-语言模型基础架构。在 2026 年这个"AI Agent 元年"，它可能是最值得关注的中文 GUI Agent 工具。

推荐指数： ⭐⭐⭐⭐⭐（满分 5 星）

适合人群： 自动化爱好者、Python/TypeScript 开发者、企业 IT 部门、AI Agent 研究者

立即体验： UI-TARS Desktop 官网

GitHub 仓库： bytedance/UI-TARS-desktop

---

数据截至 2026-06-25，最新信息请以官网为准。