typesafe-computer-use

📌 核心价值：让 AI 替你点鼠标、敲键盘，每一步只花 2 厘钱，比用大模型截图方案便宜 155 倍

开源项目 typesafe-computer-use：你说一句人话，它自己看屏幕、自己决定点哪里，一路做到完。12 步任务总成本约 0.003 美元，折合人民币 2 分钱。

---

🚀 什么是 typesafe-computer-use？

先说结论：这是一个让你用一句中文（或英文）指挥 AI 操作整台电脑的开源工具。你输入"去某个网站，帮我找到最便宜的那张票的购买页"，它就会自己截屏、自己找按钮、自己点击，直到把事情办完。

它在 GitHub 上叫 awlevin/typesafe-computer-use，MIT 协议，目前 427 星，9 月 16 日刚发布，更新很活跃。

它最大的卖点不是"能操作电脑"，而是"便宜到可以随便用"：市面上主流的 AI 操作电脑方案，每一步都要把整张截图发给一个大模型，等它想好几秒再动手，一步 0.032 美元起步；这个项目反着来——每一步只做一个选择题，由一个小型决策模型在 0.13~0.38 秒内答完，一步只要 0.0002 美元。

---

✨ 它是怎么做到这么便宜的？

传统方案每一步都在"让大模型看图说话"，其实 90% 的步骤根本不需要"想"，只需要"选"：点这个还是点那个？滚不滚动？要不要在输入框打字？

这个项目把每一步拆成了流程线上的选择题：

1. 截取屏幕：只截最前面那个窗口，不扫全屏（省 OCR 钱）
2. OCR 读出文字：用 macOS 自带的 Vision 框架，把屏幕文字读出来
3. 编号清单：把按钮、链接、文本块整理成一张带编号的列表
4. 小模型 3 连问：一次请求里问三个问题——"动作类型是什么？点哪一个？要不要去别的网站？"，返回的每个答案都带概率和置信度
5. 真实点击/输入：拿到答案直接执行，然后回到第 1 步循环，直到任务完成

置信度低于 0.4 会自动停下，连续两次没动作也会停——不会像喝了酒的实习生一样在桌面上乱点。

---

📊 实测成本：到底省多少？

仓库 README 给出了同一截图、同一目标下的实测对比（数据来自官方自测）：

翻译成大白话：让 AI 替你办一件 12 步的小事，花 2 分钱；用大模型截图方案，要 3~6 块钱。跑 1000 次自动化，一个方案 20 块，另一个 3000 多块——这就是"能不能天天开着"的区别。

在 TypeSafe 官方公布的评测里，这种"小决策模型"在准确率与成本的曲线上独占了一档：准确率接近大模型，成本却低了两个数量级。

---

🛠️ 五步上手

前提先泼盆冷水：目前只支持 macOS 14+（Apple Silicon 体验最佳），需要 Python 3.12+，Windows 用户暂时无福消受。另外决策模型用的是 TypeSafe 的 Jev 服务，需要去 typesafe.ai 申请 API Key（早期访问制）。

核心用法就一条命令：

# 先干跑：只打印它打算干什么，不动你的电脑
uv run clicker "open the Playground"

# 确认没问题后，真跑：最多 100 步
uv run clicker "go to techcrunch and take me to the checkout page" --act

注意：首次使用必须在 系统设置 → 隐私与安全性 里给终端开"屏幕录制"和"辅助功能"两个权限，不开的话截屏全是壁纸、模拟点击会被系统静默丢弃。

---

💡 它适合干什么？

场景一：重复的网页操作

每天要登后台、导报表、盯库存，把流程写成一句话，让它每天替你点一遍。一步 1.5 秒，比录屏脚本灵活——页面改版它也能自己找到新按钮。

场景二：帮你"找东西"

"在这三个电商网站里找最便宜的 XX"，它会自己开浏览器、自己翻页、自己比价，最后把答案打印出来。

场景三：批量填表

表单类操作是它的强项：字段、下拉框、提交按钮，全是选择题。

不适合什么

• ❌ 需要深度推理的任务（它不写文章、不做复杂分析，只做"点哪"的决定）
• ❌ Windows / Linux（暂不支持）
• ❌ 对隐私极其敏感的场景（屏幕文字会被 OCR 读出并发给决策服务）

---

📊 和同类方案怎么比？

一句话：它不是替代大模型，而是把"每一步"这种小判断从大模型手里拿走，只把真正需要写字、需要推理的少数几步留给大模型。

---

💰 定价

• 工具本身：MIT 开源，完全免费
• 决策服务：TypeSafe Jev 按量付费，输入 0.042 美元/百万 token，输出免费——个人日常自动化一个月大概率花不到一杯奶茶钱
• 写作模型（可选）：只在需要往输入框打字时调用，默认 claude-haiku-4-5

开源协议： MIT

💡 新用户注意：TypeSafe 目前是早期访问（waitlist）制，key 不是即申请即有，着急用的可以先排队

---

🎯 总结

这是"AI 操作电脑"从炫技走向实用的一个信号：当每一步便宜到 2 厘钱，"让 AI 帮你点电脑"才第一次变得可以天天开、随便用。冷静说一句：以上成本与延迟数据来自仓库作者的官方自测，尚无第三方复现；且 macOS-only + 需要 waitlist key，上手有门槛。但它把"分层决策"这个思路开源出来了——OCR 管看、小模型管选、大模型管写，这个架构本身就值得抄。

推荐指数： ⭐⭐⭐⭐（扣一星给平台限制）

适合人群： Mac 用户、想给重复操作做自动化的打手指、AI Agent 开发者

GitHub 仓库： awlevin/typesafe-computer-use

---

数据截至 2026-09-19，最新信息请以官网为准。