录一次屏,让 AI Agent 学会你的活:微软开源 Skill Recorder,把"演示 > 提示词"推成了新标准

金句开头:你以为教 AI 做事靠的是写一万字提示词,微软的回答是——你亲手做一次,AI 看着你做一次,它就能写出一份能复用的 SKILL.md。

封面:录一次屏,让 AI Agent 学会你的活

一、为什么这篇值得写

过去 18 个月,几乎所有"AI 自动化"的工具都在两个极端里反复横跳:

一端是 RPA 厂商,给你一台"录屏回放机",死记像素坐标,页面一改版就全废;
另一端是 Agent 厂商,让你写 prompt,长到几千字也讲不清"我到底想干什么"。

而 2026-08-05 这一天,微软把一个看起来"无聊到爆"的小工具推到了 GitHub Trending 前列:microsoft/skill-recorder —— 录一次屏,让 AI Agent 学会你的活。它上线 12 天,GitHub stars 一路从 0 飙到 2,815+,被大量工程师称为"2026 年至今最像'人话'的 Agent 工具"。

它做的事情简单到令人发指:

你按 ⌘⇧R(Mac)或 Ctrl+Shift+R(Windows)开始录屏;
正常做你日常要做的事 —— 提报销、提交 PR、回复工单;
录完后,GitHub Copilot 把你做的事"翻译"成一份结构化的 Markdown 技能文档(SKILL.md);
下次类似任务来,任何 Agent(Scout、Copilot Cowork、未来的 Copilot Studio,甚至 Claude Code/Codex)都能直接调用。

这不是 RPA 的复活,这是"演示 > 提示词"这件事第一次被工业级实现。

二、先看图:Skill Recorder 想解决的到底是什么

传统 RPA vs Skill Recorder:同一份"录屏",两种人生

一句话对比: 传统 RPA 录的是"操作",Skill Recorder 录的是"意图"。

维度	传统 RPA / 录屏宏	Skill Recorder
录制对象	鼠标坐标、键盘事件	窗口切换、浏览器 URL、剪贴板、可选语音
产出物	一段不可读的二进制脚本	一份可读、可版本化、可提 PR 的 SKILL.md
抗改版能力	极差,改一个字段就崩	优,优先调用 native 工具(gh CLI / web_fetch)
跨任务复用	几乎为零	同结构任务可参数化复用
知识沉淀	没有,只沉淀"操作流"	把"过程知识"显性化、版本化
适合谁	写脚本的工程师	任何会用电脑的人

三、它到底怎么工作:四步流水线

四步流水线:屏幕 → 意图 → SKILL.md → 任意 Agent

Step 1 · Record(本地录):在后台静默记录屏幕 + 操作系统活动信号。屏幕视频用 Chromium 的 desktopCapturer + VP8 低帧率,只作"锚定增强",不作为主信号。这意味着录制成本极低,不会把你的硬盘打满。

Step 2 · Analyze(Copilot 重建):你点击 Analyze,这时才把"事件时间线 + 抽帧图片 + 旁白文字"发到 GitHub 云端,由 Copilot 重建出一段"总意图 + 有序步骤"。这一步是核心 —— 它不是在解析像素,而是在"理解你为什么这么做"。

Step 3 · Create(生成 SKILL.md):从审核过的分析里,生成一份真正能读的 Markdown:

name: expense-submit
description: 在 OA 系统提交普通报销单,适用于金额 ≤ 3000、票据清晰、无特批的差旅
inputs:
  amount: number          # 报销金额
  invoices: string[]      # 票据 PDF 路径列表
tools:
  - oa.open-form
  - oa.fill-field
  - oa.attach-file
  - oa.submit
steps:
  1) 调用 oa.open-form,等待表单加载完成
  2) 调 oa.fill-field 填入 amount 与事由
  3) 对每张 invoices[i] 调 oa.attach-file
  4) 自检 3 张内未填字段,弹窗确认后 oa.submit

这份 SKILL.md 不仅是给 AI 看的,更是给人看的 —— 你可以直接在 GitHub 提 PR,加 edge_case,加注释。

Step 4 · Reuse(任意 Agent 复用):目前已支持的运行时包括 Microsoft Scout、Copilot Cowork;Copilot Studio 入口已留位但还标注 "Coming soon"(官方说"已经能上传 SKILL.md 并在 Studio 里跑通")。对非微软系,只要你愿意,任何支持 model.prompt(messages=[...]) 形态的 Agent(Claude Code、Codex、OpenCode)都能直接消费。

四、SKILL.md 长这样:一个真正"可读"的过程性资产

SKILL.md 长这样:一个真正"可读"的过程性资产

我故意把"SKILL.md 长什么样"单拎一节,因为这是整个项目最被低估的设计决策。

如果它输出的还是一段"伪代码 / DSL",那 Skill Recorder 充其量是"加了 AI 的 Selenium"。但它没有 —— 它坚持输出一份纯 Markdown + YAML frontmatter。这意味着:

可读 = 可改。人看得懂,就能提 PR,就能在 review 时直接给同事说"第 3 步那个分支帮我补一下";
可版本化。直接 git init 进版本库,任何团队成员的修改都有 diff;
可泛化。一次录制可服务 N 份同结构任务(填一份报 N 份);
优先用 native 工具。gh、web_fetch、git,而不是死记点击 —— 这让 Skill Recorder 不会因为 UI 改版就废。

官方原话很直白:"prefer the agent's native tools (like the gh CLI or web_fetch) over replaying UI clicks." —— 这是它与传统 RPA 拉开身位的本质差异。

五、6 个真实场景:把"演示驱动"接进你团队

6 个真实场景:把"演示驱动"接进你团队

场景	录什么	收益点
A · 行政 / OA	报销、请假、立案	一次录制,N 份提交,字段从参数化 inputs 注入
B · 工程师 / 运维	事故响应、拉日志、kubectl	一次演练 = 一份新人可用的 SKILL
C · 销售 / 客服	客户异议处理、工单升级	老员工 10 年经验 1 小时沉淀
D · 内容 / 设计	剪映 / Figma 模板工作流	改一次脚本,自动化生产 N 条
E · 数据 / 财务	对账导数、复核差额	步骤可读 = 审计可追 ⚠️ 严格脱敏
F · 个人 / 学习	学吉他 / 调代码 / 做饭	一次示范可复用到类似步骤

六、边界与隐私:用得越爽,越要先把"红线"说清楚

边界与隐私:演示驱动的"成本表"

官方在 SECURITY.md 和 WINDOWS-VALIDATION.md 里反复强调一件事:录屏就是录屏,不是免审金牌。

✅ 适合录:公开页面、测试账号、重复性高的内部流程、没有支付 / 登录态变化的任务;
❌ 绝对别录:真实账号密码、Token、API Key、支付路径、客户 PII、合规要求"双人复核"的资金 / 权限审批。

因为 Skill Recorder 在 Analyze 阶段才会把"事件时间线 + 抽帧 + 旁白"发到 GitHub 云端 —— 屏幕视频、窗口切换这些本地信号本身不上云,但 Analyze 一旦触发,这些"摘要 + 截图"就离开了你的机器。所以官方主动弹窗提示:"请勿录制密码、Token、API Key 等机密信息"。

七、3 分钟上手:macOS / Windows 一行装好

安装命令(摘自官方 README,commit 必须固定,每条命令装的是同一个源码版本):

macOS / Ubuntu:

commit="<40-character-release-commit>"  # 查最新 release 的 commit
curl -fsSL "https://raw.githubusercontent.com/microsoft/skill-recorder/$commit/install.sh" | \
  SKILL_RECORDER_COMMIT="$commit" SKILL_RECORDER_DETACHED=1 bash

SKILL_RECORDER_DETACHED=1 表示"关掉终端后应用继续运行"。装好后会在 ~/Applications 出现 "Skill Recorder (Source)" 应用。

Windows (PowerShell):

$commit = "<40-character-release-commit>"
$env:SKILL_RECORDER_COMMIT = $commit
irm "https://raw.githubusercontent.com/microsoft/skill-recorder/$commit/install.ps1" | iex

首次启动流程:

授予屏幕录制权限(macOS 首次会弹窗);
第一次按 ⌘⇧R / Ctrl+Shift+R 开始录;
录完后,应用浮窗会显示"Sign in to Copilot"(未登录);
Analyze 后,生成 SKILL.md,可手动编辑,再 Create 出可分发 Skill。

八、和最近爆火的 Agent 工具有什么不一样

最近 30 天我推荐过 6 个 Agent 工具,经常有读者问"它和 Skill Recorder 到底差在哪"。一句话总结:

agent-skills(Addy Osmani 出品):是"Skill 生态的标准",定义 SKILL.md 怎么写;
obra/superpowers:是"Skill 工程的范式",讲怎么把 Skill 串成流水线;
microsoft/skill-recorder:是 Skill 的"录制器",把"演示"自动转成 SKILL.md。

三者关系: Skill Recorder 负责生产 → SKILL.md 是产物 → superpowers/agent-skills 负责消费与编排。它不抢 Agent 框架的饭碗,而是补齐"知识从何而来"这一环。

九、它真的能跑吗?目前已知 4 个边界

Copilot Studio 入口未完全开放 —— UI 上还是 "Coming soon",但官方实测已经能上传 SKILL.md;
截图识别仍依赖 Copilot —— Analyze 阶段强制走 GitHub 云端,本地纯离线暂时不支持;
Whisper 模型首次下载 ~252MB —— 旁白转录是可选,但一旦启用就要先拉模型;
Node 24+ 要求 —— 系统级 Node 24 才能跑源码模式,Windows 11 ARM64 已支持。

十、它让我重新思考的一件事

Skill Recorder 最让我震撼的不是技术,而是它背后的"AI 学习观"。

过去我们总说"AI 需要数据",但 Skill Recorder 在说另一件事: AI 需要的是"你做事的样本",不是"世界的事实"。

如果一个团队里每个老员工 10 年沉淀的"操作经验"都能被一次录屏沉淀成 SKILL.md,那这家公司的知识资产就从"文档"升级成了"过程"——任何新人来了,直接 git pull 一份 SKILL 库,就能像老员工一样干活。

这跟"写 prompt"完全不是一回事。Prompt 是你在猜 AI 想要什么,演示是你把答案拍在桌面上。

如果未来三年,所有的"操作型知识"都能这样沉淀,那 Skill Recorder 不会是终点,但很可能是"AI 进入办公室"的真正起点。

附:本文重点回顾

Skill Recorder 是微软 2026-08 上线的桌面端"演示驱动"工具,录一次屏 → Copilot 重建意图 → 输出可读 SKILL.md;
与传统 RPA 的本质差异:录的是"意图"不是"坐标",产出是"知识"不是"脚本";
四步流水线:Record(本地)→ Analyze(云端)→ Create(SKILL.md)→ Reuse(任意 Agent);
SKILL.md 是纯 Markdown + YAML frontmatter —— 可读、可版本化、可提 PR;
隐私红线:Analyze 才上云,录屏时本地;不要录密码/Token/支付路径;
三件套关系:Skill Recorder 负责"产",SKILL.md 是"产品",superpowers/agent-skills 负责"用";
不要把它当 RPA 复活 —— 它是"AI 进入办公室"的入口工具。

录一次屏,让 AI Agent 学会你的活:微软开源 Skill Recorder,把"演示提示词"推成了新标准

配套媒体