智能体可读的录屏工具
面向 AI 智能体的录屏
缺陷、操作演示或一条反馈,只需录制一次。同事拿到视频,而 Claude Code、Cursor 或 Codex 拿到摘要、你指出的确切时刻(附画面和点击目标)以及转写。智能体还能以无头模式或在你的真实屏幕上,录下自己工作的证明。
第一次接触这个概念?先从什么是智能体可读的录制开始。
7 天免费试用,无需绑卡。Clipy Pro 每月 US$9,随时取消。
格式
智能体有三种选择,只有一种行得通。
编程智能体看不了录屏。所以真正的问题从来不是录屏工具有没有 AI,而是录制内容以什么形式交到它手上。答案恰好有三种,下面的基准测试在同一任务上把三种都测了一遍。
直接交出原始视频
MP4 本身,画面和音频,直接塞进上下文窗口。
大多数编程智能体根本无法接收视频,能接收的那些则要为每一帧付费,不管画面里有没有动静。录制内容大多是冗余的:静止九秒的屏幕,就是九秒几乎一模一样的画面。
- 得分
- 2.4/12
- 成本
- 417,487 个输入 token,147 秒
交出转写
忠实的带时间戳的文字,也就是大多数录屏工具交给智能体的东西。
讲解屏幕时满是指代:这个按钮、那个、把这个移到那个上面。拿掉屏幕,这些话就失去了指向。转写忠实又便宜,却仍然无法告诉智能体你指的是哪个按钮。
- 得分
- 5.8/12
- 成本
- 78,257 个输入 token,49 秒
交出 AREC 文档
意图、提取出的需求、建议的计划、带画面和点击目标的关键时刻、诊断信息、捕获缺口,以及转写。
停止录制后需要一次处理,而且它只能和实际捕获到的内容一样好。没捕获到的东西它会明确说明,这正是它值得信赖的原因。
- 得分
- 11.8/12
- 成本
- 175,172 个输入 token,65 秒
反直觉的结果:结构化文档不仅比直接交出视频更准确,而且更便宜、更快。AREC 比原始录制少用了 58% 的输入 token,提前 82 秒完成,得分还更高。和转写相比,它大约多花 16 秒,换来 +6.0 分。
文档里有什么
在任意公开的 Clipy 观看链接后面加上 .arec,自己读一读。以下是各个字段,以及每个字段为什么值得存在。
- 意图与提取出的需求
- 你想达成什么,以及你提出的每一项具体修改,都和周围的自言自语区分开来。正是这一点让智能体不会把一句题外话当成任务。
- 关键时刻,附带画面和点击目标
- 真正承载含义的那些瞬间,每个都附有提取的画面,在捕获支持时还附有你实际点击的坐标。这个字段让“这个”有了明确指向。
- 建议的计划
- 一个智能体可以接受、调整顺序或提出异议的执行顺序,这样第一轮沟通讨论的是计划,而不是你到底想说什么。
- 诊断信息(如已捕获)
- 录制会话中的控制台消息和失败请求,附在它们发生的那一刻,而不是另外粘贴。
- 捕获缺口
- 明确说明录制内容没有展示什么。知道自己缺什么的智能体会提问;不知道的则会自信地瞎猜。
- 带时间戳的转写
- 完整保留的解说。上面的一切都来自这段录制,而转写让你能核对其中任何一部分。
格式是公开的,所以读取它只是一次 HTTP 请求,而不是一项供应商集成。阅读 AREC 规范
受控盲测研究 · 20 次主试验
在这项依赖视觉的任务中,AREC 以压倒性优势胜出。
在这项受控、盲测的落地页任务中,Clipy AREC 平均得分 11.8/12,纯转写为 5.8/12,每组各进行 5 次全新的隔离会话。AREC 在 4/5 次运行中满足全部六项要求,纯转写为 0/5。优势来自依赖视觉的需求,比如“移动这个按钮”,光靠文字说不清“这个”是哪个。
得分优势
+6.0
分;bootstrap 区间 4.8 至 7.4
完全达标
4/5 vs 0/5
AREC 对比纯转写
平均得分
11.8 vs 5.8
满分 12,AREC 对比纯转写
每一次 AREC 运行都超过了每一次纯转写运行(11–12 对 3–7)。
AREC 除了画面、指针目标和关键时刻,还包含完整转写,所以智能体从它那里得到的永远不会比从转写里少。当有人用手指而不是用话把一切讲清楚时,提升最大,而人们审阅界面时正是这样做的。这项受控研究在落地页任务上测量了这一点,每组 5 次全新会话。
在运行前预注册,SHA-256 a968595c07213677117fe849068a75034d1402fc98089e287b9249d3c11fb042。每次试验的补丁、事件日志和盲测截图全部公开,包括失败的那次 AREC 运行。
用你自己的话提要求
你真正可以提出的要求
下面每一行都对应一项现已可用的功能。把任意一行粘贴到已连接的智能体里就能用。所有读取、搜索或等待的操作都不会改动任何东西。录制、上传和编辑可能会改动数据。是否会看到确认提示,取决于你的智能体宿主及其设置。如果想在这些操作运行前先审核,请为 Clipy CLI 和 MCP 服务器保持工具审批开启。
弄清发生了什么
公开链接、skill、MCP 或 CLI智能体读取录制内容而不是观看:摘要、提取出的需求、带画面的关键时刻,以及带时间戳的转写。
“读一下这段录制,告诉我我提出的每一项修改,并注明各自出自哪个时间点:<link>”
提取出的需求加上转写。借助引用,你可以在播放器里核对任何一条说法。
“为错过这次通话的人总结这段录制,并列出尚未决定的事项:<link>”
摘要和意图,无需播放视频。
“这段录制中哪个关键时刻展示了真正的故障?那一刻屏幕上是什么?”
关键时刻附有提取的画面,在已捕获时还附有真实的点击坐标。
“这段录制漏掉了哪些你需要确认的内容?”
AREC 会明确列出捕获缺口,因此智能体能说出自己不知道什么。
复现并修复缺陷
公开链接或 MCP这类工具本来就是为这件事而生的。录制内容带有确切的元素和点击,智能体不必再猜你指的是哪个按钮。
“把这段录制转成复现步骤,然后找到相关的代码:<link>”
解说提供意图,关键时刻的画面提供屏幕状态。
“我点了一个东西,却毫无反应。读一下录制内容,根据点击目标找出确切的控件,并追踪它的处理函数。”
点击坐标来自 Mac 应用和 Chrome 扩展程序的捕获。
“检查这段录制的浏览器诊断信息,看看故障发生前后有没有控制台错误或失败的请求。”
在捕获时有记录就可用;没有记录时文档会注明。
“写一个能发现这段录制中所示行为的回归测试。”
依据演示出的流程编写,而不是依据书面描述。
替你录制
CLI 和 MCP,上传权限智能体不仅能读,也能录。对它能访问的 URL 用无头模式录制;对只存在于已登录应用里的内容,则录制你真实的 Mac 屏幕。
“录制 http://127.0.0.1:3000 上的这个本地应用,走一遍结账流程,然后把分享链接给我。”
无头捕获。可在服务器或 CI 中运行,无需显示器。
“在你操作名为“Staging”的 Chrome 窗口时录制它,并标记你验证的每一步。”
在 macOS 上捕获真实窗口,附带带时间戳的证据标记。
“开始一个录制会话,添加名为 BEFORE 的章节,复现这个缺陷,然后再添加一个名为 AFTER 的章节。”
标记和章节作为智能体解说,落在录制的时间轴上。
证明自己的工作
CLI智能体完成修改后,用它手头已有的捕获工具交回能证明修改确实有效的证据。无需依赖第二个浏览器。
“你已经修好了。现在在运行中的应用里验证一下,并通过 Clipy 把证明发给我。”
字幕由操作方作证:记录的是智能体报告它看到的内容,而不是 Clipy 的断言。
“把这些截图合成一段证明录制,每张配一条字幕,然后把观看链接给我。”
帧模式需要 ffmpeg,不需要显示器,因此可以在 CI 中运行。
“上传那次测试运行的 Playwright 视频,并同时返回观看 URL 和智能体上下文 URL。”
现有的 WebM 或 MP4 直接上传,无需重新编码。
搜索你录过的一切
MCP 和 CLI,需认证这是单个粘贴链接做不到的部分。连接 MCP 之后,旧的录制内容会持续回答新的问题。
“找到我们讨论定价页的那段录制,告诉我我们最后怎么决定的。”
在录制内容和导入的上下文中进行语义与关键词混合搜索。
“在我所有的录制里,有人提到过发票 worker 什么?”
返回确切的时刻和直达链接,而不只是一串视频列表。
“这个组件为什么这样构建?先查一下我的资料库,再去读代码。”
录下来的思路会作为可搜索的上下文保留下来。
引入外部视频
CLI一段 YouTube 教程或一个本地文件,会变成智能体可读的私有上下文文档,而不会重新托管到你的资料库里。
“把这个 YouTube 教程导入为上下文,并严格按照其中的设置步骤操作。”
生成一个私有的本地上下文包,不会发布到你的资料库。
“读取我磁盘上的这个录屏文件,并把它整理成任务清单。”
本地文件导入,文档结构相同。
智能体可以自行查到的完整约定,见 clipy guide --json 和 MCP 工具列表。阅读智能体参考文档
一段录制,把实事办成。
同事观看的那个 Clipy 链接,就是你的智能体据以行动的上下文。来看看整个团队是怎么用的。
缺陷只复现一次,交给智能体一份真实的复现
过去要写一份带编号步骤和裁切截图的复现说明,现在只需一次录下来的操作。
- 每次点击都带有目标元素,开发者拿到的是真能复现的复现。
- 把链接粘贴给你的编程智能体,它读取的是画面本身,而不是对画面的转述。
- 智能体可以直接根据录下的流程生成 Playwright 测试。
一段演示,变成整套发布物料
过去要花一上午手写更新日志、帮助文档和社交媒体帖子,现在从一段录下的演示开始。
- 把功能演示一次,让智能体起草更新日志、帮助文章和社交文案。
- 录制中的画面直接作为截图使用,没有任何内容是凭记忆描述的。
- 每份物料都对应着你在屏幕上真正展示过的内容。
把改动讲清楚,就能把改动交付
过去要花 20 分钟写清楚你想要做什么,现在只需一段两分钟的讲解,你的智能体就能据此行动。
- 指着界面,说出要改什么,分享一个链接。
- 你的编程智能体读取摘要和你指出的画面,然后提交修复。
- 从想法到 pull request 之间,不用再交写工单的“税”。
录下演示,让智能体负责跟进
过去每次通话后都要从零写一封回顾邮件,现在直接从录制内容开始。
- 发送一段个性化的异步演示,而不是再约一次线上会议。
- 转写和摘要会变成跟进邮件和 CRM 备注。
- 潜在客户可以按自己的节奏,重看真正关键的那一刻。
把流程走一遍,帮助文章自然就有了
过去一封客服回复要手写再改写,现在根据录下的流程自动生成。
- 把流程走一遍,让智能体整理成编号的帮助文章,每一步配一张截图。
- 或者给工程团队一份能复现的清晰升级报告,而不是一段含糊的描述。
- 同一段录制,还能解答下一位遇到同样问题的客户。
给 Claude Code、Cursor 或 Codex 一个它看得见的缺陷
过去要在 Slack 里发三条消息说“我一点这里就坏了”,现在只需一个链接,你的智能体从头读到尾。
- 录下“我一点这个就坏了”,把链接粘贴给你的智能体。
- 它读取画面,在代码库里查找它确实能看到的那个按钮,然后提交修复。
- 即使屏幕上有三个“导出”按钮,点击坐标也能把“这个”对应到真实的像素。
一条命令把 Clipy 接入你的智能体
无需复制粘贴任何 API 密钥。运行这条命令,在浏览器里批准一次,你的编程智能体就能录制和读取录制内容。
npx @clipy/cli agents install claude # also: codex · cursor
- 第 1 步
浏览器会打开;点击一次 Approve。页面会列出客户端和权限范围:读取你的录制,以及录制和上传。
- 第 2 步
Clipy skill 会安装到你的智能体的 skills 目录。
- 第 3 步
你的智能体用 Clipy 录制,也能读回任何录制内容。
完整设置、手动粘贴密钥的备用方式以及所有命令,都在 CLI 文档里。
你的智能体会录下自己的运行过程
读取录制只是一半。借助 Clipy CLI(前两种方式也可以用 MCP 服务器),编程智能体可以录下自己刚搭好的应用并直接读回结果,有三种方式,全程无需有人掌镜。
无头捕获
clipy record --url 在无头浏览器中打开应用并上传这次运行,无需显示器,因此可在 CI 和云端沙箱中使用。
实时会话,附带解说
clipy session start 在后台录制,同时智能体用自己的工具操作应用。每一个 clipy mark 都会成为转写中的一个章节,标注为智能体解说,绝不会冒充语音转写。
真实的 Mac 屏幕
--source mac-screen 通过正在运行的 Clipy Mac 应用,录制你真实的、已登录的屏幕(选定的窗口或显示器),录制指示始终可见。
为什么智能体能据 Clipy 录制采取行动
如今的智能体不看视频。Clipy 在服务器端完成转换,所以在原始 MP4 走不通的地方,一个普通链接就能用。
只需一个 URL:智能体上下文
在任意公开观看链接后加上 .arec,就能获得智能体上下文:摘要、关键时刻、画面和转写。无需安装、无需 API 密钥,所用 token 也远少于一次 MCP 往返。这正是智能体越来越偏爱的低门槛纯文本访问方式。人粘贴普通链接;装了 skill 的智能体知道这个约定。
关键时刻,而不只是文字
Clipy 会找出每一次口头指代,并提取那一刻的画面。如果有点击记录(Mac 应用和 Chrome 扩展程序的标签页录制),它会融合真实的点击坐标;在 Mac 应用的录制中,还会加上被点击元素的角色和标签。于是一个关键时刻读起来是“在 (0.63, 0.41) 点击了‘设置’按钮”,一份真能复现的复现,而不是转述。
用 MCP 访问私有资料库
粘贴的链接用 skill。当智能体需要认证访问时用 MCP:搜索整个资料库、读取私有录制,或通过工具调用直接拉取关键时刻画面。ChatGPT、Claude 和 Claude Code 完全无需安装:把托管服务器添加为连接器,在浏览器中登录即可。
https://clipy.online/video/<id>.arec
# UI Recording Feedback
Screen recording · 1:13 · watch: https://clipy.online/video/<id>…
## Summary
The speaker reviews a recording interface, pointing out a duplicated
timer and a settings section that should be collapsed…
## Key moments
```json
[{"t_ms":6400,"caption":"points to 'this section' on screen",
"frame_url":"https://cdn.clipy.online/key-moments/…/6400.jpg",
"x":0.63,"y":0.41,"source":"fused","confidence":0.9}, …]
```
### 0:06 · points to 'this section' on screen

## Transcript
```
[0:01] Hey great. So there are a few things I'd like you to update.
[0:06] For example this section…
```你的智能体可以用到的 MCP 工具
npx -y @clipy/mcp # local: records too. CLIPY_API_KEY via: npx @clipy/cli login https://clipy.online/api/mcp # hosted: ChatGPT, Claude, Claude Code. OAuth, no key
get_agent_context
一次调用拿到全部:元数据 + 摘要 + 关键时刻(画面以图片内嵌)+ 转写。从这里开始。
get_key_moments
视觉指向:讲者指了什么、那一刻的画面,以及有点击记录时的点击坐标(Mac 应用 + Chrome 扩展程序的标签页录制)。
get_transcript
完整的带时间戳转写(分段 + 纯文本)。
get_summary
AI 摘要:要点速览、关键点、待办事项。
search_recordings
按关键词查找录制。
完整参考见 clipy.online/docs/mcp · 安装 skill。
把你的录制接入你的工作流
每段录制都会变成你的智能体可以据此行动的内容:带时间戳的转写、章节,以及 Claude Code、Cursor 和 Codex 直接从分享链接读取的智能体上下文。免费开始,需要更多时再升级:每月 US$9,随时取消。
- 无限录制,支持 4K
- 适用于 Claude、Cursor、Codex 的 MCP
- 每个链接都带智能体上下文
- 转写、摘要和章节
- 针对视频的 AI 问答
- 在整个资料库中搜索
- 导入 YouTube 和视频上下文
- 无限次导入 Loom
注册后 7 天内免费试用录制、分享和转写,无需绑卡。
常见问题
怎样让 Claude 或 Cursor 读取一段录屏?
默认方式:先安装一次 Clipy skill,然后粘贴普通的 Clipy 视频链接。skill 会获取它的智能体上下文,必要时等待处理完成,再读取需求、计划、关键时刻、诊断信息、缺口和转写。进阶方式:安装 MCP,用于私有录制和资料库搜索。
私有录制也能用吗?
公开链接通过 skill 即可使用,无需 API 密钥。私有和受限的录制需要凭据。当智能体需要认证访问你的私有资料库时,请使用 Clipy MCP 服务器或 CLI。
支持哪些智能体和工具?
skill 是 Claude、Codex 风格的 skills 目录以及支持 skill 的智能体的默认方式。底层的 .arec 链接在任何能获取 URL 的工具中都能用。MCP 依然适用于 Claude Code、Claude Desktop、Cursor、Cline、Windsurf 及其他 MCP 客户端。
“关键时刻”到底是什么?
讲者提到可见内容的那些带时间戳的瞬间:“这个按钮”“这个错误”“看看会发生什么”。对每一个时刻,Clipy 都会提取当时的视频画面;在 Mac 应用的录制(以及 Chrome 扩展程序的标签页录制)中,还会融合真实的点击坐标。智能体就是靠这一点把“这个”对应到真实像素的。
我的智能体能自己录制,而不只是读取吗?
可以。借助 Clipy CLI 或 MCP 服务器,智能体可以用无头模式录制 Web 应用(专为 CI 和云端沙箱打造),也可以在用自己的工具操作应用时进行实时会话录制。Clipy CLI 还能通过正在运行的 Clipy 应用录制 Mac 窗口、显示器和 iOS Simulator(--source mac-screen),以及 Linux 屏幕(--source screen,包括私有虚拟显示器),Mac 和 Windows 应用则可录制其他一切。录制结果是一个普通的 Clipy 链接,附带转写、摘要和关键时刻:和它从任何其他人那里读到的内容一样。录制需要具有上传权限的密钥;读取公开链接则完全不需要密钥。
有免费试用吗?
有。Clipy 可以免费开始,注册后享有 7 天免费试用,无需绑卡。试用结束后升级到 Pro 即可继续录制。已有的录制及其智能体上下文仍可访问。
哪些免费,哪些需要 Pro?
录制器、分享链接、转写、摘要、关键时刻、智能体上下文和 MCP 服务器都包含在 7 天免费试用中:无需绑卡,观众无需注册,单段录制也没有时长上限。Pro(每月 US$9,按年付费折合每月 US$6)让你在试用结束后继续录制,并增加 4K、整个 Loom 资料库迁移、视频结尾 CTA 和优先支持。
我的录制会被用来训练 AI 模型吗?
不会。录制内容只会被处理用于生成你的转写、摘要和关键时刻,仅此而已。关于 Clipy 存储哪些内容、谁能访问的完整说明,见 clipy.online/trust。
由此打开的工作流
- 1. 任何人都能录。产品经理、QA、客户:“我一点这个就坏了”。不用写工单,不用截图,不用写复现步骤。
- 2. 一个链接到处流转。同一个 URL,在 Slack 里给人看,装了 Clipy skill 后在智能体的对话里也能用。
- 3. 智能体采取行动。它读取摘要,查看被指出的画面,在代码库里找到它确实能看到的那个按钮,然后交付修复。
相关阅读
关于如何把录制交给你的 AI 智能体的深入指南。