智能体可读的录屏工具

面向 AI 智能体的录屏

缺陷、操作演示或一条反馈,只需录制一次。同事拿到视频,而 Claude Code、Cursor 或 Codex 拿到摘要、你指出的确切时刻(附画面和点击目标)以及转写。智能体还能以无头模式或在你的真实屏幕上,录下自己工作的证明。

第一次接触这个概念?先从什么是智能体可读的录制开始。

7 天免费试用,无需绑卡。Clipy Pro 每月 US$9,随时取消。

格式

智能体有三种选择,只有一种行得通。

编程智能体看不了录屏。所以真正的问题从来不是录屏工具有没有 AI,而是录制内容以什么形式交到它手上。答案恰好有三种,下面的基准测试在同一任务上把三种都测了一遍。

直接交出原始视频

MP4 本身,画面和音频,直接塞进上下文窗口。

大多数编程智能体根本无法接收视频,能接收的那些则要为每一帧付费,不管画面里有没有动静。录制内容大多是冗余的:静止九秒的屏幕,就是九秒几乎一模一样的画面。

得分
2.4/12
成本
417,487 个输入 token,147 秒

交出转写

忠实的带时间戳的文字,也就是大多数录屏工具交给智能体的东西。

讲解屏幕时满是指代:这个按钮、那个、把这个移到那个上面。拿掉屏幕,这些话就失去了指向。转写忠实又便宜,却仍然无法告诉智能体你指的是哪个按钮。

得分
5.8/12
成本
78,257 个输入 token,49 秒

交出 AREC 文档

意图、提取出的需求、建议的计划、带画面和点击目标的关键时刻、诊断信息、捕获缺口,以及转写。

停止录制后需要一次处理,而且它只能和实际捕获到的内容一样好。没捕获到的东西它会明确说明,这正是它值得信赖的原因。

得分
11.8/12
成本
175,172 个输入 token,65 秒

反直觉的结果:结构化文档不仅比直接交出视频更准确,而且更便宜、更快。AREC 比原始录制少用了 58% 的输入 token,提前 82 秒完成,得分还更高。和转写相比,它大约多花 16 秒,换来 +6.0 分。

文档里有什么

在任意公开的 Clipy 观看链接后面加上 .arec,自己读一读。以下是各个字段,以及每个字段为什么值得存在。

意图与提取出的需求
你想达成什么,以及你提出的每一项具体修改,都和周围的自言自语区分开来。正是这一点让智能体不会把一句题外话当成任务。
关键时刻,附带画面和点击目标
真正承载含义的那些瞬间,每个都附有提取的画面,在捕获支持时还附有你实际点击的坐标。这个字段让“这个”有了明确指向。
建议的计划
一个智能体可以接受、调整顺序或提出异议的执行顺序,这样第一轮沟通讨论的是计划,而不是你到底想说什么。
诊断信息(如已捕获)
录制会话中的控制台消息和失败请求,附在它们发生的那一刻,而不是另外粘贴。
捕获缺口
明确说明录制内容没有展示什么。知道自己缺什么的智能体会提问;不知道的则会自信地瞎猜。
带时间戳的转写
完整保留的解说。上面的一切都来自这段录制,而转写让你能核对其中任何一部分。

格式是公开的,所以读取它只是一次 HTTP 请求,而不是一项供应商集成。阅读 AREC 规范

受控盲测研究 · 20 次主试验

在这项依赖视觉的任务中,AREC 以压倒性优势胜出。

在这项受控、盲测的落地页任务中,Clipy AREC 平均得分 11.8/12,纯转写为 5.8/12,每组各进行 5 次全新的隔离会话。AREC 在 4/5 次运行中满足全部六项要求,纯转写为 0/5。优势来自依赖视觉的需求,比如“移动这个按钮”,光靠文字说不清“这个”是哪个。

柱状图:原始视频 2.4,纯转写 5.8,Clipy AREC 11.8,完整规格说明 11.0,满分 12

得分优势

+6.0

分;bootstrap 区间 4.8 至 7.4

完全达标

4/5 vs 0/5

AREC 对比纯转写

平均得分

11.8 vs 5.8

满分 12,AREC 对比纯转写

每一次 AREC 运行都超过了每一次纯转写运行(11–12 对 3–7)。

AREC 除了画面、指针目标和关键时刻,还包含完整转写,所以智能体从它那里得到的永远不会比从转写里少。当有人用手指而不是用话把一切讲清楚时,提升最大,而人们审阅界面时正是这样做的。这项受控研究在落地页任务上测量了这一点,每组 5 次全新会话。

在运行前预注册,SHA-256 a968595c07213677117fe849068a75034d1402fc98089e287b9249d3c11fb042。每次试验的补丁、事件日志和盲测截图全部公开,包括失败的那次 AREC 运行。

用你自己的话提要求

你真正可以提出的要求

下面每一行都对应一项现已可用的功能。把任意一行粘贴到已连接的智能体里就能用。所有读取、搜索或等待的操作都不会改动任何东西。录制、上传和编辑可能会改动数据。是否会看到确认提示,取决于你的智能体宿主及其设置。如果想在这些操作运行前先审核,请为 Clipy CLI 和 MCP 服务器保持工具审批开启。

弄清发生了什么

公开链接、skill、MCP 或 CLI

智能体读取录制内容而不是观看:摘要、提取出的需求、带画面的关键时刻,以及带时间戳的转写。

  • “读一下这段录制,告诉我我提出的每一项修改,并注明各自出自哪个时间点:<link>”

    提取出的需求加上转写。借助引用,你可以在播放器里核对任何一条说法。

  • “为错过这次通话的人总结这段录制,并列出尚未决定的事项:<link>”

    摘要和意图,无需播放视频。

  • “这段录制中哪个关键时刻展示了真正的故障?那一刻屏幕上是什么?”

    关键时刻附有提取的画面,在已捕获时还附有真实的点击坐标。

  • “这段录制漏掉了哪些你需要确认的内容?”

    AREC 会明确列出捕获缺口,因此智能体能说出自己不知道什么。

复现并修复缺陷

公开链接或 MCP

这类工具本来就是为这件事而生的。录制内容带有确切的元素和点击,智能体不必再猜你指的是哪个按钮。

  • “把这段录制转成复现步骤,然后找到相关的代码:<link>”

    解说提供意图,关键时刻的画面提供屏幕状态。

  • “我点了一个东西,却毫无反应。读一下录制内容,根据点击目标找出确切的控件,并追踪它的处理函数。”

    点击坐标来自 Mac 应用和 Chrome 扩展程序的捕获。

  • “检查这段录制的浏览器诊断信息,看看故障发生前后有没有控制台错误或失败的请求。”

    在捕获时有记录就可用;没有记录时文档会注明。

  • “写一个能发现这段录制中所示行为的回归测试。”

    依据演示出的流程编写,而不是依据书面描述。

替你录制

CLI 和 MCP,上传权限

智能体不仅能读,也能录。对它能访问的 URL 用无头模式录制;对只存在于已登录应用里的内容,则录制你真实的 Mac 屏幕。

  • “录制 http://127.0.0.1:3000 上的这个本地应用,走一遍结账流程,然后把分享链接给我。”

    无头捕获。可在服务器或 CI 中运行,无需显示器。

  • “在你操作名为“Staging”的 Chrome 窗口时录制它,并标记你验证的每一步。”

    在 macOS 上捕获真实窗口,附带带时间戳的证据标记。

  • “开始一个录制会话,添加名为 BEFORE 的章节,复现这个缺陷,然后再添加一个名为 AFTER 的章节。”

    标记和章节作为智能体解说,落在录制的时间轴上。

证明自己的工作

CLI

智能体完成修改后,用它手头已有的捕获工具交回能证明修改确实有效的证据。无需依赖第二个浏览器。

  • “你已经修好了。现在在运行中的应用里验证一下,并通过 Clipy 把证明发给我。”

    字幕由操作方作证:记录的是智能体报告它看到的内容,而不是 Clipy 的断言。

  • “把这些截图合成一段证明录制,每张配一条字幕,然后把观看链接给我。”

    帧模式需要 ffmpeg,不需要显示器,因此可以在 CI 中运行。

  • “上传那次测试运行的 Playwright 视频,并同时返回观看 URL 和智能体上下文 URL。”

    现有的 WebM 或 MP4 直接上传,无需重新编码。

搜索你录过的一切

MCP 和 CLI,需认证

这是单个粘贴链接做不到的部分。连接 MCP 之后,旧的录制内容会持续回答新的问题。

  • “找到我们讨论定价页的那段录制,告诉我我们最后怎么决定的。”

    在录制内容和导入的上下文中进行语义与关键词混合搜索。

  • “在我所有的录制里,有人提到过发票 worker 什么?”

    返回确切的时刻和直达链接,而不只是一串视频列表。

  • “这个组件为什么这样构建?先查一下我的资料库,再去读代码。”

    录下来的思路会作为可搜索的上下文保留下来。

引入外部视频

CLI

一段 YouTube 教程或一个本地文件,会变成智能体可读的私有上下文文档,而不会重新托管到你的资料库里。

  • “把这个 YouTube 教程导入为上下文,并严格按照其中的设置步骤操作。”

    生成一个私有的本地上下文包,不会发布到你的资料库。

  • “读取我磁盘上的这个录屏文件,并把它整理成任务清单。”

    本地文件导入,文档结构相同。

智能体可以自行查到的完整约定,见 clipy guide --json 和 MCP 工具列表。阅读智能体参考文档

团队如何使用

一段录制,把实事办成。

同事观看的那个 Clipy 链接,就是你的智能体据以行动的上下文。来看看整个团队是怎么用的。

QA

缺陷只复现一次,交给智能体一份真实的复现

过去要写一份带编号步骤和裁切截图的复现说明,现在只需一次录下来的操作。

  • 每次点击都带有目标元素,开发者拿到的是真能复现的复现。
  • 把链接粘贴给你的编程智能体,它读取的是画面本身,而不是对画面的转述。
  • 智能体可以直接根据录下的流程生成 Playwright 测试。
看看它如何服务QA
市场

一段演示,变成整套发布物料

过去要花一上午手写更新日志、帮助文档和社交媒体帖子,现在从一段录下的演示开始。

  • 把功能演示一次,让智能体起草更新日志、帮助文章和社交文案。
  • 录制中的画面直接作为截图使用,没有任何内容是凭记忆描述的。
  • 每份物料都对应着你在屏幕上真正展示过的内容。
看看它如何服务市场
创始人

把改动讲清楚,就能把改动交付

过去要花 20 分钟写清楚你想要做什么,现在只需一段两分钟的讲解,你的智能体就能据此行动。

  • 指着界面,说出要改什么,分享一个链接。
  • 你的编程智能体读取摘要和你指出的画面,然后提交修复。
  • 从想法到 pull request 之间,不用再交写工单的“税”。
看看它如何服务创始人
销售

录下演示,让智能体负责跟进

过去每次通话后都要从零写一封回顾邮件,现在直接从录制内容开始。

  • 发送一段个性化的异步演示,而不是再约一次线上会议。
  • 转写和摘要会变成跟进邮件和 CRM 备注。
  • 潜在客户可以按自己的节奏,重看真正关键的那一刻。
看看它如何服务销售
客服

把流程走一遍,帮助文章自然就有了

过去一封客服回复要手写再改写,现在根据录下的流程自动生成。

  • 把流程走一遍,让智能体整理成编号的帮助文章,每一步配一张截图。
  • 或者给工程团队一份能复现的清晰升级报告,而不是一段含糊的描述。
  • 同一段录制,还能解答下一位遇到同样问题的客户。
看看它如何服务客服
开发者

给 Claude Code、Cursor 或 Codex 一个它看得见的缺陷

过去要在 Slack 里发三条消息说“我一点这里就坏了”,现在只需一个链接,你的智能体从头读到尾。

  • 录下“我一点这个就坏了”,把链接粘贴给你的智能体。
  • 它读取画面,在代码库里查找它确实能看到的那个按钮,然后提交修复。
  • 即使屏幕上有三个“导出”按钮,点击坐标也能把“这个”对应到真实的像素。
看看它如何服务开发者
一条命令完成设置

一条命令把 Clipy 接入你的智能体

无需复制粘贴任何 API 密钥。运行这条命令,在浏览器里批准一次,你的编程智能体就能录制和读取录制内容。

npx @clipy/cli agents install claude   # also: codex · cursor
  1. 第 1 步

    浏览器会打开;点击一次 Approve。页面会列出客户端和权限范围:读取你的录制,以及录制和上传。

  2. 第 2 步

    Clipy skill 会安装到你的智能体的 skills 目录。

  3. 第 3 步

    你的智能体用 Clipy 录制,也能读回任何录制内容。

完整设置、手动粘贴密钥的备用方式以及所有命令,都在 CLI 文档里。

如何让你的编程智能体找到一段 Clipy 录制 在 Clipy 上观看
让你的智能体读一段视频把一段录制粘贴到 Claude Code、Codex 或 Cursor。智能体会通过 Clipy 的 CLI 和 MCP 服务器拉取摘要、转写和关键时刻,并把这段录制保留在你的资料库里。
闭环的另一半

你的智能体会录下自己的运行过程

读取录制只是一半。借助 Clipy CLI(前两种方式也可以用 MCP 服务器),编程智能体可以录下自己刚搭好的应用并直接读回结果,有三种方式,全程无需有人掌镜。

无头捕获

clipy record --url 在无头浏览器中打开应用并上传这次运行,无需显示器,因此可在 CI 和云端沙箱中使用。

实时会话,附带解说

clipy session start 在后台录制,同时智能体用自己的工具操作应用。每一个 clipy mark 都会成为转写中的一个章节,标注为智能体解说,绝不会冒充语音转写。

真实的 Mac 屏幕

--source mac-screen 通过正在运行的 Clipy Mac 应用,录制你真实的、已登录的屏幕(选定的窗口或显示器),录制指示始终可见。

每种方式都会返回一个普通的 Clipy 链接,附带转写、摘要和关键时刻。完整命令见 CLI 文档和 MCP 文档。

背后的原理

为什么智能体能据 Clipy 录制采取行动

如今的智能体不看视频。Clipy 在服务器端完成转换,所以在原始 MP4 走不通的地方,一个普通链接就能用。

只需一个 URL:智能体上下文

在任意公开观看链接后加上 .arec,就能获得智能体上下文:摘要、关键时刻、画面和转写。无需安装、无需 API 密钥,所用 token 也远少于一次 MCP 往返。这正是智能体越来越偏爱的低门槛纯文本访问方式。人粘贴普通链接;装了 skill 的智能体知道这个约定。

关键时刻,而不只是文字

Clipy 会找出每一次口头指代,并提取那一刻的画面。如果有点击记录(Mac 应用和 Chrome 扩展程序的标签页录制),它会融合真实的点击坐标;在 Mac 应用的录制中,还会加上被点击元素的角色和标签。于是一个关键时刻读起来是“在 (0.63, 0.41) 点击了‘设置’按钮”,一份真能复现的复现,而不是转述。

用 MCP 访问私有资料库

粘贴的链接用 skill。当智能体需要认证访问时用 MCP:搜索整个资料库、读取私有录制,或通过工具调用直接拉取关键时刻画面。ChatGPT、Claude 和 Claude Code 完全无需安装:把托管服务器添加为连接器,在浏览器中登录即可。

https://clipy.online/video/<id>.arec

# UI Recording Feedback
Screen recording · 1:13 · watch: https://clipy.online/video/<id>…

## Summary
The speaker reviews a recording interface, pointing out a duplicated
timer and a settings section that should be collapsed…

## Key moments
```json
[{"t_ms":6400,"caption":"points to 'this section' on screen",
  "frame_url":"https://cdn.clipy.online/key-moments/…/6400.jpg",
  "x":0.63,"y":0.41,"source":"fused","confidence":0.9}, …]
```
### 0:06 · points to 'this section' on screen
![Frame at 0:06](https://cdn.clipy.online/key-moments/…/6400.jpg)

## Transcript
```
[0:01] Hey great. So there are a few things I'd like you to update.
[0:06] For example this section…
```

实际示例:clipy.online/video/kb2tgjg0ptes.arec

你的智能体可以用到的 MCP 工具

npx -y @clipy/mcp   # local: records too. CLIPY_API_KEY via: npx @clipy/cli login
https://clipy.online/api/mcp   # hosted: ChatGPT, Claude, Claude Code. OAuth, no key

get_agent_context

一次调用拿到全部:元数据 + 摘要 + 关键时刻(画面以图片内嵌)+ 转写。从这里开始。

get_key_moments

视觉指向:讲者指了什么、那一刻的画面,以及有点击记录时的点击坐标(Mac 应用 + Chrome 扩展程序的标签页录制)。

get_transcript

完整的带时间戳转写(分段 + 纯文本)。

get_summary

AI 摘要:要点速览、关键点、待办事项。

search_recordings

按关键词查找录制。

完整参考见 clipy.online/docs/mcp · 安装 skill。

Clipy Pro

把你的录制接入你的工作流

每段录制都会变成你的智能体可以据此行动的内容:带时间戳的转写、章节,以及 Claude Code、Cursor 和 Codex 直接从分享链接读取的智能体上下文。免费开始,需要更多时再升级:每月 US$9,随时取消。

  • 无限录制,支持 4K
  • 适用于 Claude、Cursor、Codex 的 MCP
  • 每个链接都带智能体上下文
  • 转写、摘要和章节
  • 针对视频的 AI 问答
  • 在整个资料库中搜索
  • 导入 YouTube 和视频上下文
  • 无限次导入 Loom

注册后 7 天内免费试用录制、分享和转写,无需绑卡。

常见问题

怎样让 Claude 或 Cursor 读取一段录屏?

默认方式:先安装一次 Clipy skill,然后粘贴普通的 Clipy 视频链接。skill 会获取它的智能体上下文,必要时等待处理完成,再读取需求、计划、关键时刻、诊断信息、缺口和转写。进阶方式:安装 MCP,用于私有录制和资料库搜索。

私有录制也能用吗?

公开链接通过 skill 即可使用,无需 API 密钥。私有和受限的录制需要凭据。当智能体需要认证访问你的私有资料库时,请使用 Clipy MCP 服务器或 CLI。

支持哪些智能体和工具?

skill 是 Claude、Codex 风格的 skills 目录以及支持 skill 的智能体的默认方式。底层的 .arec 链接在任何能获取 URL 的工具中都能用。MCP 依然适用于 Claude Code、Claude Desktop、Cursor、Cline、Windsurf 及其他 MCP 客户端。

“关键时刻”到底是什么?

讲者提到可见内容的那些带时间戳的瞬间:“这个按钮”“这个错误”“看看会发生什么”。对每一个时刻,Clipy 都会提取当时的视频画面;在 Mac 应用的录制(以及 Chrome 扩展程序的标签页录制)中,还会融合真实的点击坐标。智能体就是靠这一点把“这个”对应到真实像素的。

我的智能体能自己录制,而不只是读取吗?

可以。借助 Clipy CLI 或 MCP 服务器,智能体可以用无头模式录制 Web 应用(专为 CI 和云端沙箱打造),也可以在用自己的工具操作应用时进行实时会话录制。Clipy CLI 还能通过正在运行的 Clipy 应用录制 Mac 窗口、显示器和 iOS Simulator(--source mac-screen),以及 Linux 屏幕(--source screen,包括私有虚拟显示器),Mac 和 Windows 应用则可录制其他一切。录制结果是一个普通的 Clipy 链接,附带转写、摘要和关键时刻:和它从任何其他人那里读到的内容一样。录制需要具有上传权限的密钥;读取公开链接则完全不需要密钥。

有免费试用吗?

有。Clipy 可以免费开始,注册后享有 7 天免费试用,无需绑卡。试用结束后升级到 Pro 即可继续录制。已有的录制及其智能体上下文仍可访问。

哪些免费,哪些需要 Pro?

录制器、分享链接、转写、摘要、关键时刻、智能体上下文和 MCP 服务器都包含在 7 天免费试用中:无需绑卡,观众无需注册,单段录制也没有时长上限。Pro(每月 US$9,按年付费折合每月 US$6)让你在试用结束后继续录制,并增加 4K、整个 Loom 资料库迁移、视频结尾 CTA 和优先支持。

我的录制会被用来训练 AI 模型吗?

不会。录制内容只会被处理用于生成你的转写、摘要和关键时刻,仅此而已。关于 Clipy 存储哪些内容、谁能访问的完整说明,见 clipy.online/trust。

由此打开的工作流

  1. 1. 任何人都能录。产品经理、QA、客户:“我一点这个就坏了”。不用写工单,不用截图,不用写复现步骤。
  2. 2. 一个链接到处流转。同一个 URL,在 Slack 里给人看,装了 Clipy skill 后在智能体的对话里也能用。
  3. 3. 智能体采取行动。它读取摘要,查看被指出的画面,在代码库里找到它确实能看到的那个按钮,然后交付修复。

相关阅读

关于如何把录制交给你的 AI 智能体的深入指南。