エージェントが読める画面録画ツール
AI エージェントのための画面録画
バグ、操作説明、フィードバックを一度録画するだけ。チームメイトには動画が届き、Claude Code、Cursor、Codex には要約、あなたが指し示した正確な瞬間(フレームとクリック先付き)、文字起こしが届きます。エージェントは自分の作業の証拠を、ヘッドレスでも実際の画面でも録画できます。
初めての方は、まずエージェントが読める録画とはからどうぞ。
7 日間の無料トライアル、カード不要。Clipy Pro は月額 $9、いつでも解約できます。
フォーマット
エージェントの選択肢は三つ。うまくいくのは一つだけです。
コーディングエージェントは画面録画を視聴できません。だから本当の問題は、録画ツールに AI が付いているかどうかではなく、録画がどんな形でエージェントに届くかです。答えはちょうど三つあり、以下のベンチマークは同じタスクで三つすべてを測定しました。
元の動画をそのまま渡す
MP4 そのもの、映像と音声をそのままコンテキストウィンドウへ。
ほとんどのコーディングエージェントはそもそも動画を受け取れず、受け取れるものも何かが起きていようといまいと、すべてのフレームにコストを払います。録画の大半は冗長です。画面が 9 秒止まっていれば、ほぼ同じフレームが 9 秒分続きます。
- スコア
- 2.4/12
- コスト
- 入力トークン 417,487、147 秒
文字起こしを渡す
タイムスタンプ付きの忠実な文字起こし。ほとんどの録画ツールがエージェントに渡すのはこれです。
画面について話すとき、言葉は指示語だらけになります。このボタン、あれ、これをあれの上に。画面を取り除くと言葉は何も指さなくなります。文字起こしは正確で安価ですが、それでもどのボタンのことなのかはエージェントに伝わりません。
- スコア
- 5.8/12
- コスト
- 入力トークン 78,257、49 秒
AREC ドキュメントを渡す
意図、抽出された依頼、提案プラン、フレームとクリック先付きのキーモーメント、診断情報、キャプチャの欠落、そして文字起こし。
録画を止めたあとに処理が一度必要で、品質はキャプチャが実際に捉えた内容次第です。捉えられなかったものはその旨を明記します。それこそが信頼できる理由です。
- スコア
- 11.8/12
- コスト
- 入力トークン 175,172、65 秒
直感に反する結果:構造化ドキュメントは動画をそのまま渡すより正確だっただけでなく、安く、速かったのです。AREC は元の録画より入力トークンが 58% 少なく、82 秒早く終わり、スコアも上回りました。文字起こしと比べると約 16 秒多くかかる代わりに、+6.0 ポイント上がります。
ドキュメントの中身
公開されている Clipy の視聴 URL の末尾に .arec を付ければ、自分で読めます。各フィールドと、それぞれが必要な理由は次のとおりです。
- 意図と抽出された依頼
- 何を達成したかったのか、そして依頼した個々の変更点を、その周りの独り言から切り分けたもの。これがあるから、エージェントは余談を指示と取り違えません。
- キーモーメント(フレームとクリック先付き)
- 意味を持つ特定の瞬間。それぞれに抽出したフレームと、キャプチャが対応していれば実際にクリックした座標が付きます。「これ」が何を指すのかを解決するのがこのフィールドです。
- 提案プラン
- エージェントが受け入れたり、順番を入れ替えたり、異議を唱えたりできる作業順の提案。最初のやり取りが「何を言いたかったのか」ではなく、プランについての議論になります。
- 診断情報(キャプチャ時)
- 録画したセッションのコンソールメッセージと失敗したリクエスト。別途貼り付けるのではなく、発生した瞬間にひも付けられます。
- キャプチャの欠落
- 録画に何が映っていないかを明示します。欠けているものを知っているエージェントは質問し、知らないエージェントは自信満々に推測します。
- タイムスタンプ付き文字起こし
- ナレーションをすべてそのまま保存。上の項目はすべて録画から導き出したもので、文字起こしがあればどれでも確かめられます。
フォーマットは公開されているので、読み取りは HTTP リクエスト一つで済み、ベンダー連携は不要です。AREC 仕様を読む
対照・盲検化研究 · 主要試行 20 回
視覚情報が鍵となるこのタスクで、AREC が圧勝しました。
対照・盲検化したランディングページのタスクで、Clipy AREC の平均は 11.8/12、文字起こしのみは 5.8/12 でした(各グループ 5 回の新規の独立セッション)。AREC は 4/5 回の実行で 6 つの要件をすべて満たし、文字起こしのみは 0/5 回でした。差を生んだのは「このボタンを動かして」のような視覚に依存する依頼で、言葉だけでは「この」が何を指すのかわかりません。
スコアの優位差
+6.0
ポイント、ブートストラップ区間 4.8〜7.4
完全達成
4/5 vs 0/5
AREC と文字起こしのみの比較
平均スコア
11.8 vs 5.8
12 点満点、AREC と文字起こしのみの比較
AREC のすべての実行が、文字起こしのみのすべての実行を上回りました(11〜12 対 3〜7)。
AREC にはフレーム、ポインターの対象、キーモーメントに加えて完全な文字起こしも含まれるため、エージェントが得る情報が文字起こしより少なくなることはありません。効果が最も大きいのは、すべてを言葉で説明する代わりに指で示すとき、つまり人が UI をレビューするときのやり方です。この対照研究では、各グループ 5 回の新規セッションでランディングページのタスクを用いて測定しました。
実行前に事前登録済み、SHA-256 a968595c07213677117fe849068a75034d1402fc98089e287b9249d3c11fb042。すべての試行のパッチ、イベントログ、盲検化したスクリーンショットを、失敗した AREC の実行も含めて公開しています。
ふだんの言葉で頼める
実際に頼めること
以下の各行は、現在提供中の機能に対応しています。接続済みのエージェントに貼り付ければ、そのまま動きます。読み取り、検索、待機を行う操作は何も変更しません。録画、アップロード、編集はデータを変更することがあります。確認が表示されるかどうかは、エージェントのホストとその設定によります。実行前に内容を確認したい場合は、Clipy CLI と MCP サーバーのツール承認を有効にしたままにしてください。
何が起きたかを理解する
公開リンク、skill、MCP、CLIエージェントは録画を視聴するのではなく読み取ります。要約、抽出された依頼、フレーム付きのキーモーメント、タイムスタンプ付きの文字起こしです。
“この録画を読んで、私が依頼した変更をすべて、それぞれのタイムスタンプ付きで教えてください:<link>”
抽出された依頼と文字起こし。引用元があるので、どの主張もプレーヤーで確認できます。
“通話に参加できなかった人向けにこの録画を要約し、未決定の事項を挙げてください:<link>”
要約と意図。動画を再生する必要はありません。
“この録画で実際の不具合が映っているのはどのキーモーメントですか?その時点で画面には何が表示されていますか?”
キーモーメントには抽出したフレームと、キャプチャされていれば実際のクリック座標が付きます。
“確信を持つために必要なのに、この録画が捉えられなかったものは何ですか?”
AREC はキャプチャの欠落を明示するので、エージェントは自分が知らないことを伝えられます。
バグを再現して修正する
公開リンクまたは MCPこのカテゴリはまさにこの作業のために生まれました。録画には正確な要素とクリックが含まれるので、エージェントはどのボタンのことかを推測しなくて済みます。
“この録画を再現手順にまとめてから、原因となっているコードを見つけてください:<link>”
ナレーションが意図を、キーモーメントのフレームが画面の状態を伝えます。
“クリックしても何も起きない箇所がありました。録画を読んで、クリック先から正確なコントロールを特定し、そのハンドラーを追ってください。”
クリック座標は Mac アプリと Chrome 拡張機能のキャプチャから取得します。
“この録画のブラウザ診断情報で、不具合が起きた前後にコンソールエラーや失敗したリクエストがないか確認してください。”
キャプチャ時に記録されていれば利用できます。記録がない場合はドキュメントにその旨が書かれます。
“この録画の挙動を検出できる回帰テストを書いてください。”
文章での説明ではなく、実演されたフローをもとに作ります。
代わりに録画する
CLI と MCP、アップロード権限エージェントは読むだけでなく、キャプチャもできます。アクセスできる URL ならヘッドレスで、ログインしたアプリの中にしかないものならあなたの Mac の実際の画面で。
“http://127.0.0.1:3000 のこのローカルアプリを録画し、決済フローを通して操作して、共有リンクをください。”
ヘッドレスキャプチャ。ディスプレイなしでサーバーや CI 上で動きます。
“「Staging」という名前の Chrome ウィンドウを操作しながら録画し、確認した各ステップにマークを付けてください。”
macOS で実際のウィンドウをキャプチャし、タイムスタンプ付きの証拠マークを残します。
“録画セッションを開始して BEFORE というチャプターを追加し、バグを再現してから AFTER というチャプターを追加してください。”
マークとチャプターは、エージェントのナレーションとして録画のタイムラインに記録されます。
自分の作業を証明する
CLIエージェントは変更を終えると、すでに持っているキャプチャツールを使って、実際に動作する証拠を返します。2 つ目のブラウザに頼る必要はありません。
“修正できましたね。では実行中のアプリで確認して、Clipy で証拠を送ってください。”
キャプションは操作した側の申告です。エージェントが見たと報告した内容の記録であり、Clipy による保証ではありません。
“これらのスクリーンショットをそれぞれキャプション付きで 1 本の証拠録画にまとめ、視聴リンクをください。”
フレームモードは ffmpeg が必要でディスプレイは不要なので、CI で動きます。
“そのテスト実行の Playwright 動画をアップロードして、視聴 URL とエージェント用コンテキストの URL の両方を返してください。”
既存の WebM や MP4 は再エンコードせずにアップロードされます。
これまでの録画すべてを検索する
MCP と CLI、認証済み貼り付けたリンク 1 本ではできない部分です。MCP を接続すれば、古い録画が新しい質問に答え続けます。
“料金ページについて話し合った録画を見つけて、何を決めたか教えてください。”
録画と取り込んだコンテキストを、意味検索とキーワード検索を組み合わせて探します。
“私の録画全体で、請求書 worker について誰かが何か言っていましたか?”
動画の一覧ではなく、正確な瞬間とその場所へのリンクを返します。
“このコンポーネントはなぜこう作られているのですか?コードを読む前に私のライブラリを確認してください。”
録画された判断の経緯が、検索できるコンテキストとして残ります。
外部の動画を取り込む
CLIYouTube のチュートリアルやローカルファイルが、エージェントが読める非公開のコンテキストドキュメントになります。ライブラリに再ホストすることはありません。
“この YouTube のチュートリアルをコンテキストとして取り込み、セットアップ手順をそのとおりに実行してください。”
非公開のローカルコンテキストバンドルを作成します。ライブラリには公開されません。
“ディスク上のこの画面録画ファイルを読んで、タスクリストにしてください。”
ローカルファイルの取り込みも、同じドキュメント形式です。
エージェントが自分で確認できる完全な仕様は、clipy guide --json と MCP ツールの一覧にあります。エージェント向けリファレンスを読む
録画ひとつで、仕事が片づく。
チームメイトが見るのと同じ Clipy のリンクが、エージェントが行動するためのコンテキストになります。チーム全体ではこう使われています。
バグの再現は一度だけ。エージェントには本物の再現を渡す
番号付きの手順と切り抜いたスクリーンショットで再現手順を書いていた作業が、録画した 1 回の操作で済みます。
- すべてのクリックに対象要素が記録されるので、開発者は確実に再現できる手順を受け取れます。
- リンクをコーディングエージェントに貼り付ければ、言い換えではなくフレームそのものを読み取ります。
- エージェントは録画したフローから Playwright のテストを直接生成できます。
1 本のデモがローンチ素材一式になる
変更履歴、ヘルプ記事、SNS 投稿を手書きして午前中が終わっていた作業が、録画したデモ 1 本から始められます。
- 機能を一度デモすれば、エージェントが変更履歴、ヘルプ記事、SNS の文面を下書きします。
- 録画のフレームがそのままスクリーンショットになるので、記憶を頼りに説明する必要はありません。
- どの素材も、画面で実際に見せた内容に基づいています。
変更を話せば、変更が出荷される
作りたいものを 20 分かけて文章にしていた作業が、エージェントがそのまま動ける 2 分の説明動画になります。
- UI を指し示し、何を変えるべきかを話して、リンクを 1 本共有するだけ。
- コーディングエージェントが要約と指し示したフレームを読み、修正を作成します。
- アイデアからプルリクエストまでの間に、チケットを書く手間はもうありません。
説明を録画して、フォローアップはエージェントに
通話のたびにゼロから書いていた振り返りメールが、録画そのものから始められます。
- ライブ通話をもう一度設定する代わりに、相手に合わせた非同期デモを送れます。
- 文字起こしと要約が、フォローアップメールと CRM のメモになります。
- 見込み客は大事な瞬間を、自分の都合のよいときに見返せます。
フローを一度たどれば、ヘルプ記事ができあがる
手で書いては書き直していたサポートの返信が、録画したフローから生成されます。
- フローを一度実行すれば、エージェントがステップごとにスクリーンショット付きの番号付きヘルプ記事にまとめます。
- あるいは、曖昧な説明ではなく、エンジニアが再現できるきれいなエスカレーションを渡せます。
- 同じ録画が、同じ問題にぶつかった次のお客様への回答にもなります。
Claude Code、Cursor、Codex に、目で見えるバグを渡す
Slack で 3 回に分けて送っていた「ここをクリックすると壊れる」が、エージェントが最初から最後まで読むリンク 1 本になります。
- 「ここをクリックすると壊れる」を録画して、リンクをエージェントに貼り付けるだけ。
- エージェントはフレームを読み、目で見えているボタンをコードベースから探して、修正を作成します。
- 画面に「エクスポート」ボタンが 3 つあっても、クリック座標が「これ」を実際のピクセルに結び付けます。
コマンド 1 つで Clipy をエージェントに接続
API キーをコピー&ペーストする必要はありません。これを実行してブラウザで一度承認すれば、コーディングエージェントが録画の作成も読み取りもできるようになります。
npx @clipy/cli agents install claude # also: codex · cursor
- ステップ 1
ブラウザが開くので、Approve を一度クリックします。クライアント名と権限(録画の読み取り、録画とアップロード)が表示されます。
- ステップ 2
Clipy の skill が、エージェントの skills ディレクトリにインストールされます。
- ステップ 3
エージェントが Clipy で録画し、どの録画も読み取れるようになります。
完全なセットアップ手順、キーを手動で貼り付ける方法、すべてのコマンドは CLI ドキュメントにあります。
エージェントが自分の実行を録画する
録画を読むのは半分にすぎません。Clipy CLI(最初の 2 つは MCP サーバーでも可)を使えば、コーディングエージェントは作ったばかりのアプリを録画して結果をそのまま読み取れます。方法は 3 つ、カメラを構える人は不要です。
ヘッドレスキャプチャ
clipy record --url はヘッドレスブラウザでアプリを開いて実行内容をアップロードします。ディスプレイが不要なので、CI やクラウドのサンドボックスでも動きます。
ナレーション付きのライブセッション
clipy session start はバックグラウンドで録画し、その間エージェントは自分のツールでアプリを操作します。clipy mark を実行するたびに文字起こしのチャプターになり、エージェントのナレーションとして明示されます。音声の書き起こしと偽ることはありません。
実際の Mac の画面
--source mac-screen は、起動中の Clipy Mac アプリを通じて、ログイン済みの実際の画面(選んだウィンドウまたはディスプレイ)を録画します。録画中のインジケーターは常に表示されます。
どの方法でも、文字起こし、要約、キーモーメント付きの通常の Clipy リンクが返ってきます。すべてのコマンドは CLI ドキュメントと MCP ドキュメントにあります。
エージェントが Clipy の録画をもとに行動できる理由
今のエージェントは動画を見ません。Clipy がサーバー側で変換するので、元の MP4 では行き詰まる場面でも、普通のリンクだけで用が足ります。
URL だけ:エージェント用コンテキスト
公開視聴リンクの末尾に .arec を付ければ、要約、キーモーメント、フレーム、文字起こしというエージェント用コンテキストが返ってきます。インストール不要、API キー不要で、MCP の往復よりはるかに少ないトークンで済みます。エージェントがますます好むようになっている、手間のかからないプレーンテキストでのアクセスです。人は通常のリンクを貼り付け、skill を入れたエージェントはこの決まりを知っています。
言葉だけでなく、キーモーメントも
Clipy は話の中で何かを指し示した箇所をすべて見つけ、その瞬間のフレームを抽出します。クリックの記録がある場合(Mac アプリと Chrome 拡張機能のタブ録画)は実際のクリック座標を、Mac アプリの録画ではクリックした要素のロールとラベルも組み合わせます。そのためキーモーメントは「(0.63, 0.41) の『設定』ボタンをクリック」と読めます。言い換えではなく、確実に再現できる手順です。
非公開ライブラリには MCP
貼り付けたリンクには skill を。エージェントに認証付きのアクセスが必要なとき、つまりライブラリ全体の検索、非公開の録画の読み取り、ツール呼び出しでのキーモーメントのフレーム取得には MCP を使います。ChatGPT、Claude、Claude Code はインストールすら不要です。ホスト型サーバーをコネクタとして追加し、ブラウザでサインインするだけです。
https://clipy.online/video/<id>.arec
# UI Recording Feedback
Screen recording · 1:13 · watch: https://clipy.online/video/<id>…
## Summary
The speaker reviews a recording interface, pointing out a duplicated
timer and a settings section that should be collapsed…
## Key moments
```json
[{"t_ms":6400,"caption":"points to 'this section' on screen",
"frame_url":"https://cdn.clipy.online/key-moments/…/6400.jpg",
"x":0.63,"y":0.41,"source":"fused","confidence":0.9}, …]
```
### 0:06 · points to 'this section' on screen

## Transcript
```
[0:01] Hey great. So there are a few things I'd like you to update.
[0:06] For example this section…
```エージェントが使える MCP ツール
npx -y @clipy/mcp # local: records too. CLIPY_API_KEY via: npx @clipy/cli login https://clipy.online/api/mcp # hosted: ChatGPT, Claude, Claude Code. OAuth, no key
get_agent_context
1 回の呼び出しでまとめて取得:メタデータ + 要約 + キーモーメント(フレームは画像として埋め込み)+ 文字起こし。まずはここから。
get_key_moments
視覚的な手がかり:話し手が指し示したもの、その瞬間のフレーム、クリックの記録がある場合はクリック座標(Mac アプリ + Chrome 拡張機能のタブ録画)。
get_transcript
タイムスタンプ付きの完全な文字起こし(セグメント + プレーンテキスト)。
get_summary
AI 要約:TL;DR、要点、アクションアイテム。
search_recordings
キーワードで録画を検索。
詳しいリファレンスは clipy.online/docs/mcp · skill をインストール。
録画をワークフローにつなぐ
すべての録画が、エージェントが行動に移せるものになります。タイムスタンプ付きの文字起こし、チャプター、そして Claude Code、Cursor、Codex が共有リンクから直接読み取るエージェント用コンテキスト。無料で始めて、必要になったらアップグレード:月額 $9、いつでも解約できます。
- 録画数無制限、4K 対応
- Claude、Cursor、Codex 向けの MCP
- すべてのリンクにエージェント用コンテキスト
- 文字起こし、要約、チャプター
- 動画に質問できる Q&A
- ライブラリ全体を検索
- YouTube や動画のコンテキストを取り込み
- Loom の取り込み無制限
登録から 7 日間、録画・共有・文字起こしを無料でお試しいただけます。カードは不要です。
よくある質問
Claude や Cursor に画面録画を読ませるには?
標準の方法:Clipy の skill を一度インストールし、通常の Clipy 動画リンクを貼り付けます。skill がエージェント用コンテキストを取得し、必要なら処理を待ってから、依頼、プラン、キーモーメント、診断情報、欠落、文字起こしを読み取ります。応用の方法:非公開の録画やライブラリ検索には MCP をインストールします。
非公開の録画でも使えますか?
公開リンクは skill を通じて API キーなしで使えます。非公開や制限付きの録画には認証情報が必要です。エージェントが非公開ライブラリに認証付きでアクセスする必要がある場合は、Clipy の MCP サーバーか CLI を使ってください。
対応しているエージェントとツールは?
skill は Claude、Codex 形式の skills フォルダー、skill に対応したエージェントの標準の方法です。その裏にある .arec リンクは、URL を取得できるツールならどこでも使えます。MCP は引き続き Claude Code、Claude Desktop、Cursor、Cline、Windsurf などの MCP クライアントで利用できます。
「キーモーメント」とは具体的に何ですか?
話し手が目に見えるものに言及した、タイムスタンプ付きの瞬間です。「このボタン」「このエラー」「何が起きるか見て」など。Clipy はそれぞれの瞬間の動画フレームを抽出し、Mac アプリの録画(と Chrome 拡張機能のタブ録画)では実際のクリック座標も組み合わせます。これによってエージェントは「これ」を実際のピクセルに結び付けます。
エージェントは読むだけでなく、自分で録画もできますか?
はい。Clipy CLI か MCP サーバーを使えば、エージェントは Web アプリをヘッドレスで録画したり(CI やクラウドのサンドボックス向け)、自分のツールでアプリを操作しながらライブセッションを録画したりできます。Clipy CLI は起動中の Clipy アプリを通じて Mac のウィンドウ、ディスプレイ、iOS Simulator も録画でき(--source mac-screen)、Linux の画面も録画できます(--source screen、非公開の仮想ディスプレイを含む)。それ以外はすべて Mac アプリと Windows アプリで録画できます。録画は文字起こし、要約、キーモーメント付きの通常の Clipy リンクとして返ってきます。他の誰かの録画から読み取るのと同じものです。録画にはアップロード権限付きのキーが必要ですが、公開リンクの読み取りにキーは一切不要です。
無料トライアルはありますか?
はい。Clipy は無料で始められ、登録から 7 日間の無料トライアルがあります。カードは不要です。トライアル終了後も録画を続けるには Pro にアップグレードしてください。作成済みの録画とそのエージェント用コンテキストには引き続きアクセスできます。
何が無料で、何に Pro が必要ですか?
録画ツール、共有リンク、文字起こし、要約、キーモーメント、エージェント用コンテキスト、MCP サーバーはすべて 7 日間の無料トライアルに含まれます。カード不要、視聴者の登録不要、録画の長さにも上限はありません。Pro(月額 $9、年払いなら月あたり $6)ではトライアル後も録画を続けられ、4K、Loom ライブラリ全体の移行、動画終了時の CTA、優先サポートが加わります。
録画が AI モデルの学習に使われることはありますか?
ありません。録画は文字起こし、要約、キーモーメントを作成するためだけに処理されます。Clipy が何を保存し、誰がアクセスできるかの詳細は clipy.online/trust に記載しています。
これで実現するワークフロー
- 1. 誰でも録画できる。PM も QA もお客様も:「ここをクリックすると壊れる」。チケットもスクリーンショットも再現手順も書く必要はありません。
- 2. リンク 1 本で伝わる。同じ URL が、Slack では人に、Clipy の skill を入れていればエージェントのチャットでも使えます。
- 3. エージェントが動く。要約を読み、指し示されたフレームを見て、目で見えているボタンをコードベースから探し、修正を出荷します。
関連記事
録画を AI エージェントに渡すための詳しいガイド。