O gravador de tela que agentes conseguem ler
Gravações de tela para agentes de IA
Grave um bug, um passo a passo ou um feedback uma vez. Um colega recebe o vídeo, enquanto o Claude Code, o Cursor ou o Codex recebem o resumo, os momentos exatos que você apontou com quadros e alvos de clique, e a transcrição. Os agentes também gravam a prova do próprio trabalho, em modo headless ou na sua tela real.
A ideia é nova para você? Comece por o que é uma gravação legível por agentes.
Teste gratuito de 7 dias, sem cartão. O Clipy Pro custa US$ 9/mês, cancele quando quiser.
O FORMATO
Um agente tem três opções. Só uma delas funciona.
Um agente de programação não consegue assistir a uma gravação de tela. Então a pergunta real nunca é se um gravador tem IA, e sim em que formato a gravação chega. Existem exatamente três respostas, e o benchmark abaixo mediu as três na mesma tarefa.
Entregar o vídeo bruto
O próprio MP4, quadros e áudio, direto na janela de contexto.
A maioria dos agentes de programação nem aceita vídeo, e os que aceitam pagam por cada quadro, aconteça algo nele ou não. A gravação é quase toda redundante: uma tela parada por nove segundos são nove segundos de quadros quase idênticos.
- PONTUAÇÃO
- 2.4/12
- CUSTO
- 417.487 tokens de entrada, 147s
Entregar a transcrição
As palavras fiéis com marcação de tempo, que é o que a maioria dos gravadores dá a um agente.
Falar sobre uma tela é apontar o tempo todo: este botão, aquele ali, coloque isto acima daquilo. Tire a tela e as palavras deixam de fazer sentido. A transcrição é honesta e barata, e mesmo assim não diz ao agente qual botão você quis dizer.
- PONTUAÇÃO
- 5.8/12
- CUSTO
- 78.257 tokens de entrada, 49s
Entregar um documento AREC
Intenção, pedidos extraídos, um plano sugerido, momentos-chave com quadros e alvos de clique, diagnósticos, lacunas de captura e a transcrição.
Ele exige uma etapa de processamento depois que você para de gravar e só é tão bom quanto o que a captura realmente viu. Ele diz explicitamente quando algo não foi capturado, e é isso que o torna confiável.
- PONTUAÇÃO
- 11.8/12
- CUSTO
- 175.172 tokens de entrada, 65s
O resultado contraintuitivo: o documento estruturado não foi só mais preciso do que entregar o vídeo, ele foi mais barato e mais rápido. O AREC usou 58% menos tokens de entrada do que a gravação bruta e terminou 82 segundos antes, com pontuação maior. Em comparação com uma transcrição, ele custa cerca de 16 segundos a mais e rende +6.0 pontos.
O que há dentro do documento
Acrescente .arec a qualquer URL pública de vídeo do Clipy e leia você mesmo. Estes são os campos, e por que cada um merece estar ali.
- Intenção e pedidos extraídos
- O que você queria alcançar e cada mudança específica que pediu, separadas do pensar em voz alta ao redor delas. É isso que impede um agente de agir com base num comentário solto.
- Momentos-chave, com quadros e alvos de clique
- Os instantes específicos que carregam significado, cada um com um quadro extraído e, quando a captura permite, as coordenadas reais do seu clique. É o campo que resolve a palavra “isto”.
- Plano sugerido
- Uma ordem proposta que o agente pode aceitar, reorganizar ou contestar, para que a primeira troca seja sobre o plano e não sobre o que você quis dizer.
- Diagnósticos, quando capturados
- Mensagens do console e requisições com falha da sessão gravada, presas ao momento em que aconteceram em vez de coladas à parte.
- Lacunas de captura
- Uma declaração explícita do que a gravação não mostra. Um agente que sabe o que falta pergunta; um que não sabe chuta com confiança.
- Transcrição com marcação de tempo
- A narração completa, preservada. Tudo acima é derivado da gravação, e a transcrição é o que permite conferir qualquer parte.
O formato é público, então lê-lo é uma requisição HTTP, não uma integração com fornecedor. Leia a especificação AREC
ESTUDO CONTROLADO E CEGO · 20 TESTES PRINCIPAIS
O AREC venceu esta tarefa visual, com folga.
Nesta tarefa controlada e cega de landing page, o Clipy AREC teve média de 11.8/12 contra 5.8/12 da transcrição pura, em 5 sessões novas e isoladas por grupo. O AREC cumpriu os seis requisitos em 4/5 execuções, contra 0/5 da transcrição pura. A vantagem vem de pedidos visuais como “mova este botão”, em que as palavras sozinhas não dizem o que é “este”.
VANTAGEM NA PONTUAÇÃO
+6.0
pontos; intervalo de bootstrap de 4.8 a 7.4
CONCLUSÕES COMPLETAS
4/5 vs 0/5
AREC contra só transcrição
PONTUAÇÃO MÉDIA
11.8 vs 5.8
de 12, AREC contra só transcrição
Toda execução com AREC superou toda execução só com transcrição (11–12 contra 3–7).
Um AREC carrega a transcrição completa junto com os quadros, os alvos do ponteiro e os momentos-chave, então um agente nunca recebe menos dele do que de uma transcrição. O ganho é maior quando alguém aponta em vez de explicar por extenso, que é como as pessoas revisam interfaces. Este estudo controlado mediu isso numa tarefa de landing page com 5 sessões novas por grupo.
Pré-registrado antes das execuções, SHA-256 a968595c07213677117fe849068a75034d1402fc98089e287b9249d3c11fb042. Cada patch, log de eventos e captura de tela cega de cada teste está publicado, incluindo a execução do AREC que falhou.
PEÇA COM SUAS PALAVRAS
O que você pode pedir de verdade
Cada linha abaixo corresponde a algo que já está disponível. Cole uma num agente conectado e funciona. Tudo o que lê, busca ou espera não altera nada. Gravar, enviar e editar podem alterar dados. Se você vê uma confirmação depende do host do seu agente e das configurações dele. Mantenha as aprovações de ferramentas ativadas para a CLI e o servidor MCP do Clipy se quiser revisar essas ações antes que rodem.
Entender o que aconteceu
Link público, skill, MCP ou CLIO agente lê a gravação em vez de assistir: resumo, pedidos extraídos, momentos-chave com quadros e a transcrição com marcação de tempo.
“Leia esta gravação e me diga cada mudança que eu pedi, com a marcação de tempo de onde veio cada uma: <link>”
Pedidos extraídos mais a transcrição. As citações permitem conferir qualquer afirmação no player.
“Resuma esta gravação para quem perdeu a reunião e liste as decisões em aberto: <link>”
Resumo e intenção, sem precisar reproduzir o vídeo.
“Qual momento-chave mostra a falha de fato nesta gravação, e o que está na tela nesse instante?”
Os momentos-chave trazem um quadro extraído e, quando capturadas, as coordenadas reais do clique.
“O que esta gravação deixou de capturar que você precisaria para ter certeza?”
O AREC declara explicitamente suas lacunas de captura, então o agente consegue dizer o que não sabe.
Reproduzir e corrigir um bug
Link público ou MCPO trabalho para o qual esta categoria foi inventada. A gravação carrega o elemento exato e o clique, então o agente para de adivinhar qual botão você quis dizer.
“Transforme esta gravação em passos de reprodução e depois encontre o código responsável: <link>”
A narração dá a intenção, os quadros dos momentos-chave dão o estado da tela.
“Cliquei em algo que não fez nada. Leia a gravação, identifique o controle exato pelo alvo do clique e rastreie o handler dele.”
As coordenadas de clique vêm das capturas do app para Mac e da extensão do Chrome.
“Verifique os diagnósticos do navegador desta gravação em busca de erros de console ou requisições com falha perto do momento da falha.”
Disponível quando a captura registrou isso; o documento avisa quando não registrou.
“Escreva um teste de regressão que teria pego o comportamento desta gravação.”
Funciona a partir do fluxo demonstrado, não de uma descrição escrita dele.
Gravar para você
CLI e MCP, escopo de envioO agente consegue capturar, além de ler. Headless para uma URL que ele alcança, ou a tela real do seu Mac quando a coisa só existe num app com login.
“Grave este app local em http://127.0.0.1:3000, percorra o fluxo de checkout e me dê o link de compartilhamento.”
Captura headless. Roda num servidor ou em CI, sem tela.
“Grave a janela do Chrome chamada “Staging” enquanto você a controla, e marque cada passo que verificar.”
Captura da janela real no macOS, com marcas de evidência com marcação de tempo.
“Inicie uma sessão de gravação, adicione um capítulo chamado BEFORE, reproduza o bug e depois adicione um chamado AFTER.”
Marcas e capítulos entram no relógio da gravação como narração do agente.
Comprovar o próprio trabalho
CLIO agente termina uma mudança e devolve a prova de que ela funciona, usando a ferramenta de captura que já tem. Sem depender de um segundo navegador.
“Você corrigiu. Agora verifique no app rodando e me mande a prova pelo Clipy.”
As legendas são atestadas por quem conduz: registram o que o agente relatou ver, não uma afirmação do Clipy.
“Transforme estas capturas de tela em uma gravação de prova com uma legenda em cada uma e me dê o link para assistir.”
O modo de quadros precisa de ffmpeg e não precisa de tela, então roda em CI.
“Envie o vídeo do Playwright daquela execução de teste e devolva tanto a URL para assistir quanto a URL de contexto para agentes.”
Um WebM ou MP4 existente é enviado sem recodificação.
Buscar em tudo o que você já gravou
MCP e CLI, autenticadosA parte que um único link colado não faz. Com o MCP conectado, gravações antigas continuam respondendo perguntas novas.
“Encontre a gravação em que discutimos a página de preços e me diga o que decidimos.”
Busca híbrida, semântica e por palavra-chave, em gravações e contexto importado.
“Em todas as minhas gravações, o que alguém já disse sobre o worker de faturas?”
Retorna momentos exatos e links diretos, não só uma lista de vídeos.
“Por que este componente foi construído assim? Confira minha biblioteca antes de ler o código.”
O raciocínio gravado sobrevive como contexto pesquisável.
Trazer vídeo de fora
CLIUm tutorial do YouTube ou um arquivo local vira um documento de contexto privado que o agente consegue ler, sem hospedá-lo de novo na sua biblioteca.
“Importe este passo a passo do YouTube como contexto e siga os passos de configuração exatamente.”
Gera um pacote de contexto local e privado. Ele não é publicado na sua biblioteca.
“Leia este arquivo de gravação de tela no meu disco e transforme em uma lista de tarefas.”
Importação de arquivo local, no mesmo formato de documento.
O contrato completo que um agente descobre sozinho está em clipy guide --json e na lista de ferramentas MCP. Leia a referência para agentes
Uma gravação. Trabalho de verdade, feito.
O mesmo link do Clipy que um colega assiste é o contexto com que seu agente age. Veja como isso fica em todo o time.
Reproduza o bug uma vez e entregue ao agente uma reprodução real
O que antes era uma reprodução escrita, com passos numerados e capturas recortadas, agora é uma única execução gravada.
- Cada clique carrega o elemento-alvo, então o desenvolvedor recebe uma reprodução que reproduz de verdade.
- Cole o link no seu agente de programação e ele lê os quadros, não uma paráfrase deles.
- O agente gera o teste do Playwright direto do fluxo gravado.
Uma demo vira o kit de lançamento inteiro
O que antes era uma manhã escrevendo à mão o changelog, o artigo de ajuda e o fio para redes sociais começa a partir de uma demo gravada.
- Mostre o recurso uma vez e deixe o agente rascunhar o changelog, o artigo de ajuda e os textos para redes sociais.
- Os quadros da gravação entram como capturas de tela, então nada é descrito de memória.
- Cada material fica ancorado no que você realmente mostrou na tela.
Explique a mudança, entregue a mudança
O que antes era um texto de 20 minutos sobre o que você quer construir agora é um passo a passo de dois minutos com que seu agente pode agir.
- Aponte para a interface, diga o que deve mudar e compartilhe um link.
- Seu agente de programação lê o resumo e os quadros apontados e abre a correção.
- Nada de perder tempo escrevendo tickets entre a ideia e o pull request.
Grave o passo a passo e deixe o agente fazer o follow-up
O que antes era um e-mail de resumo digitado do zero depois de cada reunião começa a partir da própria gravação.
- Envie uma demo assíncrona personalizada em vez de marcar mais uma reunião ao vivo.
- A transcrição e o resumo viram o e-mail de follow-up e a nota no CRM.
- Os clientes em potencial reveem o momento exato que importou, no tempo deles.
Percorra o fluxo uma vez e ganhe o artigo de ajuda
O que antes era uma resposta de suporte escrita e reescrita à mão é gerado a partir do fluxo gravado.
- Faça o fluxo uma vez e deixe o agente transformá-lo em um artigo de ajuda numerado, com uma captura de tela por passo.
- Ou entregue à engenharia um escalonamento limpo que ela consegue reproduzir, não uma descrição vaga.
- A mesma gravação responde ao próximo cliente que encontrar o problema.
Dê ao Claude Code, Cursor ou Codex um bug que eles conseguem ver
O que antes era “quebra quando eu clico aqui” em três mensagens no Slack vira um link que seu agente lê do começo ao fim.
- Grave “quando eu clico NISTO, quebra” e cole o link no seu agente.
- Ele lê os quadros, procura no código o botão que literalmente consegue ver e abre a correção.
- As coordenadas de clique resolvem “isto” em pixels reais, mesmo com três botões Exportar na tela.
Um comando conecta o Clipy ao seu agente
Nenhuma chave de API para copiar e colar. Rode isto, aprove uma vez no navegador, e seu agente de programação passa a gravar e ler gravações.
npx @clipy/cli agents install claude # also: codex · cursor
- Passo 1
O navegador abre; clique em Approve uma vez. Ele mostra o cliente e os escopos: ler suas gravações, e gravar e enviar.
- Passo 2
A skill do Clipy é instalada na pasta de skills do seu agente.
- Passo 3
Seu agente grava com o Clipy e lê qualquer gravação de volta.
A configuração completa, a alternativa manual de colar uma chave e todos os comandos estão na documentação da CLI.
Seu agente grava as próprias execuções
Ler uma gravação é metade do caminho. Com a CLI do Clipy (ou o servidor MCP, para as duas primeiras) um agente de programação grava o app que acabou de construir e lê o resultado de volta, de três formas, sem ninguém segurando a câmera.
Captura headless
clipy record --url abre o app num navegador headless e envia a execução, sem tela, então funciona em CI e em sandboxes na nuvem.
Sessão ao vivo, narrada
clipy session start grava em segundo plano enquanto o agente controla o app com as próprias ferramentas. Cada clipy mark vira um capítulo da transcrição, identificado como narração do agente, nunca passado como fala transcrita.
A tela real do Mac
--source mac-screen grava sua tela real, com login (uma janela ou tela escolhida), pelo app do Clipy para Mac em execução, com o indicador de gravação sempre visível.
Todo modo devolve um link normal do Clipy com transcrição, resumo e momentos-chave. Os comandos completos estão na documentação da CLI e na documentação do MCP.
Por que um agente consegue agir com uma gravação do Clipy
Os agentes de hoje não assistem a vídeos. O Clipy faz a tradução no servidor, então um link simples funciona onde um MP4 bruto é um beco sem saída.
Só uma URL: contexto para agentes
Acrescente .arec a qualquer link público de vídeo e ele entrega o contexto para agentes: o resumo, os momentos-chave, os quadros e a transcrição. Sem instalação, sem chave de API e com muito menos tokens do que uma ida e volta pelo MCP. O acesso em texto simples e sem atrito que os agentes preferem cada vez mais. Pessoas colam o link normal; agentes com a skill conhecem a convenção.
Momentos-chave, não só palavras
O Clipy encontra cada vez que alguém aponta algo ao falar e extrai o quadro daquele instante. Quando existe registro de cliques (app para Mac e gravações de aba da extensão do Chrome) ele junta as coordenadas reais do clique e, nas gravações do app para Mac, o papel e o rótulo do elemento clicado. Assim um momento diz “clicou no botão Configurações em (0.63, 0.41)”, uma reprodução que reproduz de verdade, não uma paráfrase.
MCP para bibliotecas privadas
Use a skill para links colados. Use o MCP quando o agente precisar de acesso autenticado: buscar em toda a sua biblioteca, ler gravações privadas ou trazer quadros dos momentos-chave numa chamada de ferramenta. O ChatGPT, o Claude e o Claude Code não precisam de instalação: adicione o servidor hospedado como conector e entre pelo navegador.
https://clipy.online/video/<id>.arec
# UI Recording Feedback
Screen recording · 1:13 · watch: https://clipy.online/video/<id>…
## Summary
The speaker reviews a recording interface, pointing out a duplicated
timer and a settings section that should be collapsed…
## Key moments
```json
[{"t_ms":6400,"caption":"points to 'this section' on screen",
"frame_url":"https://cdn.clipy.online/key-moments/…/6400.jpg",
"x":0.63,"y":0.41,"source":"fused","confidence":0.9}, …]
```
### 0:06 · points to 'this section' on screen

## Transcript
```
[0:01] Hey great. So there are a few things I'd like you to update.
[0:06] For example this section…
```Exemplo ao vivo: clipy.online/video/kb2tgjg0ptes.arec
As ferramentas MCP que seu agente recebe
npx -y @clipy/mcp # local: records too. CLIPY_API_KEY via: npx @clipy/cli login https://clipy.online/api/mcp # hosted: ChatGPT, Claude, Claude Code. OAuth, no key
get_agent_context
Pacote numa chamada só: metadados + resumo + momentos-chave (quadros como imagens) + transcrição. Comece por aqui.
get_key_moments
Os indicadores visuais: o que a pessoa apontou, o quadro naquele instante e as coordenadas de clique quando há registro de cliques (app para Mac + gravações de aba da extensão do Chrome).
get_transcript
Transcrição completa com marcação de tempo (segmentos + texto simples).
get_summary
Resumo por IA: TL;DR, pontos principais, itens de ação.
search_recordings
Encontre gravações por palavra-chave.
Referência completa em clipy.online/docs/mcp · instale a skill.
Conecte suas gravações ao seu fluxo de trabalho
Cada gravação vira algo com que seus agentes podem agir: uma transcrição com marcação de tempo, capítulos e o contexto para agentes que o Claude Code, o Cursor e o Codex leem direto do link de compartilhamento. Comece grátis e faça upgrade quando precisar de mais: US$ 9/mês, cancele quando quiser.
- Gravações ilimitadas, em 4K
- MCP para Claude, Cursor e Codex
- Contexto para agentes em todo link
- Transcrições, resumos e capítulos
- Perguntas e respostas sobre o vídeo
- Busca em toda a sua biblioteca
- Importação de contexto do YouTube e de vídeos
- Importações ilimitadas do Loom
Experimente gravar, compartilhar e transcrever grátis por 7 dias a partir do cadastro, sem cartão.
Perguntas frequentes
Como faço o Claude ou o Cursor lerem uma gravação de tela?
Caminho padrão: instale a skill do Clipy uma vez e cole o link normal do vídeo no Clipy. A skill busca o contexto para agentes, espera se necessário e lê os pedidos, o plano, os momentos-chave, os diagnósticos, as lacunas e a transcrição. Caminho avançado: instale o MCP para gravações privadas e busca na biblioteca.
Funciona com gravações privadas?
Links públicos funcionam pela skill sem chave de API. Gravações privadas e restritas precisam de credenciais. Use o servidor MCP ou a CLI do Clipy quando um agente precisar de acesso autenticado à sua biblioteca privada.
Quais agentes e ferramentas são compatíveis?
A skill é o caminho padrão para o Claude, pastas de skills no estilo do Codex e agentes que entendem skills. O link .arec por trás funciona em qualquer lugar em que uma ferramenta consiga buscar uma URL. O MCP continua disponível para Claude Code, Claude Desktop, Cursor, Cline, Windsurf e outros clientes MCP.
O que são exatamente “momentos-chave”?
Instantes com marcação de tempo em que a pessoa se referiu a algo visível: “este botão”, “este erro”, “veja o que acontece”. Para cada um, o Clipy extrai o quadro do vídeo naquele momento; nas gravações do app para Mac (e nas gravações de aba da extensão do Chrome) ele também junta as coordenadas reais do clique. É assim que um agente transforma “isto” em pixels de verdade.
Meu agente consegue gravar sozinho, não só ler?
Sim. Com a CLI ou o servidor MCP do Clipy, um agente grava um app web em modo headless (feito para CI e sandboxes na nuvem) ou conduz uma sessão ao vivo enquanto controla o app com as próprias ferramentas. A CLI do Clipy também grava janelas e telas do Mac e o iOS Simulator pelo app do Clipy em execução (--source mac-screen) e telas Linux (--source screen, inclusive uma tela virtual privada), e os apps para Mac e Windows gravam todo o resto. A gravação volta como um link normal do Clipy com transcrição, resumo e momentos-chave: o mesmo que ele leria de qualquer outra pessoa. Gravar exige uma chave com escopo de envio; ler links públicos não exige chave nenhuma.
Existe teste gratuito?
Sim. O Clipy é grátis para começar, com um teste gratuito de 7 dias a partir do cadastro, sem cartão. Faça upgrade para o Pro para continuar gravando depois do teste. As gravações existentes e o contexto para agentes delas continuam acessíveis.
O que é grátis e o que precisa do Pro?
O gravador, os links de compartilhamento, as transcrições, os resumos, os momentos-chave, o contexto para agentes e o servidor MCP estão todos incluídos no teste gratuito de 7 dias, sem cartão, sem exigir cadastro de quem assiste e sem limite de duração por gravação. O Pro (US$ 9/mês, ou US$ 6/mês no plano anual) mantém você gravando depois do teste e adiciona 4K, migração da biblioteca inteira do Loom, CTAs no fim do vídeo e suporte prioritário.
Minha gravação é usada para treinar modelos de IA?
Não. As gravações são processadas para gerar sua transcrição, seu resumo e seus momentos-chave, e só. A divulgação completa do que o Clipy armazena e de quem tem acesso está em clipy.online/trust.
O fluxo de trabalho que isso libera
- 1. Qualquer pessoa grava. Um PM, um QA, um cliente: “quando eu clico NISTO, quebra”. Sem escrever tickets, sem capturas de tela, sem passos de reprodução.
- 2. Um link circula. A mesma URL funciona no Slack para pessoas e no chat de um agente quando a skill do Clipy está instalada.
- 3. O agente age. Ele lê o resumo, olha os quadros apontados, procura no código o botão que literalmente consegue ver e entrega a correção.
Leituras relacionadas
Guias aprofundados sobre como entregar uma gravação ao seu agente de IA.