El grabador de pantalla que los agentes pueden leer
Grabaciones de pantalla para agentes de IA
Graba un bug, un recorrido o un comentario una sola vez. Un compañero recibe el video, mientras Claude Code, Cursor o Codex reciben el resumen, los momentos exactos que señalaste con fotogramas y objetivos de clic, y la transcripción. Los agentes también graban la prueba de su propio trabajo, en modo headless o en tu pantalla real.
¿La idea es nueva para ti? Empieza por qué es una grabación que los agentes pueden leer.
Prueba gratuita de 7 días, sin tarjeta. Clipy Pro cuesta 9 US$/mes, cancela cuando quieras.
EL FORMATO
Un agente tiene tres opciones. Solo una funciona.
Un agente de programación no puede ver una grabación de pantalla. Así que la pregunta real nunca es si un grabador tiene IA, sino en qué forma llega la grabación. Hay exactamente tres respuestas, y el benchmark de abajo midió las tres en la misma tarea.
Entregar el video sin procesar
El propio MP4, fotogramas y audio, directo a la ventana de contexto.
La mayoría de los agentes de programación ni siquiera aceptan video, y los que sí pagan por cada fotograma, pase algo en él o no. La grabación es casi toda redundante: nueve segundos de pantalla quieta son nueve segundos de fotogramas casi idénticos.
- PUNTUACIÓN
- 2.4/12
- COSTO
- 417.487 tokens de entrada, 147s
Entregar la transcripción
Las palabras fieles con marcas de tiempo, que es lo que la mayoría de los grabadores le da a un agente.
Hablar de una pantalla es señalar todo el tiempo: este botón, ese otro, pon esto encima de aquello. Quita la pantalla y las palabras dejan de tener sentido. La transcripción es fiel y barata, y aun así no le dice al agente a qué botón te referías.
- PUNTUACIÓN
- 5.8/12
- COSTO
- 78.257 tokens de entrada, 49s
Entregar un documento AREC
Intención, solicitudes extraídas, un plan sugerido, momentos clave con fotogramas y objetivos de clic, diagnósticos, vacíos de captura y la transcripción.
Requiere un paso de procesamiento después de que dejas de grabar y solo es tan bueno como lo que la captura vio de verdad. Dice explícitamente cuándo algo no se capturó, y eso es lo que lo hace confiable.
- PUNTUACIÓN
- 11.8/12
- COSTO
- 175.172 tokens de entrada, 65s
El resultado contraintuitivo: el documento estructurado no solo fue más preciso que entregar el video, fue más barato y más rápido. AREC usó un 58% menos de tokens de entrada que la grabación sin procesar y terminó 82 segundos antes, con una puntuación más alta. Frente a una transcripción cuesta unos 16 segundos más y aporta +6.0 puntos.
Qué hay dentro del documento
Agrega .arec a cualquier URL pública de video de Clipy y léelo tú mismo. Estos son los campos, y por qué cada uno se gana su lugar.
- Intención y solicitudes extraídas
- Lo que querías lograr y cada cambio concreto que pediste, separados de lo que pensabas en voz alta alrededor. Esto es lo que evita que un agente actúe por un comentario al margen.
- Momentos clave, con fotogramas y objetivos de clic
- Los instantes concretos que tienen significado, cada uno con un fotograma extraído y, cuando la captura lo permite, las coordenadas reales de tu clic. Es el campo que resuelve la palabra “esto”.
- Plan sugerido
- Un orden propuesto que el agente puede aceptar, reordenar o discutir, para que el primer intercambio sea sobre el plan y no sobre lo que querías decir.
- Diagnósticos, cuando se capturan
- Mensajes de consola y solicitudes fallidas de la sesión grabada, ligados al momento en que ocurrieron en lugar de pegados aparte.
- Vacíos de captura
- Una declaración explícita de lo que la grabación no muestra. Un agente que sabe lo que le falta pregunta; uno que no lo sabe adivina con seguridad.
- Transcripción con marcas de tiempo
- La narración completa, preservada. Todo lo anterior se deriva de la grabación, y la transcripción es lo que te permite comprobar cualquier parte.
El formato es público, así que leerlo es una solicitud HTTP y no una integración con un proveedor. Lee la especificación AREC
ESTUDIO CONTROLADO A CIEGAS · 20 PRUEBAS PRINCIPALES
AREC ganó esta tarea visual, y por amplio margen.
En esta tarea controlada y a ciegas de una landing page, Clipy AREC promedió 11.8/12 frente a 5.8/12 de la transcripción sola, en 5 sesiones nuevas y aisladas por grupo. AREC cumplió los seis requisitos en 4/5 ejecuciones, frente a 0/5 de la transcripción sola. La ventaja viene de solicitudes visuales como “mueve este botón”, donde las palabras por sí solas no dicen qué es “este”.
VENTAJA EN PUNTUACIÓN
+6.0
puntos; intervalo bootstrap de 4.8 a 7.4
COMPLETADAS AL 100 %
4/5 vs 0/5
AREC frente a solo transcripción
PUNTUACIÓN MEDIA
11.8 vs 5.8
sobre 12, AREC frente a solo transcripción
Cada ejecución con AREC superó a cada ejecución con solo transcripción (11–12 frente a 3–7).
Un AREC incluye la transcripción completa además de los fotogramas, los objetivos del puntero y los momentos clave, así que un agente nunca obtiene menos de él que de una transcripción. La ganancia es mayor cuando alguien señala en vez de explicarlo todo con palabras, que es como la gente revisa interfaces. Este estudio controlado lo midió en una tarea de landing page con 5 sesiones nuevas por grupo.
Prerregistrado antes de las ejecuciones, SHA-256 a968595c07213677117fe849068a75034d1402fc98089e287b9249d3c11fb042. Cada parche, registro de eventos y captura a ciegas de cada prueba está publicado, incluida la ejecución de AREC que falló.
PÍDELO CON TUS PALABRAS
Lo que de verdad puedes pedir
Cada línea de abajo corresponde a algo que ya está disponible. Pega una en un agente conectado y funciona. Todo lo que lee, busca o espera no cambia nada. Grabar, subir y editar pueden cambiar datos. Que veas una confirmación depende del host de tu agente y su configuración. Mantén activadas las aprobaciones de herramientas para la CLI y el servidor MCP de Clipy si quieres revisar esas acciones antes de que se ejecuten.
Entender qué pasó
Enlace público, skill, MCP o CLIEl agente lee la grabación en vez de verla: resumen, solicitudes extraídas, momentos clave con fotogramas y la transcripción con marcas de tiempo.
“Lee esta grabación y dime cada cambio que pedí, con la marca de tiempo de donde salió cada uno: <link>”
Solicitudes extraídas más la transcripción. Las citas te permiten comprobar cualquier afirmación en el reproductor.
“Resume esta grabación para quien se perdió la llamada y enumera las decisiones pendientes: <link>”
Resumen e intención, sin necesidad de reproducir el video.
“¿Qué momento clave muestra el fallo real en esta grabación y qué hay en pantalla en ese punto?”
Los momentos clave incluyen un fotograma extraído y, cuando se capturan, las coordenadas reales del clic.
“¿Qué dejó de capturar esta grabación que necesitarías para estar seguro?”
AREC declara sus vacíos de captura de forma explícita, así que el agente puede decir lo que no sabe.
Reproducir y corregir un bug
Enlace público o MCPEl trabajo para el que se inventó esta categoría. La grabación incluye el elemento exacto y el clic, así que el agente deja de adivinar a qué botón te referías.
“Convierte esta grabación en pasos de reproducción y luego encuentra el código responsable: <link>”
La narración aporta la intención; los fotogramas de los momentos clave, el estado de la pantalla.
“Hice clic en algo que no hizo nada. Lee la grabación, identifica el control exacto por el objetivo del clic y rastrea su handler.”
Las coordenadas de clic vienen de las capturas de la app para Mac y de la extensión de Chrome.
“Revisa los diagnósticos del navegador de esta grabación en busca de errores de consola o solicitudes fallidas cerca del momento del fallo.”
Disponible cuando la captura los registró; el documento lo indica cuando no lo hizo.
“Escribe una prueba de regresión que habría detectado el comportamiento de esta grabación.”
Funciona a partir del flujo demostrado, no de una descripción escrita.
Grabarlo por ti
CLI y MCP, alcance de subidaEl agente puede capturar además de leer. En modo headless para una URL a la que llega, o la pantalla real de tu Mac cuando algo solo existe en una app con sesión iniciada.
“Graba esta app local en http://127.0.0.1:3000, recorre el flujo de pago y dame el enlace para compartir.”
Captura headless. Funciona en un servidor o en CI, sin pantalla.
“Graba la ventana de Chrome llamada “Staging” mientras la manejas y marca cada paso que verifiques.”
Captura de la ventana real en macOS, con marcas de evidencia con marca de tiempo.
“Inicia una sesión de grabación, añade un capítulo llamado BEFORE, reproduce el bug y luego añade uno llamado AFTER.”
Las marcas y los capítulos quedan en el reloj de la grabación como narración del agente.
Demostrar su propio trabajo
CLIEl agente termina un cambio y devuelve la prueba de que funciona, con la herramienta de captura que ya tiene. Sin depender de un segundo navegador.
“Ya lo corregiste. Ahora verifícalo en la app en ejecución y envíame la prueba a través de Clipy.”
Los subtítulos los certifica quien conduce la prueba: registran lo que el agente dijo ver, no una afirmación de Clipy.
“Convierte estas capturas de pantalla en una grabación de prueba con un subtítulo en cada una y dame el enlace para verla.”
El modo de fotogramas necesita ffmpeg y no necesita pantalla, así que funciona en CI.
“Sube el video de Playwright de esa ejecución de pruebas y devuelve tanto la URL para verlo como la URL de contexto para agentes.”
Un WebM o MP4 existente se sube sin volver a codificarlo.
Buscar en todo lo que has grabado
MCP y CLI, con autenticaciónLo que un solo enlace pegado no puede hacer. Con MCP conectado, las grabaciones antiguas siguen respondiendo preguntas nuevas.
“Encuentra la grabación en la que hablamos de la página de precios y dime qué decidimos.”
Búsqueda híbrida, semántica y por palabras clave, en grabaciones y contexto importado.
“En todas mis grabaciones, ¿qué ha dicho alguien sobre el worker de facturas?”
Devuelve momentos exactos y enlaces directos, no solo una lista de videos.
“¿Por qué este componente está construido así? Revisa mi biblioteca antes de leer el código.”
El razonamiento grabado sobrevive como contexto que se puede buscar.
Traer video de fuera
CLIUn tutorial de YouTube o un archivo local se convierte en un documento de contexto privado que el agente puede leer, sin volver a alojarlo en tu biblioteca.
“Importa este tutorial de YouTube como contexto y sigue sus pasos de configuración al pie de la letra.”
Genera un paquete de contexto local y privado. No se publica en tu biblioteca.
“Lee este archivo de grabación de pantalla en mi disco y conviértelo en una lista de tareas.”
Importación de archivo local, con el mismo formato de documento.
El contrato completo que un agente descubre por sí mismo está en clipy guide --json y en la lista de herramientas MCP. Lee la referencia para agentes
Una grabación. Trabajo real, hecho.
El mismo enlace de Clipy que ve un compañero es el contexto con el que actúa tu agente. Así se ve en todo el equipo.
Reproduce el bug una vez y dale al agente una reproducción real
Lo que antes era una reproducción escrita, con pasos numerados y capturas recortadas, ahora es una sola ejecución grabada.
- Cada clic lleva su elemento objetivo, así que el desarrollador recibe una reproducción que de verdad reproduce el bug.
- Pega el enlace en tu agente de programación y lee los fotogramas, no una paráfrasis de ellos.
- El agente puede generar la prueba de Playwright directamente desde el flujo grabado.
Una demo se convierte en todo el kit de lanzamiento
Lo que antes era una mañana escribiendo a mano el changelog, el artículo de ayuda y el hilo para redes empieza con una demo grabada.
- Muestra la función una vez y deja que el agente redacte el changelog, el artículo de ayuda y los textos para redes.
- Los fotogramas de la grabación entran como capturas de pantalla, así que nada se describe de memoria.
- Cada recurso queda anclado a lo que realmente mostraste en pantalla.
Explica el cambio, entrega el cambio
Lo que antes era un texto de 20 minutos sobre lo que quieres construir ahora es un recorrido de dos minutos con el que tu agente puede actuar.
- Señala la interfaz, di qué debe cambiar y comparte un enlace.
- Tu agente de programación lee el resumen y los fotogramas señalados, y abre la corrección.
- Sin el peaje de escribir tickets entre la idea y el pull request.
Graba el recorrido y deja que el agente haga el seguimiento
Lo que antes era un correo de resumen escrito desde cero después de cada llamada empieza con la propia grabación.
- Envía una demo asíncrona personalizada en lugar de agendar otra llamada en vivo.
- La transcripción y el resumen se convierten en el correo de seguimiento y la nota del CRM.
- Los clientes potenciales vuelven a ver el momento exacto que importó, a su ritmo.
Recorre el flujo una vez y obtén el artículo de ayuda
Lo que antes era una respuesta de soporte escrita y reescrita a mano se genera a partir del flujo grabado.
- Haz el flujo una vez y deja que el agente lo convierta en un artículo de ayuda numerado con una captura por paso.
- O entrega a ingeniería un escalamiento limpio que pueda reproducir, no una descripción vaga.
- La misma grabación responde al próximo cliente que tenga el problema.
Dale a Claude Code, Cursor o Codex un bug que pueda ver
Lo que antes era “se rompe cuando hago clic aquí” en tres mensajes de Slack se convierte en un enlace que tu agente lee de principio a fin.
- Graba “cuando hago clic en ESTO, se rompe” y pega el enlace en tu agente.
- Lee los fotogramas, busca en el código el botón que literalmente puede ver y abre la corrección.
- Las coordenadas del clic convierten “esto” en píxeles reales, aunque haya tres botones Exportar en pantalla.
Un comando conecta Clipy con tu agente
No hay que copiar ni pegar ninguna clave de API. Ejecuta esto, aprueba una vez en el navegador y tu agente de programación podrá grabar y leer grabaciones.
npx @clipy/cli agents install claude # also: codex · cursor
- Paso 1
Se abre el navegador; haz clic en Approve una vez. Muestra el cliente y los permisos: leer tus grabaciones, y grabar y subir.
- Paso 2
La skill de Clipy se instala en la carpeta de skills de tu agente.
- Paso 3
Tu agente graba con Clipy y lee cualquier grabación.
La configuración completa, la alternativa manual de pegar una clave y todos los comandos están en la documentación de la CLI.
Tu agente graba sus propias ejecuciones
Leer una grabación es la mitad. Con la CLI de Clipy (o el servidor MCP para las dos primeras) un agente de programación graba la app que acaba de construir y lee el resultado, de tres formas, sin que nadie sostenga la cámara.
Captura headless
clipy record --url abre la app en un navegador headless y sube la ejecución, sin pantalla, así que funciona en CI y en sandboxes en la nube.
Sesión en vivo, narrada
clipy session start graba en segundo plano mientras el agente maneja la app con sus propias herramientas. Cada clipy mark se convierte en un capítulo de la transcripción, identificado como narración del agente y nunca presentado como voz transcrita.
La pantalla real del Mac
--source mac-screen graba tu pantalla real con sesión iniciada (una ventana o pantalla que elijas) a través de la app de Clipy para Mac en ejecución, con el indicador de grabación siempre visible.
Cada modo devuelve un enlace normal de Clipy con transcripción, resumen y momentos clave. Los comandos completos están en la documentación de la CLI y la documentación de MCP.
Por qué un agente puede actuar con una grabación de Clipy
Los agentes de hoy no ven video. Clipy hace la traducción en el servidor, así que un enlace simple funciona donde un MP4 sin procesar es un callejón sin salida.
Solo una URL: contexto para agentes
Agrega .arec a cualquier enlace público de video y entrega el contexto para agentes: el resumen, los momentos clave, los fotogramas y la transcripción. Sin instalar nada, sin clave de API y con muchos menos tokens que una ida y vuelta por MCP. El acceso en texto plano y sin fricción que los agentes prefieren cada vez más. Las personas pegan el enlace normal; los agentes con la skill conocen la convención.
Momentos clave, no solo palabras
Clipy encuentra cada vez que alguien señala algo al hablar y extrae el fotograma de ese instante. Cuando hay registro de clics (app para Mac y grabaciones de pestaña con la extensión de Chrome) combina las coordenadas reales del clic y, en las grabaciones de la app para Mac, el rol y la etiqueta del elemento en el que se hizo clic. Así un momento dice “hizo clic en el botón Configuración en (0.63, 0.41)”, una reproducción que de verdad reproduce, no una paráfrasis.
MCP para bibliotecas privadas
Usa la skill para enlaces pegados. Usa MCP cuando el agente necesite acceso autenticado: buscar en toda tu biblioteca, leer grabaciones privadas u obtener fotogramas de momentos clave en una llamada a herramienta. ChatGPT, Claude y Claude Code no necesitan instalar nada: agrega el servidor alojado como conector e inicia sesión desde el navegador.
https://clipy.online/video/<id>.arec
# UI Recording Feedback
Screen recording · 1:13 · watch: https://clipy.online/video/<id>…
## Summary
The speaker reviews a recording interface, pointing out a duplicated
timer and a settings section that should be collapsed…
## Key moments
```json
[{"t_ms":6400,"caption":"points to 'this section' on screen",
"frame_url":"https://cdn.clipy.online/key-moments/…/6400.jpg",
"x":0.63,"y":0.41,"source":"fused","confidence":0.9}, …]
```
### 0:06 · points to 'this section' on screen

## Transcript
```
[0:01] Hey great. So there are a few things I'd like you to update.
[0:06] For example this section…
```Ejemplo en vivo: clipy.online/video/kb2tgjg0ptes.arec
Las herramientas MCP que recibe tu agente
npx -y @clipy/mcp # local: records too. CLIPY_API_KEY via: npx @clipy/cli login https://clipy.online/api/mcp # hosted: ChatGPT, Claude, Claude Code. OAuth, no key
get_agent_context
Paquete en una sola llamada: metadatos + resumen + momentos clave (fotogramas como imágenes) + transcripción. Empieza aquí.
get_key_moments
Los indicadores visuales: lo que señaló quien habla, el fotograma de ese instante y las coordenadas del clic cuando hay registro de clics (app para Mac + grabaciones de pestaña con la extensión de Chrome).
get_transcript
Transcripción completa con marcas de tiempo (segmentos + texto plano).
get_summary
Resumen con IA: TL;DR, puntos clave, tareas pendientes.
search_recordings
Encuentra grabaciones por palabra clave.
Referencia completa en clipy.online/docs/mcp · instala la skill.
Conecta tus grabaciones a tu flujo de trabajo
Cada grabación se convierte en algo con lo que tus agentes pueden actuar: una transcripción con marcas de tiempo, capítulos y el contexto para agentes que Claude Code, Cursor y Codex leen directamente del enlace para compartir. Empieza gratis y mejora tu plan cuando lo necesites: 9 US$/mes, cancela cuando quieras.
- Grabaciones ilimitadas, en 4K
- MCP para Claude, Cursor y Codex
- Contexto para agentes en cada enlace
- Transcripciones, resúmenes y capítulos
- Preguntas y respuestas sobre el video
- Búsqueda en toda tu biblioteca
- Importación de contexto de YouTube y de videos
- Importaciones ilimitadas desde Loom
Prueba a grabar, compartir y transcribir gratis durante 7 días desde el registro, sin tarjeta.
Preguntas frecuentes
¿Cómo hago que Claude o Cursor lean una grabación de pantalla?
Camino predeterminado: instala la skill de Clipy una vez y pega el enlace normal del video de Clipy. La skill obtiene el contexto para agentes, espera si hace falta y lee las solicitudes, el plan, los momentos clave, los diagnósticos, los vacíos y la transcripción. Camino avanzado: instala MCP para grabaciones privadas y búsqueda en la biblioteca.
¿Funciona con grabaciones privadas?
Los enlaces públicos funcionan con la skill sin clave de API. Las grabaciones privadas y restringidas necesitan credenciales. Usa el servidor MCP o la CLI de Clipy cuando un agente necesite acceso autenticado a tu biblioteca privada.
¿Qué agentes y herramientas son compatibles?
La skill es el camino predeterminado para Claude, las carpetas de skills al estilo de Codex y los agentes que entienden skills. El enlace .arec que hay detrás funciona en cualquier lugar donde una herramienta pueda obtener una URL. MCP sigue disponible para Claude Code, Claude Desktop, Cursor, Cline, Windsurf y otros clientes MCP.
¿Qué son exactamente los “momentos clave”?
Instantes con marca de tiempo en los que quien habla se refirió a algo visible: “este botón”, “este error”, “mira lo que pasa”. Para cada uno, Clipy extrae el fotograma del video en ese momento; en las grabaciones de la app para Mac (y en las grabaciones de pestaña con la extensión de Chrome) también combina las coordenadas reales del clic. Así es como un agente convierte “esto” en píxeles reales.
¿Puede mi agente grabar por su cuenta, no solo leer?
Sí. Con la CLI o el servidor MCP de Clipy, un agente puede grabar una app web en modo headless (pensado para CI y sandboxes en la nube) o llevar una sesión en vivo mientras maneja la app con sus propias herramientas. La CLI de Clipy también graba ventanas y pantallas del Mac y el iOS Simulator a través de la app de Clipy en ejecución (--source mac-screen) y pantallas de Linux (--source screen, incluida una pantalla virtual privada), y las apps para Mac y Windows graban todo lo demás. La grabación vuelve como un enlace normal de Clipy con transcripción, resumen y momentos clave: lo mismo que leería de cualquier otra persona. Grabar requiere una clave con permiso de subida; leer enlaces públicos no requiere ninguna clave.
¿Hay una prueba gratuita?
Sí. Clipy es gratis para empezar, con una prueba gratuita de 7 días desde el registro, sin tarjeta. Mejora a Pro para seguir grabando después de la prueba. Las grabaciones existentes y su contexto para agentes siguen accesibles.
¿Qué es gratis y qué necesita Pro?
El grabador, los enlaces para compartir, las transcripciones, los resúmenes, los momentos clave, el contexto para agentes y el servidor MCP están incluidos en la prueba gratuita de 7 días, sin tarjeta, sin pedir registro a quienes miran y sin límite de duración por grabación. Pro (9 US$/mes, o 6 US$/mes con facturación anual) te permite seguir grabando después de la prueba y añade 4K, migración de toda la biblioteca de Loom, CTAs al final del video y soporte prioritario.
¿Se usa mi grabación para entrenar modelos de IA?
No. Las grabaciones se procesan para producir tu transcripción, tu resumen y tus momentos clave, y nada más. La información completa sobre lo que Clipy almacena y quién puede acceder está en clipy.online/trust.
El flujo de trabajo que esto hace posible
- 1. Cualquiera graba. Un PM, un QA, un cliente: “cuando hago clic en ESTO, se rompe”. Sin escribir tickets, sin capturas, sin pasos de reproducción.
- 2. Un enlace circula. La misma URL funciona en Slack para las personas y en el chat de un agente cuando la skill de Clipy está instalada.
- 3. El agente actúa. Lee el resumen, mira los fotogramas señalados, busca en el código el botón que literalmente puede ver y entrega la corrección.
Lecturas relacionadas
Guías a fondo sobre cómo entregar una grabación a tu agente de IA.