GitHub Copilot ya puede leer ventanas, hacer clic, escribir, arrastrar y recorrer aplicaciones de escritorio en Windows y macOS. La función Computer Use llega en vista previa pública tanto a Copilot CLI como a la aplicación de GitHub Copilot.
Su valor aparece donde no hay API, comando ni integración MCP: software heredado, presentaciones o formularios gráficos. GitHub recomienda precisamente preferir una herramienta estructurada cuando exista, porque devuelve información más predecible que interpretar píxeles y estados de ventana.
El permiso no es una sola casilla
La función está desactivada por defecto. Al conceder acceso a una aplicación se puede limitar la autorización a la sesión, guardarla para sesiones futuras o denegarla. La opción «Always allow» se almacena localmente y se comparte entre la aplicación y el CLI en el mismo ordenador.
Hay un matiz importante: retirar después una aprobación guardada impide usos futuros, pero no revoca el acceso que ya tiene una sesión en marcha. Para detener una acción inesperada, GitHub indica pulsar Escape dos veces en el CLI o usar Stop en la aplicación. Las reglas de denegación y las políticas empresariales tienen prioridad sobre permisos automáticos o guardados.
En macOS, el sistema guía al usuario para conceder Accesibilidad y Grabación de pantalla. En ambos sistemas, Copilot puede recibir como contexto el contenido accesible de la aplicación y capturas cuando necesita información visual. Eso amplía el alcance de lo que puede ver, no solo de lo que puede pulsar.
Una matriz sencilla para decidir qué autorizar
- Solo lectura y resumen: permiso de sesión sobre una aplicación con datos no sensibles; revisar el resultado antes de copiarlo fuera.
- Edición reversible: permiso de sesión, copia previa y un ámbito concreto, como una diapositiva o un borrador.
- Envíos, pagos o cambios de acceso: mantener confirmación humana en el último paso y evitar «Always allow».
- Datos personales, financieros o empresariales: usar otra vía estructurada o un entorno deliberadamente preparado; la comodidad no elimina la obligación de proteger lo visible.
Esta clasificación es análisis editorial a partir de los controles publicados, no una certificación de seguridad. GitHub advierte que una interfaz cambiante puede llevar al agente al control equivocado, repetir una acción o escribir en otro campo. Una instrucción ambigua o contenido inesperado en pantalla también puede desencadenar efectos no deseados.
El primer ensayo debe poder deshacerse
Una buena prueba inicial no es «organiza todo mi escritorio». Es una tarea corta en una copia: abrir una presentación de ensayo, modificar un texto identificable y guardar con otro nombre. Conviene anotar qué pidió autorización, qué ventanas leyó, dónde hizo clic y si el archivo final conserva lo que no debía tocar.
No hemos probado Computer Use. Tampoco encontramos una evaluación independiente sustancial publicada tras el lanzamiento. Por ahora solo puede concluirse que GitHub ha expuesto controles de permiso y una vía de interrupción; no que cualquier flujo gráfico sea fiable o seguro.
Nivel de evidencia: documentación/fuente primaria y demo del creador; sin prueba independiente sustancial.
Transparencia: artículo elaborado con asistencia de IA a partir de las fuentes enlazadas. No se han ejecutado los productos o sistemas descritos.
