Tres formas en las que Codex puede usar una computadora

Actualización: Computer Use ya está disponible en la UE/REINO UNIDO ;) ¡Disfruta!

Hay tres formas para que Codex use una computadora: Computer Use, la extensión de Chrome y el navegador integrado.

Se superponen lo suficiente como para ser confusos.

Al final de esta publicación, sabrás cómo instalar y activar los tres, cuándo usar cada uno, cómo los Appshots y el modo Desarrollador los conectan, y qué agregar a AGENTS.md para que Codex pueda elegir la superficie adecuada por sí solo.

La versión corta es:

Dicho esto, prefiere un plugin o un MCP cuando puedas; un plugin de Slack puede recuperar un hilo con más precisión que navegar haciendo clic en Slack. Un plugin de GitHub produce acciones que son más fáciles de inspeccionar que manejar el sitio web. ¡El control visual es más útil en el límite donde una herramienta estructurada se detiene!

1. Todo es [@Computer](https://x.com/@Computer)

Computer Use es la más amplia de las tres superficies. Permite a Codex ver y operar interfaces gráficas en macOS y Windows trabajando con ventanas, menús, entrada de teclado y el portapapeles en aplicaciones que apruebes.

También suele ser la más lenta. Un plugin estructurado puede llamar a una API directamente; Computer Use tiene que mirar la interfaz, decidir dónde hacer clic, esperar a que la aplicación responda e inspeccionar el siguiente estado. Ese bucle visual consume tiempo, pero significa que Codex puede trabajar con aplicaciones que no exponen ninguna API útil.

En macOS, lento no necesariamente significa disruptivo. Computer Use puede operar aplicaciones aprobadas en segundo plano mientras sigues usando el resto de tu computadora; a menudo estoy usando Codex y abro una aplicación y me doy cuenta de que Codex ha estado trabajando silenciosamente en algún flujo de trabajo.

Dependiendo de lo que esté instalado y aprobado en tu computadora, ¡eso puede incluir Spotify, XCode, Configuración del Sistema, un simulador de iOS, o incluso la aplicación iPhone Mirroring para controlar tu iPhone! También puede moverse entre aplicaciones cuando un flujo de trabajo abarca varias de ellas.

Úsalo cuando la tarea dependa de:

• una aplicación de escritorio nativa como Spotify o una aplicación financiera
• un simulador de iOS, iPhone Mirroring u otro flujo solo de GUI
• configuraciones del sistema o de la aplicación
• una fuente de datos sin plugin ni API
• un flujo de trabajo que se mueve entre varias aplicaciones
• una acción faltante en una integración estructurada por lo demás útil

Para instalarlo, abre Configuración > Computer Use en Codex y haz clic en Instalar.

Para activarlo, menciona @Computer, o pídele explícitamente a Codex que use Computer Use; a medida que nuestros modelos mejoren, podrá llamarlo por sí solo cuando sea necesario.

Prueba algunos para empezar:

Uno de mis ejemplos favoritos comenzó con un paquete robado. Amazon me dijo que tardaría unos 25 minutos en conectarme con un agente de soporte. Le di a un hilo de Codex Computer Use y le pedí que revisara el chat cada cinco minutos, que cambiara a cada minuto una vez que apareciera el agente, e hiciera todo lo posible para obtener el reembolso. Regresé de la ducha y ya tenía el reembolso completado.

1Usa @Computer para abrir Spotify, encontrar mi lista de reproducción Discover Weekly y reproducirla. No cambies la configuración de mi cuenta o suscripción.
2
3Usa @Computer para abrir iPhone Mirroring, reproducir el error de incorporación en la aplicación iOS y tomar una captura de pantalla del estado fallido. Corrige la ruta de código relevante más pequeña y luego ejecuta el mismo flujo nuevamente.

También he usado Computer Use como el último tramo en un flujo de trabajo mayormente estructurado. En un video de lanzamiento, Codex podía leer comentarios de Slack, cambiar el código y renderizar un nuevo video, pero la integración de Slack disponible para ese hilo no podía subir el archivo. Computer Use hizo clic en Agregar archivo y completó ese único paso faltante.

También es el límite de confianza más amplio de los tres. Dale una aplicación o flujo claro a la vez. Mantén las aplicaciones sensibles cerradas cuando no sean parte de la tarea, revisa las solicitudes de permisos y mantente presente para cambios financieros, de cuenta, de pago, de credenciales, de privacidad y de seguridad del sistema.

2. [@Chrome](https://x.com/@Chrome) para múltiples pestañas y autenticación

La extensión de Chrome para Codex le da a Codex acceso a tu estado de Chrome con sesión iniciada. Úsala cuando la tarea dependa de la cuenta, cookies, perfil del navegador o pestañas autenticadas que ya tengas.

Esta es la superficie adecuada para trabajar en herramientas como:

• Gmail o LinkedIn
• Salesforce o una consola de soporte
• paneles internos
• investigación autenticada en varios sitios
• formularios que dependen de tu cuenta o extensiones del navegador

Para instalarla, abre Plugins en Codex, agrega Chrome y sigue el flujo de configuración. Codex te guiará a través de la instalación de la extensión de Chrome para Codex y la aprobación de los permisos de Chrome. Cuando la extensión diga Conectado, inicia un nuevo hilo.

Para activarlo, menciona @Chrome o pídele explícitamente a Codex que use tu navegador Chrome con sesión iniciada:

1Usa @Chrome para revisar la cuenta de cliente abierta, compararla con el ticket de soporte en la otra pestaña y redactar los campos faltantes. Detente antes de enviar.

Las tareas de Chrome se ejecutan en grupos de pestañas, lo que ayuda a mantener juntas las pestañas de un hilo de Codex. A diferencia del navegador integrado, esta superficie lleva tu identidad del navegador. Eso la hace más capaz y más sensible.

La otra gran ventaja es el control de múltiples pestañas. Chrome puede mantener varias pestañas asociadas con la misma tarea, leer el contexto en una, compararlo con otra y continuar el flujo de trabajo en una tercera. Computer Use puede manejar un navegador visualmente, pero Chrome entiende el trabajo como un flujo de trabajo del navegador en lugar de una secuencia de coordenadas de pantalla.

En un hilo reciente, le pasé a Codex una pestaña ya abierta de Strudel Composer y le pedí que hiciera la música más interesante. Chrome le dio la pestaña seleccionada y las herramientas WebMCP de la página. Codex inspeccionó la composición, reescribió la armonía y la forma de cuatro minutos, cambió el tempo, guardó la pista y la dejó reproduciéndose. No necesitó buscar visualmente cada control porque Chrome pudo combinar el contexto de la pestaña con las capacidades estructuradas expuestas por la página.

Uso esto para un hilo de Twitter de larga duración. La instrucción es aproximadamente:

Cada día, usa Chrome para revisar mis MDs, leer noticias relevantes y buscar comentarios o menciones que debería conocer. Agrega cualquier cosa duradera a mi vault. No publiques ni envíes mensajes.

La parte interesante no es que Codex pueda abrir Twitter. Es que el hilo puede volver al mismo trabajo con sesión iniciada con el tiempo, conectar lo que encuentra con archivos locales y dejarme un resultado revisable.

El límite de confianza es importante. Los sitios web pueden tratar los clics, envíos de formularios y mensajes de Codex como acciones realizadas por ti. El contenido de la página también es entrada no confiable. Mantén explícitos los pasos importantes: investiga, navega y redacta automáticamente; requiere tu revisión antes de enviar, publicar, comprar o enviar.

Si toda la tarea permanece en el navegador, prefiere Chrome sobre Computer Use. Chrome tiene el contexto nativo del navegador que la tarea necesita sin abrir acceso al resto del escritorio.

3. Navegador integrado [@browser](https://x.com/@browser) para sitios web que estás construyendo

El navegador integrado es un navegador que vive dentro de un hilo de Codex. Tú y Codex comparten la misma página renderizada, por lo que es especialmente bueno para construir y depurar aplicaciones web.

Aquí es donde empiezo para:

• servidores de desarrollo local
• vistas previas basadas en archivos
• páginas públicas que no requieren inicio de sesión
• reproducir errores visuales
• verificar diseños responsivos
• dejar comentarios de diseño a nivel de elemento

La limitación importante es el aislamiento. El navegador integrado no usa tu perfil normal del navegador, cookies, extensiones, sesiones iniciadas ni pestañas existentes. Eso es una limitación cuando la tarea necesita una cuenta, pero un límite útil cuando no.

Para configurarlo, abre Plugins en Codex, agrega el plugin Browser y actívalo.

Para activarlo, menciona @Browser en tu mensaje o pídele explícitamente a Codex que use el navegador integrado:

1Usa @Browser para abrir la aplicación vite en <http://localhost:3000/>, reproducir el error de desbordamiento móvil, corregirlo y verificar la misma ruta nuevamente en anchos de escritorio y móvil.

Esto crea un ciclo de retroalimentación cerrado: Codex puede editar el código, operar la página, inspeccionar el estado renderizado, tomar una captura de pantalla y repetir el flujo después de la corrección.

Mi parte favorita es la anotación. Cuando reviso una aplicación local, puedo hacer clic directamente en un elemento o seleccionar un área y dejar un comentario. Los controles de estilo también me permiten previsualizar y enviar comentarios más precisos sobre texto, fuentes, espaciado y color. Tiendo a combinar esto con entrada de voz y dirección: reviso la página, dejo comentarios y encolo más retroalimentación mientras Codex trabaja en ello. La página se convierte en la especificación.

Esto es especialmente útil para trabajo de diseño. A menudo le pido a Codex que convierta una idea, un paquete de investigación o el estado del proyecto en un único archivo index.html, y luego lo abro en el navegador integrado. En lugar de tratar de describir todo el diseño en otro mensaje, anoto la página real: "esta jerarquía está al revés", "haz que esto se sienta menos como una tarjeta", "estos controles necesitan más espacio" o "usa esta escala tipográfica en todas partes". Codex recibe el comentario con la captura de pantalla relevante y el contexto del elemento, cambia el archivo y vuelve a abrir la misma página para otra iteración.

Crea un index.html de un solo archivo para este resumen del proyecto y ábrelo en el @Browser integrado.

Ese ciclo se siente mucho más cercano a trabajar con un diseñador en el mismo lienzo que pasar capturas de pantalla y texto de un lado a otro.

El navegador integrado también es útil como punto de partida para un flujo de trabajo mixto. En otro hilo, abrí una publicación de X en el navegador integrado y le pedí a Codex que investigara la discusión. La página visible estableció qué publicación quería decir; Codex luego cambió a la CLI de Twitter y recuperó 38 respuestas, incluyendo respuestas anidadas que la vista del navegador había ocultado. Esa es la regla de la superficie más estrecha en la práctica: usa el navegador para el contexto en pantalla, luego usa una herramienta estructurada para la recuperación más profunda.

Hay una compensación. El aislamiento que hace del navegador integrado una buena superficie de desarrollo también significa que es el lugar equivocado para lidiar con el inicio de sesión de Google, una clave de paso o un sitio que depende de tus extensiones del navegador. Cuando la identidad importa, muévete a Chrome.

Appshots

Un Appshot no es una cuarta forma para que Codex controle una computadora. Es una forma de señalar a Codex el contexto que ya tienes frente a ti.

En una Mac, presiona ambas teclas CMD+CMD para capturar la última ventana. Codex adjunta una imagen y cualquier texto disponible a un hilo. Puedes hacer Appshot de un error, un correo electrónico, un diseño, un panel de configuración o un formulario desconocido y simplemente decir:

Ese es el modelo mental que encuentro más fácil de recordar:

Los Appshots son cómo señalas algo en tu computadora. Browser, Chrome y Computer Use son cómo actúa Codex.

Actualmente, los Appshots se crean desde la aplicación de Codex en macOS. Capturan la ventana frontal, no todo el escritorio, lo que los convierte en una forma útil de proporcionar contexto enfocado sin otorgar control de la aplicación.

Cómo seguir el trabajo

Estas superficies se mueven rápidamente. Si quieres los detalles útiles en lugar de esperar un resumen de lanzamiento gigante:

• Sigue a Ari Weinstein (@AriX) para Computer Use, Appshots
• Sigue a James Sun (@JamesZmSun) para todo lo relacionado con Browser
• Sigue a Andrew Ambrosino (@ajambrosino) para lanzamientos de la aplicación Codex y la historia general del producto de escritorio.
• Sigue a OpenAI Developers (@OpenAIDevs) para noticias más amplias de Codex y la plataforma OpenAI.