Mise à jour : Computer Use est désormais disponible dans l'UE/Royaume-Uni ;) Profitez-en !
Il existe trois façons pour Codex d'utiliser un ordinateur : Computer Use, l'extension Chrome et le navigateur intégré à l'application.
Elles se chevauchent juste assez pour prêter à confusion.
À la fin de cet article, vous saurez comment installer et déclencher ces trois options, quand utiliser chacune d'elles, comment les Appshots et le mode Développeur les relient, et quoi ajouter à AGENTS.md pour que Codex puisse choisir la bonne surface tout seul.
La version courte est la suivante :
Cela dit, privilégiez un plugin ou un MCP quand vous le pouvez. Un plugin Slack peut récupérer un fil de discussion plus précisément qu'en naviguant dans Slack. Un plugin GitHub produit des actions plus faciles à inspecter que l'utilisation du site web. Le contrôle visuel est surtout utile à la frontière où un outil structuré s'arrête !
1. Tout est @Computer
Computer Use est la plus large des trois surfaces. Elle permet à Codex de voir et d'utiliser les interfaces graphiques sur macOS et Windows en manipulant les fenêtres, les menus, la saisie au clavier et le presse-papiers dans les applications que vous approuvez.
C'est aussi généralement la plus lente. Un plugin structuré peut appeler une API directement ; Computer Use doit regarder l'interface, décider où cliquer, attendre la réponse de l'application et inspecter l'état suivant. Cette boucle visuelle prend du temps, mais elle permet à Codex de fonctionner avec des applications qui n'exposent aucune API utile.
Sur macOS, lent ne signifie pas forcément perturbant. Computer Use peut utiliser les applications approuvées en arrière-plan pendant que vous continuez à utiliser le reste de votre ordinateur. Il m'arrive souvent d'utiliser Codex et d'ouvrir une application pour réaliser que Codex travaille tranquillement sur un flux de travail.
Selon ce qui est installé et approuvé sur votre ordinateur, cela peut inclure Spotify, XCode, les Réglages Système, un simulateur iOS, ou même l'application iPhone Mirroring pour contrôler votre iPhone ! Il peut également passer d'une application à l'autre lorsqu'un flux de travail en implique plusieurs.
Utilisez-le lorsque la tâche dépend :
- d'une application de bureau native comme Spotify ou une application financière
- d'un simulateur iOS, d'iPhone Mirroring ou d'un autre flux uniquement graphique
- des paramètres système ou d'application
- d'une source de données sans plugin ni API
- d'un flux de travail qui passe par plusieurs applications
- d'une action manquante dans une intégration structurée par ailleurs utile
Pour l'installer, ouvrez Paramètres > Computer Use dans Codex et cliquez sur Installer.
Pour le déclencher, mentionnez @Computer, ou demandez explicitement à Codex d'utiliser Computer Use. Au fur et à mesure que nos modèles s'améliorent, il pourra l'appeler tout seul quand ce sera nécessaire.
Essayez-en quelques-uns pour commencer :
Un de mes exemples préférés a commencé avec un colis volé. Amazon m'a dit qu'il faudrait environ 25 minutes pour me mettre en relation avec un agent du support. J'ai donné à un fil Codex l'accès à Computer Use et je lui ai demandé de vérifier le chat toutes les cinq minutes, de passer à toutes les minutes une fois l'agent présent, et de faire de son mieux pour obtenir le remboursement. Je suis revenu de ma douche avec un remboursement effectué.
1Utilise @Computer pour ouvrir Spotify, trouver ma playlist Discover Weekly et la lancer. Ne modifie pas les paramètres de mon compte ou d'abonnement.23Utilise @Computer pour ouvrir iPhone Mirroring, reproduire le bug d'onboarding dans l'application iOS et prendre une capture d'écran de l'état défaillant. Corrige le plus petit chemin de code pertinent, puis exécute à nouveau le même flux.
J'ai également utilisé Computer Use comme dernier kilomètre dans un flux de travail principalement structuré. Dans une vidéo de lancement, Codex pouvait lire les commentaires de Slack, modifier le code et générer une nouvelle vidéo, mais l'intégration Slack disponible pour ce fil ne pouvait pas télécharger le fichier. Computer Use a cliqué sur Ajouter un fichier et a complété cette unique étape manquante.
C'est aussi la limite de confiance la plus large des trois. Donnez-lui une application ou un flux clair à la fois. Gardez les applications sensibles fermées lorsqu'elles ne font pas partie de la tâche, examinez les invites d'autorisation et restez présent pour les modifications financières, de compte, de paiement, d'identifiants, de confidentialité et de sécurité du système.
2. @Chrome pour plusieurs onglets et l'authentification
L'extension Chrome Codex donne à Codex accès à votre état Chrome connecté. Utilisez-la lorsque la tâche dépend du compte, des cookies, du profil du navigateur ou des onglets authentifiés que vous possédez déjà.
C'est la surface appropriée pour travailler avec des outils tels que :
- Gmail ou LinkedIn
- Salesforce ou une console de support
- des tableaux de bord internes
- des recherches authentifiées sur plusieurs sites
- des formulaires qui dépendent de votre compte ou de vos extensions de navigateur
Pour l'installer, ouvrez Plugins dans Codex, ajoutez Chrome et suivez le processus de configuration. Codex vous guidera dans l'installation de l'extension Chrome Codex et l'approbation des autorisations de Chrome. Lorsque l'extension indique Connecté, démarrez un nouveau fil.
Pour la déclencher, mentionnez @Chrome ou demandez explicitement à Codex d'utiliser votre navigateur Chrome connecté :
1Utilise @Chrome pour examiner le compte client ouvert, le comparer avec le ticket de support dans l'autre onglet et rédiger les champs manquants. Arrête-toi avant de soumettre.
Les tâches Chrome s'exécutent dans des groupes d'onglets, ce qui permet de garder les onglets d'un même fil Codex ensemble. Contrairement au navigateur intégré à l'application, cette surface porte votre identité de navigateur. Cela la rend plus capable et plus sensible.
L'autre avantage majeur est le contrôle multi-onglets. Chrome peut garder plusieurs onglets associés à la même tâche, lire le contexte dans l'un, le comparer avec un autre et poursuivre le flux de travail dans un troisième. Computer Use peut piloter un navigateur visuellement, mais Chrome comprend le travail comme un flux de navigateur plutôt qu'une séquence de coordonnées d'écran.
Dans un fil récent, j'ai donné à Codex un onglet Strudel Composer déjà ouvert et je lui ai demandé de rendre la musique plus intéressante. Chrome lui a donné l'onglet sélectionné et les outils WebMCP de la page. Codex a inspecté la composition, réécrit l'harmonie et la forme de quatre minutes, changé le tempo, sauvegardé le morceau et l'a laissé en lecture. Il n'a pas eu besoin de chercher visuellement chaque contrôle car Chrome pouvait combiner le contexte de l'onglet avec les capacités structurées exposées par la page.
J'utilise cela pour un fil Twitter de longue durée. L'instruction est à peu près celle-ci :
Chaque jour, utilise Chrome pour vérifier mes messages privés, lire les actualités pertinentes et rechercher
des commentaires ou des mentions dont je devrais être informé. Ajoute tout ce qui est durable à mon coffre.
Ne publie pas et n'envoie pas de messages.
La partie intéressante n'est pas que Codex puisse ouvrir Twitter. C'est que le fil peut revenir au même travail connecté au fil du temps, relier ce qu'il trouve à des fichiers locaux et me laisser un résultat vérifiable.
La limite de confiance est importante. Les sites web peuvent considérer les clics, les soumissions de formulaires et les messages de Codex comme des actions effectuées par vous. Le contenu des pages est également une entrée non fiable. Rendez les étapes importantes explicites : recherchez, naviguez et rédigez automatiquement ; exigez votre examen avant d'envoyer, publier, acheter ou soumettre.
Si toute la tâche reste dans le navigateur, préférez Chrome à Computer Use. Chrome dispose du contexte natif du navigateur dont la tâche a besoin sans ouvrir l'accès au reste du bureau.
3. Le navigateur intégré @browser pour les sites web que vous construisez
Le navigateur intégré à l'application est un navigateur qui vit à l'intérieur d'un fil Codex. Vous et Codex partagez la même page rendue, ce qui le rend particulièrement adapté à la construction et au débogage d'applications web.
C'est par là que je commence pour :
- les serveurs de développement locaux
- les aperçus basés sur des fichiers
- les pages publiques qui ne nécessitent pas de connexion
- la reproduction de bugs visuels
- la vérification des mises en page responsives
- laisser des commentaires de conception au niveau des éléments
La contrainte importante est l'isolement. Le navigateur intégré à l'application n'utilise pas votre profil de navigateur normal, vos cookies, vos extensions, vos sessions connectées ou vos onglets existants. C'est une limitation lorsque la tâche nécessite un compte, mais une frontière utile lorsque ce n'est pas le cas.
Pour le configurer, ouvrez Plugins dans Codex, ajoutez le plugin Browser et activez-le.
Pour le déclencher, mentionnez @Browser dans votre invite ou demandez explicitement à Codex d'utiliser le navigateur intégré à l'application :
1Utilise @Browser pour ouvrir l'application vite sur <http://localhost:3000/>, reproduire le bug de débordement mobile, le corriger et vérifier à nouveau la même route aux largeurs de bureau et mobile.
Cela crée une boucle de rétroaction serrée : Codex peut modifier le code, utiliser la page, inspecter l'état rendu, prendre une capture d'écran et répéter le flux après la correction.
Ma partie préférée est l'annotation. Lorsque je révise une application locale, je peux cliquer directement sur un élément ou sélectionner une zone et laisser un commentaire. Les contrôles de style me permettent également de prévisualiser et d'envoyer des commentaires plus précis sur le texte, les polices, l'espacement et les couleurs. J'ai tendance à combiner cela avec la saisie vocale et l'orientation : je révise la page, laisse des commentaires et mets en file d'attente plus de retours pendant que Codex travaille dessus. La page devient le cahier des charges.
C'est particulièrement utile pour le travail de conception. Je demande souvent à Codex de transformer une idée, un dossier de recherche ou un état de projet en un seul fichier index.html, puis de l'ouvrir dans le navigateur intégré à l'application. Au lieu d'essayer de décrire toute la conception dans une autre invite, j'annote la page réelle : « cette hiérarchie est inversée », « rends ça moins comme une carte », « ces contrôles ont besoin de plus d'espace » ou « utilise cette échelle de police partout ». Codex reçoit le commentaire avec la capture d'écran pertinente et le contexte de l'élément, modifie le fichier et rouvre la même page pour un autre passage.
Crée un seul fichier index.html pour ce brief de projet et ouvre-le dans le
navigateur intégré @Browser.
Cette boucle est beaucoup plus proche du travail avec un designer sur la même toile que de s'échanger des captures d'écran et de la prose.
Le navigateur intégré à l'application est également utile comme point de départ pour un flux de travail mixte. Dans un autre fil, j'ai ouvert un post X dans le navigateur intégré à l'application et j'ai demandé à Codex d'enquêter sur la discussion. La page visible a établi de quel post je parlais ; Codex est ensuite passé au CLI Twitter et a récupéré 38 réponses, y compris des réponses imbriquées que la vue du navigateur avait cachées. C'est la règle de la surface la plus étroite en pratique : utilisez le navigateur pour le contexte à l'écran, puis utilisez un outil structuré pour la récupération plus approfondie.
Il y a un compromis. L'isolement qui fait du navigateur intégré à l'application une bonne surface de développement signifie également que c'est le mauvais endroit pour lutter contre la connexion Google, une clé d'accès ou un site qui dépend de vos extensions de navigateur. Lorsque l'identité compte, passez à Chrome.
Appshots
Un Appshot n'est pas une quatrième façon pour Codex de contrôler un ordinateur. C'est une façon de pointer Codex vers le contexte déjà devant vous.
Sur un Mac, appuyez deux fois sur les touches CMD+CMD pour capturer la dernière fenêtre. Codex attache une image et tout texte disponible à un fil. Vous pouvez faire un Appshot d'une erreur, d'un e-mail, d'une conception, d'un panneau de paramètres ou d'un formulaire inconnu et simplement dire :
C'est le modèle mental que je trouve le plus facile à retenir :
Les Appshots sont la façon dont vous pointez quelque chose sur votre ordinateur. Browser, Chrome et Computer Use sont la façon dont Codex agit.
Les Appshots sont actuellement créés à partir de l'application Codex sur macOS. Ils capturent la fenêtre la plus en avant, pas l'intégralité du bureau, ce qui en fait un moyen utile de fournir un contexte ciblé sans donner le contrôle de l'application.
Comment suivre le travail
Ces surfaces évoluent rapidement. Si vous voulez les détails utiles sans attendre un énorme récapitulatif de lancement :
- Suivez Ari Weinstein (@AriX) pour Computer Use, Appshots
- Suivez James Sun (@JamesZmSun) pour tout ce qui concerne Browser
- Suivez Andrew Ambrosino (@ajambrosino) pour les versions de l'application Codex et l'histoire plus large du produit de bureau.
- Suivez OpenAI Developers (@OpenAIDevs) pour les actualités plus larges de Codex et de la plateforme OpenAI.
