Atualização: Computer Use já está disponível na UE/Reino Unido ;) Aproveite!
Existem três maneiras de o Codex usar um computador: Computer Use, a extensão do Chrome e o navegador integrado.
Eles se sobrepõem o suficiente para serem confusos.
Ao final deste post, você saberá como instalar e acionar todos os três, quando usar cada um, como Appshots e o Modo Desenvolvedor os conectam e o que adicionar ao AGENTS.md para que o Codex possa escolher a superfície certa por conta própria.
A versão resumida é:
Dito isso, prefira um plugin ou MCP quando possível. Um plugin do Slack pode recuperar uma thread com mais precisão do que navegar clicando no Slack. Um plugin do GitHub produz ações que são mais fáceis de inspecionar do que usar o site. O controle visual é mais útil no limite onde uma ferramenta estruturada para de funcionar!
1. Tudo é [@Computer](https://x.com/@Computer)
Computer Use é a mais ampla das três superfícies. Ela permite que o Codex veja e opere interfaces gráficas no macOS e Windows, trabalhando com janelas, menus, entrada de teclado e a área de transferência em aplicativos que você aprovar.
Também é geralmente a mais lenta. Um plugin estruturado pode chamar uma API diretamente; Computer Use precisa olhar para a interface, decidir onde clicar, esperar o aplicativo responder e inspecionar o próximo estado. Esse loop visual custa tempo, mas significa que o Codex pode trabalhar com aplicativos que não expõem nenhuma API útil.
No macOS, lento não significa necessariamente disruptivo. Computer Use pode operar aplicativos aprovados em segundo plano enquanto você continua usando o resto do computador. Muitas vezes, estou usando o Codex e abro um aplicativo e percebo que ele está trabalhando silenciosamente em algum fluxo de trabalho.
Dependendo do que está instalado e aprovado no seu computador, isso pode incluir Spotify, XCode, Configurações do Sistema, um simulador de iOS ou até mesmo o aplicativo iPhone Mirroring para controlar seu iPhone! Ele também pode alternar entre aplicativos quando um fluxo de trabalho abrange vários deles.
Use quando a tarefa depender de:
- um aplicativo nativo de desktop como Spotify ou um aplicativo financeiro
- um simulador de iOS, iPhone Mirroring ou outro fluxo exclusivo de GUI
- configurações do sistema ou de aplicativos
- uma fonte de dados sem plugin ou API
- um fluxo de trabalho que se move entre vários aplicativos
- uma ação ausente em uma integração estruturada que é útil
Para instalar, abra Configurações > Computer Use no Codex e clique em Instalar.
Para acionar, mencione @Computer, ou peça explicitamente ao Codex para usar Computer Use. À medida que nossos modelos melhoram, ele será capaz de chamá-lo por conta própria quando necessário.
Experimente alguns para começar:
Um dos meus exemplos favoritos começou com um pacote roubado. A Amazon me disse que levaria cerca de 25 minutos para me conectar a um agente de suporte. Dei a uma thread do Codex acesso ao Computer Use e pedi para verificar o chat a cada cinco minutos, mudar para a cada minuto quando o agente aparecesse e fazer o possível para conseguir o reembolso. Voltei de um banho com o reembolso concluído.
1Use @Computer para abrir o Spotify, encontrar minha playlist Discover Weekly e iniciá-la. Não altere minha conta ou configurações de assinatura.23Use @Computer para abrir o iPhone Mirroring, reproduzir o bug de integração no aplicativo iOS e tirar uma captura de tela do estado com falha. Corrija o menor caminho de código relevante e execute o mesmo fluxo novamente.
Também usei Computer Use como a etapa final em um fluxo de trabalho principalmente estruturado. Em um vídeo de lançamento, o Codex conseguia ler feedback do Slack, alterar o código e renderizar um novo vídeo, mas a integração com o Slack disponível para aquela thread não conseguia fazer upload do arquivo. Computer Use clicou em Adicionar arquivo e completou aquela única etapa faltante.
Também é o limite de confiança mais amplo dos três. Dê a ele um aplicativo ou fluxo claro de cada vez. Mantenha aplicativos confidenciais fechados quando não fizerem parte da tarefa, revise as solicitações de permissão e esteja presente para alterações financeiras, de conta, pagamento, credenciais, privacidade e segurança do sistema.
2. [@Chrome](https://x.com/@Chrome) para Múltiplas Abas e Autenticação
A extensão Codex para Chrome dá ao Codex acesso ao seu estado conectado no Chrome. Use quando a tarefa depender da conta, cookies, perfil do navegador ou abas autenticadas que você já possui.
Esta é a superfície certa para trabalhar em ferramentas como:
- Gmail ou LinkedIn
- Salesforce ou um console de suporte
- dashboards internos
- pesquisa autenticada em vários sites
- formulários que dependem da sua conta ou extensões do navegador
Para instalar, abra Plugins no Codex, adicione Chrome e siga o fluxo de configuração. O Codex irá guiá-lo pela instalação da extensão Codex para Chrome e aprovação das permissões do Chrome. Quando a extensão disser Conectado, inicie uma nova thread.
Para acionar, mencione @Chrome ou peça explicitamente ao Codex para usar seu navegador Chrome conectado:
1Use @Chrome para revisar a conta do cliente aberta, compará-la com o ticket de suporte na outra aba e preencher os campos ausentes. Pare antes de enviar.
As tarefas do Chrome são executadas em grupos de abas, o que ajuda a manter as abas de uma thread do Codex juntas. Diferente do navegador integrado, esta superfície carrega sua identidade no navegador. Isso a torna mais capaz e mais sensível.
A outra grande vantagem é o controle de várias abas. O Chrome pode manter várias abas associadas à mesma tarefa, ler o contexto em uma, comparar com outra e continuar o fluxo de trabalho em uma terceira. Computer Use pode operar um navegador visualmente, mas Chrome entende o trabalho como um fluxo de trabalho do navegador, não como uma sequência de coordenadas de tela.
Em uma thread recente, entreguei ao Codex uma aba do Strudel Composer já aberta e pedi para tornar a música mais interessante. O Chrome deu a aba selecionada e as ferramentas WebMCP da página. O Codex inspecionou a composição, reescreveu a harmonia e o formato de quatro minutos, mudou o tempo, salvou a faixa e deixou ela tocando. Ele não precisou procurar visualmente por cada controle porque o Chrome conseguia combinar o contexto da aba com as capacidades estruturadas expostas pela página.
Eu uso isso para uma thread longa no Twitter. A instrução é mais ou menos:
Todos os dias, use o Chrome para verificar minhas DMs, ler notícias relevantes e procurar
feedbacks ou menções que eu deveria saber. Adicione qualquer coisa duradoura ao meu vault.
Não poste ou envie mensagens.
A parte interessante não é que o Codex pode abrir o Twitter. É que a thread pode retornar ao mesmo trabalho autenticado ao longo do tempo, conectar o que encontra a arquivos locais e me deixar um resultado revisável.
O limite de confiança é importante. Os sites podem tratar os cliques, envios de formulários e mensagens do Codex como ações tomadas por você. O conteúdo da página também é uma entrada não confiável. Mantenha as etapas consequentes explícitas: pesquise, navegue e rascunhe automaticamente; exija sua revisão antes de enviar, publicar, comprar ou enviar.
Se toda a tarefa permanecer no navegador, prefira Chrome em vez de Computer Use. Chrome tem o contexto nativo do navegador que a tarefa precisa sem abrir acesso ao resto do desktop.
3. Navegador integrado [@browser](https://x.com/@browser) para sites que você está construindo
O navegador integrado é um navegador que vive dentro de uma thread do Codex. Você e o Codex compartilham a mesma página renderizada, então é especialmente bom para construir e depurar aplicativos web.
É aqui que eu começo para:
- servidores de desenvolvimento local
- pré-visualizações baseadas em arquivos
- páginas públicas que não exigem login
- reproduzir bugs visuais
- verificar layouts responsivos
- deixar feedback de design em nível de elemento
A restrição importante é o isolamento. O navegador integrado não usa seu perfil normal do navegador, cookies, extensões, sessões conectadas ou abas existentes. Isso é uma limitação quando a tarefa precisa de uma conta, mas um limite útil quando não precisa.
Para configurar, abra Plugins no Codex, adicione o plugin Browser e ative-o.
Para acionar, mencione @Browser em seu prompt ou peça explicitamente ao Codex para usar o navegador integrado:
1Use @Browser para abrir o app vite em <http://localhost:3000/>, reproduzir o bug de transbordamento no mobile, corrigi-lo e verificar a mesma rota novamente nas larguras desktop e mobile.
Isso cria um ciclo de feedback rápido: o Codex pode editar o código, operar a página, inspecionar o estado renderizado, tirar uma captura de tela e repetir o fluxo após a correção.
Minha parte favorita é a anotação. Quando estou revisando um aplicativo local, posso clicar diretamente em um elemento ou selecionar uma área e deixar um comentário. Os controles de estilo também me permitem visualizar e enviar feedback mais preciso sobre texto, fontes, espaçamento e cor. Costumo combinar isso com entrada de voz e direcionamento: reviso a página, deixo comentários e enfileiro mais feedback enquanto o Codex trabalha nisso. A página se torna a especificação.
Isso é especialmente útil para trabalho de design. Muitas vezes peço ao Codex para transformar uma ideia, pacote de pesquisa ou status do projeto em um único arquivo index.html e, em seguida, abri-lo no navegador integrado. Em vez de tentar descrever o design inteiro em outro prompt, anoto a página real: "essa hierarquia está invertida", "faça isso parecer menos um card", "esses controles precisam de mais espaço" ou "use esta escala de tipo em todo lugar". O Codex recebe o comentário com a captura de tela relevante e o contexto do elemento, altera o arquivo e reabre a mesma página para outra rodada.
Crie um único arquivo index.html para este resumo do projeto e abra-o
no @Browser integrado.
Esse ciclo parece muito mais próximo de trabalhar com um designer na mesma tela do que trocar capturas de tela e texto.
O navegador integrado também é útil como ponto de partida para um fluxo de trabalho misto. Em outra thread, abri uma postagem do X no navegador integrado e pedi ao Codex para investigar a discussão. A página visível estabeleceu qual postagem eu queria dizer; o Codex então mudou para a CLI do Twitter e recuperou 38 respostas, incluindo respostas aninhadas que a visualização do navegador havia escondido. Essa é a regra da superfície mais estreita na prática: use o navegador para o contexto na tela e, em seguida, use uma ferramenta estruturada para a recuperação mais profunda.
Há uma compensação. O isolamento que torna o navegador integrado uma boa superfície de desenvolvimento também significa que ele é o lugar errado para lutar com login do Google, uma chave de segurança ou um site que depende de suas extensões do navegador. Quando a identidade importa, vá para o Chrome.
Appshots
Um Appshot não é uma quarta maneira de o Codex controlar um computador. É uma maneira de apontar o Codex para o contexto que já está à sua frente.
Em um Mac, pressione ambas as teclas CMD+CMD para capturar a última janela. O Codex anexa uma imagem e qualquer texto disponível a uma thread. Você pode usar Appshot em um erro, um e-mail, um design, um painel de configurações ou um formulário desconhecido e simplesmente dizer:
Este é o modelo mental que acho mais fácil de lembrar:
Appshots são como você aponta para algo no seu computador. Browser, Chrome e Computer Use são como o Codex age.
Appshots são criados atualmente a partir do aplicativo Codex no macOS. Eles capturam a janela da frente, não a área de trabalho inteira, o que os torna uma maneira útil de fornecer contexto focado sem conceder controle do aplicativo.
Como acompanhar o trabalho
Essas superfícies estão evoluindo rapidamente. Se você quer os detalhes úteis em vez de esperar por um grande resumo de lançamento:
- Siga Ari Weinstein (@AriX) para Computer Use, Appshots
- Siga James Sun (@JamesZmSun) para tudo relacionado a Browser
- Siga Andrew Ambrosino (@ajambrosino) para lançamentos do aplicativo Codex e a história maior do produto desktop.
- Siga OpenAI Developers (@OpenAIDevs) para notícias mais amplas do Codex e da Plataforma OpenAI.
