Atualização: Computer Use já está disponível na UE/Reino Unido ;) Aproveite!
Existem três maneiras de o Codex usar um computador: Computer Use, a extensão do Chrome e o navegador dentro do aplicativo.
Elas se sobrepõem o suficiente para causar confusão.
Ao final deste post, você saberá como instalar e ativar as três, quando usar cada uma, como Appshots e o Modo Desenvolvedor as conectam e o que adicionar ao AGENTS.md para que o Codex escolha a superfície certa sozinho.
A versão resumida é:
Dito isso, prefira um plugin ou MCP quando possível. Um plugin do Slack pode recuperar uma discussão com mais precisão do que navegando pelo Slack. Um plugin do GitHub gera ações mais fáceis de inspecionar do que usar o site. O controle visual é mais útil no limite onde uma ferramenta estruturada para de funcionar!
1. Tudo é [@Computer](https://x.com/@Computer)
Computer Use é a mais abrangente das três superfícies. Ela permite que o Codex veja e opere interfaces gráficas no macOS e Windows, trabalhando com janelas, menus, entrada de teclado e área de transferência em aplicativos que você aprovar.
Também costuma ser a mais lenta. Um plugin estruturado pode chamar uma API diretamente; o Computer Use precisa olhar a interface, decidir onde clicar, esperar a resposta do aplicativo e inspecionar o próximo estado. Esse loop visual custa tempo, mas significa que o Codex pode trabalhar com aplicativos que não expõem nenhuma API útil.
No macOS, lento não significa necessariamente disruptivo. O Computer Use pode operar aplicativos aprovados em segundo plano enquanto você continua usando o resto do computador. Muitas vezes estou usando o Codex e abro um aplicativo e percebo que o Codex estava trabalhando silenciosamente em algum fluxo.
Dependendo do que está instalado e aprovado no seu computador, isso pode incluir Spotify, XCode, Configurações do Sistema, um simulador de iOS ou até mesmo o aplicativo iPhone Mirroring para controlar seu iPhone! Ele também pode alternar entre aplicativos quando um fluxo de trabalho abrange vários deles.
Use quando a tarefa depender de:
- um aplicativo nativo de desktop, como Spotify ou um app financeiro
- um simulador de iOS, iPhone Mirroring ou outro fluxo exclusivamente GUI
- configurações do sistema ou de aplicativos
- uma fonte de dados sem plugin ou API
- um fluxo de trabalho que transita entre vários aplicativos
- uma ação ausente em uma integração estruturada que, de outra forma, seria útil
Para instalar, abra Configurações > Computer Use no Codex e clique em Instalar.
Para ativar, mencione @Computer ou peça explicitamente ao Codex para usar o Computer Use. À medida que nossos modelos melhorarem, ele conseguirá chamá-lo sozinho quando necessário.
Experimente alguns para começar:
Um dos meus exemplos favoritos começou com uma encomenda roubada. A Amazon disse que levaria cerca de 25 minutos para me conectar a um atendente. Dei a um thread do Codex acesso ao Computer Use e pedi que verificasse o chat a cada cinco minutos, passasse para a cada minuto quando o atendente aparecesse, e fizesse o possível para conseguir o reembolso. Voltei do banho com o reembolso concluído.
1Use @Computer para abrir o Spotify, encontrar minha playlist Discover Weekly e iniciá-la. Não altere minha conta ou configurações de assinatura.23Use @Computer para abrir o iPhone Mirroring, reproduzir o bug de integração no aplicativo iOS e tirar uma captura de tela do estado de falha. Corrija o menor caminho de código relevante e, em seguida, execute o mesmo fluxo novamente.
Também usei o Computer Use como a etapa final em um fluxo de trabalho principalmente estruturado. Em um vídeo de lançamento, o Codex conseguia ler feedback do Slack, alterar o código e renderizar um novo vídeo, mas a integração com o Slack disponível naquele thread não conseguia fazer upload do arquivo. O Computer Use clicou em Adicionar arquivo e completou aquela única etapa que faltava.
É também o limite de confiança mais amplo dos três. Dê a ele um aplicativo ou fluxo claro de cada vez. Mantenha aplicativos confidenciais fechados quando não fizerem parte da tarefa, revise as solicitações de permissão e esteja presente para alterações financeiras, de conta, pagamento, credenciais, privacidade e segurança do sistema.
2. [@Chrome](https://x.com/@Chrome) para Múltiplas Abas e Autenticação
A extensão Codex para Chrome dá ao Codex acesso ao seu estado autenticado no Chrome. Use quando a tarefa depender da conta, cookies, perfil do navegador ou abas autenticadas que você já possui.
Esta é a superfície certa para trabalhar em ferramentas como:
- Gmail ou LinkedIn
- Salesforce ou um console de suporte
- painéis internos
- pesquisas autenticadas em vários sites
- formulários que dependem da sua conta ou extensões do navegador
Para instalar, abra Plugins no Codex, adicione Chrome e siga o fluxo de configuração. O Codex o guiará na instalação da extensão Codex para Chrome e na aprovação das permissões do Chrome. Quando a extensão mostrar Conectado, inicie um novo thread.
Para ativar, mencione @Chrome ou peça explicitamente ao Codex para usar seu navegador Chrome autenticado:
1Use @Chrome para revisar a conta do cliente aberta, compará-la com o ticket de suporte na outra aba e rascunhar os campos ausentes. Pare antes de enviar.
As tarefas do Chrome são executadas em grupos de abas, o que ajuda a manter as abas de um thread do Codex organizadas. Diferente do navegador dentro do aplicativo, esta superfície carrega sua identidade no navegador. Isso a torna mais capaz e mais sensível.
A outra grande vantagem é o controle de múltiplas abas. O Chrome pode manter várias abas associadas à mesma tarefa, ler o contexto em uma, comparar com outra e continuar o fluxo de trabalho em uma terceira. O Computer Use pode dirigir um navegador visualmente, mas o Chrome entende o trabalho como um fluxo de navegador, em vez de uma sequência de coordenadas de tela.
Em um thread recente, passei para o Codex uma aba já aberta do Strudel Composer e pedi que tornasse a música mais interessante. O Chrome forneceu a aba selecionada e as ferramentas WebMCP da página. O Codex inspecionou a composição, reescreveu a harmonia e a forma de quatro minutos, alterou o andamento, salvou a faixa e deixou-a tocando. Não precisou caçar visualmente cada controle porque o Chrome combinou o contexto da aba com as capacidades estruturadas expostas pela página.
Uso isso para um thread longo no Twitter. A instrução é mais ou menos:
Todos os dias, use o Chrome para verificar meus DMs, ler notícias relevantes e procurar
feedback ou menções que eu deveria saber. Adicione qualquer coisa duradoura ao meu vault.
Não publique ou envie mensagens.
A parte interessante não é que o Codex consegue abrir o Twitter. É que o thread pode retornar ao mesmo trabalho autenticado ao longo do tempo, conectar o que encontra a arquivos locais e me deixar um resultado revisável.
O limite de confiança é importante. Os sites podem tratar os cliques, envios de formulários e mensagens do Codex como ações realizadas por você. O conteúdo da página também é uma entrada não confiável. Mantenha as etapas importantes explícitas: pesquise, navegue e rascunhe automaticamente; exija sua revisão antes de enviar, publicar, comprar ou finalizar.
Se toda a tarefa ficar no navegador, prefira o Chrome ao Computer Use. O Chrome tem o contexto nativo do navegador que a tarefa precisa, sem abrir acesso ao resto do desktop.
3. Navegador [@browser](https://x.com/@browser) dentro do aplicativo para sites que você está construindo
O navegador dentro do aplicativo é um navegador que vive dentro de um thread do Codex. Você e o Codex compartilham a mesma página renderizada, por isso é especialmente bom para construir e depurar aplicativos web.
É por aqui que começo para:
- servidores de desenvolvimento local
- prévias baseadas em arquivos
- páginas públicas que não exigem login
- reproduzir bugs visuais
- verificar layouts responsivos
- deixar feedback de design no nível do elemento
A restrição importante é o isolamento. O navegador dentro do aplicativo não usa seu perfil normal do navegador, cookies, extensões, sessões autenticadas ou abas existentes. Isso é uma limitação quando a tarefa precisa de uma conta, mas um limite útil quando não precisa.
Para configurar, abra Plugins no Codex, adicione o plugin Navegador e ative-o.
Para ativar, mencione @Browser no seu prompt ou peça explicitamente ao Codex para usar o navegador dentro do aplicativo:
1Use @Browser para abrir o app vite em <http://localhost:3000/>, reproduzir o bug de overflow no mobile, corrigi-lo e verificar a mesma rota novamente nas larguras de desktop e mobile.
Isso cria um ciclo de feedback rápido: o Codex pode editar o código, operar a página, inspecionar o estado renderizado, tirar uma captura de tela e repetir o fluxo após a correção.
Minha parte favorita é a anotação. Quando estou revisando um aplicativo local, posso clicar diretamente em um elemento ou selecionar uma área e deixar um comentário. Os controles de estilo também me permitem pré-visualizar e enviar feedback mais preciso sobre texto, fontes, espaçamento e cor. Costumo combinar isso com entrada de voz e direcionamento: reviso a página, deixo comentários e enfileiro mais feedback enquanto o Codex trabalha nisso. A página se torna a especificação.
Isso é especialmente útil para trabalho de design. Frequentemente peço ao Codex para transformar uma ideia, pacote de pesquisa ou status do projeto em um único arquivo index.html e, em seguida, abri-lo no navegador dentro do aplicativo. Em vez de tentar descrever o design inteiro em outro prompt, anoto a página real: "essa hierarquia está invertida", "deixe isso menos parecido com um cartão", "esses controles precisam de mais espaço" ou "use essa escala tipográfica em todo lugar". O Codex recebe o comentário com a captura de tela relevante e o contexto do elemento, altera o arquivo e reabre a mesma página para outra tentativa.
Crie um único arquivo index.html para este resumo do projeto e abra-o
no @Browser dentro do aplicativo.
Esse ciclo parece muito mais próximo de trabalhar com um designer na mesma tela do que ficar trocando capturas de tela e texto.
O navegador dentro do aplicativo também é útil como ponto de partida para um fluxo de trabalho misto. Em outro thread, abri uma postagem do X no navegador dentro do aplicativo e pedi ao Codex para investigar a discussão. A página visível estabeleceu a qual postagem eu me referia; o Codex então mudou para a CLI do Twitter e recuperou 38 respostas, incluindo respostas aninhadas que a visualização do navegador havia ocultado. Essa é a regra da superfície mais restrita na prática: use o navegador para o contexto na tela e, em seguida, use uma ferramenta estruturada para a recuperação mais profunda.
Há uma troca. O isolamento que torna o navegador dentro do aplicativo uma boa superfície de desenvolvimento também significa que é o lugar errado para lidar com login do Google, uma chave de acesso ou um site que depende das suas extensões do navegador. Quando a identidade importa, vá para o Chrome.
Appshots
Um Appshot não é uma quarta maneira de o Codex controlar um computador. É uma maneira de apontar o Codex para o contexto que já está na sua frente.
No Mac, pressione ambas as teclas CMD+CMD para capturar a última janela. O Codex anexa uma imagem e qualquer texto disponível a um thread. Você pode fazer um Appshot de um erro, um e-mail, um design, um painel de configurações ou um formulário desconhecido e simplesmente dizer:
Esse é o modelo mental que acho mais fácil de lembrar:
Appshots são como você aponta para algo no seu computador. Navegador, Chrome e Computer Use são como o Codex age.
Os Appshots são criados atualmente a partir do aplicativo Codex no macOS. Eles capturam a janela mais à frente, não a área de trabalho inteira, o que os torna uma maneira útil de fornecer contexto focado sem conceder controle do aplicativo.
Como acompanhar o trabalho
Essas superfícies estão evoluindo rapidamente. Se você quiser os detalhes úteis em vez de esperar por um grande resumo de lançamento:
- Siga Ari Weinstein (@AriX) para Computer Use, Appshots
- Siga James Sun (@JamesZmSun) para tudo sobre o Navegador
- Siga Andrew Ambrosino (@ajambrosino) para lançamentos do aplicativo Codex e a história geral do produto desktop.
- Siga OpenAI Developers (@OpenAIDevs) para notícias mais amplas do Codex e da Plataforma OpenAI.
