Tre modi in cui Codex può utilizzare un computer

Aggiornamento: Computer Use è ora disponibile nell'UE/UK ;) Goditela!

Ci sono tre modi in cui Codex può usare un computer: Computer Use, l'estensione Chrome e il browser integrato.

Si sovrappongono quel tanto che basta per creare confusione.

Alla fine di questo post, saprai come installare e attivare tutti e tre, quando usarli, come Appshots e Developer mode li collegano, e cosa aggiungere a AGENTS.md affinché Codex possa scegliere da solo la superficie giusta.

La versione breve è:

Detto questo, preferisci un plugin o un mcp quando puoi, un plugin per Slack può recuperare un thread in modo più preciso che cliccare su Slack. Un plugin per GitHub produce azioni più facili da ispezionare rispetto a guidare il sito web. Il controllo visivo è più utile al confine dove si ferma uno strumento strutturato!

1. Ogni cosa è @Computer

Computer Use è la più ampia delle tre superfici. Permette a Codex di vedere e operare su interfacce grafiche su macOS e Windows, lavorando con finestre, menu, input da tastiera e appunti in app che approvi.

È anche di solito la più lenta. Un plugin strutturato può chiamare direttamente un'API; Computer Use deve guardare l'interfaccia, decidere dove cliccare, aspettare che l'app risponda e ispezionare lo stato successivo. Quel ciclo visivo costa tempo, ma significa che Codex può lavorare con app che non espongono alcuna API utile.

Su macOS, lento non significa necessariamente dirompente. Computer Use può operare su app approvate in background mentre continui a usare il resto del computer, spesso mi capita di usare codex e aprire un'app e rendermi conto che codex ha lavorato silenziosamente attraverso un flusso di lavoro.

A seconda di cosa è installato e approvato sul tuo computer, questo può includere Spotify, XCode, Impostazioni di Sistema, un simulatore iOS, o persino l'app iPhone Mirroring per controllare il tuo iPhone! Può anche spostarsi tra più app quando un flusso di lavoro le coinvolge.

Usalo quando l'attività dipende da:

• un'app nativa per desktop come Spotify o un'app finanziaria
• un simulatore iOS, iPhone Mirroring, o un altro flusso solo GUI
• impostazioni di sistema o dell'applicazione
• una fonte di dati senza plugin o API
• un flusso di lavoro che si sposta tra più app
• un'azione mancante in un'integrazione strutturata altrimenti utile

Per installarlo, apri Impostazioni > Computer Use in Codex e clicca su Installa.

Per attivarlo, menziona @Computer, o chiedi esplicitamente a Codex di usare Computer Use, man mano che i nostri modelli migliorano, sarà in grado di chiamarlo da solo quando necessario.

Prova alcune per iniziare:

Uno dei miei esempi preferiti è iniziato con un pacco rubato. Amazon mi ha detto che ci sarebbero voluti circa 25 minuti per mettermi in contatto con un agente di supporto. Ho dato a un thread di Codex l'accesso a Computer Use e gli ho chiesto di controllare la chat ogni cinque minuti, passare a ogni minuto quando l'agente appariva, e fare del suo meglio per ottenere il rimborso. Sono tornato dalla doccia e ho trovato un rimborso completato.

1Usa @Computer per aprire Spotify, trovare la mia playlist Discover Weekly e avviarla. Non modificare le impostazioni del mio account o abbonamento.
2
3Usa @Computer per aprire iPhone Mirroring, riprodurre il bug di onboarding nell'app iOS e fare uno screenshot dello stato di errore. Correggi il percorso di codice più piccolo e pertinente, poi esegui di nuovo lo stesso flusso.

Ho anche usato Computer Use come ultimo miglio in un flusso di lavoro per lo più strutturato. In un video di lancio, Codex poteva leggere feedback da Slack, modificare il codice e renderizzare un nuovo video, ma l'integrazione Slack disponibile per quel thread non poteva caricare il file. Computer Use ha cliccato su Aggiungi file e ha completato quel singolo passo mancante.

È anche il confine di fiducia più ampio dei tre. Dagli una singola app o flusso chiaro alla volta. Tieni chiuse le app sensibili quando non fanno parte dell'attività, rivedi i prompt dei permessi e resta presente per modifiche finanziarie, di account, pagamento, credenziali, privacy e sicurezza di sistema.

2. @Chrome per più schede e autenticazione

L'estensione Chrome di Codex dà a Codex accesso al tuo stato di accesso a Chrome. Usala quando l'attività dipende dall'account, dai cookie, dal profilo del browser o dalle schede autenticate che già possiedi.

Questa è la superficie giusta per lavorare in strumenti come:

• Gmail o LinkedIn
• Salesforce o una console di supporto
• dashboard interne
• ricerca autenticata su più siti
• moduli che dipendono dal tuo account o dalle estensioni del browser

Per installarla, apri Plugin in Codex, aggiungi Chrome, e segui il flusso di configurazione. Codex ti guiderà nell'installazione dell'estensione Chrome di Codex e nell'approvazione dei permessi di Chrome. Quando l'estensione dice Connesso, avvia un nuovo thread.

Per attivarlo, menziona @Chrome o chiedi esplicitamente a Codex di usare il tuo browser Chrome con sessione attiva:

1Usa @Chrome per esaminare l'account cliente aperto, confrontarlo con il ticket di supporto nell'altra scheda e redigere i campi mancanti. Fermati prima di inviare.

Le attività di Chrome vengono eseguite in gruppi di schede, il che aiuta a mantenere insieme le schede per un thread di Codex. A differenza del browser integrato, questa superficie porta la tua identità del browser. Questo la rende più capace e più sensibile.

L'altro grande vantaggio è il controllo multi-scheda. Chrome può mantenere diverse schede associate allo stesso compito, leggere il contesto in una, confrontarlo con un'altra e continuare il flusso di lavoro in una terza. Computer Use può guidare un browser visivamente, ma Chrome comprende il lavoro come un flusso di lavoro del browser piuttosto che una sequenza di coordinate dello schermo.

In un thread recente, ho dato a Codex una scheda già aperta di Strudel Composer e gli ho chiesto di rendere la musica più interessante. Chrome gli ha fornito la scheda selezionata e gli strumenti WebMCP della pagina. Codex ha ispezionato la composizione, riscritto l'armonia e la forma di quattro minuti, cambiato il tempo, salvato la traccia e l'ha lasciata in riproduzione. Non ha dovuto cercare visivamente ogni controllo perché Chrome poteva combinare il contesto della scheda con le capacità strutturate esposte dalla pagina.

Lo uso per un thread Twitter di lunga durata. L'istruzione è più o meno:

Ogni giorno, usa Chrome per controllare i miei DM, leggere le notizie pertinenti e cercare feedback o menzioni di cui dovrei essere a conoscenza. Aggiungi tutto ciò che è duraturo al mio vault. Non pubblicare né inviare messaggi.

La parte interessante non è che Codex può aprire Twitter. È che il thread può tornare allo stesso lavoro connesso nel tempo, collegare ciò che trova a file locali e lasciarmi un risultato verificabile.

Il confine di fiducia è importante. I siti web potrebbero trattare i clic, gli invii di moduli e i messaggi di Codex come azioni compiute da te. Anche il contenuto della pagina è un input non fidato. Mantieni espliciti i passaggi consequenziali: ricerca, naviga e redigi automaticamente; richiedi la tua revisione prima di inviare, pubblicare, acquistare o inviare.

Se l'intera attività rimane nel browser, preferisci Chrome a Computer Use. Chrome ha il contesto nativo del browser di cui l'attività ha bisogno senza aprire l'accesso al resto del desktop.

3. Il @browser integrato per i siti web che stai sviluppando

Il browser integrato è un browser che vive all'interno di un thread di Codex. Tu e Codex condividete la stessa pagina renderizzata, quindi è particolarmente utile per sviluppare e fare debug di app web.

Questo è il punto di partenza per:

• server di sviluppo locali
• anteprime basate su file
• pagine pubbliche che non richiedono accesso
• riprodurre bug visivi
• verificare layout responsive
• lasciare feedback di progettazione a livello di elemento

Il vincolo importante è l'isolamento. Il browser integrato non usa il tuo normale profilo del browser, cookie, estensioni, sessioni connesse o schede esistenti. Questo è un limite quando l'attività richiede un account, ma un confine utile quando non è necessario.

Per configurarlo, apri Plugin in Codex, aggiungi il plugin Browser e abilitalo.

Per attivarlo, menziona @Browser nel tuo prompt o chiedi esplicitamente a Codex di usare il browser integrato:

1Usa @Browser per aprire l'app vite su <http://localhost:3000/>, riprodurre il bug di overflow mobile, correggerlo e verificare di nuovo la stessa route sia a larghezza desktop che mobile.

Questo crea un ciclo di feedback stretto: Codex può modificare il codice, operare sulla pagina, ispezionare lo stato renderizzato, fare uno screenshot e ripetere il flusso dopo la correzione.

La mia parte preferita è l'annotazione. Quando sto revisionando un'app locale, posso cliccare direttamente su un elemento o selezionare un'area e lasciare un commento. I controlli di stile mi permettono anche di visualizzare in anteprima e inviare feedback più precisi su testo, font, spaziatura e colore. Tendo a combinarlo con input vocale e guida: rivedo la pagina, lascio commenti e accodo altro feedback mentre Codex ci lavora. La pagina diventa la specifica.

Questo è particolarmente utile per il lavoro di design. Spesso chiedo a Codex di trasformare un'idea, un pacchetto di ricerca o lo stato di un progetto in un singolo file index.html, poi di aprirlo nel browser integrato. Invece di cercare di descrivere l'intero design in un altro prompt, annoto la pagina reale: "questa gerarchia è al contrario", "rendi questo meno simile a una card", "questi controlli hanno bisogno di più spazio", o "usa questa scala tipografica ovunque". Codex riceve il commento con lo screenshot pertinente e il contesto dell'elemento, modifica il file e riapre la stessa pagina per un altro passaggio.

Crea un singolo file index.html per questo brief di progetto e aprilo nel

@Browser integrato.

Quel ciclo sembra molto più vicino a lavorare con un designer sulla stessa tela piuttosto che scambiarsi screenshot e testo.

Il browser integrato è utile anche come punto di partenza per un flusso di lavoro misto. In un altro thread, ho aperto un post X nel browser integrato e ho chiesto a Codex di indagare sulla discussione. La pagina visibile ha stabilito a quale post mi riferivo; Codex è poi passato alla CLI di Twitter e ha recuperato 38 risposte, incluse quelle annidate che la vista del browser aveva nascosto. Questa è la regola della superficie più ristretta in pratica: usa il browser per il contesto sullo schermo, poi usa uno strumento strutturato per il recupero più approfondito.

C'è un compromesso. L'isolamento che rende il browser integrato una buona superficie di sviluppo significa anche che non è il posto giusto per lottare con l'accesso di Google, una passkey o un sito che dipende dalle tue estensioni del browser. Quando l'identità è importante, passa a Chrome.

Appshots

Un Appshot non è un quarto modo per Codex di controllare un computer. È un modo per puntare Codex al contesto già di fronte a te.

Su un Mac, premi entrambi i tasti CMD+CMD per catturare l'ultima finestra. Codex allega un'immagine e qualsiasi testo disponibile a un thread. Puoi fare un Appshot di un errore, un'email, un design, un pannello di impostazioni o un modulo sconosciuto e semplicemente dire:

Gli Appshots sono il modo in cui punti a qualcosa sul tuo computer. Browser, Chrome e Computer Use sono il modo in cui Codex agisce.

Gli Appshots vengono attualmente creati dall'app Codex su macOS. Catturano la finestra in primo piano, non l'intero desktop, il che li rende un modo utile per fornire un contesto mirato senza concedere il controllo dell'app.

Come seguire il lavoro

Queste superfici si muovono velocemente. Se vuoi i dettagli utili invece di aspettare un enorme riepilogo di lancio:

• Segui Ari Weinstein (@AriX) per Computer Use, Appshots
• Segui James Sun (@JamesZmSun) per tutto ciò che riguarda Browser
• Segui Andrew Ambrosino (@ajambrosino) per i rilasci dell'app Codex e la più ampia storia del prodotto desktop.
• Segui OpenAI Developers (@OpenAIDevs) per le notizie più ampie su Codex e la piattaforma OpenAI.