Drei Wege, wie Codex einen Computer nutzen kann

Update: Computer Use ist jetzt in der EU/im Vereinigten Königreich verfügbar ;) Viel Spaß!

Codex kann einen Computer auf drei Arten nutzen: Computer Use, die Chrome-Erweiterung und den In-App-Browser.

Sie überschneiden sich gerade genug, um verwirrend zu sein.

Am Ende dieses Beitrags weißt du, wie du alle drei installierst und auslöst, wann du welche verwendest, wie Appshots und der Entwicklermodus sie verbinden und was du zu AGENTS.md hinzufügen musst, damit Codex selbstständig die richtige Oberfläche auswählen kann.

Die Kurzfassung ist:

Allerdings: Bevorzuge nach Möglichkeit ein Plugin oder MCP – ein Slack-Plugin kann einen Thread präziser abrufen als das Herumklicken in Slack. Ein GitHub-Plugin erzeugt Aktionen, die sich leichter überprüfen lassen als die Bedienung der Website. Visuelle Steuerung ist am nützlichsten an der Grenze, wo ein strukturiertes Tool aufhört!

1. Alles dreht sich um @Computer

Computer Use ist die umfassendste der drei Oberflächen. Es ermöglicht Codex, grafische Oberflächen auf macOS und Windows zu sehen und zu bedienen, indem es mit Fenstern, Menüs, Tastatureingaben und der Zwischenablage in von dir genehmigten Apps arbeitet.

Es ist auch meistens die langsamste. Ein strukturiertes Plugin kann eine API direkt aufrufen; Computer Use muss die Oberfläche betrachten, entscheiden, wo geklickt werden soll, auf die Reaktion der App warten und den nächsten Zustand prüfen. Diese visuelle Schleife kostet Zeit, aber sie bedeutet, dass Codex mit Apps arbeiten kann, die überhaupt keine brauchbare API bereitstellen.

Unter macOS bedeutet langsam nicht unbedingt störend. Computer Use kann genehmigte Apps im Hintergrund bedienen, während du den Rest deines Computers weiter nutzt – oft bemerke ich, dass ich Codex verwende, eine App öffne und feststelle, dass Codex still und leise an einem Workflow gearbeitet hat.

Je nachdem, was auf deinem Computer installiert und genehmigt ist, kann das Spotify, XCode, Systemeinstellungen, einen iOS-Simulator oder sogar die iPhone Mirroring-App zur Steuerung deines iPhones umfassen! Es kann auch zwischen Apps wechseln, wenn ein Workflow mehrere Apps umfasst.

Verwende es, wenn die Aufgabe abhängt von:

• einer nativen Desktop-App wie Spotify oder einer Finanz-App
• einem iOS-Simulator, iPhone Mirroring oder einem anderen reinen GUI-Ablauf
• System- oder Anwendungseinstellungen
• einer Datenquelle ohne Plugin oder API
• einem Workflow, der zwischen mehreren Apps wechselt
• einer fehlenden Aktion in einer ansonsten nützlichen strukturierten Integration

Um es zu installieren, öffne Einstellungen > Computer Use in Codex und klicke auf Installieren.

Um es auszulösen, erwähne @Computer oder bitte Codex explizit, Computer Use zu verwenden. Da unsere Modelle besser werden, wird es bei Bedarf selbstständig darauf zurückgreifen können.

Probiere zunächst ein paar Beispiele aus:

Eines meiner Lieblingsbeispiele begann mit einem gestohlenen Paket. Amazon sagte mir, es würde etwa 25 Minuten dauern, mich mit einem Support-Mitarbeiter zu verbinden. Ich gab einem Codex-Thread Computer Use und bat ihn, alle fünf Minuten im Chat nachzusehen, sobald der Mitarbeiter auftaucht, auf jede Minute zu wechseln und sein Bestes zu tun, um die Rückerstattung zu bekommen. Nach dem Duschen war die Rückerstattung abgeschlossen.

1Verwende @Computer, um Spotify zu öffnen, meinen Discover Weekly-Playlist zu finden und zu starten. Ändere keine Konten- oder Abonnement-Einstellungen.
2
3Verwende @Computer, um iPhone Mirroring zu öffnen, den Onboarding-Bug in der iOS-App zu reproduzieren und einen Screenshot des fehlerhaften Zustands zu machen. Behebe den kleinsten relevanten Codepfad und führe denselben Ablauf erneut aus.

Ich habe Computer Use auch als letzte Meile in einem überwiegend strukturierten Workflow verwendet. In einem Launch-Video konnte Codex Feedback aus Slack lesen, den Code ändern und ein neues Video rendern, aber die Slack-Integration, die diesem Thread zur Verfügung stand, konnte die Datei nicht hochladen. Computer Use klickte auf Datei hinzufügen und erledigte diesen einen fehlenden Schritt.

Es ist auch die weiteste Vertrauensgrenze der drei. Gib ihm jeweils eine klare App oder einen klaren Ablauf. Halte sensible Apps geschlossen, wenn sie nicht Teil der Aufgabe sind, überprüfe Berechtigungsaufforderungen und bleibe bei finanziellen, kontobezogenen, zahlungsrelevanten, anmeldedatenbezogenen, datenschutzrelevanten und systemsicherheitsrelevanten Änderungen anwesend.

2. [@Chrome](https://x.com/@Chrome) für mehrere Tabs und Authentifizierung

Die Codex Chrome-Erweiterung gibt Codex Zugriff auf deinen angemeldeten Chrome-Status. Verwende sie, wenn die Aufgabe von dem Konto, den Cookies, dem Browserprofil oder den authentifizierten Tabs abhängt, die du bereits hast.

Dies ist die richtige Oberfläche für Arbeiten in Tools wie:

• Gmail oder LinkedIn
• Salesforce oder einer Support-Konsole
• internen Dashboards
• authentifizierter Recherche auf mehreren Websites
• Formularen, die von deinem Konto oder Browser-Erweiterungen abhängen

Um sie zu installieren, öffne Plugins in Codex, füge Chrome hinzu und folge dem Einrichtungsablauf. Codex führt dich durch die Installation der Codex Chrome-Erweiterung und die Genehmigung der Chrome-Berechtigungen. Wenn die Erweiterung Verbunden anzeigt, starte einen neuen Thread.

Um sie auszulösen, erwähne @Chrome oder bitte Codex explizit, deinen angemeldeten Chrome-Browser zu verwenden:

1Verwende @Chrome, um das offene Kundenkonto zu überprüfen, es mit dem Support-Ticket im anderen Tab zu vergleichen und die fehlenden Felder zu entwerfen. Halte vor dem Absenden an.

Chrome-Aufgaben laufen in Tab-Gruppen, was hilft, die Tabs eines Codex-Threads zusammenzuhalten. Anders als der In-App-Browser trägt diese Oberfläche deine Browser-Identität. Das macht sie leistungsfähiger und sensibler.

Der andere große Vorteil ist die Multi-Tab-Steuerung. Chrome kann mehrere Tabs, die mit derselben Aufgabe verbunden sind, offen halten, Kontext in einem lesen, mit einem anderen vergleichen und den Workflow in einem dritten fortsetzen. Computer Use kann einen Browser visuell steuern, aber Chrome versteht die Arbeit als Browser-Workflow und nicht als eine Abfolge von Bildschirmkoordinaten.

In einem kürzlichen Thread habe ich Codex einen bereits geöffneten Strudel Composer-Tab gegeben und gebeten, die Musik interessanter zu machen. Chrome gab ihm den ausgewählten Tab und die WebMCP-Tools der Seite. Codex untersuchte die Komposition, schrieb die Harmonie und die vierminütige Form um, änderte das Tempo, speicherte den Track und ließ ihn weiterspielen. Es musste nicht visuell nach jedem Steuerelement suchen, weil Chrome den Tab-Kontext mit den von der Seite bereitgestellten strukturierten Fähigkeiten kombinieren konnte.

Ich verwende dies für einen langlaufenden Twitter-Thread. Die Anweisung lautet ungefähr:

Verwende jeden Tag Chrome, um meine DMs zu überprüfen, relevante Nachrichten zu lesen und nach Feedback oder Erwähnungen zu suchen, die ich kennen sollte. Füge alles Dauerhafte meinem Vault hinzu. Poste oder sende keine Nachrichten.

Das Interessante ist nicht, dass Codex Twitter öffnen kann. Es ist, dass der Thread im Laufe der Zeit zu derselben angemeldeten Arbeit zurückkehren, das Gefundene mit lokalen Dateien verbinden und mir ein überprüfbares Ergebnis hinterlassen kann.

Die Vertrauensgrenze ist wichtig. Websites können Codexs Klicks, Formulareingaben und Nachrichten als von dir durchgeführte Aktionen behandeln. Auch Seiteninhalte sind nicht vertrauenswürdige Eingaben. Halte folgenreiche Schritte explizit: Recherchiere, navigiere und entwerfe automatisch; verlange deine Überprüfung vor dem Senden, Veröffentlichen, Kaufen oder Absenden.

Wenn die gesamte Aufgabe im Browser bleibt, bevorzuge Chrome gegenüber Computer Use. Chrome hat den browser-eigenen Kontext, den die Aufgabe benötigt, ohne Zugriff auf den Rest des Desktops zu öffnen.

3. In-App-[@browser](https://x.com/@browser) für Websites, die du entwickelst

Der In-App-Browser ist ein Browser, der innerhalb eines Codex-Threads lebt. Du und Codex teilen sich dieselbe gerenderte Seite, daher eignet er sich besonders gut zum Entwickeln und Debuggen von Web-Apps.

Hier beginne ich für:

• lokale Entwicklungsserver
• dateibasierte Vorschauen
• öffentliche Seiten, die keine Anmeldung erfordern
• Reproduktion visueller Fehler
• Überprüfung responsiver Layouts
• Hinterlassen von Feedback auf Elementebene

Die wichtige Einschränkung ist die Isolation. Der In-App-Browser verwendet nicht dein normales Browserprofil, keine Cookies, Erweiterungen, angemeldeten Sitzungen oder vorhandenen Tabs. Das ist eine Einschränkung, wenn die Aufgabe ein Konto benötigt, aber eine nützliche Grenze, wenn nicht.

Um ihn einzurichten, öffne Plugins in Codex, füge das Browser-Plugin hinzu und aktiviere es.

Um ihn auszulösen, erwähne @Browser in deinem Prompt oder bitte Codex explizit, den In-App-Browser zu verwenden:

1Verwende @Browser, um die Vite-App unter <http://localhost:3000/> zu öffnen, den mobilen Overflow-Bug zu reproduzieren, zu beheben und dieselbe Route erneut bei Desktop- und Mobilbreite zu überprüfen.

Dies erzeugt eine enge Rückkopplungsschleife: Codex kann den Code bearbeiten, die Seite bedienen, den gerenderten Zustand prüfen, einen Screenshot machen und den Ablauf nach der Korrektur wiederholen.

Mein Lieblingsteil ist die Annotation. Wenn ich eine lokale App überprüfe, kann ich direkt auf ein Element klicken oder einen Bereich auswählen und einen Kommentar hinterlassen. Die Stilsteuerungen erlauben mir auch, präziseres Feedback zu Text, Schriftarten, Abständen und Farben zu sehen und zu senden. Ich kombiniere das oft mit Spracheingabe und Steuerung: Ich überprüfe die Seite, hinterlasse Kommentare und stelle weiteres Feedback in die Warteschlange, während Codex daran arbeitet. Die Seite wird zur Spezifikation.

Dies ist besonders nützlich für Designarbeit. Ich bitte Codex oft, eine Idee, ein Forschungspaket oder einen Projektstatus in eine einzelne index.html-Datei umzuwandeln und sie dann im In-App-Browser zu öffnen. Anstatt das gesamte Design in einem weiteren Prompt zu beschreiben, annotiere ich die tatsächliche Seite: „Diese Hierarchie ist falsch herum“, „Lass das weniger wie eine Karte wirken“, „Diese Steuerelemente brauchen mehr Platz“ oder „Verwende diese Schriftgrößenskala überall“. Codex erhält den Kommentar mit dem relevanten Screenshot und Elementkontext, ändert die Datei und öffnet dieselbe Seite für einen weiteren Durchlauf erneut.

Erstelle eine einzelne index.html-Datei für dieses Projekt-Briefing und öffne sie im

In-App-@Browser.

Diese Schleife fühlt sich viel näher an der Zusammenarbeit mit einem Designer in derselben Leinwand an, als wenn man Screenshots und Prosa hin und her schickt.

Der In-App-Browser ist auch als Ausgangspunkt für einen gemischten Workflow nützlich. In einem anderen Thread habe ich einen X-Post im In-App-Browser geöffnet und Codex gebeten, die Diskussion zu untersuchen. Die sichtbare Seite stellte fest, welchen Post ich meinte; Codex wechselte dann zur Twitter-CLI und holte 38 Antworten, einschließlich verschachtelter Antworten, die die Browser-Ansicht verborgen hatte. Das ist die Regel der schmalsten Oberfläche in der Praxis: Verwende den Browser für den Kontext auf dem Bildschirm, dann ein strukturiertes Tool für den tieferen Abruf.

Es gibt einen Kompromiss. Die Isolation, die den In-App-Browser zu einer guten Entwicklungsoberfläche macht, bedeutet auch, dass er der falsche Ort ist, um sich mit dem Google-Login, einem Passkey oder einer Website herumzuschlagen, die von deinen Browser-Erweiterungen abhängt. Wenn die Identität wichtig ist, wechsle zu Chrome.

Appshots

Ein Appshot ist keine vierte Möglichkeit für Codex, einen Computer zu steuern. Es ist eine Möglichkeit, Codex auf den Kontext zu lenken, der bereits vor dir liegt.

Drücke auf einem Mac zweimal die CMD-Taste, um das letzte Fenster zu erfassen. Codex fügt einem Thread ein Bild und eventuell verfügbaren Text hinzu. Du kannst einen Fehler, eine E-Mail, ein Design, ein Einstellungsfeld oder ein unbekanntes Formular appshoten und einfach sagen:

Das ist das mentale Modell, das ich am einfachsten zu merken finde:

Appshots sind die Art und Weise, wie du auf etwas auf deinem Computer zeigst. Browser, Chrome und Computer Use sind die Art und Weise, wie Codex handelt.

Appshots werden derzeit aus der Codex-App auf macOS erstellt. Sie erfassen das vorderste Fenster, nicht den gesamten Desktop, was sie zu einer nützlichen Möglichkeit macht, fokussierten Kontext zu liefern, ohne der App die Kontrolle zu geben.

Wie du der Arbeit folgen kannst

Diese Oberflächen entwickeln sich schnell. Wenn du die nützlichen Details erfahren möchtest, ohne auf eine große Launch-Zusammenfassung zu warten:

• Folge Ari Weinstein (@AriX) für Computer Use, Appshots
• Folge James Sun (@JamesZmSun) für alles rund um den Browser
• Folge Andrew Ambrosino (@ajambrosino) für Codex-App-Releases und die größere Desktop-Produktgeschichte.
• Folge OpenAI Developers (@OpenAIDevs) für breitere Codex- und OpenAI-Plattform-News.