更新: Computer Use が EU/UK でも利用可能になりました ;) お楽しみください！
Codex がコンピュータを操作する方法は 3 つあります: Computer Use、Chrome 拡張機能、そしてアプリ内ブラウザです。
これらの機能は、部分的に重複しているため混乱を招くことがあります。
この記事を読み終える頃には、3 つの方法のインストール方法と起動方法、それぞれを使うべきタイミング、Appshots と Developer mode がそれらをどのように連携させるか、そして Codex が適切な操作面を自動選択できるように AGENTS.md に何を追加すべきかがわかるでしょう。
簡単にまとめると:
とはいえ、可能な場合はプラグインや MCP を優先してください。Slack プラグインは、Slack 内をクリックして回るよりも正確にスレッドを取得できます。GitHub プラグインが生成するアクションは、Web サイトを直接操作するよりも検査が容易です。視覚的な制御が最も役立つのは、構造化されたツールの限界に達した時点です！
1. すべては [@Computer](https://x.com/@Computer) から始まる
Computer Use は、3 つの操作面の中で最も幅広い機能を提供します。これにより、Codex は macOS および Windows 上で、承認したアプリのウィンドウ、メニュー、キーボード入力、クリップボードを操作してグラフィカルインターフェースを認識し、操作できるようになります。
また、通常は最も遅い方法でもあります。構造化プラグインは API を直接呼び出せますが、Computer Use はインターフェースを確認し、クリックする場所を決定し、アプリの応答を待ち、次の状態を検査する必要があります。この視覚的なループには時間がかかりますが、その反面、Codex は有用な API を一切公開していないアプリでも操作できるようになります。
macOS では、遅いことが必ずしも作業の妨げになるわけではありません。Computer Use は、あなたがコンピュータの他の部分を使い続けている間、バックグラウンドで承認済みアプリを操作できます。私もよく Codex を使いながら何かアプリを開くと、Codex が静かにワークフローを実行していたことに気づくことがあります。
あなたのコンピュータにインストールされ承認されているアプリによっては、Spotify、XCode、システム設定、iOS シミュレータ、さらには iPhone を制御するための iPhone Mirroring アプリも操作対象になります！また、1 つのワークフローが複数のアプリにまたがる場合、それらの間を移動することもできます。
以下のようなタスクに依存する場合に使用します:
- Spotify や金融アプリなどのネイティブデスクトップアプリ
- iOS シミュレータ、iPhone Mirroring、またはその他の GUI のみのフロー
- システム設定またはアプリケーション設定
- プラグインや API がないデータソース
- 複数のアプリ間を移動するワークフロー
- 有用な構造化統合に欠けているアクションの補完
インストールするには、Codex で Settings > Computer Use を開き、Install をクリックします。
起動するには、@Computer に言及するか、Codex に Computer Use を使用するよう明示的に依頼します。モデルが改善されるにつれて、必要に応じて自動的に呼び出せるようになるでしょう。
まずはいくつか試してみてください:
私のお気に入りの例の 1 つは、荷物が盗まれたことから始まりました。Amazon のサポートエージェントに接続するまで約 25 分かかると言われました。そこで Codex スレッドに Computer Use を割り当て、5 分ごとにチャットを確認し、エージェントが現れたら 1 分ごとに確認するように指示し、払い戻しを得るために最善を尽くすよう依頼しました。シャワーから戻ると、払い戻しは完了していました。
1Use @Computer to open Spotify, find my Discover Weekly playlist, and start it. Do not change my account or subscription settings.23Use @Computer to open iPhone Mirroring, reproduce the onboarding bug in the iOS app, and take a screenshot of the failing state. Fix the smallest relevant code path, then run the same flow again.
また、主に構造化されたワークフローの最終工程として Computer Use を使用したこともあります。あるローンチ動画では、Codex は Slack からフィードバックを読み取り、コードを変更し、新しい動画をレンダリングできましたが、そのスレッドで利用可能だった Slack 連携ではファイルをアップロードできませんでした。Computer Use が Add file をクリックし、その 1 つの不足ステップを完了しました。
また、3 つの操作面の中で最も広範な信頼境界でもあります。一度に 1 つの明確なアプリまたはフローに限定して操作させてください。タスクに関係のない機密性の高いアプリは閉じたままにし、権限プロンプトを確認し、金銭、アカウント、支払い、認証情報、プライバシー、およびシステムセキュリティに関する変更にはその場に立ち会ってください。
2. [@Chrome](https://x.com/@Chrome) を複数タブと認証に使用する
Codex Chrome 拡張機能 は、Codex にサインイン済みの Chrome 状態へのアクセスを提供します。タスクが、既に持っているアカウント、Cookie、ブラウザプロファイル、または認証済みタブに依存する場合に使用します。
これは、以下のようなツールでの作業に適した操作面です:
- Gmail や LinkedIn
- Salesforce やサポートコンソール
- 内部ダッシュボード
- 複数のサイトにわたる認証済みリサーチ
- アカウントやブラウザ拡張機能に依存するフォーム
インストールするには、Codex で Plugins を開き、Chrome を追加して、セットアップフローに従います。Codex が Codex Chrome 拡張機能 のインストールと Chrome の権限承認をガイドします。拡張機能が Connected と表示されたら、新しいスレッドを開始します。
起動するには、@Chrome に言及するか、Codex にサインイン済みの Chrome ブラウザを使用するよう明示的に依頼します:
1Use @Chrome to review the open customer account, compare it with the support ticket in the other tab, and draft the missing fields. Stop before submitting.
Chrome タスクはタブグループで実行されるため、1 つの Codex スレッドのタブをまとめておくのに役立ちます。アプリ内ブラウザとは異なり、この操作面はブラウザの ID を保持します。そのため、より高性能であり、より機密性が高くなります。
もう 1 つの大きな利点は、マルチタブ制御です。Chrome は同じタスクに関連する複数のタブを保持し、1 つのタブでコンテキストを読み取り、別のタブと比較し、3 つ目のタブでワークフローを続行できます。Computer Use もブラウザを視覚的に操作できますが、Chrome は画面座標のシーケンスではなく、ブラウザのワークフローとして作業を理解します。
最近のあるスレッドでは、既に開かれていた Strudel Composer のタブを Codex に渡し、音楽をもっと面白くするよう依頼しました。Chrome は選択されたタブとページの WebMCP ツールを Codex に提供しました。Codex は楽曲を分析し、ハーモニーと 4 分の形式を書き換え、テンポを変更し、トラックを保存し、再生したままにしました。Chrome がタブのコンテキストとページが公開する構造化機能を組み合わせられたため、すべてのコントロールを視覚的に探す必要はありませんでした。
私はこれを長期間実行する Twitter スレッドに使用しています。指示はおおよそ次の通りです:
毎日、Chrome を使用して DM を確認し、関連ニュースを読み、
把握すべきフィードバックやメンションを探してください。
恒久的なものはボールトに追加してください。
投稿やメッセージの送信はしないでください。
興味深いのは、Codex が Twitter を開けることではありません。スレッドが時間をかけて同じサインイン済みの作業に戻り、見つけたものをローカルファイルに接続し、確認可能な結果を残せることです。
信頼境界は重要です。Web サイトは、Codex のクリック、フォーム送信、メッセージをあなた自身の操作として扱う可能性があります。ページコンテンツも信頼できない入力です。重要なステップは明示的にしてください。自動的にリサーチ、ナビゲート、ドラフトを行い、送信、公開、購入、提出の前にはあなたの確認を必要とするようにします。
タスク全体がブラウザ内で完結する場合は、Computer Use よりも Chrome を優先してください。Chrome は、デスクトップの他の部分へのアクセスを開くことなく、タスクに必要なブラウザネイティブのコンテキストを持っています。
3. 開発中の Web サイトにはアプリ内 [@browser](https://x.com/@browser) を
アプリ内ブラウザ は、Codex スレッド内に存在するブラウザです。あなたと Codex が同じレンダリングページを共有するため、Web アプリの構築とデバッグに特に適しています。
私は以下の場合にこれを使用します:
- ローカル開発サーバー
- ファイルベースのプレビュー
- サインイン不要の公開ページ
- 視覚的なバグの再現
- レスポンシブレイアウトの確認
- 要素レベルのデザインフィードバック
重要な制約は分離性です。アプリ内ブラウザは、通常のブラウザプロファイル、Cookie、拡張機能、サインインセッション、既存のタブを使用しません。これはタスクにアカウントが必要な場合の制限ですが、必要ない場合には有用な境界となります。
セットアップするには、Codex で Plugins を開き、Browser プラグインを追加して有効にします。
起動するには、プロンプトで @Browser に言及するか、Codex にアプリ内ブラウザの使用を明示的に依頼します:
1Use @Browser to open vite app on <http://localhost:3000/>, reproduce the mobile overflow bug, fix it, and verify the same route again at desktop and mobile widths.
これにより、緊密なフィードバックループが生まれます。Codex はコードを編集し、ページを操作し、レンダリング状態を検査し、スクリーンショットを撮り、修正後に同じフローを繰り返すことができます。
私のお気に入りは注釈機能です。ローカルアプリをレビューする際、要素を直接クリックするか領域を選択してコメントを残せます。スタイルコントロールを使用して、テキスト、フォント、間隔、色に関するより正確なフィードバックをプレビューして送信することもできます。私はこれを音声入力と誘導と組み合わせる傾向があります。ページをレビューし、コメントを残し、Codex が処理している間にさらにフィードバックをキューに入れます。ページ自体が仕様書になります。
これはデザイン作業に特に便利です。アイデア、リサーチパケット、プロジェクト状況を単一の index.html ファイルに変換するよう Codex に依頼し、それをアプリ内ブラウザで開くことがよくあります。別のプロンプトでデザイン全体を説明しようとする代わりに、実際のページに注釈を付けます。「この階層は逆です」「これをカードっぽくなくしてください」「これらのコントロールにはもっとスペースが必要です」「このタイプスケールを全体で使用してください」。Codex は関連するスクリーンショットと要素コンテキストとともにコメントを受け取り、ファイルを変更し、同じページを再度開いて別のパスを実行します。
このプロジェクト概要の単一ファイル index.html を作成し、
アプリ内 @Browser で開いてください。
このループは、スクリーンショットと散文を行き来するよりも、同じキャンバスでデザイナーと作業している感覚にずっと近いです。
アプリ内ブラウザは、混合ワークフローの出発点としても役立ちます。別のスレッドでは、X の投稿をアプリ内ブラウザで開き、Codex に議論を調査するよう依頼しました。表示されたページでどの投稿を意味するかが確定しました。その後、Codex は Twitter CLI に切り替え、ブラウザ表示では隠れていたネストされた応答を含む 38 件の返信を取得しました。これは、実際に最小限の操作面ルールを適用した例です。画面のコンテキストにはブラウザを使用し、より深い取得には構造化ツールを使用します。
トレードオフがあります。アプリ内ブラウザを優れた開発面にしている分離性は、Google ログイン、パスキー、またはブラウザ拡張機能に依存するサイトと戦うには適切な場所ではないことを意味します。ID が重要な場合は、Chrome に移行してください。
Appshots
Appshot は、Codex がコンピュータを制御するための 4 つ目の方法ではありません。これは、あなたの目の前にあるコンテキストを Codex に指し示す方法です。
Mac で、CMD+CMD キーを押して最後のウィンドウをキャプチャします。Codex は画像と利用可能なテキストをスレッドに添付します。エラー、メール、デザイン、設定パネル、または見慣れないフォームを Appshot で撮り、次のように言うだけです:
私が最も覚えやすいと考えるメンタルモデルは次の通りです:
Appshots は、コンピュータ上の何かを指し示す方法です。Browser、Chrome、Computer Use は、Codex が行動する方法です。
Appshots は現在、macOS 上の Codex アプリから作成されます。デスクトップ全体ではなく最前面のウィンドウをキャプチャするため、アプリへの制御権を付与せずに焦点を絞ったコンテキストを提供する便利な方法です。
最新情報を追うには
これらの操作面は急速に進化しています。大規模なローンチまとめを待たずに有用な詳細を知りたい方は:
- Ari Weinstein (@AriX) をフォロー: Computer Use、Appshots 関連
- James Sun (@JamesZmSun) をフォロー: Browser 関連全般
- Andrew Ambrosino (@ajambrosino) をフォロー: Codex アプリのリリースとデスクトップ製品全体の情報
- OpenAI Developers (@OpenAIDevs) をフォロー: Codex および OpenAI Platform 全体のニュース
