更新：Computer Use 現已在歐盟 / 英國開放 ;) 盡情享用！
Codex 有三種方式可以使用電腦：Computer Use、Chrome 擴充功能，以及應用程式內瀏覽器。
它們的功能有所重疊，程度剛好會讓人感到困惑。
透過這篇文章，你將學會如何安裝並啟用這三種方式、何時該使用哪一種、Appshots 和開發者模式如何連結它們，以及該在 AGENTS.md 中加入什麼，讓 Codex 能自行選擇最合適的操作介面。
簡短版如下：
話雖如此，在可行的情況下，優先使用外掛或 MCP 會更好：一個 Slack 外掛能比手動點擊 Slack 更精準地擷取討論串；一個 GitHub 外掛產生的操作比直接操作網站更容易檢視。視覺控制最適合用在結構化工具無法觸及的邊界！
1. 一切都是 @Computer
Computer Use 是三種介面中最廣泛的一種。它讓 Codex 能夠在 macOS 和 Windows 上，透過操作你授權的應用程式中的視窗、選單、鍵盤輸入和剪貼簿，來查看並操作圖形化介面。
它通常也是最慢的。結構化的外掛可以直接呼叫 API；而 Computer Use 則必須查看介面、決定點擊位置、等待應用程式回應，再檢查下一個狀態。這個視覺循環需要花費時間，但這也表示 Codex 能夠操作那些沒有提供實用 API 的應用程式。
在 macOS 上，慢不一定代表會造成干擾。Computer Use 可以在背景操作你授權的應用程式，同時你繼續使用電腦的其他部分；很多時候，我使用 Codex 時打開某個應用程式，才發現 Codex 早已安靜地在處理某個工作流程。
根據你電腦上安裝和授權的項目，這可能包括 Spotify、XCode、系統設定、iOS 模擬器，甚至是能用來控制 iPhone 的「iPhone 鏡像輸出」應用程式！它還能在單一工作流程橫跨多個應用程式時，在不同應用程式之間切換。
當任務依賴於以下項目時，適合使用它：
- 原生桌面應用程式，例如 Spotify 或財務軟體
- iOS 模擬器、iPhone 鏡像輸出，或其他僅有 GUI 的工作流程
- 系統或應用程式設定
- 沒有外掛或 API 的資料來源
- 需要在多個應用程式間切換的工作流程
- 一個原本好用的結構化整合中缺少某個操作
要安裝它，請在 Codex 中開啟 設定 > Computer Use，然後點擊 安裝。
要啟用它，請提及 @Computer，或明確要求 Codex 使用 Computer Use；隨著我們的模型變得更好，它也能在需要時自行呼叫此功能。
先試試這幾個範例：
我最喜歡的例子之一，始於一個被偷的包裹。Amazon 告訴我，大約需要 25 分鐘才能連線到客服人員。我給了一個 Codex 對話串 Computer Use 權限，請它每五分鐘檢查一次聊天室，一旦客服出現就改為每分鐘檢查，並盡力幫我拿到退款。我洗完澡回來時，退款已經完成了。
1使用 @Computer 打開 Spotify，找到我的「每週 Discover」播放清單，然後開始播放。不要更改我的帳戶或訂閱設定。23使用 @Computer 打開 iPhone 鏡像輸出，在 iOS 應用程式中重現入門錯誤，並截取失敗狀態的螢幕截圖。修復最小的相關程式碼路徑，然後再次執行相同的流程。
我也曾將 Computer Use 作為一個主要為結構化工作流程的最後一哩路。在一次發布影片中，Codex 可以讀取 Slack 的回饋、修改程式碼並渲染新影片，但該對話串可用的 Slack 整合卻無法上傳檔案。Computer Use 點擊了 新增檔案 並完成了這一個缺失的步驟。
在三種介面中，它也是最廣泛的信任邊界。一次只給它一個明確的應用程式或工作流程。當與任務無關時，請關閉敏感的應用程式，審查權限提示，並在處理財務、帳戶、付款、憑證、隱私和系統安全相關變更時保持警覺。
2. @Chrome：多分頁與身份驗證
Codex Chrome 擴充功能讓 Codex 可以存取你已登入的 Chrome 狀態。當任務依賴於你已有的帳戶、Cookie、瀏覽器設定檔或已驗證的分頁時，請使用這個功能。
這是處理以下工具時最適合的介面：
- Gmail 或 LinkedIn
- Salesforce 或客服後台
- 內部儀表板
- 需要跨多個網站進行已驗證的研究
- 依賴於你的帳戶或瀏覽器擴充功能的表單
要安裝它，請在 Codex 中開啟 外掛，新增 Chrome，然後依照設定流程操作。Codex 會引導你安裝 Codex Chrome 擴充功能 並核准 Chrome 的權限。當擴充功能顯示 已連線 時，開始一個新的對話串。
要啟用它，請提及 @Chrome 或明確要求 Codex 使用你已登入的 Chrome 瀏覽器：
1使用 @Chrome 檢視目前的客戶帳戶，與另一個分頁中的客服單進行比對，並草擬缺失的欄位。在送出前停止。
Chrome 的工作會以分頁群組的方式執行，這有助於將同一個 Codex 對話串的分頁整合在一起。與應用程式內瀏覽器不同，這個介面帶有你的瀏覽器身份。這讓它功能更強大，但也更敏感。
另一個主要優點是多分頁控制。Chrome 可以為同一個任務保留多個分頁，在一個分頁中讀取內容，與另一個分頁進行比較，然後在第三個分頁中繼續工作流程。Computer Use 可以透過視覺方式操作瀏覽器，但 Chrome 是以瀏覽器工作流程的角度來理解工作，而非一連串的螢幕座標。
在最近的一個對話串中，我將一個已開啟的 Strudel Composer 分頁交給 Codex，並請它讓音樂變得更有趣。Chrome 為它提供了選取的分頁以及頁面的 WebMCP 工具。Codex 檢查了作品、改寫了和聲與四分鐘的結構、更改了節奏、儲存了音軌，然後讓它繼續播放。它不需要視覺搜尋每一個控制項，因為 Chrome 可以結合分頁內容與頁面提供的結構化功能。
我用這個功能來處理一個長期的 Twitter 討論串。指示大致如下：
每天，使用 Chrome 檢查我的私訊、閱讀相關新聞，並尋找
我應該知道的回饋或提及。將任何有保留價值的內容新增到我的知識庫。
不要發文或傳送訊息。
有趣的地方不在於 Codex 可以打開 Twitter，而是這個對話串可以隨著時間推移，回到同一個已登入的工作環境，將找到的內容與本地檔案連結起來，並為我留下可供審查的結果。
信任邊界很重要。網站可能會將 Codex 的點擊、表單提交和訊息視為你所採取的行動。頁面內容也是不可信任的輸入。請將關鍵步驟明確化：自動進行研究、瀏覽和草擬；但在發送、發布、購買或提交之前，必須經過你的審查。
如果整個任務都停留在瀏覽器中，請優先使用 Chrome 而非 Computer Use。Chrome 擁有任務所需的瀏覽器原生內容，而無需開放對桌面其他部分的存取權限。
3. 應用程式內 @Browser：用於你正在建立的網站
應用程式內瀏覽器是一個位於 Codex 對話串內部的瀏覽器。你和 Codex 共享同一個渲染後的頁面，因此它特別適合用於建置和除錯網頁應用程式。
這是我處理以下項目時的起點：
- 本地開發伺服器
- 檔案為基礎的預覽
- 不需要登入的公開頁面
- 重現視覺錯誤
- 檢查響應式版面
- 留下元素層級的設計回饋
一個重要的限制是隔離性。應用程式內瀏覽器不會使用你一般的瀏覽器設定檔、Cookie、擴充功能、已登入的會話或現有的分頁。當任務需要帳戶時，這是一個限制；但當不需要時，這是一個有用的邊界。
要設定它，請在 Codex 中開啟 外掛，新增 Browser 外掛，然後啟用它。
要啟用它，請在你的提示中提及 @Browser 或明確要求 Codex 使用應用程式內瀏覽器：
1使用 @Browser 在 <http://localhost:3000/> 上打開 vite 應用程式，重現行動裝置的溢出錯誤，修復它，然後再次以桌面和行動裝置寬度驗證相同的路由。
這會建立一個緊密的反饋迴圈：Codex 可以編輯程式碼、操作頁面、檢查渲染狀態、擷取螢幕截圖，然後在修復後重複執行流程。
我最喜歡的部分是註解功能。當我在審查本地應用程式時，我可以直接點擊某個元素或選取一個區域並留下評論。樣式控制也讓我能夠預覽並更精確地傳達關於文字、字型、間距和顏色的回饋。我通常會將此與語音輸入和引導結合使用：我審查頁面、留下評論，並在 Codex 處理的過程中排入更多回饋。頁面本身就變成了規格書。
這在設計工作上特別有用。我經常要求 Codex 將一個想法、研究資料或專案狀態轉換成單一的 index.html 檔案，然後在應用程式內瀏覽器中打開。我不需要在另一個提示中試圖描述整個設計，而是直接註解實際的頁面：「這個層級關係反了」、「讓它感覺不要那麼像卡片」、「這些控制項需要更多空間」，或「到處使用這個字體比例」。Codex 會收到附有相關螢幕截圖和元素內容的評論，修改檔案，然後再次打開同一個頁面進行下一輪迭代。
為這個專案簡報建立一個單一的 index.html 檔案，並在
應用程式內 @Browser 中打開它。
這個循環感覺上比來回傳送螢幕截圖和文字敘述更接近於與設計師在同一畫布上協作。
應用程式內瀏覽器也可以作為混合工作流程的起點。在另一個對話串中，我在應用程式內瀏覽器中打開了一則 X 貼文，並要求 Codex 調查相關討論。可見的頁面確立了我指的是哪則貼文；然後 Codex 切換到 Twitter CLI 並檢索了 38 則回覆，包括瀏覽器畫面中隱藏的回應。這就是「最小介面」規則的實際應用：使用瀏覽器獲取畫面中的內容，然後使用結構化工具進行更深入的檢索。
這其中有一個取捨。應用程式內瀏覽器的隔離性使其成為一個良好的開發環境，但同時也意味著它不適合用來處理 Google 登入、通行密鑰或依賴瀏覽器擴充功能的網站。當身份驗證很重要時，請改用 Chrome。
Appshots
Appshot 並非 Codex 控制電腦的第四種方式，而是一種將 Codex 指向你眼前內容的方法。
在 Mac 上，連續按兩次 CMD+CMD 鍵即可擷取最後一個視窗。Codex 會將一張圖片以及任何可取得的文字附加到對話串中。你可以 Appshot 一個錯誤、一封電子郵件、一個設計、一個設定面板或一個不熟悉的表單，然後直接說：
這是我覺得最容易記住的心智模型：
Appshots 是你用來指向電腦上某個東西的方式。Browser、Chrome 和 Computer Use 則是 Codex 採取行動的方式。
Appshots 目前是透過 macOS 上的 Codex 應用程式建立的。它們會擷取最前端的視窗，而非整個桌面，這使得它們成為一種在不授予應用程式控制權的情況下，提供有針對性內容的有效方式。
如何追蹤最新進度
這些功能正在快速發展。如果你想獲取實用細節，而不想等待大型發布回顧：
- 追蹤 Ari Weinstein (@AriX) 以了解 Computer Use 和 Appshots
- 追蹤 James Sun (@JamesZmSun) 以了解所有與 Browser 相關的內容
- 追蹤 Andrew Ambrosino (@ajambrosino) 以了解 Codex 應用程式發布和更廣泛的桌面產品故事
- 追蹤 OpenAI Developers (@OpenAIDevs) 以了解更廣泛的 Codex 和 OpenAI 平台新聞
