Cập nhật: Computer Use hiện đã khả dụng tại EU/UK ;) Chúc bạn vui vẻ!
Có ba cách để Codex sử dụng máy tính: Computer Use, tiện ích mở rộng Chrome, và trình duyệt trong ứng dụng.
Chúng chồng lấn vừa đủ để gây nhầm lẫn.
Đến cuối bài viết này, bạn sẽ biết cách cài đặt và kích hoạt cả ba phương pháp, khi nào nên dùng từng cái, Appshots và chế độ Developer kết nối chúng như thế nào, và thêm gì vào AGENTS.md để Codex tự chọn bề mặt phù hợp.
Phiên bản ngắn gọn là:
Dù vậy, hãy ưu tiên plugin hoặc MCP khi có thể. Một plugin Slack có thể lấy một thread chính xác hơn là click quanh Slack. Một plugin GitHub tạo ra các hành động dễ kiểm tra hơn là thao tác trên website. Điều khiển trực quan hữu ích nhất tại ranh giới nơi công cụ có cấu trúc dừng lại!
1. Mọi thứ đều là @Computer
Computer Use là bề mặt rộng nhất trong ba cách. Nó cho phép Codex nhìn và thao tác giao diện đồ họa trên macOS và Windows bằng cách làm việc với cửa sổ, menu, bàn phím và clipboard trong các ứng dụng bạn chấp thuận.
Nó cũng thường là chậm nhất. Một plugin có cấu trúc có thể gọi API trực tiếp; Computer Use phải nhìn vào giao diện, quyết định click vào đâu, chờ ứng dụng phản hồi, và kiểm tra trạng thái tiếp theo. Vòng lặp trực quan đó tốn thời gian, nhưng nó có nghĩa là Codex có thể làm việc với các ứng dụng không có API hữu ích nào cả.
Trên macOS, chậm không nhất thiết có nghĩa là gây gián đoạn. Computer Use có thể thao tác các ứng dụng đã được chấp thuận trong nền khi bạn tiếp tục sử dụng phần còn lại của máy tính. Nhiều khi tôi đang dùng Codex và mở một ứng dụng, rồi nhận ra Codex đã âm thầm làm việc qua một quy trình nào đó.
Tùy thuộc vào những gì được cài đặt và chấp thuận trên máy tính của bạn, điều này có thể bao gồm Spotify, XCode, Cài đặt Hệ thống, trình giả lập iOS, hoặc thậm chí ứng dụng iPhone Mirroring để điều khiển iPhone của bạn! Nó cũng có thể di chuyển giữa các ứng dụng khi một quy trình kéo dài qua nhiều ứng dụng.
Sử dụng nó khi tác vụ phụ thuộc vào:
- một ứng dụng desktop gốc như Spotify hoặc ứng dụng tài chính
- trình giả lập iOS, iPhone Mirroring, hoặc luồng chỉ có GUI khác
- cài đặt hệ thống hoặc ứng dụng
- nguồn dữ liệu không có plugin hoặc API
- quy trình di chuyển giữa nhiều ứng dụng
- một hành động bị thiếu trong tích hợp có cấu trúc nhưng hữu ích khác
Để cài đặt, mở Cài đặt > Computer Use trong Codex và nhấp Cài đặt.
Để kích hoạt, nhắc đến @Computer hoặc yêu cầu Codex sử dụng Computer Use một cách tường minh. Khi các mô hình của chúng tôi tốt hơn, nó sẽ có thể tự gọi nó khi cần.
Hãy thử một vài cái để bắt đầu:
Một trong những ví dụ yêu thích của tôi bắt đầu với một gói hàng bị đánh cắp. Amazon nói với tôi rằng sẽ mất khoảng 25 phút để kết nối tôi với một nhân viên hỗ trợ. Tôi đưa cho một thread Codex quyền Computer Use và yêu cầu nó kiểm tra cuộc trò chuyện mỗi năm phút, chuyển sang mỗi phút khi nhân viên xuất hiện, và cố gắng hết sức để được hoàn tiền. Tôi đi tắm về và thấy đã được hoàn tiền xong.
1Sử dụng @Computer để mở Spotify, tìm danh sách phát Discover Weekly của tôi và phát nó. Không thay đổi tài khoản hoặc cài đặt đăng ký của tôi.23Sử dụng @Computer để mở iPhone Mirroring, tái hiện lỗi onboarding trong ứng dụng iOS, và chụp ảnh màn hình trạng thái lỗi. Sửa đường dẫn code nhỏ nhất có liên quan, sau đó chạy lại cùng luồng đó.
Tôi cũng đã sử dụng Computer Use như một chặng cuối trong quy trình chủ yếu có cấu trúc. Trong một video ra mắt, Codex có thể đọc phản hồi từ Slack, thay đổi code, và render video mới, nhưng tích hợp Slack có sẵn cho thread đó không thể tải file lên. Computer Use đã nhấp Thêm file và hoàn thành bước còn thiếu đó.
Nó cũng là ranh giới tin cậy rộng nhất trong ba cách. Hãy đưa cho nó một ứng dụng hoặc luồng rõ ràng tại một thời điểm. Giữ các ứng dụng nhạy cảm đóng khi chúng không phải là một phần của tác vụ, xem xét các lời nhắc cấp quyền, và giữ sự hiện diện cho các thay đổi về tài chính, tài khoản, thanh toán, thông tin xác thực, quyền riêng tư và bảo mật hệ thống.
2. @Chrome cho Nhiều Tab và Xác thực
Tiện ích mở rộng Chrome của Codex cho phép Codex truy cập vào trạng thái Chrome đã đăng nhập của bạn. Sử dụng nó khi tác vụ phụ thuộc vào tài khoản, cookie, hồ sơ trình duyệt hoặc các tab đã xác thực mà bạn đã có.
Đây là bề mặt phù hợp cho công việc trong các công cụ như:
- Gmail hoặc LinkedIn
- Salesforce hoặc bảng điều khiển hỗ trợ
- bảng điều khiển nội bộ
- nghiên cứu đã xác thực qua nhiều trang web
- các biểu mẫu phụ thuộc vào tài khoản hoặc tiện ích mở rộng trình duyệt của bạn
Để cài đặt, mở Plugin trong Codex, thêm Chrome, và làm theo luồng thiết lập. Codex sẽ hướng dẫn bạn cài đặt tiện ích mở rộng Chrome của Codex và chấp thuận quyền của Chrome. Khi tiện ích hiển thị Đã kết nối, hãy bắt đầu một thread mới.
Để kích hoạt, nhắc đến @Chrome hoặc yêu cầu Codex sử dụng trình duyệt Chrome đã đăng nhập của bạn:
1Sử dụng @Chrome để xem xét tài khoản khách hàng đang mở, so sánh với ticket hỗ trợ trong tab khác, và soạn thảo các trường còn thiếu. Dừng lại trước khi gửi.
Các tác vụ Chrome chạy trong các nhóm tab, giúp giữ các tab cho một thread Codex cùng nhau. Không giống như trình duyệt trong ứng dụng, bề mặt này mang danh tính trình duyệt của bạn. Điều này làm cho nó có khả năng hơn và nhạy cảm hơn.
Lợi thế lớn khác là khả năng điều khiển nhiều tab. Chrome có thể giữ nhiều tab liên quan đến cùng một tác vụ, đọc ngữ cảnh trong một tab, so sánh với tab khác, và tiếp tục quy trình trong tab thứ ba. Computer Use có thể điều khiển trình duyệt bằng hình ảnh, nhưng Chrome hiểu công việc như một quy trình trình duyệt hơn là một chuỗi tọa độ màn hình.
Trong một thread gần đây, tôi đưa cho Codex một tab Strudel Composer đã mở sẵn và yêu cầu nó làm cho âm nhạc thú vị hơn. Chrome đã cung cấp cho nó tab đã chọn và các công cụ WebMCP của trang. Codex đã kiểm tra bản nhạc, viết lại hòa âm và cấu trúc bốn phút, thay đổi nhịp độ, lưu bản nhạc và để nó phát. Nó không cần phải tìm kiếm bằng mắt mọi điều khiển vì Chrome có thể kết hợp ngữ cảnh tab với các khả năng có cấu trúc do trang cung cấp.
Tôi sử dụng điều này cho một thread Twitter kéo dài. Chỉ dẫn đại khái là:
Mỗi ngày, sử dụng Chrome để kiểm tra DM của tôi, đọc tin tức liên quan, và tìm kiếm
phản hồi hoặc đề cập tôi nên biết. Thêm bất cứ điều gì bền vững vào vault của tôi.
Không đăng hoặc gửi tin nhắn.
Phần thú vị không phải là Codex có thể mở Twitter. Mà là thread có thể quay lại cùng một công việc đã đăng nhập theo thời gian, kết nối những gì nó tìm thấy với các tệp cục bộ, và để lại cho tôi một kết quả có thể xem xét.
Ranh giới tin cậy rất quan trọng. Các trang web có thể coi các cú nhấp chuột, gửi biểu mẫu và tin nhắn của Codex là các hành động do bạn thực hiện. Nội dung trang cũng là đầu vào không đáng tin cậy. Hãy giữ các bước quan trọng một cách tường minh: nghiên cứu, điều hướng và soạn thảo tự động; yêu cầu xem xét của bạn trước khi gửi, xuất bản, mua hàng hoặc gửi.
Nếu toàn bộ tác vụ ở trong trình duyệt, hãy ưu tiên Chrome hơn Computer Use. Chrome có ngữ cảnh gốc trình duyệt mà tác vụ cần mà không mở quyền truy cập vào phần còn lại của desktop.
3. Trình duyệt trong ứng dụng @browser cho các trang web bạn đang xây dựng
Trình duyệt trong ứng dụng là một trình duyệt nằm bên trong một thread Codex. Bạn và Codex chia sẻ cùng một trang được render, vì vậy nó đặc biệt tốt cho việc xây dựng và gỡ lỗi các ứng dụng web.
Đây là nơi tôi bắt đầu cho:
- máy chủ phát triển cục bộ
- bản xem trước dựa trên tệp
- các trang công khai không yêu cầu đăng nhập
- tái hiện lỗi trực quan
- kiểm tra bố cục đáp ứng
- để lại phản hồi thiết kế cấp độ phần tử
Ràng buộc quan trọng là sự cách ly. Trình duyệt trong ứng dụng không sử dụng hồ sơ trình duyệt thông thường, cookie, tiện ích mở rộng, phiên đã đăng nhập hoặc các tab hiện có của bạn. Đó là một hạn chế khi tác vụ cần tài khoản, nhưng là một ranh giới hữu ích khi không cần.
Để thiết lập, mở Plugin trong Codex, thêm plugin Trình duyệt và bật nó lên.
Để kích hoạt, nhắc đến @Browser trong lời nhắc hoặc yêu cầu Codex sử dụng trình duyệt trong ứng dụng:
1Sử dụng @Browser để mở ứng dụng vite tại <http://localhost:3000/>, tái hiện lỗi tràn mobile, sửa nó, và xác minh cùng tuyến đường đó ở cả chiều rộng desktop và mobile.
Điều này tạo ra một vòng lặp phản hồi chặt chẽ: Codex có thể chỉnh sửa code, thao tác trang, kiểm tra trạng thái render, chụp ảnh màn hình và lặp lại luồng sau khi sửa.
Phần yêu thích của tôi là chú thích. Khi tôi đang xem xét một ứng dụng cục bộ, tôi có thể nhấp trực tiếp vào một phần tử hoặc chọn một khu vực và để lại bình luận. Các điều khiển kiểu cũng cho phép tôi xem trước và gửi phản hồi chính xác hơn về văn bản, phông chữ, khoảng cách và màu sắc. Tôi thường kết hợp điều này với nhập liệu bằng giọng nói và hướng dẫn: tôi xem xét trang, để lại bình luận và xếp hàng thêm phản hồi trong khi Codex xử lý nó. Trang trở thành đặc tả kỹ thuật.
Điều này đặc biệt hữu ích cho công việc thiết kế. Tôi thường yêu cầu Codex biến một ý tưởng, gói nghiên cứu hoặc trạng thái dự án thành một tệp index.html duy nhất, sau đó mở nó trong trình duyệt trong ứng dụng. Thay vì cố gắng mô tả toàn bộ thiết kế trong một lời nhắc khác, tôi chú thích trang thực tế: "thứ bậc này bị ngược," "làm cho cái này bớt giống thẻ hơn," "các điều khiển này cần nhiều không gian hơn," hoặc "sử dụng thang chữ này ở mọi nơi." Codex nhận bình luận kèm ảnh màn hình có liên quan và ngữ cảnh phần tử, thay đổi tệp, và mở lại cùng trang cho một lần chạy khác.
Tạo một tệp index.html duy nhất cho bản tóm tắt dự án này và mở nó trong
trình duyệt trong ứng dụng @Browser.
Vòng lặp đó cảm giác gần hơn nhiều với việc làm việc với một nhà thiết kế trên cùng một canvas hơn là gửi qua lại ảnh chụp màn hình và văn xuôi.
Trình duyệt trong ứng dụng cũng hữu ích như một điểm khởi đầu cho quy trình hỗn hợp. Trong một thread khác, tôi đã mở một bài đăng X trong trình duyệt trong ứng dụng và yêu cầu Codex điều tra cuộc thảo luận. Trang hiển thị xác định bài đăng nào tôi muốn nói đến; Codex sau đó chuyển sang Twitter CLI và lấy 38 phản hồi, bao gồm các phản hồi lồng nhau mà chế độ xem trình duyệt đã ẩn. Đó là quy tắc bề mặt hẹp nhất trong thực tế: sử dụng trình duyệt cho ngữ cảnh trên màn hình, sau đó sử dụng công cụ có cấu trúc để truy xuất sâu hơn.
Có một sự đánh đổi. Sự cách ly làm cho trình duyệt trong ứng dụng trở thành một bề mặt phát triển tốt cũng đồng nghĩa với việc nó là nơi sai để chiến đấu với đăng nhập Google, passkey hoặc một trang web phụ thuộc vào tiện ích mở rộng trình duyệt của bạn. Khi danh tính quan trọng, hãy chuyển sang Chrome.
Appshots
Appshot không phải là cách thứ tư để Codex điều khiển máy tính. Nó là một cách để hướng Codex đến ngữ cảnh đã ở trước mặt bạn.
Trên máy Mac, nhấn cả hai phím CMD+CMD để chụp cửa sổ cuối cùng. Codex đính kèm một hình ảnh và bất kỳ văn bản có sẵn nào vào một thread. Bạn có thể Appshot một lỗi, một email, một thiết kế, một bảng cài đặt hoặc một biểu mẫu không quen thuộc và chỉ cần nói:
Đó là mô hình tinh thần mà tôi thấy dễ nhớ nhất:
Appshots là cách bạn chỉ vào một thứ gì đó trên máy tính của mình. Trình duyệt, Chrome và Computer Use là cách Codex hành động.
Appshots hiện được tạo từ ứng dụng Codex trên macOS. Chúng chụp cửa sổ phía trước nhất, không phải toàn bộ desktop, làm cho chúng trở thành một cách hữu ích để cung cấp ngữ cảnh tập trung mà không cấp quyền điều khiển ứng dụng.
Cách theo dõi công việc
Các bề mặt này đang phát triển nhanh chóng. Nếu bạn muốn các chi tiết hữu ích thay vì chờ một bản tổng kết lớn:
- Theo dõi Ari Weinstein (@AriX) về Computer Use, Appshots
- Theo dõi James Sun (@JamesZmSun) về mọi thứ Trình duyệt
- Theo dõi Andrew Ambrosino (@ajambrosino) về các bản phát hành ứng dụng Codex và câu chuyện sản phẩm desktop lớn hơn.
- Theo dõi OpenAI Developers (@OpenAIDevs) về tin tức Codex và Nền tảng OpenAI rộng hơn.
