업데이트: Computer Use 가 이제 EU/영국에서도 사용 가능합니다 ;) 즐기세요!
Codex 가 컴퓨터를 사용하는 방법은 세 가지가 있습니다: Computer Use, Chrome 확장 프로그램, 그리고 앱 내 브라우저입니다.
이 세 가지는 기능이 겹치는 부분이 있어서 혼란스러울 수 있습니다.
이 글을读完 나면, 세 가지 기능을 설치하고 실행하는 방법, 각각을 언제 사용해야 하는지, Appshots 와 개발자 모드가 이들을 어떻게 연결하는지, 그리고 AGENTS.md 에 무엇을 추가해야 Codex 가 스스로 적절한 방식을 선택할 수 있는지 알게 될 것입니다.
간단히 요약하면 다음과 같습니다.
즉, 가능하다면 플러그인이나 MCP 를 사용하는 것이 좋습니다. Slack 플러그인은 Slack 을 클릭하며 찾는 것보다 더 정확하게 스레드를 검색할 수 있습니다. GitHub 플러그인은 웹사이트를 직접 조작하는 것보다 검토하기 쉬운 액션을 생성합니다. 시각적 제어는 구조화된 도구의 기능이 끝나는 지점에서 가장 유용합니다!
1. 모든 것은 @Computer가 중심입니다
Computer Use 는 세 가지 방식 중 가장 광범위합니다. Codex 가 사용자가 승인한 앱에서 창, 메뉴, 키보드 입력, 클립보드를 활용하여 macOS 및 Windows 의 그래픽 인터페이스를 보고 조작할 수 있게 해줍니다.
또한 일반적으로 가장 느리기도 합니다. 구조화된 플러그인은 API 를 직접 호출할 수 있지만, Computer Use 는 인터페이스를 살펴보고, 클릭할 위치를 결정하고, 앱의 응답을 기다린 후, 다음 상태를 검사해야 합니다. 이 시각적 루프는 시간이 소요되지만, Codex 가 유용한 API 를 전혀 제공하지 않는 앱과도 작업할 수 있다는 의미이기도 합니다.
macOS 에서 느리다는 것이 반드시 방해가 된다는 뜻은 아닙니다. Computer Use 는 사용자가 컴퓨터의 다른 부분을 계속 사용하는 동안 백그라운드에서 승인된 앱을 작동시킬 수 있습니다. 저는 Codex 를 사용하면서 다른 앱을 열었을 때 Codex 가 이미 어떤 작업 흐름을 조용히 처리하고 있었다는 사실을 깨닫곤 합니다.
컴퓨터에 설치되고 승인된 앱에 따라 Spotify, XCode, 시스템 설정, iOS 시뮬레이터, 심지어 iPhone 을 제어할 수 있는 iPhone Mirroring 앱까지 포함할 수 있습니다! 또한 하나의 작업 흐름이 여러 앱에 걸쳐 있을 때 앱 간을 이동할 수도 있습니다.
다음과 같은 작업에 의존할 때 사용하세요:
- Spotify 또는 금융 앱과 같은 네이티브 데스크톱 앱
- iOS 시뮬레이터, iPhone Mirroring 또는 기타 GUI 전용 흐름
- 시스템 또는 애플리케이션 설정
- 플러그인이나 API 가 없는 데이터 소스
- 여러 앱 사이를 이동하는 워크플로우
- 유용한 구조화된 통합에서 누락된 작업
설치하려면 Codex 에서 설정 > Computer Use 를 열고 설치 를 클릭하세요.
실행하려면 @Computer 를 언급하거나 Codex 에게 Computer Use 를 사용하도록 명시적으로 요청하세요. 모델이 개선됨에 따라 필요할 때 스스로 호출할 수 있게 될 것입니다.
몇 가지를 시도해보세요:
제가 가장 좋아하는 예시는 도난당한 소포로 시작되었습니다. Amazon 에서 고객 지원 상담원 연결에 약 25 분이 소요된다고 알려왔습니다. 저는 Codex 스레드에 Computer Use 권한을 주고 5 분마다 채팅을 확인하고, 상담원이 나타나면 1 분마다 확인하도록 전환한 후, 최선을 다해 환불을 받도록 요청했습니다. 샤워를 마치고 돌아왔을 때 환불이 완료되어 있었습니다.
1@Computer 를 사용하여 Spotify 를 열고, 제 Discover Weekly 재생 목록을 찾아 재생하세요. 제 계정이나 구독 설정은 변경하지 마세요.2@Computer 를 사용하여 iPhone Mirroring 을 열고, iOS 앱의 온보딩 버그를 재현한 후, 오류 상태의 스크린샷을 찍으세요. 가장 작은 관련 코드 경로를 수정한 다음, 동일한 흐름을 다시 실행하세요.
저는 또한 대부분 구조화된 워크플로우의 마지막 단계로 Computer Use 를 사용한 적이 있습니다. 한 런칭 비디오에서 Codex 는 Slack 의 피드백을 읽고, 코드를 변경하고, 새 비디오를 렌더링할 수 있었지만, 해당 스레드에서 사용 가능한 Slack 통합은 파일을 업로드할 수 없었습니다. Computer Use 가 파일 추가 를 클릭하여 그 하나의 누락된 단계를 완료했습니다.
또한 세 가지 방식 중 가장 광범위한 신뢰 경계이기도 합니다. 한 번에 하나의 명확한 앱이나 흐름만 할당하세요. 작업과 관련 없는 중요한 앱은 닫아두고, 권한 프롬프트를 검토하며, 금융, 계정, 결제, 자격 증명, 개인 정보 보호 및 시스템 보안 변경 사항이 있을 때는 자리를 지키세요.
2. 여러 탭과 인증을 위한 @Chrome
Codex Chrome 확장 프로그램 은 Codex 에게 로그인된 Chrome 상태에 대한 액세스 권한을 부여합니다. 작업이 이미 가지고 있는 계정, 쿠키, 브라우저 프로필 또는 인증된 탭에 의존할 때 사용하세요.
이는 다음과 같은 도구에서 작업하기에 적합한 방식입니다:
- Gmail 또는 LinkedIn
- Salesforce 또는 지원 콘솔
- 내부 대시보드
- 여러 사이트에 걸친 인증된 리서치
- 계정이나 브라우저 확장 프로그램에 의존하는 양식
설치하려면 Codex 에서 플러그인 을 열고 Chrome 을 추가한 후 설정 흐름을 따르세요. Codex 가 Codex Chrome 확장 프로그램 설치를 안내하고 Chrome 권한을 승인하도록 할 것입니다. 확장 프로그램이 연결됨 이라고 표시되면 새 스레드를 시작하세요.
실행하려면 @Chrome 을 언급하거나 Codex 에게 로그인된 Chrome 브라우저를 사용하도록 명시적으로 요청하세요:
1@Chrome 을 사용하여 열려 있는 고객 계정을 검토하고, 다른 탭의 지원 티켓과 비교한 후, 누락된 필드를 작성하세요. 제출하기 전에 중단하세요.
Chrome 작업은 탭 그룹으로 실행되어 하나의 Codex 스레드에 대한 탭을 함께 유지하는 데 도움이 됩니다. 앱 내 브라우저와 달리 이 방식은 사용자의 브라우저 아이덴티티를 전달합니다. 따라서 더 강력하고 더 민감합니다.
또 다른 주요 장점은 다중 탭 제어입니다. Chrome 은 동일한 작업과 관련된 여러 탭을 유지하고, 하나의 탭에서 컨텍스트를 읽고, 다른 탭과 비교한 후, 세 번째 탭에서 워크플로우를 계속할 수 있습니다. Computer Use 는 브라우저를 시각적으로 조작할 수 있지만, Chrome 은 작업을 화면 좌표의 시퀀스가 아닌 브라우저 워크플로우로 이해합니다.
최근 한 스레드에서 저는 Codex 에게 이미 열려 있는 Strudel Composer 탭을 건네주고 음악을 더 흥미롭게 만들어 달라고 요청했습니다. Chrome 은 선택된 탭과 페이지의 WebMCP 도구를 제공했습니다. Codex 는 구성을 검사하고, 하모니와 4 분 형식을 다시 작성하고, 템포를 변경하고, 트랙을 저장한 후, 재생 상태로 두었습니다. Chrome 이 탭 컨텍스트와 페이지가 제공하는 구조화된 기능을 결합할 수 있었기 때문에 모든 컨트롤을 시각적으로 찾을 필요가 없었습니다.
저는 장기 실행 트위터 스레드에 이 기능을 사용합니다. 지시사항은 대략 다음과 같습니다:
매일 Chrome 을 사용하여 내 DM 을 확인하고, 관련 뉴스를 읽고,
내가 알아야 할 피드백이나 멘션을 찾아봐. 영구적인 내용은 내 볼트에 추가해.
게시하거나 메시지를 보내지는 마.
흥미로운 점은 Codex 가 트위터를 열 수 있다는 것이 아닙니다. 스레드가 시간이 지나도 동일한 로그인된 작업으로 돌아가서, 찾은 내용을 로컬 파일과 연결하고, 검토 가능한 결과를 남길 수 있다는 점입니다.
신뢰 경계도 중요합니다. 웹사이트는 Codex 의 클릭, 양식 제출 및 메시지를 사용자가 수행한 작업으로 간주할 수 있습니다. 페이지 콘텐츠 또한 신뢰할 수 없는 입력입니다. 중요한 단계는 명시적으로 유지하세요: 자동으로 리서치, 탐색 및 초안을 작성하고; 보내기, 게시, 구매 또는 제출 전에 사용자의 검토를 요구하세요.
전체 작업이 브라우저 내에서 이루어진다면 Computer Use 보다 Chrome 을 선호하세요. Chrome 은 데스크톱의 나머지 부분에 대한 액세스를 열지 않고 작업에 필요한 브라우저 네이티브 컨텍스트를 가지고 있습니다.
3. 개발 중인 웹사이트를 위한 앱 내 @브라우저
앱 내 브라우저 는 Codex 스레드 내에 존재하는 브라우저입니다. 사용자와 Codex 가 동일한 렌더링된 페이지를 공유하므로, 웹 앱을 구축하고 디버깅하는 데 특히 좋습니다.
이는 다음과 같은 경우에 제가 가장 먼저 사용하는 방식입니다:
- 로컬 개발 서버
- 파일 기반 미리보기
- 로그인이 필요 없는 공개 페이지
- 시각적 버그 재현
- 반응형 레이아웃 확인
- 요소 수준의 디자인 피드백 남기기
중요한 제약은 격리입니다. 앱 내 브라우저는 일반 브라우저 프로필, 쿠키, 확장 프로그램, 로그인된 세션 또는 기존 탭을 사용하지 않습니다. 이는 작업에 계정이 필요할 때는 한계이지만, 그렇지 않을 때는 유용한 경계입니다.
설정하려면 Codex 에서 플러그인 을 열고 브라우저 플러그인을 추가한 후 활성화하세요.
실행하려면 프롬프트에서 @Browser 를 언급하거나 Codex 에게 앱 내 브라우저를 사용하도록 명시적으로 요청하세요:
1@Browser 를 사용하여 <http://localhost:3000/> 에서 vite 앱을 열고, 모바일 오버플로우 버그를 재현한 후 수정하고, 동일한 경로를 데스크톱 및 모바일 너비에서 다시 확인하세요.
이것은 긴밀한 피드백 루프를 생성합니다: Codex 가 코드를 편집하고, 페이지를 조작하고, 렌더링된 상태를 검사하고, 스크린샷을 찍고, 수정 후 흐름을 반복할 수 있습니다.
제가 가장 좋아하는 부분은 주석 기능입니다. 로컬 앱을 검토할 때 요소를 직접 클릭하거나 영역을 선택하여 댓글을 남길 수 있습니다. 스타일 컨트롤을 사용하면 텍스트, 글꼴, 간격 및 색상에 대해 더 정확한 피드백을 미리 보고 보낼 수도 있습니다. 저는 이것을 음성 입력 및 방향 제시와 결합하는 경향이 있습니다. Codex 가 작업하는 동안 페이지를 검토하고, 댓글을 남기고, 더 많은 피드백을 대기시킵니다. 페이지 자체가 사양이 됩니다.
이는 특히 디자인 작업에 유용합니다. 아이디어, 리서치 패킷 또는 프로젝트 상태를 단일 index.html 파일로 변환한 다음 앱 내 브라우저에서 열어 달라고 Codex 에게 자주 요청합니다. 다른 프롬프트에서 전체 디자인을 설명하려고 시도하는 대신 실제 페이지에 주석을 답니다: "이 계층 구조는 잘못되었어", "이걸 카드처럼 보이지 않게 해줘", "이 컨트롤들은 공간이 더 필요해", 또는 "이 타이포그래피 스케일을 모든 곳에 사용해". Codex 는 관련 스크린샷과 요소 컨텍스트와 함께 댓글을 받고, 파일을 변경한 후, 동일한 페이지를 다시 열어 다음 패스를 진행합니다.
이 프로젝트 브리프에 대한 단일 파일 index.html 을 생성하고
앱 내 @Browser 에서 열어줘.
이 루프는 스크린샷과 텍스트를 주고받는 것보다 동일한 캔버스에서 디자이너와 협업하는 것에 훨씩 더 가깝게 느껴집니다.
앱 내 브라우저는 혼합 워크플로우의 시작점으로도 유용합니다. 다른 스레드에서 앱 내 브라우저로 X 게시물을 열고 Codex 에게 토론을 조사하도록 요청했습니다. 보이는 페이지는 제가 어떤 게시물을 의미하는지 확인시켜 주었고, Codex 는 Twitter CLI 로 전환하여 브라우저 보기에서 숨겨져 있던 중첩된 응답을 포함한 38 개의 답글을 검색했습니다. 이것이 실제로 가장 좁은 표면 규칙입니다: 화면에 보이는 컨텍스트는 브라우저를 사용하고, 더 깊은 검색을 위해서는 구조화된 도구를 사용하세요.
여기에는 트레이드오프가 있습니다. 앱 내 브라우저를 좋은 개발 표면으로 만드는 격리는 Google 로그인, 패스키 또는 브라우저 확장 프로그램에 의존하는 사이트와 씨름하기에는 부적합한 장소임을 의미하기도 합니다. 신원이 중요할 때는 Chrome 으로 이동하세요.
Appshots
Appshot 은 Codex 가 컴퓨터를 제어하는 네 번째 방법이 아닙니다. Codex 를 현재 눈앞에 있는 컨텍스트로 안내하는 방법입니다.
Mac 에서 CMD+CMD 키를 누르면 마지막 창을 캡처합니다. Codex 가 이미지와 사용 가능한 텍스트를 스레드에 첨부합니다. 오류, 이메일, 디자인, 설정 패널 또는 익숙하지 않은 양식을 Appshot 으로 찍고 간단히 말하면 됩니다:
제가 기억하기 가장 쉬운 개념 모델은 다음과 같습니다:
Appshots 은 컴퓨터의 무언가를 가리키는 방법입니다. Browser, Chrome, Computer Use 는 Codex 가 행동하는 방법입니다.
Appshot 은 현재 macOS 의 Codex 앱에서 생성됩니다. 전체 데스크톱이 아닌 최전방 창만 캡처하므로, 앱에 대한 제어 권한을 부여하지 않고 집중된 컨텍스트를 제공하는 유용한 방법입니다.
관련 소식을 팔로우하는 방법
이러한 표면들은 빠르게 발전하고 있습니다. 거대한 런칭 요약을 기다리기보다 유용한 세부 정보를 원한다면:
- Ari Weinstein (@AriX) 팔로우: Computer Use, Appshots
- James Sun (@JamesZmSun) 팔로우: 모든 Browser 관련
- Andrew Ambrosino (@ajambrosino) 팔로우: Codex 앱 릴리스 및 전체 데스크톱 제품 스토리
- OpenAI Developers (@OpenAIDevs) 팔로우: 더 넓은 Codex 및 OpenAI 플랫폼 뉴스
