อัปเดต: ตอนนี้ Computer Use พร้อมใช้งานใน EU/UK แล้วนะ ;) สนุกไปกับมัน!
Codex มีสามวิธีในการใช้คอมพิวเตอร์: Computer Use, ส่วนขยาย Chrome และเบราว์เซอร์ในแอป
ฟังก์ชันเหล่านี้ทับซ้อนกันมากพอที่จะทำให้สับสนได้
เมื่ออ่านบทความนี้จบ คุณจะรู้วิธีติดตั้งและเรียกใช้ทั้งสามวิธี เมื่อใดควรใช้แต่ละวิธี, วิธีที่ Appshots และโหมด Developer เชื่อมโยงกัน, และสิ่งที่ควรเพิ่มใน AGENTS.md เพื่อให้ Codex สามารถเลือกพื้นผิวที่เหมาะสมได้ด้วยตัวเอง
สรุปสั้นๆ คือ:
อย่างไรก็ตาม แนะนำให้ใช้ plugin หรือ MCP เมื่อเป็นไปได้, ปลั๊กอิน Slack สามารถดึงข้อมูลเธรดได้แม่นยำกว่าการคลิกไปมาใน Slack, ปลั๊กอิน GitHub สร้างการดำเนินการที่ตรวจสอบได้ง่ายกว่าการขับเคลื่อนเว็บไซต์ การควบคุมด้วยภาพมีประโยชน์มากที่สุดในจุดที่เครื่องมือที่มีโครงสร้างสิ้นสุดลง!
1. ทุกอย่างคือ @Computer
Computer Use เป็นพื้นผิวที่กว้างที่สุดในสามแบบ มันช่วยให้ Codex มองเห็นและใช้งานอินเทอร์เฟซกราฟิกบน macOS และ Windows โดยการจัดการกับหน้าต่าง เมนู การป้อนข้อมูลจากแป้นพิมพ์ และคลิปบอร์ดในแอปที่คุณอนุมัติ
โดยทั่วไปแล้วมันยังช้าที่สุดด้วย ปลั๊กอินที่มีโครงสร้างสามารถเรียก API ได้โดยตรง; Computer Use ต้องดูที่อินเทอร์เฟซ ตัดสินใจว่าจะคลิกที่ไหน รอให้แอปตอบสนอง และตรวจสอบสถานะถัดไป การวนรอบด้วยภาพนั้นใช้เวลา แต่หมายความว่า Codex สามารถทำงานกับแอปที่ไม่มี API ที่มีประโยชน์ให้ใช้งานได้เลย
บน macOS ความช้าไม่ได้หมายถึงการรบกวนเสมอไป Computer Use สามารถทำงานกับแอปที่อนุมัติในเบื้องหลังได้ในขณะที่คุณยังคงใช้คอมพิวเตอร์ส่วนอื่นต่อไป บ่อยครั้งฉันจะใช้ Codex และเปิดแอปขึ้นมา แล้วก็พบว่า Codex กำลังทำงานบางอย่างอย่างเงียบๆ อยู่
ขึ้นอยู่กับสิ่งที่ติดตั้งและได้รับอนุมัติบนคอมพิวเตอร์ของคุณ ซึ่งอาจรวมถึง Spotify, XCode, System Settings, iOS simulator หรือแม้แต่แอป iPhone Mirroring เพื่อควบคุม iPhone ของคุณ! นอกจากนี้ยังสามารถย้ายระหว่างแอปได้เมื่อเวิร์กโฟลว์หนึ่งครอบคลุมหลายแอป
ใช้เมื่องานต้องอาศัย:
- แอปเดสก์ท็อปดั้งเดิม เช่น Spotify หรือแอปการเงิน
- iOS simulator, iPhone Mirroring หรือโฟลว์ GUI อื่นๆ
- การตั้งค่าระบบหรือแอปพลิเคชัน
- แหล่งข้อมูลที่ไม่มีปลั๊กอินหรือ API
- เวิร์กโฟลว์ที่ย้ายระหว่างหลายแอป
- การดำเนินการที่ขาดหายไปในการรวมระบบที่มีโครงสร้างซึ่งมีประโยชน์
ในการติดตั้ง ให้เปิด Settings > Computer Use ใน Codex แล้วคลิก Install
ในการเรียกใช้ ให้กล่าวถึง @Computer หรือขอให้ Codex ใช้ Computer Use อย่างชัดเจน เมื่อโมเดลของเราดีขึ้น มันจะสามารถเรียกใช้ด้วยตัวเองเมื่อจำเป็น
ลองสองสามตัวอย่างเพื่อเริ่มต้น:
หนึ่งในตัวอย่างที่ฉันชอบที่สุดเริ่มจากพัสดุที่ถูกขโมย Amazon บอกว่าจะใช้เวลาประมาณ 25 นาทีในการเชื่อมต่อฉันกับตัวแทนฝ่ายสนับสนุน ฉันให้ Computer Use แก่เธรด Codex และขอให้ตรวจสอบแชททุกห้านาที จากนั้นเปลี่ยนเป็นทุกนาทีเมื่อตัวแทนปรากฏตัว และพยายามอย่างเต็มที่เพื่อขอเงินคืน เมื่อฉันกลับมาจากอาบน้ำ ฉันพบว่าได้รับเงินคืนเรียบร้อยแล้ว
1ใช้ @Computer เพื่อเปิด Spotify ค้นหาเพลย์ลิสต์ Discover Weekly ของฉัน และเริ่มเล่น อย่าเปลี่ยนบัญชีหรือการตั้งค่าการสมัครสมาชิกของฉัน23ใช้ @Computer เพื่อเปิด iPhone Mirroring ทำซ้ำบั๊กตอนเริ่มต้นใช้งานในแอป iOS และถ่ายภาพหน้าจอของสถานะที่ล้มเหลว แก้ไขโค้ดที่เกี่ยวข้องที่เล็กที่สุด แล้วรันโฟลว์เดิมอีกครั้ง
ฉันยังใช้ Computer Use เป็นส่วนสุดท้ายในเวิร์กโฟลว์ที่มีโครงสร้างเป็นส่วนใหญ่ ในวิดีโอเปิดตัวครั้งหนึ่ง Codex สามารถอ่านความคิดเห็นจาก Slack เปลี่ยนโค้ด และเรนเดอร์วิดีโอใหม่ได้ แต่การรวมระบบ Slack ที่มีให้ในเธรดนั้นไม่สามารถอัปโหลดไฟล์ได้ Computer Use คลิกที่ Add file และทำขั้นตอนที่ขาดหายไปนั้นให้สำเร็จ
นอกจากนี้ยังเป็นขอบเขตความไว้วางใจที่กว้างที่สุดในสามแบบ ให้แอปหรือโฟลว์ที่ชัดเจนครั้งละหนึ่งแอป ปิดแอปที่ละเอียดอ่อนเมื่อไม่ได้เป็นส่วนหนึ่งของงาน ตรวจสอบข้อความขออนุญาต และอยู่กับมันในระหว่างการเปลี่ยนแปลงที่เกี่ยวกับการเงิน บัญชี การชำระเงิน ข้อมูลรับรอง ความเป็นส่วนตัว และความปลอดภัยของระบบ
2. @Chrome สำหรับหลายแท็บและการรับรองความถูกต้อง
ส่วนขยาย Chrome ของ Codex ช่วยให้ Codex เข้าถึงสถานะ Chrome ที่คุณลงชื่อเข้าใช้แล้ว ใช้เมื่องานขึ้นอยู่กับบัญชี คุกกี้ โปรไฟล์เบราว์เซอร์ หรือแท็บที่ได้รับการรับรองความถูกต้องที่คุณมีอยู่แล้ว
นี่คือพื้นผิวที่เหมาะสมสำหรับการทำงานในเครื่องมือ เช่น:
- Gmail หรือ LinkedIn
- Salesforce หรือคอนโซลสนับสนุน
- แดชบอร์ดภายใน
- การวิจัยที่ต้องมีการรับรองความถูกต้องในหลายเว็บไซต์
- ฟอร์มที่ขึ้นอยู่กับบัญชีหรือส่วนขยายเบราว์เซอร์ของคุณ
ในการติดตั้ง ให้เปิด Plugins ใน Codex เพิ่ม Chrome และทำตามขั้นตอนการตั้งค่า Codex จะแนะนำคุณในการติดตั้งส่วนขยาย Chrome ของ Codex และอนุมัติสิทธิ์ของ Chrome เมื่อส่วนขยายแจ้งว่า Connected ให้เริ่มเธรดใหม่
ในการเรียกใช้ ให้กล่าวถึง @Chrome หรือขอให้ Codex ใช้เบราว์เซอร์ Chrome ที่คุณลงชื่อเข้าใช้อย่างชัดเจน:
1ใช้ @Chrome เพื่อตรวจสอบบัญชีลูกค้าที่เปิดอยู่ เปรียบเทียบกับตั๋วสนับสนุนในอีกแท็บหนึ่ง และร่างฟิลด์ที่ขาดหายไป หยุดก่อนที่จะส่ง
งาน Chrome จะทำงานในกลุ่มแท็บ ซึ่งช่วยให้แท็บสำหรับเธรด Codex หนึ่งเธรดอยู่ด้วยกัน ซึ่งแตกต่างจากเบราว์เซอร์ในแอป พื้นผิวนี้มีข้อมูลประจำตัวเบราว์เซอร์ของคุณ ทำให้มีความสามารถมากขึ้นและละเอียดอ่อนมากขึ้น
ข้อได้เปรียบหลักอีกประการคือการควบคุมหลายแท็บ Chrome สามารถเก็บหลายแท็บที่เกี่ยวข้องกับงานเดียวกัน อ่านบริบทในแท็บหนึ่ง เปรียบเทียบกับอีกแท็บหนึ่ง และดำเนินการเวิร์กโฟลว์ต่อในแท็บที่สาม Computer Use สามารถขับเคลื่อนเบราว์เซอร์ด้วยภาพ แต่ Chrome เข้าใจงานในฐานะเวิร์กโฟลว์ของเบราว์เซอร์มากกว่าลำดับพิกัดบนหน้าจอ
ในเธรดล่าสุด ฉันส่งแท็บ Strudel Composer ที่เปิดอยู่ให้ Codex และขอให้ทำเพลงให้น่าสนใจยิ่งขึ้น Chrome ให้แท็บที่เลือกและเครื่องมือ WebMCP ของหน้าแก่ Codex Codex ตรวจสอบองค์ประกอบ เขียนฮาร์โมนีและรูปแบบสี่นาทีใหม่ เปลี่ยนจังหวะ บันทึกแทร็ก และปล่อยให้มันเล่น มันไม่จำเป็นต้องค้นหาทุกคอนโทรลด้วยภาพ เพราะ Chrome สามารถรวมบริบทของแท็บกับความสามารถที่มีโครงสร้างที่หน้าเปิดเผย
ฉันใช้สิ่งนี้สำหรับเธรด Twitter ที่ดำเนินมายาวนาน คำสั่งโดยประมาณคือ:
ทุกวัน ให้ใช้ Chrome ตรวจสอบ DM ของฉัน อ่านข่าวที่เกี่ยวข้อง และมองหา
ความคิดเห็นหรือการกล่าวถึงที่ฉันควรรู้ เพิ่มอะไรก็ตามที่คงทนลงใน vault ของฉัน
อย่าโพสต์หรือส่งข้อความ
ส่วนที่น่าสนใจไม่ใช่แค่ที่ Codex สามารถเปิด Twitter ได้ แต่เธรดสามารถกลับไปทำงานที่ลงชื่อเข้าใช้ไว้เดิมเมื่อเวลาผ่านไป เชื่อมต่อสิ่งที่พบกับไฟล์ในเครื่อง และทิ้งผลลัพธ์ที่ตรวจสอบได้ให้ฉัน
ขอบเขตความไว้วางใจมีความสำคัญ เว็บไซต์อาจถือว่าการคลิก การส่งฟอร์ม และข้อความของ Codex เป็นการกระทำที่คุณทำ เนื้อหาของหน้าก็เป็นอินพุตที่ไม่น่าเชื่อถือเช่นกัน ทำให้ขั้นตอนที่สำคัญชัดเจน: ค้นคว้า นำทาง และร่างโดยอัตโนมัติ; ต้องให้คุณตรวจสอบก่อนส่ง เผยแพร่ ซื้อ หรือส่ง
หากงานทั้งหมดอยู่ในเบราว์เซอร์ ให้เลือก Chrome มากกว่า Computer Use Chrome มีบริบทดั้งเดิมของเบราว์เซอร์ที่งานต้องการโดยไม่ต้องเปิดการเข้าถึงส่วนอื่นของเดสก์ท็อป
3. @browser ในแอปสำหรับเว็บไซต์ที่คุณกำลังสร้าง
เบราว์เซอร์ในแอป คือเบราว์เซอร์ที่อยู่ภายในเธรด Codex คุณและ Codex แชร์หน้าเดียวกันที่เรนเดอร์แล้ว ดังนั้นจึงเหมาะเป็นพิเศษสำหรับการสร้างและดีบักเว็บแอป
นี่คือสิ่งที่ฉันเริ่มต้นสำหรับ:
- เซิร์ฟเวอร์พัฒนาท้องถิ่น
- ตัวอย่างที่อิงกับไฟล์
- หน้าสาธารณะที่ไม่ต้องลงชื่อเข้าใช้
- การทำซ้ำบั๊กที่มองเห็นได้
- การตรวจสอบเลย์เอาต์ที่ตอบสนอง
- การแสดงความคิดเห็นเกี่ยวกับการออกแบบในระดับองค์ประกอบ
ข้อจำกัดที่สำคัญคือการแยกตัว เบราว์เซอร์ในแอปไม่ได้ใช้โปรไฟล์เบราว์เซอร์ปกติ คุกกี้ ส่วนขยาย เซสชันที่ลงชื่อเข้าใช้ หรือแท็บที่มีอยู่ของคุณ นั่นเป็นข้อจำกัดเมื่องานต้องการบัญชี แต่เป็นขอบเขตที่มีประโยชน์เมื่อไม่ต้องการ
ในการตั้งค่า ให้เปิด Plugins ใน Codex เพิ่มปลั๊กอิน Browser และเปิดใช้งาน
ในการเรียกใช้ ให้กล่าวถึง @Browser ใน prompt ของคุณ หรือขอให้ Codex ใช้เบราว์เซอร์ในแอปอย่างชัดเจน:
1ใช้ @Browser เพื่อเปิดแอป vite ที่ <http://localhost:3000/> ทำซ้ำบั๊ก overflow บนมือถือ แก้ไข และตรวจสอบเส้นทางเดียวกันอีกครั้งที่ความกว้างเดสก์ท็อปและมือถือ
สิ่งนี้สร้างวงจรป้อนกลับที่แน่นหนา: Codex สามารถแก้ไขโค้ด ทำงานบนหน้า ตรวจสอบสถานะที่เรนเดอร์แล้ว ถ่ายภาพหน้าจอ และทำซ้ำโฟลว์หลังการแก้ไข
ส่วนที่ฉันชอบที่สุดคือคำอธิบายประกอบ เมื่อฉันกำลังตรวจสอบแอปท้องถิ่น ฉันสามารถคลิกโดยตรงบนองค์ประกอบหรือเลือกพื้นที่และแสดงความคิดเห็น การควบคุมสไตล์ยังช่วยให้ฉันดูตัวอย่างและส่งความคิดเห็นที่แม่นยำยิ่งขึ้นเกี่ยวกับข้อความ ฟอนต์ ระยะห่าง และสี ฉันมักจะรวมสิ่งนี้เข้ากับการป้อนข้อมูลด้วยเสียงและการควบคุม: ฉันตรวจสอบหน้า แสดงความคิดเห็น และจัดคิวความคิดเห็นเพิ่มเติมในขณะที่ Codex ทำงานไป หน้ากลายเป็นข้อกำหนด
สิ่งนี้มีประโยชน์โดยเฉพาะอย่างยิ่งสำหรับงานออกแบบ ฉันมักจะขอให้ Codex เปลี่ยนแนวคิด ชุดการวิจัย หรือสถานะโครงการเป็นไฟล์ index.html ไฟล์เดียว จากนั้นเปิดในเบราว์เซอร์ในแอป แทนที่จะพยายามอธิบายการออกแบบทั้งหมดใน prompt อื่น ฉันจะใส่คำอธิบายประกอบในหน้าจริง: "ลำดับชั้นนี้ผิด", "ทำให้สิ่งนี้ดูเหมือนการ์ดน้อยลง", "ตัวควบคุมเหล่านี้ต้องการพื้นที่มากขึ้น" หรือ "ใช้มาตราส่วนประเภทนี้ทุกที่" Codex ได้รับความคิดเห็นพร้อมกับภาพหน้าจอและบริบทขององค์ประกอบที่เกี่ยวข้อง เปลี่ยนไฟล์ และเปิดหน้าเดียวกันอีกครั้งสำหรับรอบถัดไป
สร้าง index.html ไฟล์เดียวสำหรับสรุปโครงการนี้ และเปิดใน
@Browser ในแอป
วงจรนั้นรู้สึกใกล้ชิดกับการทำงานกับนักออกแบบในผืนผ้าใบเดียวกันมากกว่าการส่งภาพหน้าจอและข้อความไปมา
เบราว์เซอร์ในแอปยังมีประโยชน์เป็นจุดเริ่มต้นสำหรับเวิร์กโฟลว์แบบผสม ในอีกเธรดหนึ่ง ฉันเปิดโพสต์ X ในเบราว์เซอร์ในแอปและขอให้ Codex ตรวจสอบการสนทนา หน้าที่มองเห็นได้ระบุว่าฉันหมายถึงโพสต์ไหน; จากนั้น Codex ก็เปลี่ยนไปใช้ CLI ของ Twitter และดึงข้อมูล 38 รายการตอบกลับ รวมถึงการตอบกลับแบบซ้อนที่มุมมองเบราว์เซอร์ซ่อนไว้ นั่นคือกฎพื้นผิวที่แคบที่สุดที่ใช้ในทางปฏิบัติ: ใช้เบราว์เซอร์สำหรับบริบทบนหน้าจอ จากนั้นใช้เครื่องมือที่มีโครงสร้างสำหรับการดึงข้อมูลที่ลึกกว่า
มีการแลกเปลี่ยนกัน การแยกตัวที่ทำให้เบราว์เซอร์ในแอปเป็นพื้นผิวการพัฒนาที่ดีก็หมายความว่ามันเป็นสถานที่ที่ไม่ถูกต้องในการต่อสู้กับการเข้าสู่ระบบของ Google, พาสคีย์ หรือเว็บไซต์ที่ขึ้นอยู่กับส่วนขยายเบราว์เซอร์ของคุณ เมื่อข้อมูลประจำตัวมีความสำคัญ ให้ย้ายไปที่ Chrome
Appshots
Appshot ไม่ใช่วิธีที่สี่สำหรับ Codex ในการควบคุมคอมพิวเตอร์ มันเป็นวิธีชี้ Codex ไปที่บริบทที่อยู่ตรงหน้าคุณแล้ว
บน Mac ให้กดปุ่ม CMD+CMD พร้อมกันสองครั้งเพื่อจับภาพหน้าต่างล่าสุด Codex แนบรูปภาพและข้อความที่มีอยู่ให้กับเธรด คุณสามารถ Appshot ข้อผิดพลาด อีเมล การออกแบบ แผงการตั้งค่า หรือฟอร์มที่ไม่คุ้นเคยแล้วพูดง่ายๆ ว่า:
นั่นคือโมเดลทางความคิดที่ฉันพบว่าง่ายที่สุดในการจดจำ:
Appshots เป็นวิธีที่คุณชี้ไปที่บางสิ่งบนคอมพิวเตอร์ของคุณ Browser, Chrome และ Computer Use เป็นวิธีที่ Codex ดำเนินการ
Appshots ถูกสร้างขึ้นจากแอป Codex บน macOS ในปัจจุบัน มันจับภาพหน้าต่างด้านหน้า ไม่ใช่ทั้งเดสก์ท็อป ซึ่งทำให้เป็นวิธีที่มีประโยชน์ในการให้บริบทที่เน้นโดยไม่ต้องให้การควบคุมแอป
วิธีติดตามความคืบหน้า
พื้นผิวเหล่านี้กำลังพัฒนาไปอย่างรวดเร็ว หากคุณต้องการรายละเอียดที่เป็นประโยชน์ แทนที่จะรอสรุปการเปิดตัวครั้งใหญ่:
- ติดตาม Ari Weinstein (@AriX) สำหรับ Computer Use, Appshots
- ติดตาม James Sun (@JamesZmSun) สำหรับทุกอย่างเกี่ยวกับ Browser
- ติดตาม Andrew Ambrosino (@ajambrosino) สำหรับการเปิดตัวแอป Codex และเรื่องราวผลิตภัณฑ์เดสก์ท็อปที่ใหญ่ขึ้น
- ติดตาม OpenAI Developers (@OpenAIDevs) สำหรับข่าวสาร Codex และ OpenAI Platform ในวงกว้าง
