Codex कंप्यूटर का उपयोग करने के तीन तरीके

अपडेट: अब EU/UK में Computer Use उपलब्ध है ;) आनंद लें!

Codex के लिए कंप्यूटर का उपयोग करने के तीन तरीके हैं: Computer Use, Chrome एक्सटेंशन, और इन-ऐप ब्राउज़र।

ये आपस में इस तरह ओवरलैप करते हैं कि भ्रम पैदा हो सकता है।

इस पोस्ट के अंत तक, आपको पता चल जाएगा कि तीनों को कैसे इंस्टॉल और ट्रिगर करें, कब किसका उपयोग करें, Appshots और Developer mode उन्हें कैसे जोड़ते हैं, और AGENTS.md में क्या जोड़ें ताकि Codex अपने आप सही सरफेस चुन सके।

संक्षिप्त संस्करण यह है:

यह कहने के बाद, जब भी संभव हो प्लगइन या MCP पसंद करें, एक Slack प्लगइन Slack में क्लिक करने की तुलना में अधिक सटीक रूप से थ्रेड प्राप्त कर सकता है। GitHub प्लगइन ऐसे एक्शन उत्पन्न करता है जिनका निरीक्षण करना वेबसाइट चलाने से आसान है। विज़ुअल कंट्रोल उस सीमा पर सबसे उपयोगी होता है जहाँ एक संरचित टूल रुक जाता है!

1. सब कुछ [@Computer](https://x.com/@Computer) है

Computer Use तीनों सरफेस में सबसे व्यापक है। यह Codex को macOS और Windows पर ग्राफिकल इंटरफेस देखने और संचालित करने देता है, जिसमें विंडो, मेनू, कीबोर्ड इनपुट और उन ऐप्स में क्लिपबोर्ड के साथ काम करना शामिल है जिन्हें आप अनुमोदित करते हैं।

यह आमतौर पर सबसे धीमा भी होता है। एक संरचित प्लगइन सीधे API को कॉल कर सकता है; Computer Use को इंटरफ़ेस देखना होता है, यह तय करना होता है कि कहाँ क्लिक करना है, ऐप के जवाब देने की प्रतीक्षा करनी होती है, और अगली स्थिति का निरीक्षण करना होता है। यह विज़ुअल लूप समय लेता है, लेकिन इसका मतलब है कि Codex उन ऐप्स के साथ काम कर सकता है जो कोई उपयोगी API प्रदान नहीं करते हैं।

macOS पर, धीमा होने का मतलब जरूरी नहीं कि बाधा हो। Computer Use अनुमोदित ऐप्स को बैकग्राउंड में संचालित कर सकता है जब आप अपने बाकी कंप्यूटर का उपयोग करते रहते हैं, अक्सर मैं codex का उपयोग कर रहा होता हूँ और एक ऐप खोलता हूँ और पाता हूँ कि codex चुपचाप किसी वर्कफ़्लो पर काम कर रहा होता है।

आपके कंप्यूटर पर क्या स्थापित और अनुमोदित है, इसके आधार पर, इसमें Spotify, XCode, System Settings, iOS सिम्युलेटर, या आपके iPhone को नियंत्रित करने के लिए iPhone Mirroring ऐप भी शामिल हो सकता है! यह ऐप्स के बीच भी जा सकता है जब एक वर्कफ़्लो कई ऐप्स में फैला हो।

इसका उपयोग तब करें जब कार्य इस पर निर्भर हो:

• एक नेटिव डेस्कटॉप ऐप जैसे Spotify या एक वित्त ऐप
• iOS सिम्युलेटर, iPhone Mirroring, या कोई अन्य GUI-ओनली फ़्लो
• सिस्टम या एप्लिकेशन सेटिंग्स
• एक डेटा स्रोत जिसका कोई प्लगइन या API नहीं है
• एक वर्कफ़्लो जो कई ऐप्स के बीच घूमता है
• किसी अन्यथा उपयोगी संरचित इंटीग्रेशन में एक गायब क्रिया

इसे स्थापित करने के लिए, Codex में Settings > Computer Use खोलें और Install पर क्लिक करें।

इसे ट्रिगर करने के लिए, @Computer का उल्लेख करें, या स्पष्ट रूप से Codex को Computer Use का उपयोग करने के लिए कहें, जैसे-जैसे हमारे मॉडल बेहतर होते जाएंगे, यह आवश्यकता पड़ने पर इसे स्वयं कॉल करने में सक्षम हो जाएगा

शुरू करने के लिए कुछ प्रयास करें:

मेरे पसंदीदा उदाहरणों में से एक एक चोरी हुए पैकेज से शुरू हुआ। Amazon ने मुझे बताया कि मुझे सपोर्ट एजेंट से जुड़ने में लगभग 25 मिनट लगेंगे। मैंने एक Codex थ्रेड को Computer Use दिया और उसे हर पाँच मिनट में चैट चेक करने, एक बार एजेंट आ जाने पर हर मिनट पर स्विच करने, और रिफंड पाने के लिए अपनी पूरी कोशिश करने के लिए कहा। मैं शॉवर से वापस आया और रिफंड पूरा हो चुका था।

1@Computer का उपयोग करके Spotify खोलें, मेरी Discover Weekly प्लेलिस्ट ढूँढें, और इसे शुरू करें। मेरा खाता या सब्सक्रिप्शन सेटिंग्स न बदलें।
2
3@Computer का उपयोग करके iPhone Mirroring खोलें, iOS ऐप में ऑनबोर्डिंग बग को दोहराएँ, और विफल स्थिति का स्क्रीनशॉट लें। सबसे छोटे प्रासंगिक कोड पथ को ठीक करें, फिर उसी फ़्लो को फिर से चलाएँ।

मैंने Computer Use का उपयोग ज्यादातर संरचित वर्कफ़्लो में अंतिम मील के रूप में भी किया है। एक लॉन्च वीडियो में, Codex Slack से फीडबैक पढ़ सकता था, कोड बदल सकता था, और एक नया वीडियो रेंडर कर सकता था, लेकिन उस थ्रेड के लिए उपलब्ध Slack इंटीग्रेशन फ़ाइल अपलोड नहीं कर सका। Computer Use ने Add file पर क्लिक किया और उस एक लापता चरण को पूरा किया।

यह तीनों में सबसे व्यापक ट्रस्ट बाउंड्री भी है। इसे एक बार में एक स्पष्ट ऐप या फ़्लो दें। जब वे कार्य का हिस्सा नहीं हों, तो संवेदनशील ऐप्स को बंद रखें, अनुमति संकेतों की समीक्षा करें, और वित्तीय, खाता, भुगतान, क्रेडेंशियल, गोपनीयता और सिस्टम-सुरक्षा परिवर्तनों के लिए उपस्थित रहें।

2. कई टैब और प्रमाणीकरण के लिए [@Chrome](https://x.com/@Chrome)

Codex Chrome एक्सटेंशन Codex को आपकी साइन-इन Chrome स्थिति तक पहुँच प्रदान करता है। इसका उपयोग तब करें जब कार्य आपके पहले से मौजूद खाते, कुकीज़, ब्राउज़र प्रोफ़ाइल या प्रमाणित टैब पर निर्भर हो।

यह ऐसे टूल में काम करने के लिए सही सरफेस है:

• Gmail या LinkedIn
• Salesforce या एक सपोर्ट कंसोल
• आंतरिक डैशबोर्ड
• कई साइटों पर प्रमाणित शोध
• फॉर्म जो आपके खाते या ब्राउज़र एक्सटेंशन पर निर्भर हैं

इसे स्थापित करने के लिए, Codex में Plugins खोलें, Chrome जोड़ें, और सेटअप फ़्लो का पालन करें। Codex आपको Codex Chrome एक्सटेंशन स्थापित करने और Chrome की अनुमतियों को अनुमोदित करने में मार्गदर्शन करेगा। जब एक्सटेंशन Connected कहे, तो एक नया थ्रेड शुरू करें।

इसे ट्रिगर करने के लिए, @Chrome का उल्लेख करें या स्पष्ट रूप से Codex को आपके साइन-इन Chrome ब्राउज़र का उपयोग करने के लिए कहें:

1खुले ग्राहक खाते की समीक्षा करने, दूसरे टैब में सपोर्ट टिकट से इसकी तुलना करने, और लापता फ़ील्ड का ड्राफ्ट तैयार करने के लिए @Chrome का उपयोग करें। सबमिट करने से पहले रुकें।

Chrome कार्य टैब समूहों में चलते हैं, जो एक Codex थ्रेड के टैब को एक साथ रखने में मदद करता है। इन-ऐप ब्राउज़र के विपरीत, यह सरफेस आपकी ब्राउज़र पहचान रखता है। यह इसे अधिक सक्षम और अधिक संवेदनशील बनाता है।

दूसरा बड़ा लाभ मल्टी-टैब नियंत्रण है। Chrome एक ही कार्य से जुड़े कई टैब रख सकता है, एक में संदर्भ पढ़ सकता है, दूसरे से तुलना कर सकता है, और तीसरे में वर्कफ़्लो जारी रख सकता है। Computer Use ब्राउज़र को दृष्टिगत रूप से चला सकता है, लेकिन Chrome काम को स्क्रीन निर्देशांक के अनुक्रम के बजाय एक ब्राउज़र वर्कफ़्लो के रूप में समझता है।

हाल ही के एक थ्रेड में, मैंने Codex को एक पहले से खुला Strudel Composer टैब दिया और उसे संगीत को और दिलचस्प बनाने के लिए कहा। Chrome ने इसे चयनित टैब और पेज के WebMCP टूल दिए। Codex ने रचना का निरीक्षण किया, सामंजस्य और चार मिनट के फॉर्म को फिर से लिखा, टेम्पो बदला, ट्रैक को सहेजा, और इसे बजने के लिए छोड़ दिया। इसे हर नियंत्रण के लिए दृष्टिगत रूप से खोजने की आवश्यकता नहीं थी क्योंकि Chrome टैब संदर्भ को पेज द्वारा उजागर की गई संरचित क्षमताओं के साथ जोड़ सकता था।

मैं इसका उपयोग एक लंबे समय से चल रहे Twitter थ्रेड के लिए करता हूँ। निर्देश लगभग यह है:

हर दिन, मेरे DM चेक करने, प्रासंगिक समाचार पढ़ने, और ऐसी प्रतिक्रिया या उल्लेख देखने के लिए Chrome का उपयोग करें जिनके बारे में मुझे पता होना चाहिए। कोई भी स्थायी चीज़ मेरे वॉल्ट में जोड़ें। पोस्ट या संदेश न भेजें।

दिलचस्प हिस्सा यह नहीं है कि Codex Twitter खोल सकता है। यह है कि थ्रेड समय के साथ उसी साइन-इन कार्य पर वापस आ सकता है, जो कुछ मिले उसे स्थानीय फ़ाइलों से जोड़ सकता है, और मुझे एक समीक्षा योग्य परिणाम छोड़ सकता है।

ट्रस्ट बाउंड्री मायने रखती है। वेबसाइटें Codex के क्लिक, फॉर्म सबमिशन और संदेशों को आपके द्वारा किए गए कार्यों के रूप में मान सकती हैं। पेज सामग्री भी अविश्वसनीय इनपुट है। महत्वपूर्ण चरणों को स्पष्ट रखें: स्वचालित रूप से शोध करें, नेविगेट करें और ड्राफ्ट तैयार करें; भेजने, प्रकाशित करने, खरीदने या सबमिट करने से पहले आपकी समीक्षा आवश्यक है।

यदि पूरा कार्य ब्राउज़र में ही रहता है, तो Computer Use पर Chrome को प्राथमिकता दें। Chrome में कार्य के लिए आवश्यक ब्राउज़र-नेटिव संदर्भ होता है बिना बाकी डेस्कटॉप तक पहुँच खोले।

3. आपके द्वारा बनाई जा रही वेबसाइटों के लिए इन-ऐप [@browser](https://x.com/@browser)

इन-ऐप ब्राउज़र एक ब्राउज़र है जो Codex थ्रेड के अंदर रहता है। आप और Codex एक ही रेंडर किए गए पेज को साझा करते हैं, इसलिए यह वेब ऐप्स बनाने और डीबग करने के लिए विशेष रूप से अच्छा है।

यह वह जगह है जहाँ मैं शुरू करता हूँ:

• स्थानीय डेवलपमेंट सर्वर
• फ़ाइल-आधारित प्रीव्यू
• सार्वजनिक पेज जिनमें साइन-इन की आवश्यकता नहीं है
• विज़ुअल बग को दोहराना
• रिस्पॉन्सिव लेआउट की जाँच करना
• एलिमेंट-स्तरीय डिज़ाइन फीडबैक छोड़ना

महत्वपूर्ण बाधा अलगाव है। इन-ऐप ब्राउज़र आपके सामान्य ब्राउज़र प्रोफ़ाइल, कुकीज़, एक्सटेंशन, साइन-इन सत्र या मौजूदा टैब का उपयोग नहीं करता है। यह एक सीमा है जब कार्य को किसी खाते की आवश्यकता होती है, लेकिन एक उपयोगी सीमा है जब ऐसा नहीं होता है।

इसे सेट करने के लिए, Codex में Plugins खोलें, Browser प्लगइन जोड़ें, और इसे सक्षम करें।

इसे ट्रिगर करने के लिए, अपने प्रॉम्प्ट में @Browser का उल्लेख करें या स्पष्ट रूप से Codex को इन-ऐप ब्राउज़र का उपयोग करने के लिए कहें:

1@Browser का उपयोग करके <http://localhost:3000/> पर vite ऐप खोलें, मोबाइल ओवरफ़्लो बग को दोहराएँ, इसे ठीक करें, और डेस्कटॉप और मोबाइल चौड़ाई पर उसी रूट को फिर से सत्यापित करें।

यह एक तंग फीडबैक लूप बनाता है: Codex कोड संपादित कर सकता है, पेज संचालित कर सकता है, रेंडर की गई स्थिति का निरीक्षण कर सकता है, स्क्रीनशॉट ले सकता है, और फिक्स के बाद फ़्लो को दोहरा सकता है।

मेरा पसंदीदा हिस्सा एनोटेशन है। जब मैं किसी स्थानीय ऐप की समीक्षा कर रहा होता हूँ, तो मैं सीधे किसी एलिमेंट पर क्लिक कर सकता हूँ या एक क्षेत्र चुन सकता हूँ और एक टिप्पणी छोड़ सकता हूँ। स्टाइल कंट्रोल मुझे टेक्स्ट, फ़ॉन्ट, स्पेसिंग और रंग के बारे में अधिक सटीक फीडबैक पूर्वावलोकन और भेजने की भी अनुमति देते हैं। मैं इसे आवाज इनपुट और स्टीयरिंग के साथ जोड़ता हूँ: मैं पेज की समीक्षा करता हूँ, टिप्पणियाँ छोड़ता हूँ, और अधिक फीडबैक कतारबद्ध करता हूँ जबकि Codex इस पर काम करता है। पेज ही विनिर्देश बन जाता है।

यह डिज़ाइन कार्य के लिए विशेष रूप से उपयोगी है। मैं अक्सर Codex से एक विचार, शोध पैकेट या प्रोजेक्ट स्थिति को एक single index.html फ़ाइल में बदलने के लिए कहता हूँ, फिर इसे इन-ऐप ब्राउज़र में खोलता हूँ। किसी अन्य प्रॉम्प्ट में पूरे डिज़ाइन का वर्णन करने की कोशिश करने के बजाय, मैं वास्तविक पेज पर एनोटेट करता हूँ: "यह पदानुक्रम उल्टा है," "इसे कार्ड जैसा कम महसूस कराएँ," "इन नियंत्रणों को अधिक जगह चाहिए," या "इस टाइप स्केल का हर जगह उपयोग करें।" Codex प्रासंगिक स्क्रीनशॉट और एलिमेंट संदर्भ के साथ टिप्पणी प्राप्त करता है, फ़ाइल बदलता है, और एक और पास के लिए उसी पेज को फिर से खोलता है।

इस प्रोजेक्ट ब्रीफ़ के लिए एक single-file index.html बनाएँ और इसे इन-ऐप @Browser में खोलें।

यह लूप स्क्रीनशॉट और गद्य को आगे-पीछे पास करने की तुलना में एक ही कैनवास में एक डिज़ाइनर के साथ काम करने के बहुत करीब लगता है।

इन-ऐप ब्राउज़र मिश्रित वर्कफ़्लो के लिए शुरुआती बिंदु के रूप में भी उपयोगी है। एक अन्य थ्रेड में, मैंने इन-ऐप ब्राउज़र में एक X पोस्ट खोला और Codex से चर्चा की जाँच करने के लिए कहा। दृश्यमान पेज ने स्थापित किया कि मेरा मतलब किस पोस्ट से था; फिर Codex Twitter CLI पर स्विच किया और 38 जवाब प्राप्त किए, जिनमें नेस्टेड प्रतिक्रियाएँ भी शामिल थीं जो ब्राउज़र दृश्य ने छिपा दी थीं। यह व्यवहार में सबसे संकीर्ण-सरफेस नियम है: स्क्रीन पर संदर्भ के लिए ब्राउज़र का उपयोग करें, फिर गहरी पुनर्प्राप्ति के लिए एक संरचित टूल का उपयोग करें।

एक ट्रेड-ऑफ है। जो अलगाव इन-ऐप ब्राउज़र को एक अच्छी डेवलपमेंट सतह बनाता है, उसका अर्थ यह भी है कि यह Google लॉगिन, पासकी या आपके ब्राउज़र एक्सटेंशन पर निर्भर साइट से लड़ने के लिए गलत जगह है। जब पहचान मायने रखती है, तो Chrome पर जाएँ।

Appshots

Appshot Codex के लिए कंप्यूटर को नियंत्रित करने का चौथा तरीका नहीं है। यह Codex को आपके सामने पहले से मौजूद संदर्भ पर इंगित करने का एक तरीका है।

Mac पर, अंतिम विंडो कैप्चर करने के लिए दोनों CMD+CMD कुंजियाँ दबाएँ। Codex एक थ्रेड में एक छवि और कोई भी उपलब्ध टेक्स्ट संलग्न करता है। आप किसी त्रुटि, ईमेल, डिज़ाइन, सेटिंग्स पैनल या अपरिचित फॉर्म का Appshot ले सकते हैं और बस कह सकते हैं:

यह वह मानसिक मॉडल है जिसे मुझे याद रखना सबसे आसान लगता है:

Appshots यह हैं कि आप अपने कंप्यूटर पर किसी चीज़ की ओर इशारा कैसे करते हैं। Browser, Chrome और Computer Use यह हैं कि Codex कैसे कार्य करता है।

Appshots वर्तमान में macOS पर Codex ऐप से बनाए जाते हैं। वे पूरे डेस्कटॉप नहीं, बल्कि सबसे सामने वाली विंडो को कैप्चर करते हैं, जो उन्हें ऐप पर नियंत्रण दिए बिना केंद्रित संदर्भ प्रदान करने का एक उपयोगी तरीका बनाता है।

काम का अनुसरण कैसे करें

ये सरफेस तेज़ी से बदल रहे हैं। यदि आप एक विशाल लॉन्च रीकैप की प्रतीक्षा करने के बजाय उपयोगी विवरण चाहते हैं:

• Computer Use, Appshots के लिए Ari Weinstein (@AriX) को फ़ॉलो करें
• सभी ब्राउज़र चीज़ों के लिए James Sun (@JamesZmSun) को फ़ॉलो करें
• Codex ऐप रिलीज़ और बड़ी डेस्कटॉप-उत्पाद कहानी के लिए Andrew Ambrosino (@ajambrosino) को फ़ॉलो करें
• व्यापक Codex और OpenAI Platform समाचार के लिए OpenAI Developers (@OpenAIDevs) को फ़ॉलो करें