Claude Code इन कौशलों के साथ मूल रूप से पूरे वेब को क्रॉल कर सकता है।
◉ सोशल मीडिया स्क्रैपिंग (Xiaohongshu / X / TikTok / YouTube / WeChat Official Accounts / Reddit)
→ Agent-reach। एक ओपन-सोर्स AI स्कैफोल्डिंग जो Xiaohongshu, X, TikTok, YouTube, WeChat और Reddit जैसे प्लेटफार्मों के लिए API एक्सेस को सपोर्ट करती है। CLI टूल्स इंस्टॉल करके और सर्च इंजन कॉन्फ़िगर करके, यह AI एजेंट्स को विभिन्न प्लेटफार्मों तक पहुँचने में मदद करता है।
प्रोजेक्ट एड्रेस: github.com/Panniantong/agent-reach
◉ बैच डेटा स्क्रैपिंग / एंटी-बॉट उपायों को बायपास करना
→ Scrapling। एक ओपन-सोर्स एडेप्टिव वेब स्क्रैपिंग फ्रेमवर्क जो सिंगल रिक्वेस्ट से लेकर पूर्ण पैमाने पर क्रॉलिंग तक सब कुछ सपोर्ट करता है। बिल्ट-इन स्टैटिक, JS रेंडरिंग और एंटी-बॉट स्टील्थ स्क्रैपर्स के साथ, यह AI एजेंट्स को उच्च गति पर स्ट्रक्चर्ड डेटा निकालने, Cloudflare को बायपास करने और वेबसाइट अपडेट के बाद स्वचालित रूप से एलिमेंट्स को रिलोकेट करने में मदद करता है।
प्रोजेक्ट एड्रेस: github.com/D4Vinci/Scrapling
◉ लॉग-इन पेजों को स्क्रैप करना / AI को स्वयं संचालित करने देना
→ Browser-use। एक ओपन-सोर्स ब्राउज़र ऑटोमेशन फ्रेमवर्क जो AI को एक इंसान की तरह वेब पेजों को संचालित करने देता है। एक LLM द्वारा संचालित (मॉडल कॉन्फ़िगरेशन की आवश्यकता है), यह AI एजेंट्स को फॉर्म भरने, क्लिक करने और बैकएंड संचालित करने जैसे मल्टी-स्टेप कार्यों को स्वायत्त रूप से पूरा करने में मदद करता है, साथ ही Chrome में आपकी लॉग-इन स्थिति का पुन: उपयोग करता है।
प्रोजेक्ट एड्रेस: github.com/browser-use/browser-use
◉ मॉनिटरिंग ऑपरेशन / जटिल प्रमाणीकरण पेज
→ Claude in Chrome। Anthropic का आधिकारिक ब्राउज़र एक्सटेंशन। Claude को आपके वास्तविक Chrome ब्राउज़र में रखकर, यह आपको पेजों पर क्लिक, भरने और संचालित होते देखने की अनुमति देता है, जो उन कार्यों के लिए उपयुक्त है जिनमें निगरानी या जटिल प्रमाणीकरण की आवश्यकता होती है।
आधिकारिक वेबसाइट: claude.ai/chrome
◉ पूरी तरह से स्वचालित नेटवर्किंग / दैनिक Chrome को संभालना
→ Web-access। एक ओपन-सोर्स एजेंट नेटवर्किंग स्किल जो पब्लिक सर्च से लेकर लॉग-इन ऑपरेशन तक के परिदृश्यों को कवर करती है। WebSearch / WebFetch / curl / CDP के बीच स्वचालित रूप से चयन करके और आपके दैनिक Chrome को संभालने के लिए CDP का उपयोग करके (स्वाभाविक रूप से लॉगिन स्थितियों को लेकर), यह AI एजेंट्स को विभिन्न नेटवर्किंग कार्यों को पूरा करने और स्थानीय ब्राउज़र बुकमार्क और इतिहास को पुनः प्राप्त करने में मदद करता है।
प्रोजेक्ट एड्रेस: github.com/eze-is/web-access
मूल सिद्धांत हल्के से भारी की ओर जाना है: जब पर्याप्त हो तो रुक जाएँ, और यदि आवश्यक न हो तो ब्राउज़र न खोलें।
कुछ दिन पहले, मैंने इस सेटअप का उपयोग एक कोर्स वेबसाइट को स्क्रैप करने, बैकएंड के माध्यम से दस्तावेज़ और वीडियो खींचने, स्वचालित रूप से अनुवाद और उपशीर्षक जोड़ने और उन्हें Obsidian में सहेजने के लिए किया—यह बहुत सहज था।
बस इस लेख को अपने एजेंट को खिलाएँ ताकि वह 'हल्के से भारी, पर्याप्त होने पर रुकें, और यदि संभव हो तो ब्राउज़र खोलने से बचें' के सिद्धांत के अनुसार डाउनलोड और कॉन्फ़िगर कर सके।
