Claude Code พร้อมทักษะเหล่านี้ สามารถดึงข้อมูลได้ทั่วทั้งเว็บ

@0xEcho99
จีน1 เดือนที่ผ่านมา · 03 มิ.ย. 2569
124K
1.6K
360
62
3.3K

TL;DR

เรียนรู้วิธีใช้เครื่องมือโอเพนซอร์สอย่าง Agent-reach และ Scrapling ร่วมกับ Claude Code เพื่อทำระบบอัตโนมัติในการดึงข้อมูลจากโซเชียลมีเดียและเว็บไซต์ที่มีความซับซ้อน พร้อมทั้งหลบเลี่ยงมาตรการป้องกันบอท

Claude Code ที่มีทักษะเหล่านี้สามารถเข้าถึงเว็บได้แทบทุกแห่ง

◉ การขูดข้อมูลโซเชียลมีเดีย (Xiaohongshu / X / TikTok / YouTube / WeChat Official Accounts / Reddit)

→ Agent-reach โครงสร้างพื้นฐาน AI แบบโอเพนซอร์สที่รองรับการเข้าถึง API สำหรับแพลตฟอร์มต่างๆ เช่น Xiaohongshu, X, TikTok, YouTube, WeChat และ Reddit โดยการติดตั้งเครื่องมือ CLI และกำหนดค่าเครื่องมือค้นหา จะช่วยให้ AI Agents เข้าถึงแพลตฟอร์มต่างๆ ได้

ที่อยู่โปรเจกต์: github.com/Panniantong/agent-reach

◉ การขูดข้อมูลแบบเป็นกลุ่ม / การหลบเลี่ยงมาตรการป้องกันบอท

→ Scrapling กรอบงานการขูดข้อมูลเว็บแบบปรับตัวได้แบบโอเพนซอร์สที่รองรับตั้งแต่คำขอเดี่ยวไปจนถึงการรวบรวมข้อมูลเต็มรูปแบบ ด้วยเครื่องมือขูดข้อมูลแบบสแตติก, การเรนเดอร์ JS และการพรางตัวป้องกันบอทในตัว ช่วยให้ AI Agents สกัดข้อมูลที่มีโครงสร้างด้วยความเร็วสูง หลบเลี่ยง Cloudflare และย้ายตำแหน่งองค์ประกอบโดยอัตโนมัติหลังจากเว็บไซต์อัปเดต

ที่อยู่โปรเจกต์: github.com/D4Vinci/Scrapling

◉ การขูดข้อมูลหน้าที่ต้องล็อกอิน / ให้ AI ทำงานด้วยตัวเอง

→ Browser-use กรอบงานอัตโนมัติของเบราว์เซอร์แบบโอเพนซอร์สที่ให้ AI ใช้งานหน้าเว็บเหมือนมนุษย์ ขับเคลื่อนโดย LLM (ต้องกำหนดค่าโมเดล) ช่วยให้ AI Agents ดำเนินงานหลายขั้นตอนได้อย่างอิสระ เช่น การกรอกแบบฟอร์ม การคลิก และการทำงานในระบบหลังบ้าน พร้อมทั้งใช้สถานะล็อกอินของคุณใน Chrome ซ้ำ

ที่อยู่โปรเจกต์: github.com/browser-use/browser-use

◉ การตรวจสอบการทำงาน / หน้าที่มีการยืนยันตัวตนที่ซับซ้อน

→ Claude in Chrome ส่วนขยายเบราว์เซอร์อย่างเป็นทางการของ Anthropic โดยการใส่ Claude ลงในเบราว์เซอร์ Chrome จริงของคุณ จะช่วยให้คุณสามารถดูมันคลิก กรอกข้อมูล และทำงานบนหน้าเว็บต่างๆ ได้ ทำให้เหมาะสำหรับงานที่ต้องมีการตรวจสอบหรือมีการยืนยันตัวตนที่ซับซ้อน

เว็บไซต์ทางการ: claude.ai/chrome

◉ การเชื่อมต่อเครือข่ายอัตโนมัติเต็มรูปแบบ / การควบคุม Chrome ที่ใช้งานประจำวัน

→ Web-access ทักษะการเชื่อมต่อเครือข่ายของ Agent แบบโอเพนซอร์สที่ครอบคลุมตั้งแต่การค้นหาสาธารณะไปจนถึงการทำงานที่ต้องล็อกอิน โดยการเลือกใช้ WebSearch / WebFetch / curl / CDP โดยอัตโนมัติ และใช้ CDP เพื่อควบคุม Chrome ที่ใช้งานประจำวันของคุณ (ซึ่งจะพกพาสถานะล็อกอินไปโดยธรรมชาติ) ช่วยให้ AI Agents ทำงานเครือข่ายต่างๆ ได้สำเร็จ และดึงข้อมูลบุ๊กมาร์กและประวัติของเบราว์เซอร์ในเครื่อง

ที่อยู่โปรเจกต์: github.com/eze-is/web-access

หลักการสำคัญคือการเริ่มจากเบาไปหนัก: หยุดเมื่อพอแล้ว และอย่าเปิดเบราว์เซอร์ถ้าไม่จำเป็น

เมื่อสองสามวันที่แล้ว ผมใช้ชุดเครื่องมือนี้ขูดข้อมูลเว็บไซต์คอร์สเรียนแห่งหนึ่ง ดึงเอกสารและวิดีโอผ่านระบบหลังบ้าน แปลและเพิ่มคำบรรยายโดยอัตโนมัติ แล้วบันทึกลงใน Obsidian — ราบรื่นมาก

เพียงแค่ป้อนบทความนี้ให้ Agent ของคุณเพื่อดาวน์โหลดและกำหนดค่าตามหลักการ 'เริ่มจากเบาไปหนัก หยุดเมื่อพอ และหลีกเลี่ยงการเปิดเบราว์เซอร์ถ้าเป็นไปได้'

บันทึกในคลิกเดียว

อ่านบทความไวรัลเชิงลึกด้วย AI ใน YouMind

บันทึกแหล่งที่มา ถามคำถามที่ตรงประเด็น สรุปข้อโต้แย้ง และเปลี่ยนบทความไวรัลให้เป็นโน้ตที่นำกลับมาใช้ได้ใน AI เวิร์กสเปซเดียว

สำรวจ YouMind
สำหรับครีเอเตอร์

เปลี่ยน Markdown ของคุณให้เป็นบทความ 𝕏 ที่สะอาดตา

เวลาคุณเผยแพร่งานเขียนยาวของตัวเอง การจัดรูปแบบรูปภาพ ตาราง และบล็อกโค้ดให้เข้ากับ 𝕏 นั้นน่าปวดหัว YouMind เปลี่ยนร่าง Markdown ทั้งฉบับให้เป็นบทความ 𝕏 ที่สะอาดตาและพร้อมโพสต์ทันที

ลอง Markdown เป็น 𝕏

แพตเทิร์นให้ถอดรหัสเพิ่มเติม

บทความไวรัลล่าสุด

สำรวจบทความไวรัลเพิ่มเติม