Claude Code với những kỹ năng này về cơ bản có thể quét toàn bộ web.
◉ Thu thập dữ liệu mạng xã hội (Xiaohongshu / X / TikTok / YouTube / WeChat Official Accounts / Reddit)
→ Agent-reach. Một khung AI mã nguồn mở hỗ trợ truy cập API cho các nền tảng như Xiaohongshu, X, TikTok, YouTube, WeChat và Reddit. Bằng cách cài đặt các công cụ CLI và cấu hình công cụ tìm kiếm, nó giúp các AI Agent truy cập vào nhiều nền tảng khác nhau.
Địa chỉ dự án: github.com/Panniantong/agent-reach
◉ Thu thập dữ liệu hàng loạt / Vượt qua các biện pháp chống bot
→ Scrapling. Một khung thu thập dữ liệu web thích ứng mã nguồn mở hỗ trợ mọi thứ từ các yêu cầu đơn lẻ đến thu thập dữ liệu quy mô lớn. Với các trình thu thập dữ liệu tĩnh, kết xuất JS và tàng hình chống bot được tích hợp sẵn, nó giúp các AI Agent trích xuất dữ liệu có cấu trúc ở tốc độ cao, vượt qua Cloudflare và tự động định vị lại các phần tử sau khi trang web cập nhật.
Địa chỉ dự án: github.com/D4Vinci/Scrapling
◉ Thu thập các trang đã đăng nhập / Để AI tự vận hành
→ Browser-use. Một khung tự động hóa trình duyệt mã nguồn mở cho phép AI thao tác các trang web như con người. Được điều khiển bởi một LLM (yêu cầu cấu hình mô hình), nó giúp các AI Agent tự động hoàn thành các tác vụ đa bước như điền biểu mẫu, nhấp chuột và vận hành backend, đồng thời tái sử dụng trạng thái đã đăng nhập của bạn trong Chrome.
Địa chỉ dự án: github.com/browser-use/browser-use
◉ Giám sát hoạt động / Các trang xác thực phức tạp
→ Claude in Chrome. Tiện ích mở rộng trình duyệt chính thức của Anthropic. Bằng cách đưa Claude vào trình duyệt Chrome thực tế của bạn, nó cho phép bạn xem nó nhấp chuột, điền và thao tác trên các trang, phù hợp với các tác vụ yêu cầu giám sát hoặc có xác thực phức tạp.
Trang web chính thức: claude.ai/chrome
◉ Kết nối mạng hoàn toàn tự động / Tiếp quản Chrome hàng ngày
→ Web-access. Một kỹ năng kết nối mạng Agent mã nguồn mở bao gồm các tình huống từ tìm kiếm công khai đến thao tác đã đăng nhập. Bằng cách tự động chọn giữa WebSearch / WebFetch / curl / CDP và sử dụng CDP để tiếp quản Chrome hàng ngày của bạn (mang theo trạng thái đăng nhập một cách tự nhiên), nó giúp các AI Agent hoàn thành các tác vụ mạng khác nhau và truy xuất dấu trang cũng như lịch sử trình duyệt cục bộ.
Địa chỉ dự án: github.com/eze-is/web-access
Nguyên tắc cốt lõi là đi từ nhẹ đến nặng: dừng lại khi đủ, và không mở trình duyệt nếu không cần thiết.
Vài ngày trước, tôi đã sử dụng thiết lập này để thu thập dữ liệu một trang web khóa học, kéo tài liệu và video qua backend, tự động dịch và thêm phụ đề, rồi lưu chúng vào Obsidian — mọi thứ rất suôn sẻ.
Chỉ cần đưa bài viết này cho Agent của bạn để tải xuống và cấu hình theo nguyên tắc 'từ nhẹ đến nặng, dừng lại khi đủ, và tránh mở trình duyệt nếu có thể.'
