これらのスキルを備えた Claude Code は、基本的に Web 全体をクロールできます。
◉ ソーシャルメディアのスクレイピング（小红书 / X / TikTok / YouTube / WeChat 公式アカウント / Reddit）
→ Agent-reach。小红书、X、TikTok、YouTube、WeChat、Reddit などのプラットフォーム向けの API アクセスをサポートする、オープンソースの AI スキャフォールディングです。CLI ツールをインストールして検索エンジンを設定することで、AI エージェントがさまざまなプラットフォームにアクセスできるようになります。
プロジェクトアドレス: github.com/Panniantong/agent-reach
◉ バッチデータスクレイピング / アンチボット対策の回避
→ Scrapling。単一リクエストから本格的なクローリングまでをサポートする、オープンソースのアダプティブ Web スクレイピングフレームワークです。静的レンダリング、JS レンダリング、アンチボットステルススクレイパーを内蔵しており、AI エージェントが構造化データを高速に抽出し、Cloudflare をバイパスし、Web サイト更新後も要素を自動的に再配置できます。
プロジェクトアドレス: github.com/D4Vinci/Scrapling
◉ ログイン済みページのスクレイピング / AI による自律操作
→ Browser-use。AI が人間のように Web ページを操作できるようにする、オープンソースのブラウザ自動化フレームワークです。LLM（モデル設定が必要）によって駆動され、AI エージェントがフォームへの入力、クリック、バックエンド操作などのマルチステップタスクを自律的に完了できるようにし、Chrome のログイン状態を再利用します。
プロジェクトアドレス: github.com/browser-use/browser-use
◉ 監視操作 / 複雑な認証ページ
→ Claude in Chrome。Anthropic 公式のブラウザ拡張機能です。Claude を実際の Chrome ブラウザに配置することで、ページ上でのクリック、入力、操作を監視できるようになり、監視が必要なタスクや複雑な認証が必要なタスクに適しています。
公式 Web サイト: claude.ai/chrome
◉ 完全自動ネットワーキング / 日常的な Chrome の引き継ぎ
→ Web-access。公開検索からログイン操作までのシナリオをカバーする、オープンソースのエージェントネットワーキングスキルです。WebSearch / WebFetch / curl / CDP を自動的に選択し、CDP を使用して日常的に使用している Chrome を引き継ぐ（ログイン状態を自然に保持）ことで、AI エージェントがさまざまなネットワーキングタスクを完了し、ローカルブラウザのブックマークや履歴を取得できるようにします。
プロジェクトアドレス: github.com/eze-is/web-access
核となる原則は、軽いものから重いものへと進むことです。十分なところで止め、必要なければブラウザを開かないことです。
数日前、このセットアップを使用してコースの Web サイトをスクレイピングし、バックエンドからドキュメントや動画を取得し、自動的に翻訳して字幕を追加し、Obsidian に保存しました。非常にスムーズでした。
この記事をエージェントに与え、「軽いものから重いものへ、十分なところで止め、可能な限りブラウザを開かない」という原則に従ってダウンロードおよび設定するだけで完了です。
