Claude Code 에 이러한 스킬들을 갖추면 기본적으로 웹 전체를 크롤링할 수 있습니다.
◉ 소셜 미디어 스크래핑 (샤오홍슈 / X / TikTok / YouTube / 위챗 공식 계정 / Reddit)
→ Agent-reach. 샤오홍슈, X, TikTok, YouTube, 위챗, Reddit 등 플랫폼의 API 접근을 지원하는 오픈소스 AI 프레임워크입니다. CLI 도구를 설치하고 검색 엔진을 구성하면 AI Agent 가 다양한 플랫폼에 접근할 수 있습니다.
프로젝트 주소: github.com/Panniantong/agent-reach
◉ 대량 데이터 스크래핑 / 안티봇 우회
→ Scrapling. 단일 요청부터 전체 규모 크롤링까지 지원하는 오픈소스 적응형 웹 스크래핑 프레임워크입니다. 정적 렌더링, JS 렌더링, 안티봇 스텔스 스크래퍼가 내장되어 있어 AI Agent 가 고속으로 구조화된 데이터를 추출하고, Cloudflare 를 우회하며, 웹사이트 업데이트 후 요소를 자동으로 재배치할 수 있도록 돕습니다.
프로젝트 주소: github.com/D4Vinci/Scrapling
◉ 로그인된 페이지 스크래핑 / AI 자체 운영
→ Browser-use. AI 가 사람처럼 웹 페이지를 조작할 수 있게 해주는 오픈소스 브라우저 자동화 프레임워크입니다. LLM 에 의해 구동되며(모델 구성 필요), AI Agent 가 양식 작성, 클릭, 백엔드 조작과 같은 다단계 작업을 자율적으로 완료하고 Chrome 에서 로그인 상태를 재사용할 수 있도록 돕습니다.
프로젝트 주소: github.com/browser-use/browser-use
◉ 모니터링 작업 / 복잡한 인증 페이지
→ Claude in Chrome. Anthropic 의 공식 브라우저 확장 프로그램입니다. Claude 를 실제 Chrome 브라우저에 넣어 페이지에서 클릭, 입력, 조작하는 과정을 지켜볼 수 있어 모니터링이 필요하거나 복잡한 인증이 필요한 작업에 적합합니다.
공식 웹사이트: claude.ai/chrome
◉ 완전 자동화된 네트워킹 / 일상적인 Chrome 대체
→ Web-access. 공개 검색부터 로그인된 작업까지 다양한 시나리오를 포괄하는 오픈소스 Agent 네트워킹 스킬입니다. WebSearch / WebFetch / curl / CDP 중에서 자동으로 선택하고, CDP 를 사용하여 일상적인 Chrome 을 대체함으로써(자연스럽게 로그인 상태 유지) AI Agent 가 다양한 네트워킹 작업을 완료하고 로컬 브라우저의 북마크와 기록을 검색할 수 있도록 돕습니다.
프로젝트 주소: github.com/eze-is/web-access
핵심 원칙은 가벼운 것부터 무거운 것까지: 충분하면 멈추고, 꼭 필요하지 않으면 브라우저를 열지 않는 것입니다.
며칠 전, 이 설정을 사용하여 강의 웹사이트를 스크래핑하고, 백엔드를 통해 문서와 비디오를 가져와 자동으로 번역하고 자막을 추가한 후 Obsidian 에 저장했습니다. 매우 매끄러웠습니다.
이 글을 Agent 에게 그대로 전달하여 '가벼운 것부터 무거운 것까지, 충분하면 멈추고, 가능하면 브라우저를 열지 않는' 원칙에 따라 다운로드하고 구성하세요.
