중국 SNS 6개 플랫폼 자동 수집하는 크롤러 공개

핵심 요약

• Playwright 브라우저 자동화를 기반으로 소홍서, 틱톡, 쿠쿠쇼, 빌리빌리, 웨이보, 바이두 바이바, 지후 등 7개 중국 자매체 플랫폼의 공개 정보를 수집하는 오픈소스 크롤러 MediaCrawler를 공개했다.
• 로그인 상태를 보존한 브라우저 환경에서 자바스크립트 표현식으로 서명 파라미터를 획득하므로 복잡한 암호화 알고리즘 분석이 필요 없다.
• 키워드 검색, 특정 게시물 ID 수집, 2차 댓글, 작성자 홈페이지, 로그인 캐싱, IP 프록시, 댓글 워드클라우드 생성 등의 기능을 전 플랫폼에서 지원한다.
• CSV, JSON, JSONL, Excel, SQLite, MySQL 등 다양한 형식으로 데이터를 저장할 수 있으며 웹 UI를 통한 시각화 조작도 가능하다.
• 기본 설정은 Chrome 브라우저의 원격 디버깅(CDP 모드)을 사용하여 기존 로그인 상태와 쿠키, 확장 프로그램을 재활용해 플랫폼 감지 위험을 낮춘다.
• 필요에 따라 표준 Playwright 모드로 전환할 수 있으며 Node.js 16 이상, uv 패키지 매니저 설치를 기본 의존성으로 한다.
• 상용 버전 MediaCrawlerPro는 단계별 재개 기능, 다중 계정 및 IP 프록시 풀 지원, Playwright 의존성 제거 등 기능을 추가 제공한다.
• 개발자는 학습 목적으로만 사용할 것을 명시하며, 상업적 용도나 불법 행위 금지를 강조하고 법적 책임을 부담하지 않는다고 명시했다.