중국 SNS 6개 플랫폼 자동 수집하는 크롤러 공개
Key Point
중국 주요 소셜 미디어 플랫폼의 공개 데이터를 대규모로 수집해야 하는 개발자나 연구자들에게 기술적 진입장벽을 크게 낮춘 솔루션이 등장했다.
핵심 요약
- Playwright 브라우저 자동화를 기반으로 소홍서, 틱톡, 쿠쿠쇼, 빌리빌리, 웨이보, 바이두 바이바, 지후 등 7개 중국 자매체 플랫폼의 공개 정보를 수집하는 오픈소스 크롤러 MediaCrawler를 공개했다.
- 로그인 상태를 보존한 브라우저 환경에서 자바스크립트 표현식으로 서명 파라미터를 획득하므로 복잡한 암호화 알고리즘 분석이 필요 없다.
- 키워드 검색, 특정 게시물 ID 수집, 2차 댓글, 작성자 홈페이지, 로그인 캐싱, IP 프록시, 댓글 워드클라우드 생성 등의 기능을 전 플랫폼에서 지원한다.
저장소 보기 ↗github.com