401 Open source projects that are alternatives of or similar to GitHub-Trending-Crawler

多线程知乎用户爬虫，基于python3

抓取豆瓣，bilibili等中的电视剧、电影、动漫演员等信息

admin ui for scrapy/open source scrapinghub

一个功能全面的微信读书爬虫 wereader

📖 爬取 Stackoverflow 100万 条问答并简单分析

web spider built by puppeteer, support task-queue and task-scheduling by decorators，support nedb / mongodb, support data visualization; 基于puppeteer的web爬虫框架，提供灵活的任务队列管理调度方案，提供便捷的数据保存方案（nedb/mongodb），提供数据可视化和用户交互的实现方案

稳健高效的评分制-针对性- IP代理池 + API服务，可以自己插入采集器进行代理IP的爬取，针对你的爬虫的一个或多个目标网站分别生成有效的IP代理数据库，支持MongoDB 4.0 使用 Python3.7（Scored IP proxy pool ,customise proxy data crawler can be added anytime）

scrapy spider for scraping imdb {movie_id: [recommended, ...]}

A simple distributed crawler for zhihu && data analysis

京东口罩库存监控爬虫(非selenium)，扫码登录、查价、加购、下单、秒杀

基于python语言开发的千万级别搜索引擎

🕵️‍♂️ LinkedIn profile scraper returning structured profile data in JSON. Works in 2020.

直接通过链家 API 抓取数据的极速爬虫，宇宙最快~~ 🚀

JavaScript + BeautifulSoup = JSSoup

scala结合actor编写的分布式网络爬虫

portia-dashboard is a visual web crawler based on scrapinghub/portia

微信公众号爬虫

[Crawler/Scraper for Golang]🕷A lightweight distributed friendly Golang crawler framework.一个轻量的分布式友好的 Golang 爬虫框架。

Server hardening on 1st login as "root"

链家网和贝壳网房价爬虫，采集北京上海广州深圳等21个中国主要城市的房价数据（小区，二手房，出租房，新房），稳定可靠快速！支持csv,MySQL, MongoDB,Excel, json存储，支持Python2和3，图表展示数据，注释丰富 ，点星支持，仅供学习参考，请勿用于商业用途，后果自负。

dynamic crawler for web vulnerability scanner

破解JS反爬虫加密参数，已破解中国裁判文书网（2020-06-30更新），淘宝密码，天安保险登录，b站登录，房天下登录，WPS登录，微博登录，有道翻译，网易登录，微信公众号登录，空中网登录，今目标登录，学生信息管理系统登录，共赢金融登录，重庆科技资源共享平台登录，网易云音乐下载，一键解析视频链接，财联社登录。

零基础学习python爬虫

🥄 A package for building specific Proxy Pool for different Sites.

LSpider 一个为被动扫描器定制的前端爬虫

Distributed Crawler Management Framework Based on Scrapy, Scrapyd, Django and Vue.js

Python爬虫代理IP池(proxy pool)

Google search results crawler, get google search results that you need

小说精品屋是一个多平台（web、安卓app、微信小程序）、功能完善的屏幕自适应小说漫画连载系统，包含精品小说专区、轻小说专区和漫画专区。包括小说/漫画分类、小说/漫画搜索、小说/漫画排行、完本小说/漫画、小说/漫画评分、小说/漫画在线阅读、小说/漫画书架、小说/漫画阅读记录、小说下载、小说弹幕、小说/漫画自动采集/更新/纠错、小说内容自动分享到微博、邮件自动推广、链接自动推送到百度搜索引擎等功能。

项目已经移动至：https://github.com/BaiduSpider/BaiduSpider ！！ 一个爬取百度搜索结果的爬虫，目前支持百度网页搜索，百度图片搜索，百度知道搜索，百度视频搜索，百度资讯搜索，百度文库搜索，百度经验搜索和百度百科搜索。

Elegant Scraper and Crawler Framework for Golang

🔞 JAVClub - 让你的大姐姐不再走丢

🕷️ The progressive PHP crawler framework! 优雅的渐进式PHP采集框架。

裁判文书网爬虫

A fast and powerfull dashboard (admin) finder

A Penetration Testing Framework, Information gathering tool & Website Vulnerability Scanner

🍿爬虫代理IP池(proxy pool) python🍟一个还ok的IP代理池

超高速异步协程Python爬虫

book.zi5.me全站kindle电子书籍爬取，按照作者书籍名分类，每本书有mobi和equb两种格式，采用分布式进行全站爬取

招聘网数据爬虫

Web app for Scrapyd cluster management, Scrapy log analysis & visualization, Auto packaging, Timer tasks, Monitor & Alert, and Mobile UI. DEMO 👉

🕷️用于爬取B站前top100的小视频

💐Marmot | Web Crawler/HTTP protocol Download Package 🐭

A Laravel wrapper for CrawlerDetect - the web crawler detection library

My Python Script

A spider tapestry weaver

Web Scraping Framework

sync playlist between music platform

疫情数据爬虫，2019新型冠状病毒数据仓库，轨迹数据，同乘数据，报道

资讯爬虫App

owllook-小说搜索引擎

Web crawler.

My Python Demo

一个简单的基于DHT协议的BT磁力链接爬虫

Bilibili.com视频批量下载工具包

Dynamic configurable crawl (动态可配置化爬虫)

Simple bash administration scripts for Linux to make your life easier.

犇犇爬虫

爬虫集合

BitTorrent DHT Protocol && DHT Spider.