394 Open source projects that are alternatives of or similar to Awesome Spider

AlipaySpider on Scrapy(use chrome driver); 支付宝爬虫(基于Scrapy)

All Terrain Autonomous Quadruped

小说精品屋-plus是一个多端（PC、WAP）阅读、功能完善的原创文学CMS系统，由前台门户系统、作家后台管理系统、平台后台管理系统、爬虫管理系统等多个子系统构成，支持多模版、会员充值、订阅模式、新闻发布和实时统计报表等功能，新书自动入库，老书自动更新。

抓取豆瓣，bilibili等中的电视剧、电影、动漫演员等信息

Testing Using Python Demo. 使用Python测试脚本demo。

🌟⏳🌟 各种网站的签到（停止维护）

Beanbun 是用 PHP 编写的多进程网络爬虫框架，具有良好的开放性、高可扩展性，基于 Workerman。

BitTorrent DHT Protocol && DHT Spider.

自学入门 Python 优质中文资源索引，包含 书籍 / 文档 / 视频，适用于 爬虫 / Web / 数据分析 / 机器学习 方向

[爬虫框架 (golang)] An awesome Go concurrent Crawler(spider) framework. The crawler is flexible and modular. It can be expanded to an Individualized crawler easily or you can use the default crawl components only.

Some toolkits implements part of BT Protocol, like DHT spider.

链家网和贝壳网房价爬虫，采集北京上海广州深圳等21个中国主要城市的房价数据（小区，二手房，出租房，新房），稳定可靠快速！支持csv,MySQL, MongoDB,Excel, json存储，支持Python2和3，图表展示数据，注释丰富 ，点星支持，仅供学习参考，请勿用于商业用途，后果自负。

Last-Statement-of-Death-Row, 人之将死，其言也善

B站3亿用户信息爬虫（mid号，昵称，性别，关注，粉丝，等级）

网易云爬虫解决方案

admin ui for scrapy/open source scrapinghub

根据腾讯安全应急响应中心的架构编写的一款超强爬虫（广度优先搜索）

Digger is a powerful and flexible web crawler implemented by pure golang

Node.js seed downloader (Node.js 种子神器)

A simple distributed crawler for zhihu && data analysis

AV 电影管理系统， avmoo , javbus , javlibrary 爬虫，线上 AV 影片图书馆，AV 磁力链接数据库，Japanese Adult Video Library,Adult Video Magnet Links - Japanese Adult Video Database

微博超级话题爬虫，微博词频统计+情感分析+简单分类，新增肺炎超话爬取数据

💐 Full Amazon Automatic Download

基于python语言开发的千万级别搜索引擎

Rust Web Crawler saving pages on Redis

feapder是一款支持分布式、批次采集、任务防丢、报警丰富的python爬虫框架

NetCloud Web Spider

破解JS反爬虫加密参数，已破解中国裁判文书网（2020-06-30更新），淘宝密码，天安保险登录，b站登录，房天下登录，WPS登录，微博登录，有道翻译，网易登录，微信公众号登录，空中网登录，今目标登录，学生信息管理系统登录，共赢金融登录，重庆科技资源共享平台登录，网易云音乐下载，一键解析视频链接，财联社登录。

A configurable web spider with a easy-to-use web console

备份豆瓣计划

A Python based web application scanner to gather OSINT and fuzz for OWASP vulnerabilities on a target website.

web spider built by puppeteer, support task-queue and task-scheduling by decorators，support nedb / mongodb, support data visualization; 基于puppeteer的web爬虫框架，提供灵活的任务队列管理调度方案，提供便捷的数据保存方案（nedb/mongodb），提供数据可视化和用户交互的实现方案

Pholcus is a distributed high-concurrency crawler software written in pure golang

Lite version of Crawlab. 轻量版 Crawlab 爬虫管理平台

A python3 package for writing spider more easily.

📖 爬取 Stackoverflow 100万 条问答并简单分析

Scraping scripts for various websites.

拼多多爬虫，爬取所有商品、评论等信息

百度云网盘搜索引擎，包含爬虫 & 网站

一个功能全面的微信读书爬虫 wereader

zhihu-crawler是一个基于Java的高性能、支持免费http代理池、支持横向扩展、分布式爬虫项目

获取免费socks/https/http代理的网站集合

越来越多的网站具有反爬虫特性，有的用图片隐藏关键数据，有的使用反人类的验证码，建立反反爬虫的代码仓库，通过与不同特性的网站做斗争（无恶意）提高技术。（欢迎提交难以采集的网站）（因工作原因，项目暂停）

🥄 A package for building specific Proxy Pool for different Sites.

Gospider - Fast web spider written in Go

用爬虫爬取小说网站上所有小说，存储到数据库中，并用爬到的数据构建自己的小说网站

A high performance web crawler in Elixir.

dynamic crawler for web vulnerability scanner

哔哩哔哩的API调用模块

房价预测完整项目：1.爬取链家网数据 2.处理后，用sklearn中几个逻辑回归机器学习模型和keras神经网络搭建模型预测房价 最终结果神经网络效果更好，R^2值0.75左右

The archivist's web crawler: WARC output, dashboard for all crawls, dynamic ignore patterns

🕵️‍♂️ LinkedIn profile scraper returning structured profile data in JSON. Works in 2020.

B站用户爬虫 好耶~是爬虫

Google search results crawler, get google search results that you need

🔞 JAVClub - 让你的大姐姐不再走丢

招聘网数据爬虫

Bilibili.com视频批量下载工具包

Web app for Scrapyd cluster management, Scrapy log analysis & visualization, Auto packaging, Timer tasks, Monitor & Alert, and Mobile UI. DEMO 👉

一个浏览器端数据爬虫，做每个人的数据助手

Powerful web scraping framework for Crystal