394 Open source projects that are alternatives of or similar to Awesome Spider

BitTorrent DHT Protocol && DHT Spider.

[爬虫框架 (golang)] An awesome Go concurrent Crawler(spider) framework. The crawler is flexible and modular. It can be expanded to an Individualized crawler easily or you can use the default crawl components only.

链家网和贝壳网房价爬虫，采集北京上海广州深圳等21个中国主要城市的房价数据（小区，二手房，出租房，新房），稳定可靠快速！支持csv,MySQL, MongoDB,Excel, json存储，支持Python2和3，图表展示数据，注释丰富 ，点星支持，仅供学习参考，请勿用于商业用途，后果自负。

B站3亿用户信息爬虫（mid号，昵称，性别，关注，粉丝，等级）

admin ui for scrapy/open source scrapinghub

Digger is a powerful and flexible web crawler implemented by pure golang

A simple distributed crawler for zhihu && data analysis

微博超级话题爬虫，微博词频统计+情感分析+简单分类，新增肺炎超话爬取数据

基于python语言开发的千万级别搜索引擎

feapder是一款支持分布式、批次采集、任务防丢、报警丰富的python爬虫框架

破解JS反爬虫加密参数，已破解中国裁判文书网（2020-06-30更新），淘宝密码，天安保险登录，b站登录，房天下登录，WPS登录，微博登录，有道翻译，网易登录，微信公众号登录，空中网登录，今目标登录，学生信息管理系统登录，共赢金融登录，重庆科技资源共享平台登录，网易云音乐下载，一键解析视频链接，财联社登录。

备份豆瓣计划

web spider built by puppeteer, support task-queue and task-scheduling by decorators，support nedb / mongodb, support data visualization; 基于puppeteer的web爬虫框架，提供灵活的任务队列管理调度方案，提供便捷的数据保存方案（nedb/mongodb），提供数据可视化和用户交互的实现方案

Lite version of Crawlab. 轻量版 Crawlab 爬虫管理平台

📖 爬取 Stackoverflow 100万 条问答并简单分析

拼多多爬虫，爬取所有商品、评论等信息

一个功能全面的微信读书爬虫 wereader

获取免费socks/https/http代理的网站集合

🥄 A package for building specific Proxy Pool for different Sites.

用爬虫爬取小说网站上所有小说，存储到数据库中，并用爬到的数据构建自己的小说网站

dynamic crawler for web vulnerability scanner

房价预测完整项目：1.爬取链家网数据 2.处理后，用sklearn中几个逻辑回归机器学习模型和keras神经网络搭建模型预测房价 最终结果神经网络效果更好，R^2值0.75左右

🕵️‍♂️ LinkedIn profile scraper returning structured profile data in JSON. Works in 2020.

B站用户爬虫 好耶~是爬虫

JavaScript + BeautifulSoup = JSSoup

滑动验证码，希望对你们有所帮助❤️

Web crawling framework based on asyncio.

Unmaintained 🐳 ☕️ 🕷 Scala crawler(spider) framework, inspired by scrapy, created by @gaocegege

直接通过链家 API 抓取数据的极速爬虫，宇宙最快~~ 🚀

又一个 java 内容（pa）获取（chong）工具

使用Python3爬取煎蛋妹纸图片

🕷招聘网站爬虫合集，不定期更新分支

多线程知乎用户爬虫，基于python3

A web crawler (for bug hunting) that gathers more than you can imagine.

ScrapingOutsourcing专注分享爬虫代码 尽量每周更新一个

日常小脚本，懒人欢乐多。

京东口罩库存监控爬虫(非selenium)，扫码登录、查价、加购、下单、秒杀

The Resources for "Natural Language to Logical Form" ; "自然语言转逻辑形式"研究资料收集。

一款分布式爬虫平台，帮助你更好的管理和开发爬虫。 内置一套爬虫定义规则（模版），可使用模版快速定义爬虫，也可当作框架手动开发爬虫。(兴趣使然的项目，用的不爽了就更新)

一个简单的分布式爬虫框架

portia-dashboard is a visual web crawler based on scrapinghub/portia

🤖 A spider and server for Luoo.qy

Cross Platform C# web crawler framework built for speed and flexibility. Please star this project! +1.

GOPA, a spider written in Go.（NOTE: this project moved to https://github.com/infinitbyte/gopa ）

微信公众号爬虫

🕷some website spider application base on proxy pool (support http & websocket)

Free proxy server, continuously crawling and providing proxies, based on Tornado and Scrapy. 免费代理服务器，基于Tornado和Scrapy，在本地搭建属于自己的代理池

Simple, clear and fast Web Crawler framework build on python3.6+, powered by asyncio.

稳健高效的评分制-针对性- IP代理池 + API服务，可以自己插入采集器进行代理IP的爬取，针对你的爬虫的一个或多个目标网站分别生成有效的IP代理数据库，支持MongoDB 4.0 使用 Python3.7（Scored IP proxy pool ,customise proxy data crawler can be added anytime）

简简单单spider

😊😊😊 知乎问题爬虫

GUI of AlipayOrdersSupervisor, implemented in Java and Swing

LSpider 一个为被动扫描器定制的前端爬虫

A collection of awesome web scaper, crawler.

Google search results crawler, get google search results that you need

🔞 JAVClub - 让你的大姐姐不再走丢

招聘网数据爬虫

Bilibili.com视频批量下载工具包

Web app for Scrapyd cluster management, Scrapy log analysis & visualization, Auto packaging, Timer tasks, Monitor & Alert, and Mobile UI. DEMO 👉

一个浏览器端数据爬虫，做每个人的数据助手