394 Open source projects that are alternatives of or similar to ShuWo_Spider

基于 RabbitMQ 中间件的爬虫的 Ruby 实现 [Developing]

这其实是一份学习笔记。包括学习记录、爬虫练习平台（网站）、自制工具脚本

An AliExpress spider for Node

抖音接口、抖音API、抖音数据爬虫、抖音直播数据、抖音直播Api、抖音视频Api、抖音爬虫、抖音去水印、抖音视频下载、抖音视频解析、抖音直播监控、抖音数据采集

千万级图片爬虫、视频爬虫 [开源版本] Image Spider

A Fast and Powerful Scraping and Web Crawling Framework.

jobSpider是一只scrapy爬虫，用于爬取职位信息

基于Scrapy框架的豆瓣电影爬虫

A series of distributed components for Scrapy. Including RabbitMQ-based components, Kafka-based components, and RedisBloom-based components for Scrapy.

FofaMap是一款基于Python3开发的跨平台FOFA数据采集器，支持网站图标查询、批量查询和自定义查询FOFA数据，能够根据查询结果自动去重并生成对应的Excel表格。另外春节特别版还可以调用Nuclei对目标进行漏洞扫描，让你在挖洞路上快人一步。

爬虫Demo，基于Python实现

Simple for use node html crawler (spider) of site web pages

Go 抓取股票数据爬虫

拟物校园，一个开源的高校教务移动化解决方案。

一个轻量级、快速、多线程、多管道、灵活配置的网络爬虫。

收集各种免费的 Python 爬虫项目

🎯Python 3 网络爬虫实战、数据分析合集 | 当当 | 网易云音乐 | unsplash | 必胜客 | 猫眼 |

python爬虫小项目【持续更新】【笔趣阁小说下载、Tweet数据抓取、天气查询、网易云音乐逆向、天天基金网查询、微博数据抓取（生成cookie）、有道翻译逆向、企查查免登陆爬虫、大众点评svg加密破解、B站用户爬虫、拉钩免登录爬虫、自如租房字体加密、知乎问答

PTT 圖片下載器 (抓取整個看板的圖片，並用文章標題作為資料夾的名稱 ) (使用Scrapy)

A web spider for shodan.io without using the Developer API.

A django admin site for scrapy

Get Aliexpress product details in JSON

将自动爬虫的结果判断是否属于hooks，并不断抓取url爬啊爬。

中国明星数据爬取。你甚至可以拿到互联网上所有的人之间的关系，接下来你可以自己发挥！基于这些数据，你可以完成更多有趣的事情。比如说社交网络分析，关系网络可视化，算法研究，和其他有意思的事情。Chinese star data crawling. You can even get all the people on the internet! Based on these data, you can do more interesting things. For example, social network analysis, relational network visualization, algorithm research, and other interesting things.

A DHT Spider allows you to sniff the torrents and magnets.You can download them directly.

一个基于Glang语言开发的站群系统（蜘蛛池系统）

免费 IP 代理池。Scrapy 爬虫框架插件

A simple and flexible web crawler framework for java.

一些爬虫开发的技巧和案例

今日头条科技新闻接口爬虫

一个基于Scrapy的数据采集爬虫代码库

新浪微博，微信，知乎，头条爬虫，支持新浪登录打码获取cookie实现登录

虎扑网相册下载工具

Generating spiders dynamically to crawl and check those free proxy ip on the internet with scrapy.

ZUCC正方教务系统抢课助手。针对ZUCC正方教务系统模拟登录，爬取课程信息，自动抓包发包抢课。具体实现流程可参考README中的实现原理链接

talospider - A simple,lightweight scraping micro-framework

Music Spider. Go 👾 Music Spider 是使用Golang写的音乐聚合爬虫，目前支持的站点包括 网易、QQ、虾米、酷狗、百度。

🍰 一个可视化的爬虫平台

有道词典网页爬虫

网易云音乐 api(第三方)

No description or website provided.

一键清除失效微博转发/微博收藏爬虫 (Auto delete invalid Weibo Favorites)

爬取QQ用户信息（qq号、昵称、生日、地址等基本信息）并做简要analysis。

Extracting and parsing structured data with jQuery Selector, XPath or JsonPath from common web format like HTML, XML and JSON.

项目已经过时！无法应用在改版后的网站上。

各大网站逆向demo。企名片、震坤行工业超市、天翼云登录、物超所值、瓜子二手车、马蜂窝、中华诗词库、澳门彩票、药智网、福建省招标投标在线监管平台、全国公共资源交易平台、问卷星、中国人民银行条法司、中华人民共和国公安部、AqiStudy、巨量星图、HeyTap、掌上高考、船讯网、百度指数、今日头条、知乎、七麦数据、途牛、七猫小说、企查查、同花顺、网易云音乐、拉勾招聘、玩物得志、房天下

Get movie info from douban(豆瓣) and display in your terminal

Collection of scrapy spiders which can scrape posts, images, and so on from public Facebook Pages.

An open source webapp for scraping: towards a public service for webscraping

🐛一只登录正方教务管理系统，爬取数据的小爬虫

10 photo website spiders, 10 个国外图库的 scrapy 爬虫代码

download document from book118 for free

自动答题程序🎉

High performance crawler for Nodejs

V2EX爬虫

中国银行外汇牌价爬虫 / API (Bank of China - Foreign Exchange - Spider/ API)

Uno Crawler por https://douban.com

A Python Bot for Scraping Conversations from Twitter

Continuous scalable web crawler built on top of Flink and crawler-commons

搜索你的知乎收藏：可以直观地浏览你的所有收藏夹的内容，并进行全文搜索