413 Open source projects that are alternatives of or similar to Super Spider

A versatile Ruby web spidering library that can spider a site, multiple domains, certain links or infinitely. Spidr is designed to be fast and easy to use.

Free Web Scraping Tool with Java

Divergence Meter is an application based on Steins;Gate. Unmaintained, feel free to contribute

Minimal Python 2 & 3 shim around all Qt bindings - PySide, PySide2, PyQt4 and PyQt5.

The Prime Cross Site Request Forgery (CSRF) Audit and Exploitation Toolkit.

A golang spider

豆瓣电影top250、斗鱼爬取json数据以及爬取美女图片、淘宝、有缘、CrawlSpider爬取红娘网相亲人的部分基本信息以及红娘网分布式爬取和存储redis、爬虫小demo、Selenium、爬取多点、django开发接口、爬取有缘网信息、模拟知乎登录、模拟github登录、模拟图虫网登录、爬取多点商城整站数据、爬取微信公众号历史文章、爬取微信群或者微信好友分享的文章、itchat监听指定微信公众号分享的文章

[DEPRECATED] Simple, flexible, delightful web crawler/spider package

A distributed web crawler framework.（分布式爬虫框架XXL-CRAWLER）

越来越多的网站具有反爬虫特性，有的用图片隐藏关键数据，有的使用反人类的验证码，建立反反爬虫的代码仓库，通过与不同特性的网站做斗争（无恶意）提高技术。（欢迎提交难以采集的网站）（因工作原因，项目暂停）

🐾 Creeper - The Next Generation Crawler Framework (Go)

Web 端反爬技术方案

一个简单的豆瓣信息爬虫😄

The archivist's web crawler: WARC output, dashboard for all crawls, dynamic ignore patterns

爬取百度贴吧、TapTap、appstore、微博官方博主上的游戏评论(基于redis_scrapy)，过滤器采用了bloomfilter。

A multi-thread crawler framework with many builtin image crawlers provided.

A python web scraper for public email lists.

A Burp Suite Extension that try to find all sub-domain, similar-domain and related-domain of an organization automatically! 基于流量自动收集整个企业或组织的子域名、相似域名、相关域名的burp插件

Distributed web crawler admin platform for spiders management regardless of languages and frameworks. 分布式爬虫管理平台，支持任何语言和框架

NetDiscovery 是一款基于 Vert.x、RxJava 2 等框架实现的通用爬虫框架/中间件。

zhihu-crawler是一个基于Java的高性能、支持免费http代理池、支持横向扩展、分布式爬虫项目

爬取百度百科中文页面，抽取三元组信息，构建中文知识图谱

JSpider会每周更新至少一个网站的JS解密方式，欢迎 Star，交流微信：13298307816

💖 High available distributed ip proxy pool, powerd by Scrapy and Redis

Dark Web OSINT Tool

A high performance web crawler in Elixir.

🎬 基于Pyqt5的简单电影搜索工具

Pholcus is a distributed high-concurrency crawler software written in pure golang

哔哩哔哩的API调用模块

Rust Web Crawler saving pages on Redis

📰 Brazilian government gazettes, accessible to everyone.

A python3 package for writing spider more easily.

👽 OneBlog，一个简洁美观、功能强大并且自适应的Java博客

AV 电影管理系统， avmoo , javbus , javlibrary 爬虫，线上 AV 影片图书馆，AV 磁力链接数据库，Japanese Adult Video Library,Adult Video Magnet Links - Japanese Adult Video Database

🚇暗网中文网监控爬虫(DEEPMIX)

Scraping scripts for various websites.

👉一个基于spring boot 实现的java股票爬虫(仅支持A股)，如果你❤️请⭐️ . V2升级版正在开发中！

NetCloud Web Spider

INFO-SPIDER 是一个集众多数据源于一身的爬虫工具箱🧰，旨在安全快捷的帮助用户拿回自己的数据，工具代码开源，流程透明。支持数据源包括GitHub、QQ邮箱、网易邮箱、阿里邮箱、新浪邮箱、Hotmail邮箱、Outlook邮箱、京东、淘宝、支付宝、中国移动、中国联通、中国电信、知乎、哔哩哔哩、网易云音乐、QQ好友、QQ群、生成朋友圈相册、浏览器浏览历史、12306、博客园、CSDN博客、开源中国博客、简书。

百度云网盘搜索引擎，包含爬虫 & 网站

一个超级轻量的百度图片爬虫

Node.js seed downloader (Node.js 种子神器)

API of DouYin for Humans used to Crawl Popular Videos and Musics

Javlibrary spider

抓取网易云音乐热门评论

A configurable web spider with a easy-to-use web console

最简单的91porn爬虫php版本

Seeker - another job board aggregator.

A Facebook crawler

💐 Full Amazon Automatic Download

带你了解一下Golang的市场行情

Uses NW.js to generate "native" apps for already existing web apps.

A collection of awesome web crawler,spider in different languages

A Python based web application scanner to gather OSINT and fuzz for OWASP vulnerabilities on a target website.

Gospider - Fast web spider written in Go

Creating Scrapy scrapers via the Django admin interface

Incredibly fast crawler designed for OSINT.

微信公众号文章的爬虫

Go语言实例教程从入门到进阶，包括基础库使用、设计模式、面试易错点、工具类、对接第三方等

Word2vec 千人千面 个性化搜索 + Scrapy2.3.0(爬取数据) + ElasticSearch7.9.1(存储数据并提供对外Restful API) + Django3.1.1 搜索