413 Open source projects that are alternatives of or similar to Super Spider

Pholcus is a distributed high-concurrency crawler software written in pure golang

今日热榜，一个获取各大热门网站热门头条的聚合网站，使用Go语言编写，多协程异步快速抓取信息，预览:https://mo.fish

哔哩哔哩的API调用模块

✨ 知乎日报 - 爬虫、数据分析、Node.js、Vue.js ...

Rust Web Crawler saving pages on Redis

跨平台的京东全能工具包 仅供学习使用，技术交流群：108934299

📰 Brazilian government gazettes, accessible to everyone.

QQ空间爬虫，可导出并显示日志、相册、留言板、说说、照片、视频等数据。

A python3 package for writing spider more easily.

🍻 bilibili video (including bangumi) and danmaku downloader | B站视频（含番剧）、弹幕下载器

👽 OneBlog，一个简洁美观、功能强大并且自适应的Java博客

Python爬虫，返回一定格式的信息，下载，使用flask提供简易api。抖音无水印、皮皮虾、快手、网易云音乐、qq音乐、咪咕音乐、荔枝FM音频、知乎视频、最右语音、视频、微博......

AV 电影管理系统， avmoo , javbus , javlibrary 爬虫，线上 AV 影片图书馆，AV 磁力链接数据库，Japanese Adult Video Library,Adult Video Magnet Links - Japanese Adult Video Database

Kindle Book Maker with KindleGen, Make Book from RSS/single URL/directory and so on.

🚇暗网中文网监控爬虫(DEEPMIX)

小说下载|小说爬取|起点|笔趣阁|导出Markdown|导出txt|转换epub|广告过滤|自动校对

Scraping scripts for various websites.

快速、简洁且强大的PHP爬虫框架

👉一个基于spring boot 实现的java股票爬虫(仅支持A股)，如果你❤️请⭐️ . V2升级版正在开发中！

🌭💦 91porn爬虫在线无限制API接口（永久有效，口令每日更新） 及 在线web预览

NetCloud Web Spider

在线地址: http://119.23.223.90:8000

INFO-SPIDER 是一个集众多数据源于一身的爬虫工具箱🧰，旨在安全快捷的帮助用户拿回自己的数据，工具代码开源，流程透明。支持数据源包括GitHub、QQ邮箱、网易邮箱、阿里邮箱、新浪邮箱、Hotmail邮箱、Outlook邮箱、京东、淘宝、支付宝、中国移动、中国联通、中国电信、知乎、哔哩哔哩、网易云音乐、QQ好友、QQ群、生成朋友圈相册、浏览器浏览历史、12306、博客园、CSDN博客、开源中国博客、简书。

天气爬虫（全国城镇天气自动定时抓取更新，并开放RESTful查询接口），附带代理IP池定时更新并检测其可用性

百度云网盘搜索引擎，包含爬虫 & 网站

The easiest way to reset your debian or ubuntu based linux back to stock

一个超级轻量的百度图片爬虫

🎊 Design and implement of lightweight crawler framework.

Node.js seed downloader (Node.js 种子神器)

Lots of simple and Pythonic PySide demos

API of DouYin for Humans used to Crawl Popular Videos and Musics

Every web site provides APIs.

Javlibrary spider

Nodejs demo

抓取网易云音乐热门评论

geetest，滑动验证码

A configurable web spider with a easy-to-use web console

Web Scan Lazy Tools - Python Package

最简单的91porn爬虫php版本

A golang utility to spider through a website searching for additional links.

Seeker - another job board aggregator.

📰 A responsive interface of Hacker News with summaries and thumbnails.

A Facebook crawler

[WIP] GOPA, a spider written in Golang, for Elasticsearch. DEMO: http://index.elasticsearch.cn

💐 Full Amazon Automatic Download

磁力網站U3C3介紹以及域名更新

带你了解一下Golang的市场行情

15 minute (small) desktop apps built with PyQt

Uses NW.js to generate "native" apps for already existing web apps.

一款信息泄漏利用工具，适用于.git/.svn源代码泄漏和.DS_Store泄漏

A collection of awesome web crawler,spider in different languages

DHT磁力链接magnet BT搜索引擎，纯Python开发

A Python based web application scanner to gather OSINT and fuzz for OWASP vulnerabilities on a target website.

🎬 基于Pyqt5的简单电影搜索工具

Creating Scrapy scrapers via the Django admin interface

Incredibly fast crawler designed for OSINT.

微信公众号文章的爬虫

Go语言实例教程从入门到进阶，包括基础库使用、设计模式、面试易错点、工具类、对接第三方等

Word2vec 千人千面 个性化搜索 + Scrapy2.3.0(爬取数据) + ElasticSearch7.9.1(存储数据并提供对外Restful API) + Django3.1.1 搜索

大数据生态解决方案数据平台：基于大数据、数据平台、微服务、机器学习、商城、自动化运维、DevOps、容器部署平台、数据平台采集、数据平台存储、数据平台计算、数据平台开发、数据平台应用搭建的大数据解决方案。