413 Open source projects that are alternatives of or similar to Super Spider

爬虫Demo，基于Python实现

Crawl some picture for fun

👽 OneBlog，一个简洁美观、功能强大并且自适应的Java博客

👨‍🎓 中国大学MOOC全课件（视频、文档、附件）下载器

一些爬虫开发的技巧和案例

JS逆向研究

Python爬虫，返回一定格式的信息，下载，使用flask提供简易api。抖音无水印、皮皮虾、快手、网易云音乐、qq音乐、咪咕音乐、荔枝FM音频、知乎视频、最右语音、视频、微博......

PHP Link Checker

一个基于Scrapy的数据采集爬虫代码库

一个java版本的分布式的通用爬虫，可以插拔各个组件（提供默认的）

AV 电影管理系统， avmoo , javbus , javlibrary 爬虫，线上 AV 影片图书馆，AV 磁力链接数据库，Japanese Adult Video Library,Adult Video Magnet Links - Japanese Adult Video Database

Python爬虫实战 - 模拟登陆各大网站 包含但不限于：滑块验证、拼多多、美团、百度、bilibili、大众点评、淘宝，如果喜欢请start ❤️

虎扑网相册下载工具

A lite distributed Java spider framework :-)

Kindle Book Maker with KindleGen, Make Book from RSS/single URL/directory and so on.

netease-music-spider is a sipder that you can find beautiful girlfriend or handsome boyfriend.

ZUCC正方教务系统抢课助手。针对ZUCC正方教务系统模拟登录，爬取课程信息，自动抓包发包抢课。具体实现流程可参考README中的实现原理链接

一个浏览器端数据爬虫，做每个人的数据助手

🚇暗网中文网监控爬虫(DEEPMIX)

中国大陆大学列表爬虫

Music Spider. Go 👾 Music Spider 是使用Golang写的音乐聚合爬虫，目前支持的站点包括 网易、QQ、虾米、酷狗、百度。

😱Full Automatic Amazon Distributed Spider | 亚马逊分布式四国际站采集选款产品|账号admin,密码adminadmin

小说下载|小说爬取|起点|笔趣阁|导出Markdown|导出txt|转换epub|广告过滤|自动校对

爬虫所需要的IP代理，抓取九个网站的代理IP检测/清洗/入库/更新，添加调用接口

有道词典网页爬虫

MM131网站图片爬取 🚨

Scraping scripts for various websites.

一个完整的nodeJs 串行爬虫 抓取3万多个页面。

No description or website provided.

all kinds of scrapy demo

快速、简洁且强大的PHP爬虫框架

yspider -- 轻量级爬虫系统

爬取QQ用户信息（qq号、昵称、生日、地址等基本信息）并做简要analysis。

[https://www.sofineday.com], golang项目开发脚手架,集成最佳实践(gin+gorm+go-redis+mongo+cors+jwt+json日志库zap(支持日志收集到kafka或mongo)+消息队列kafka+微信支付宝支付gopay+api加密+api反向代理+go modules依赖管理+headless爬虫chromedp+makefile+二进制压缩+livereload热加载)

👉一个基于spring boot 实现的java股票爬虫(仅支持A股)，如果你❤️请⭐️ . V2升级版正在开发中！

简单易用的Python爬虫框架，QQ交流群：597510560

项目已经过时！无法应用在改版后的网站上。

爬取微信公众号文章

🌭💦 91porn爬虫在线无限制API接口（永久有效，口令每日更新） 及 在线web预览

APIs for loginning some websites by using requests.

Get movie info from douban(豆瓣) and display in your terminal

一些非常有趣的python爬虫例子,对新手比较友好,主要爬取淘宝、天猫、微信、豆瓣、QQ等网站。(Some interesting examples of python crawlers that are friendly to beginners. )

NetCloud Web Spider

Python爬虫和Flask实现小说网站

An open source webapp for scraping: towards a public service for webscraping

Golang爬虫 爬取豆瓣电影Top250

在线地址: http://119.23.223.90:8000

抖音API、抖音数据、抖音直播数据、抖音直播Api、抖音视频Api、抖音爬虫、抖音去水印、抖音视频下载、抖音视频解析、抖音直播监控、抖音数据采集

10 photo website spiders, 10 个国外图库的 scrapy 爬虫代码

爬取北大法宝网http://www.pkulaw.cn/Case/

INFO-SPIDER 是一个集众多数据源于一身的爬虫工具箱🧰，旨在安全快捷的帮助用户拿回自己的数据，工具代码开源，流程透明。支持数据源包括GitHub、QQ邮箱、网易邮箱、阿里邮箱、新浪邮箱、Hotmail邮箱、Outlook邮箱、京东、淘宝、支付宝、中国移动、中国联通、中国电信、知乎、哔哩哔哩、网易云音乐、QQ好友、QQ群、生成朋友圈相册、浏览器浏览历史、12306、博客园、CSDN博客、开源中国博客、简书。

自动答题程序🎉

Creating Scrapy scrapers via the Django admin interface

Incredibly fast crawler designed for OSINT.

微信公众号文章的爬虫

Go语言实例教程从入门到进阶，包括基础库使用、设计模式、面试易错点、工具类、对接第三方等

Word2vec 千人千面 个性化搜索 + Scrapy2.3.0(爬取数据) + ElasticSearch7.9.1(存储数据并提供对外Restful API) + Django3.1.1 搜索

大数据生态解决方案数据平台：基于大数据、数据平台、微服务、机器学习、商城、自动化运维、DevOps、容器部署平台、数据平台采集、数据平台存储、数据平台计算、数据平台开发、数据平台应用搭建的大数据解决方案。

A Python Bot for Scraping Conversations from Twitter

犇犇爬虫