394 Open source projects that are alternatives of or similar to 51job Spider

犇犇爬虫

Distributed web crawler admin platform for spiders management regardless of languages and frameworks. 分布式爬虫管理平台，支持任何语言和框架

High performance crawler for Nodejs

微信公众号文章的爬虫

scala结合actor编写的分布式网络爬虫

爬取百度贴吧、TapTap、appstore、微博官方博主上的游戏评论(基于redis_scrapy)，过滤器采用了bloomfilter。

An open source webapp for scraping: towards a public service for webscraping

[DEPRECATED] Simple, flexible, delightful web crawler/spider package

scrapy spider for scraping imdb {movie_id: [recommended, ...]}

JSpider会每周更新至少一个网站的JS解密方式，欢迎 Star，交流微信：13298307816

Every web site provides APIs.

Go语言实例教程从入门到进阶，包括基础库使用、设计模式、面试易错点、工具类、对接第三方等

零基础学习python爬虫

一个简单的豆瓣信息爬虫😄

10 photo website spiders, 10 个国外图库的 scrapy 爬虫代码

A golang spider

爬虫集合

A python web scraper for public email lists.

A simple and flexible web crawler framework for java.

Javlibrary spider

直接通过链家 API 抓取数据的极速爬虫，宇宙最快~~ 🚀

Seeker - another job board aggregator.

自动答题程序🎉

Dark Web OSINT Tool

web spider built by puppeteer, support task-queue and task-scheduling by decorators，support nedb / mongodb, support data visualization; 基于puppeteer的web爬虫框架，提供灵活的任务队列管理调度方案，提供便捷的数据保存方案（nedb/mongodb），提供数据可视化和用户交互的实现方案

Word2vec 千人千面 个性化搜索 + Scrapy2.3.0(爬取数据) + ElasticSearch7.9.1(存储数据并提供对外Restful API) + Django3.1.1 搜索

一款信息泄漏利用工具，适用于.git/.svn源代码泄漏和.DS_Store泄漏

🐾 Creeper - The Next Generation Crawler Framework (Go)

微信公众号爬虫

📰 Brazilian government gazettes, accessible to everyone.

免费 IP 代理池。Scrapy 爬虫框架插件

👽 OneBlog，一个简洁美观、功能强大并且自适应的Java博客

admin ui for scrapy/open source scrapinghub

🚇暗网中文网监控爬虫(DEEPMIX)

新浪微博，微信，知乎，头条爬虫，支持新浪登录打码获取cookie实现登录

👉一个基于spring boot 实现的java股票爬虫(仅支持A股)，如果你❤️请⭐️ . V2升级版正在开发中！

dynamic crawler for web vulnerability scanner

INFO-SPIDER 是一个集众多数据源于一身的爬虫工具箱🧰，旨在安全快捷的帮助用户拿回自己的数据，工具代码开源，流程透明。支持数据源包括GitHub、QQ邮箱、网易邮箱、阿里邮箱、新浪邮箱、Hotmail邮箱、Outlook邮箱、京东、淘宝、支付宝、中国移动、中国联通、中国电信、知乎、哔哩哔哩、网易云音乐、QQ好友、QQ群、生成朋友圈相册、浏览器浏览历史、12306、博客园、CSDN博客、开源中国博客、简书。

🌟 powered by python3( simple learning of spider) 百度文库；网易云歌曲； 豆瓣电影； GitHub； 京东； QQ空间； 天气； vip解析助手； TED文本内容； wifi破解脚本； 必应图片设置为桌面等爬取

一个超级轻量的百度图片爬虫

京东口罩库存监控爬虫(非selenium)，扫码登录、查价、加购、下单、秒杀

API of DouYin for Humans used to Crawl Popular Videos and Musics

golang实现的爬虫框架，使用者只需关心页面规则，提供web管理界面。基于colly开发。

抓取网易云音乐热门评论

LSpider 一个为被动扫描器定制的前端爬虫

最简单的91porn爬虫php版本

163music spider by scrapy.

A Facebook crawler

BitTorrent DHT Protocol && DHT Spider.

带你了解一下Golang的市场行情

talospider - A simple,lightweight scraping micro-framework

基于python语言开发的千万级别搜索引擎

🎊 Design and implement of lightweight crawler framework.

Bittorrent dht network spider

geetest，滑动验证码

[WIP] GOPA, a spider written in Golang, for Elasticsearch. DEMO: http://index.elasticsearch.cn

A Python Bot for Scraping Conversations from Twitter

基于 RabbitMQ 中间件的爬虫的 Ruby 实现 [Developing]

这可能是爬百度文库最全的项目了

抖音API、抖音数据、抖音直播数据、抖音直播Api、抖音视频Api、抖音爬虫、抖音去水印、抖音视频下载、抖音视频解析、抖音直播监控、抖音数据采集