394 Open source projects that are alternatives of or similar to 51job Spider

Continuous scalable web crawler built on top of Flink and crawler-commons

An AliExpress spider for Node

A fast tool to fetch URLs from HTML attributes by crawl-in.

基于Scrapy框架的豆瓣电影爬虫

搜索你的知乎收藏：可以直观地浏览你的所有收藏夹的内容，并进行全文搜索

大众点评爬虫、API，可以进行单独城市、单独地区、单独商铺的爬取、搜索、多类型地区搜索、信息获取、提供MongoDB数据库存储支持，可以进行点评文本解密的爬取、存储

A Fast and Powerful Scraping and Web Crawling Framework.

A golang utility to spider through a website searching for additional links.

FofaMap是一款基于Python3开发的跨平台FOFA数据采集器，支持网站图标查询、批量查询和自定义查询FOFA数据，能够根据查询结果自动去重并生成对应的Excel表格。另外春节特别版还可以调用Nuclei对目标进行漏洞扫描，让你在挖洞路上快人一步。

Uno Crawler por https://douban.com

一个轻量级、快速、多线程、多管道、灵活配置的网络爬虫。

抖音接口、抖音API、抖音数据爬虫、抖音直播数据、抖音直播Api、抖音视频Api、抖音爬虫、抖音去水印、抖音视频下载、抖音视频解析、抖音直播监控、抖音数据采集

磁力網站U3C3介紹以及域名更新

将自动爬虫的结果判断是否属于hooks，并不断抓取url爬啊爬。

Web Scan Lazy Tools - Python Package

Go 抓取股票数据爬虫

百度贴吧爬虫(基于scrapy和mysql)

🎯Python 3 网络爬虫实战、数据分析合集 | 当当 | 网易云音乐 | unsplash | 必胜客 | 猫眼 |

🕷 A lightning fast multithreaded network scanner framework with modules.

A django admin site for scrapy

中国银行外汇牌价爬虫 / API (Bank of China - Foreign Exchange - Spider/ API)

A DHT Spider allows you to sniff the torrents and magnets.You can download them directly.

📰 A responsive interface of Hacker News with summaries and thumbnails.

爬虫Demo，基于Python实现

PTT 圖片下載器 (抓取整個看板的圖片，並用文章標題作為資料夾的名稱 ) (使用Scrapy)

今日头条科技新闻接口爬虫

一个基于Scrapy的数据采集爬虫代码库

一个基于webmagic框架二次开发的java爬虫框架实战，已实现能爬取腾讯，搜狐，今日头条（单独集成功能）等资讯内容，配合elasticsearch框架用法，实现了自动爬虫，已投入线上生产使用。

🍰 一个可视化的爬虫平台

微信公众号爬虫，公众号历史文章，文章评论，文章阅读及在看数据，可视化web页面，可部署于Windows服务器。基于Python3之flask/mysql/redis/mitmproxy/pywin32等实现，高效微信爬虫，微信公众号爬虫，历史文章，文章评论，数据更新。

各大网站逆向demo。企名片、震坤行工业超市、天翼云登录、物超所值、瓜子二手车、马蜂窝、中华诗词库、澳门彩票、药智网、福建省招标投标在线监管平台、全国公共资源交易平台、问卷星、中国人民银行条法司、中华人民共和国公安部、AqiStudy、巨量星图、HeyTap、掌上高考、船讯网、百度指数、今日头条、知乎、七麦数据、途牛、七猫小说、企查查、同花顺、网易云音乐、拉勾招聘、玩物得志、房天下

🔧 🔩 🔨 收集整理了爬虫相关的工具、模拟登陆技术、代理IP、scrapy模板代码等内容。

High performance crawler for Nodejs

Every web site provides APIs.

A simple and flexible web crawler framework for java.

一款信息泄漏利用工具，适用于.git/.svn源代码泄漏和.DS_Store泄漏

新浪微博，微信，知乎，头条爬虫，支持新浪登录打码获取cookie实现登录

golang实现的爬虫框架，使用者只需关心页面规则，提供web管理界面。基于colly开发。

talospider - A simple,lightweight scraping micro-framework

DHT磁力链接magnet BT搜索引擎，纯Python开发

网易云音乐 api(第三方)

爬取网易云音乐所有歌曲的评论数

Extracting and parsing structured data with jQuery Selector, XPath or JsonPath from common web format like HTML, XML and JSON.

图书馆书蜗App自动化脚本（抢坐 & 续借）

Collection of scrapy spiders which can scrape posts, images, and so on from public Facebook Pages.

爬蟲極簡教學（fetch, parse, search, multiprocessing, API）- PTT 為例

download document from book118 for free

一键清除失效微博转发/微博收藏爬虫 (Auto delete invalid Weibo Favorites)

V2EX爬虫

Nodejs demo

一个基于Glang语言开发的站群系统（蜘蛛池系统）

Generating spiders dynamically to crawl and check those free proxy ip on the internet with scrapy.

一些爬虫开发的技巧和案例

A set of spiders and scrapers to extract location information from places that post their location on the internet.

🐛一只登录正方教务管理系统，爬取数据的小爬虫

🎊 Design and implement of lightweight crawler framework.

Bittorrent dht network spider

geetest，滑动验证码

[WIP] GOPA, a spider written in Golang, for Elasticsearch. DEMO: http://index.elasticsearch.cn

A Python Bot for Scraping Conversations from Twitter