394 Open source projects that are alternatives of or similar to Qzoneexporter

百度贴吧爬虫(基于scrapy和mysql)

PTT 圖片下載器 (抓取整個看板的圖片，並用文章標題作為資料夾的名稱 ) (使用Scrapy)

🕷 A lightning fast multithreaded network scanner framework with modules.

磁力網站U3C3介紹以及域名更新

将自动爬虫的结果判断是否属于hooks，并不断抓取url爬啊爬。

🎊 Design and implement of lightweight crawler framework.

中国银行外汇牌价爬虫 / API (Bank of China - Foreign Exchange - Spider/ API)

今日头条机器人，支持用户登陆、关注、取消关注、获取关注粉丝、发文、发悟空问答、点赞、评论、采集各种类型新闻讯息等，使用今日头条网页版API实现

一个轻量级、快速、多线程、多管道、灵活配置的网络爬虫。

Web Scan Lazy Tools - Python Package

[WIP] GOPA, a spider written in Golang, for Elasticsearch. DEMO: http://index.elasticsearch.cn

Go 抓取股票数据爬虫

An asynchronous enumeration & vulnerability scanner. Run all the tools on all the hosts.

大众点评爬虫、API，可以进行单独城市、单独地区、单独商铺的爬取、搜索、多类型地区搜索、信息获取、提供MongoDB数据库存储支持，可以进行点评文本解密的爬取、存储

Fresh Onions is an open source TOR spider / hidden service onion crawler hosted at zlal32teyptf4tvi.onion

A fast tool to fetch URLs from HTML attributes by crawl-in.

Bittorrent dht network spider

Uno Crawler por https://douban.com

新一代爬虫平台，以图形化方式定义爬虫流程，不写代码即可完成爬虫。

A Python Bot for Scraping Conversations from Twitter

geetest，滑动验证码

基于Scrapy框架的豆瓣电影爬虫

逆向app的sign等参数的思路和体验, 安卓逆向, 安卓破解, 逆向app,爬虫解密

Continuous scalable web crawler built on top of Flink and crawler-commons

A golang utility to spider through a website searching for additional links.

A set of spiders and scrapers to extract location information from places that post their location on the internet.

新浪微博，微信，知乎，头条爬虫，支持新浪登录打码获取cookie实现登录

天气爬虫（全国城镇天气自动定时抓取更新，并开放RESTful查询接口），附带代理IP池定时更新并检测其可用性

一个基于webmagic框架二次开发的java爬虫框架实战，已实现能爬取腾讯，搜狐，今日头条（单独集成功能）等资讯内容，配合elasticsearch框架用法，实现了自动爬虫，已投入线上生产使用。

小说下载|小说爬取|起点|笔趣阁|导出Markdown|导出txt|转换epub|广告过滤|自动校对

🔧 🔩 🔨 收集整理了爬虫相关的工具、模拟登陆技术、代理IP、scrapy模板代码等内容。

🔎 前程无忧 Python 招聘岗位信息爬取和分析

一款信息泄漏利用工具，适用于.git/.svn源代码泄漏和.DS_Store泄漏

Python爬虫，返回一定格式的信息，下载，使用flask提供简易api。抖音无水印、皮皮虾、快手、网易云音乐、qq音乐、咪咕音乐、荔枝FM音频、知乎视频、最右语音、视频、微博......

DHT磁力链接magnet BT搜索引擎，纯Python开发

爬取网易云音乐所有歌曲的评论数

图书馆书蜗App自动化脚本（抢坐 & 续借）

快速、简洁且强大的PHP爬虫框架

一键清除失效微博转发/微博收藏爬虫 (Auto delete invalid Weibo Favorites)

Every web site provides APIs.

Generating spiders dynamically to crawl and check those free proxy ip on the internet with scrapy.

🍻 bilibili video (including bangumi) and danmaku downloader | B站视频（含番剧）、弹幕下载器

🐛一只登录正方教务管理系统，爬取数据的小爬虫

Nodejs demo

今日头条科技新闻接口爬虫

🌭💦 91porn爬虫在线无限制API接口（永久有效，口令每日更新） 及 在线web预览

🍰 一个可视化的爬虫平台

微信公众号爬虫，公众号历史文章，文章评论，文章阅读及在看数据，可视化web页面，可部署于Windows服务器。基于Python3之flask/mysql/redis/mitmproxy/pywin32等实现，高效微信爬虫，微信公众号爬虫，历史文章，文章评论，数据更新。

各大网站逆向demo。企名片、震坤行工业超市、天翼云登录、物超所值、瓜子二手车、马蜂窝、中华诗词库、澳门彩票、药智网、福建省招标投标在线监管平台、全国公共资源交易平台、问卷星、中国人民银行条法司、中华人民共和国公安部、AqiStudy、巨量星图、HeyTap、掌上高考、船讯网、百度指数、今日头条、知乎、七麦数据、途牛、七猫小说、企查查、同花顺、网易云音乐、拉勾招聘、玩物得志、房天下

Kindle Book Maker with KindleGen, Make Book from RSS/single URL/directory and so on.

High performance crawler for Nodejs

golang实现的爬虫框架，使用者只需关心页面规则，提供web管理界面。基于colly开发。

A simple and flexible web crawler framework for java.

在线地址: http://119.23.223.90:8000

爬蟲極簡教學（fetch, parse, search, multiprocessing, API）- PTT 為例

✨ 使用Node监视支付宝订单，即时通知服务器以实现免签约支付接口

各种App、小程序、网站的请求签名或加密算法。 现已有：自如、小红书、蛋壳公寓、luckin coffee(瑞幸咖啡)、bangkokair(曼谷航空)

a reliable high-level web crawling & scraping framework for Node.js.

知乎模拟登录，支持提取验证码和保存 Cookies

📰 A responsive interface of Hacker News with summaries and thumbnails.