451 Open source projects that are alternatives of or similar to Douban_spider

新一代爬虫平台，以图形化方式定义爬虫流程，不写代码即可完成爬虫。

🐾 Creeper - The Next Generation Crawler Framework (Go)

a reliable high-level web crawling & scraping framework for Node.js.

A distributed web crawler framework.（分布式爬虫框架XXL-CRAWLER）

Fresh Onions is an open source TOR spider / hidden service onion crawler hosted at zlal32teyptf4tvi.onion

Seeker - another job board aggregator.

Visualize your reading history.

爬取百度百科中文页面，抽取三元组信息，构建中文知识图谱

今日头条机器人，支持用户登陆、关注、取消关注、获取关注粉丝、发文、发悟空问答、点赞、评论、采集各种类型新闻讯息等，使用今日头条网页版API实现

📰 Brazilian government gazettes, accessible to everyone.

逆向app的sign等参数的思路和体验, 安卓逆向, 安卓破解, 逆向app,爬虫解密

The Prime Cross Site Request Forgery (CSRF) Audit and Exploitation Toolkit.

知乎模拟登录，支持提取验证码和保存 Cookies

A python web scraper for public email lists.

An asynchronous enumeration & vulnerability scanner. Run all the tools on all the hosts.

💖 High available distributed ip proxy pool, powerd by Scrapy and Redis

🎊 Design and implement of lightweight crawler framework.

👽 OneBlog，一个简洁美观、功能强大并且自适应的Java博客

微信小程序-豆瓣电影

Web 端反爬技术方案

Every web site provides APIs.

Dark Web OSINT Tool

🕷 A lightning fast multithreaded network scanner framework with modules.

Douban book website demo by server side render

geetest，滑动验证码

🚇暗网中文网监控爬虫(DEEPMIX)

Web Scan Lazy Tools - Python Package

QQ空间导出助手，用于备份QQ空间的说说、日志、私密日记、相册、视频、留言板、QQ好友、收藏夹、分享、最近访客为文件，便于迁移与保存

golang实现的爬虫框架，使用者只需关心页面规则，提供web管理界面。基于colly开发。

A golang spider

A golang utility to spider through a website searching for additional links.

汤不热 python 多线程爬虫

💿 A simple plugin for hexo that helps us generate pages for douban books ,movies and games.

A multi-thread crawler framework with many builtin image crawlers provided.

A set of spiders and scrapers to extract location information from places that post their location on the internet.

Python的基础练习代码与各种爬虫代码

一个基于webmagic框架二次开发的java爬虫框架实战，已实现能爬取腾讯，搜狐，今日头条（单独集成功能）等资讯内容，配合elasticsearch框架用法，实现了自动爬虫，已投入线上生产使用。

Word2vec 千人千面 个性化搜索 + Scrapy2.3.0(爬取数据) + ElasticSearch7.9.1(存储数据并提供对外Restful API) + Django3.1.1 搜索

🔧 🔩 🔨 收集整理了爬虫相关的工具、模拟登陆技术、代理IP、scrapy模板代码等内容。

Html网页正文提取

一款信息泄漏利用工具，适用于.git/.svn源代码泄漏和.DS_Store泄漏

豆瓣电影top250、斗鱼爬取json数据以及爬取美女图片、淘宝、有缘、CrawlSpider爬取红娘网相亲人的部分基本信息以及红娘网分布式爬取和存储redis、爬虫小demo、Selenium、爬取多点、django开发接口、爬取有缘网信息、模拟知乎登录、模拟github登录、模拟图虫网登录、爬取多点商城整站数据、爬取微信公众号历史文章、爬取微信群或者微信好友分享的文章、itchat监听指定微信公众号分享的文章

DHT磁力链接magnet BT搜索引擎，纯Python开发

今日热榜，一个获取各大热门网站热门头条的聚合网站，使用Go语言编写，多协程异步快速抓取信息，预览:https://mo.fish

图书馆书蜗App自动化脚本（抢坐 & 续借）

Javlibrary spider

一键清除失效微博转发/微博收藏爬虫 (Auto delete invalid Weibo Favorites)

✨ 知乎日报 - 爬虫、数据分析、Node.js、Vue.js ...

一个基于豆瓣、IMDB、烂番茄评分的电影电视剧双语(中英)数据api接口

A Burp Suite Extension that try to find all sub-domain, similar-domain and related-domain of an organization automatically! 基于流量自动收集整个企业或组织的子域名、相似域名、相关域名的burp插件

PTT 圖片下載器 (抓取整個看板的圖片，並用文章標題作為資料夾的名稱 ) (使用Scrapy)

OSINT Swiss Army Knife

A Python Bot for Scraping Conversations from Twitter

豆瓣妹子图iOS客户端

今日头条科技新闻接口爬虫

Free Web Scraping Tool with Java

QQ空间爬虫，可导出并显示日志、相册、留言板、说说、照片、视频等数据。

✨ 使用Node监视支付宝订单，即时通知服务器以实现免签约支付接口

扒网站工具，看好哪个网站，指定好URL，自动扒下来做成模版。所见网站，皆可为我所用！

A python3 package for writing spider more easily.