451 Open source projects that are alternatives of or similar to Douban_spider

some small project and some articles

抓取豆瓣，bilibili等中的电视剧、电影、动漫演员等信息

Golang爬虫 爬取豆瓣电影Top250

备份豆瓣计划

Get movie info from douban(豆瓣) and display in your terminal

最简单的91porn爬虫php版本

The archivist's web crawler: WARC output, dashboard for all crawls, dynamic ignore patterns

带你了解一下Golang的市场行情

开源的 Material Design 豆瓣客户端（A Material Design app for douban.com）

Gospider - Fast web spider written in Go

WeChat mini program examples. 微信小程序示例

🌺 Douban.FM Client With Extra - - - 一个简洁的豆瓣FM客户端。

抓取网易云音乐热门评论

哔哩哔哩的API调用模块

A Facebook crawler

越来越多的网站具有反爬虫特性，有的用图片隐藏关键数据，有的使用反人类的验证码，建立反反爬虫的代码仓库，通过与不同特性的网站做斗争（无恶意）提高技术。（欢迎提交难以采集的网站）（因工作原因，项目暂停）

A collection of awesome web crawler,spider in different languages

A versatile Ruby web spidering library that can spider a site, multiple domains, certain links or infinitely. Spidr is designed to be fast and easy to use.

🎬 基于Pyqt5的简单电影搜索工具

百度云网盘搜索引擎，包含爬虫 & 网站

大数据生态解决方案数据平台：基于大数据、数据平台、微服务、机器学习、商城、自动化运维、DevOps、容器部署平台、数据平台采集、数据平台存储、数据平台计算、数据平台开发、数据平台应用搭建的大数据解决方案。

👉一个基于spring boot 实现的java股票爬虫(仅支持A股)，如果你❤️请⭐️ . V2升级版正在开发中！

Crawly, a high-level web crawling & scraping framework for Elixir.

QQZone mood spider and analysis. QQ空间多线程爬虫和数据挖掘。提供线上服务，扫码登陆即可自动爬取和分析数据，还有网易云年度报告风格的数据展示；使用docker-compose打包程序，方便部署；额外提供QQ空间抽奖小程序。

A high performance web crawler in Elixir.

INFO-SPIDER 是一个集众多数据源于一身的爬虫工具箱🧰，旨在安全快捷的帮助用户拿回自己的数据，工具代码开源，流程透明。支持数据源包括GitHub、QQ邮箱、网易邮箱、阿里邮箱、新浪邮箱、Hotmail邮箱、Outlook邮箱、京东、淘宝、支付宝、中国移动、中国联通、中国电信、知乎、哔哩哔哩、网易云音乐、QQ好友、QQ群、生成朋友圈相册、浏览器浏览历史、12306、博客园、CSDN博客、开源中国博客、简书。

📺 B 站全站视频信息爬虫

NetDiscovery 是一款基于 Vert.x、RxJava 2 等框架实现的通用爬虫框架/中间件。

🐾 Creeper - The Next Generation Crawler Framework (Go)

A distributed web crawler framework.（分布式爬虫框架XXL-CRAWLER）

Seeker - another job board aggregator.

爬取百度百科中文页面，抽取三元组信息，构建中文知识图谱

📰 Brazilian government gazettes, accessible to everyone.

The Prime Cross Site Request Forgery (CSRF) Audit and Exploitation Toolkit.

A python web scraper for public email lists.

💖 High available distributed ip proxy pool, powerd by Scrapy and Redis

👽 OneBlog，一个简洁美观、功能强大并且自适应的Java博客

Web 端反爬技术方案

Dark Web OSINT Tool

Douban book website demo by server side render

🚇暗网中文网监控爬虫(DEEPMIX)

QQ空间导出助手，用于备份QQ空间的说说、日志、私密日记、相册、视频、留言板、QQ好友、收藏夹、分享、最近访客为文件，便于迁移与保存

A golang spider

汤不热 python 多线程爬虫

A multi-thread crawler framework with many builtin image crawlers provided.

Python的基础练习代码与各种爬虫代码

Word2vec 千人千面 个性化搜索 + Scrapy2.3.0(爬取数据) + ElasticSearch7.9.1(存储数据并提供对外Restful API) + Django3.1.1 搜索

Html网页正文提取

豆瓣电影top250、斗鱼爬取json数据以及爬取美女图片、淘宝、有缘、CrawlSpider爬取红娘网相亲人的部分基本信息以及红娘网分布式爬取和存储redis、爬虫小demo、Selenium、爬取多点、django开发接口、爬取有缘网信息、模拟知乎登录、模拟github登录、模拟图虫网登录、爬取多点商城整站数据、爬取微信公众号历史文章、爬取微信群或者微信好友分享的文章、itchat监听指定微信公众号分享的文章

今日热榜，一个获取各大热门网站热门头条的聚合网站，使用Go语言编写，多协程异步快速抓取信息，预览:https://mo.fish

Javlibrary spider

✨ 知乎日报 - 爬虫、数据分析、Node.js、Vue.js ...

A Burp Suite Extension that try to find all sub-domain, similar-domain and related-domain of an organization automatically! 基于流量自动收集整个企业或组织的子域名、相似域名、相关域名的burp插件

豆瓣电影/豆瓣读书 Scarpy 爬虫

OSINT Swiss Army Knife

豆瓣妹子图iOS客户端

一个超级轻量的百度图片爬虫

跨平台的京东全能工具包 仅供学习使用，技术交流群：108934299

扒网站工具，看好哪个网站，指定好URL，自动扒下来做成模版。所见网站，皆可为我所用！

Free Web Scraping Tool with Java