451 Open source projects that are alternatives of or similar to Douban_crawler

Get movie info from douban(豆瓣) and display in your terminal

some small project and some articles

抓取豆瓣，bilibili等中的电视剧、电影、动漫演员等信息

Golang爬虫 爬取豆瓣电影Top250

一个简单的豆瓣信息爬虫😄

“想学吗”个人知识管理与自媒体营销工具

又一个 java 内容（pa）获取（chong）工具

爬取CSDN上的博客文章

Geziyor, a fast web crawling & scraping framework for Go. Supports JS rendering.

房价预测完整项目：1.爬取链家网数据 2.处理后，用sklearn中几个逻辑回归机器学习模型和keras神经网络搭建模型预测房价 最终结果神经网络效果更好，R^2值0.75左右

A web crawler (for bug hunting) that gathers more than you can imagine.

Download images from Google, Bing, Baidu. 谷歌、百度、必应图片下载.

GOPA, a spider written in Go.（NOTE: this project moved to https://github.com/infinitbyte/gopa ）

Unmaintained 🐳 ☕️ 🕷 Scala crawler(spider) framework, inspired by scrapy, created by @gaocegege

知乎用户公开个人信息爬虫, 能够爬取用户关注关系，基于Python、使用代理、多线程

一些非常有趣的python爬虫例子,对新手比较友好,主要爬取淘宝、天猫、微信、豆瓣、QQ等网站。(Some interesting examples of python crawlers that are friendly to beginners. )

知乎爬虫程序，定时跟踪问题数据，定时推送热门话题

🕷招聘网站爬虫合集，不定期更新分支

capture pictures from website like sina, lofter, huaban and so on

爬取微信公众号文章

Yet Another Web Spider

日常小脚本，懒人欢乐多。

Powerful web scraping framework for Crystal

📚 PaperPlane - An Android reading app, including articles from Zhihu Daily, Guokr Handpick and Douban Moment.

B站用户爬虫 好耶~是爬虫

The Resources for "Natural Language to Logical Form" ; "自然语言转逻辑形式"研究资料收集。

豆芽 API Key 设置向导

抖音 SDK，数据采集，爬虫抓取不是梦

抖音API、抖音数据、抖音直播数据、抖音直播Api、抖音视频Api、抖音爬虫、抖音去水印、抖音视频下载、抖音视频解析、抖音直播监控、抖音数据采集

经济责任审计知识图谱：网络爬虫、关系抽取、领域词汇判定

用爬虫爬取小说网站上所有小说，存储到数据库中，并用爬到的数据构建自己的小说网站

🕷some website spider application base on proxy pool (support http & websocket)

爬取北大法宝网http://www.pkulaw.cn/Case/

Simple, clear and fast Web Crawler framework build on python3.6+, powered by asyncio.

拼多多爬虫，爬取所有商品、评论等信息

简简单单spider

BaiduSpider，一个爬取百度搜索结果的爬虫，目前支持百度网页搜索，百度图片搜索，百度知道搜索，百度视频搜索，百度资讯搜索，百度文库搜索，百度经验搜索和百度百科搜索。

GUI of AlipayOrdersSupervisor, implemented in Java and Swing

Automatic Robot for Douban | 豆瓣机器人：自动加入/退出小组、自动在小组发帖/删帖、自动回复

a puppeteer walker 🕷 🕸

lots of spider (很多爬虫）

Some classic web crawler projects.一些经典的爬虫

Lite version of Crawlab. 轻量版 Crawlab 爬虫管理平台

python crawler spider

🕷 CrawlerDetect is a PHP class for detecting bots/crawlers/spiders via the user agent

AlipaySpider on Scrapy(use chrome driver); 支付宝爬虫(基于Scrapy)

Python爬虫和Flask实现小说网站

Nodejs实现的一个磁力链接爬虫 http://findit.keenwon.com (原域名http://findit.so )

蓝天采集器是一款免费的数据采集发布爬虫软件，采用php+mysql开发，可部署在云服务器，几乎能采集所有类型的网页，无缝对接各类CMS建站程序，免登录实时发布数据，全自动无需人工干预！是网页大数据采集软件中完全跨平台的云端爬虫系统

爬虫案例合集。包括但不限于《淘宝、京东、天猫、豆瓣、抖音、快手、微博、微信、阿里、头条、pdd、优酷、爱奇艺、携程、12306、58、搜狐、百度指数、维普万方、Zlibraty、Oalib、小说、招标网、采购网、小红书》

获取免费socks/https/http代理的网站集合

Cross Platform C# Web crawler framework, headless browser, parallel crawler. Please star this project! +1.

整合第三方网站的视频和弹幕资源, 为白嫖党提供最佳看番追剧体验

小说精品屋-plus是一个多端（PC、WAP）阅读、功能完善的原创文学CMS系统，由前台门户系统、作家后台管理系统、平台后台管理系统、爬虫管理系统等多个子系统构成，支持多模版、会员充值、订阅模式、新闻发布和实时统计报表等功能，新书自动入库，老书自动更新。

Python多线程下载 草榴(t66y.com) 网站【新時代的我們】和【達蓋爾的旗幟】两个板块帖子内的图片

一个简单的分布式爬虫框架

Testing Using Python Demo. 使用Python测试脚本demo。

Your web font utility belt. It can subset web fonts. It can find unicode-ranges for you automatically. It makes julienne fries.

Async Python 3.6+ web scraping micro-framework based on asyncio

[https://www.sofineday.com], golang项目开发脚手架,集成最佳实践(gin+gorm+go-redis+mongo+cors+jwt+json日志库zap(支持日志收集到kafka或mongo)+消息队列kafka+微信支付宝支付gopay+api加密+api反向代理+go modules依赖管理+headless爬虫chromedp+makefile+二进制压缩+livereload热加载)