406 Open source projects that are alternatives of or similar to nodejs-meizitu

B站3亿用户信息爬虫（mid号，昵称，性别，关注，粉丝，等级）

🌭💦 91porn爬虫在线无限制API接口（永久有效，口令每日更新） 及 在线web预览

python 爬虫(amazon, confluence ...)

在线地址: http://119.23.223.90:8000

Digger is a powerful and flexible web crawler implemented by pure golang

天气爬虫（全国城镇天气自动定时抓取更新，并开放RESTful查询接口），附带代理IP池定时更新并检测其可用性

零基础学习python爬虫

🔎 前程无忧 Python 招聘岗位信息爬取和分析

微博超级话题爬虫，微博词频统计+情感分析+简单分类，新增肺炎超话爬取数据

爬取网易云音乐所有歌曲的评论数

新浪爬虫，基于Python+Selenium。模拟登陆后保存cookie，实现登录状态的保存。可以通过输入关键词来爬取到关键词相关的热门微博。

Every web site provides APIs.

feapder是一款支持分布式、批次采集、任务防丢、报警丰富的python爬虫框架

Nodejs demo

🤖 A server-side JavaScript wrapper for the Unsplash API

微信公众号爬虫，公众号历史文章，文章评论，文章阅读及在看数据，可视化web页面，可部署于Windows服务器。基于Python3之flask/mysql/redis/mitmproxy/pywin32等实现，高效微信爬虫，微信公众号爬虫，历史文章，文章评论，数据更新。

备份豆瓣计划

golang实现的爬虫框架，使用者只需关心页面规则，提供web管理界面。基于colly开发。

这可能是爬百度文库最全的项目了

爬蟲極簡教學（fetch, parse, search, multiprocessing, API）- PTT 為例

Lite version of Crawlab. 轻量版 Crawlab 爬虫管理平台

A set of spiders and scrapers to extract location information from places that post their location on the internet.

Ermöglicht das Gruppieren von Media-Manager-Typen und stellt eine Frontend-API (PictureTag) bereit.

一个基于webmagic框架二次开发的java爬虫框架实战，已实现能爬取腾讯，搜狐，今日头条（单独集成功能）等资讯内容，配合elasticsearch框架用法，实现了自动爬虫，已投入线上生产使用。

拼多多爬虫，爬取所有商品、评论等信息

🔧 🔩 🔨 收集整理了爬虫相关的工具、模拟登陆技术、代理IP、scrapy模板代码等内容。

正方教务管理系统学生版的自动登录、选课、信息获取

一款信息泄漏利用工具，适用于.git/.svn源代码泄漏和.DS_Store泄漏

获取免费socks/https/http代理的网站集合

DHT磁力链接magnet BT搜索引擎，纯Python开发

爬虫集合

A fast tool to fetch URLs from HTML attributes by crawl-in.

用爬虫爬取小说网站上所有小说，存储到数据库中，并用爬到的数据构建自己的小说网站

中国银行外汇牌价爬虫 / API (Bank of China - Foreign Exchange - Spider/ API)

这是一个用Python写的小说爬虫软件

Uno Crawler por https://douban.com

房价预测完整项目：1.爬取链家网数据 2.处理后，用sklearn中几个逻辑回归机器学习模型和keras神经网络搭建模型预测房价 最终结果神经网络效果更好，R^2值0.75左右

PTT 圖片下載器 (抓取整個看板的圖片，並用文章標題作為資料夾的名稱 ) (使用Scrapy)

直接通过链家 API 抓取数据的极速爬虫，宇宙最快~~ 🚀

A Python Bot for Scraping Conversations from Twitter

B站用户爬虫 好耶~是爬虫

一个轻量级、快速、多线程、多管道、灵活配置的网络爬虫。

NScrapy is a .net core corss platform Distributed Spider Framework which provide an easy way to write your own Spider

基于Scrapy框架的豆瓣电影爬虫

滑动验证码，希望对你们有所帮助❤️

将自动爬虫的结果判断是否属于hooks，并不断抓取url爬啊爬。

web spider built by puppeteer, support task-queue and task-scheduling by decorators，support nedb / mongodb, support data visualization; 基于puppeteer的web爬虫框架，提供灵活的任务队列管理调度方案，提供便捷的数据保存方案（nedb/mongodb），提供数据可视化和用户交互的实现方案

Continuous scalable web crawler built on top of Flink and crawler-commons

Unmaintained 🐳 ☕️ 🕷 Scala crawler(spider) framework, inspired by scrapy, created by @gaocegege

Go 抓取股票数据爬虫

A web crawler for Go

又一个 java 内容（pa）获取（chong）工具

A web spider framework

golang spider Crawler 爬虫 电影

一个php爬虫

徒手实现定时爬取知乎，从中发掘有价值的信息，并可视化爬取的数据作网页展示。

爬虫管理系统，支持集群，弹性伸缩。支持运行feapder、scrapy、selenium、playwright等各种框架及脚本

基于nodejs的网络聊天室、爬虫，vue音乐播放器，及php后台开发的管理系统等项目

My Python Demo

Gospider - Fast web spider written in Go