2491 Open source projects that are alternatives of or similar to Bilibili_member_crawler

Web crawler.

直接通过链家 API 抓取数据的极速爬虫，宇宙最快~~ 🚀

Golang爬虫 爬取汽车之家 二手车产品库

Live-scraping pastebin to fight boredom.

Powerful web scraping framework for Crystal

Elegant Scraper and Crawler Framework for Golang

🕷️用于爬取B站前top100的小视频

👾 Fast and simple video download library and CLI tool written in Go

Bilibili.com视频批量下载工具包

Python package to download files on any topic in bulk.

微博话题关键词,个人微博采集, 微博博文一键删除 selenium获取cookie,requests处理

整合第三方网站的视频和弹幕资源, 为白嫖党提供最佳看番追剧体验

JavaScript + BeautifulSoup = JSSoup

🐛一只登录正方教务管理系统，爬取数据的小爬虫

一个轻量级、快速、多线程、多管道、灵活配置的网络爬虫。

[WIP] GOPA, a spider written in Golang, for Elasticsearch. DEMO: http://index.elasticsearch.cn

🍰 一个可视化的爬虫平台

一个灵活、友好的爬虫框架

golang实现的爬虫框架，使用者只需关心页面规则，提供web管理界面。基于colly开发。

知乎模拟登录，支持提取验证码和保存 Cookies

High performance crawler for Nodejs

Fresh Onions is an open source TOR spider / hidden service onion crawler hosted at zlal32teyptf4tvi.onion

快速、简洁且强大的PHP爬虫框架

新一代爬虫平台，以图形化方式定义爬虫流程，不写代码即可完成爬虫。

今日头条机器人，支持用户登陆、关注、取消关注、获取关注粉丝、发文、发悟空问答、点赞、评论、采集各种类型新闻讯息等，使用今日头条网页版API实现

OSINT Swiss Army Knife

a puppeteer walker 🕷 🕸

Crawly, a high-level web crawling & scraping framework for Elixir.

🕷️ The progressive PHP crawler framework! 优雅的渐进式PHP采集框架。

A distributed web crawler framework.（分布式爬虫框架XXL-CRAWLER）

A Facebook crawler

Simple but useful Python web scraping tutorial code.

The Prime Cross Site Request Forgery (CSRF) Audit and Exploitation Toolkit.

豆瓣电影top250、斗鱼爬取json数据以及爬取美女图片、淘宝、有缘、CrawlSpider爬取红娘网相亲人的部分基本信息以及红娘网分布式爬取和存储redis、爬虫小demo、Selenium、爬取多点、django开发接口、爬取有缘网信息、模拟知乎登录、模拟github登录、模拟图虫网登录、爬取多点商城整站数据、爬取微信公众号历史文章、爬取微信群或者微信好友分享的文章、itchat监听指定微信公众号分享的文章

🎓 中国大学MOOC、学堂在线、网易云课堂、好大学在线、爱课程 MOOC 课程下载。

带你了解一下Golang的市场行情

Some classic web crawler projects.一些经典的爬虫

Geziyor, a fast web crawling & scraping framework for Go. Supports JS rendering.

A high performance web crawler in Elixir.

🐾 Creeper - The Next Generation Crawler Framework (Go)

Dark Web OSINT Tool

哔哩哔哩的API调用模块

[DEPRECATED] Simple, flexible, delightful web crawler/spider package

Android应用市场网络爬虫

💐 Full Amazon Automatic Download

💖 High available distributed ip proxy pool, powerd by Scrapy and Redis

🏀 Python3 网络爬虫实战（部分含详细教程）猫眼 腾讯视频 豆瓣 研招网 微博 笔趣阁小说 百度热点 B站 CSDN 网易云阅读 阿里文学 百度股票 今日头条 微信公众号 网易云音乐 拉勾 有道 unsplash 实习僧 汽车之家 英雄联盟盒子 大众点评 链家 LPL赛程 台风 梦幻西游、阴阳师藏宝阁 天气 牛客网 百度文库 睡前故事 知乎 Wish

Tổng hợp script crawl dữ liệu từ các mạng xã hội & website tiếng Việt

BaiduSpider，一个爬取百度搜索结果的爬虫，目前支持百度网页搜索，百度图片搜索，百度知道搜索，百度视频搜索，百度资讯搜索，百度文库搜索，百度经验搜索和百度百科搜索。

Incredibly fast crawler designed for OSINT.

GOPA, a spider written in Go.（NOTE: this project moved to https://github.com/infinitbyte/gopa ）

Beanbun 是用 PHP 编写的多进程网络爬虫框架，具有良好的开放性、高可扩展性，基于 Workerman。

下载搜狗、百度、QQ输入法的词库文件的 python 爬虫，可用于构建不同行业的词汇库

AV 电影管理系统， avmoo , javbus , javlibrary 爬虫，线上 AV 影片图书馆，AV 磁力链接数据库，Japanese Adult Video Library,Adult Video Magnet Links - Japanese Adult Video Database

知乎用户公开个人信息爬虫, 能够爬取用户关注关系，基于Python、使用代理、多线程

🍿爬虫代理IP池(proxy pool) python🍟一个还ok的IP代理池

多线程知乎用户爬虫，基于python3

A collection of awesome web crawler,spider in different languages

Distributed web crawler admin platform for spiders management regardless of languages and frameworks. 分布式爬虫管理平台，支持任何语言和框架

python crawler spider