563 Open source projects that are alternatives of or similar to bilibili-smallvideo

抓取豆瓣，bilibili等中的电视剧、电影、动漫演员等信息

Bilibili.com视频批量下载工具包

APIs for loginning some websites by using requests.

📺 B 站全站视频信息爬虫

🧊 一个可爱且任性的 B 站视频下载器（bilili V2）

哔哩哔哩的API调用模块

带图形界面的哔哩哔哩漫画下载工具

滑动验证码，希望对你们有所帮助❤️

🍻 bilibili video (including bangumi) and danmaku downloader | B站视频（含番剧）、弹幕下载器

整合第三方网站的视频和弹幕资源, 为白嫖党提供最佳看番追剧体验

B站用户爬虫 好耶~是爬虫

B站3亿用户信息爬虫（mid号，昵称，性别，关注，粉丝，等级）

一个功能全面的微信读书爬虫 wereader

web spider built by puppeteer, support task-queue and task-scheduling by decorators，support nedb / mongodb, support data visualization; 基于puppeteer的web爬虫框架，提供灵活的任务队列管理调度方案，提供便捷的数据保存方案（nedb/mongodb），提供数据可视化和用户交互的实现方案

JavaScript + BeautifulSoup = JSSoup

多线程知乎用户爬虫，基于python3

A spider tapestry weaver

微信公众号爬虫

portia-dashboard is a visual web crawler based on scrapinghub/portia

稳健高效的评分制-针对性- IP代理池 + API服务，可以自己插入采集器进行代理IP的爬取，针对你的爬虫的一个或多个目标网站分别生成有效的IP代理数据库，支持MongoDB 4.0 使用 Python3.7（Scored IP proxy pool ,customise proxy data crawler can be added anytime）

admin ui for scrapy/open source scrapinghub

[Crawler/Scraper for Golang]🕷A lightweight distributed friendly Golang crawler framework.一个轻量的分布式友好的 Golang 爬虫框架。

Web app for Scrapyd cluster management, Scrapy log analysis & visualization, Auto packaging, Timer tasks, Monitor & Alert, and Mobile UI. DEMO 👉

项目已经移动至：https://github.com/BaiduSpider/BaiduSpider ！！ 一个爬取百度搜索结果的爬虫，目前支持百度网页搜索，百度图片搜索，百度知道搜索，百度视频搜索，百度资讯搜索，百度文库搜索，百度经验搜索和百度百科搜索。

零基础学习python爬虫

dynamic crawler for web vulnerability scanner

链家网和贝壳网房价爬虫，采集北京上海广州深圳等21个中国主要城市的房价数据（小区，二手房，出租房，新房），稳定可靠快速！支持csv,MySQL, MongoDB,Excel, json存储，支持Python2和3，图表展示数据，注释丰富 ，点星支持，仅供学习参考，请勿用于商业用途，后果自负。

小说精品屋是一个多平台（web、安卓app、微信小程序）、功能完善的屏幕自适应小说漫画连载系统，包含精品小说专区、轻小说专区和漫画专区。包括小说/漫画分类、小说/漫画搜索、小说/漫画排行、完本小说/漫画、小说/漫画评分、小说/漫画在线阅读、小说/漫画书架、小说/漫画阅读记录、小说下载、小说弹幕、小说/漫画自动采集/更新/纠错、小说内容自动分享到微博、邮件自动推广、链接自动推送到百度搜索引擎等功能。

🔞 JAVClub - 让你的大姐姐不再走丢

Elegant Scraper and Crawler Framework for Golang

scrapy spider for scraping imdb {movie_id: [recommended, ...]}

🕷️ The progressive PHP crawler framework! 优雅的渐进式PHP采集框架。

A Penetration Testing Framework, Information gathering tool & Website Vulnerability Scanner

A fast and powerfull dashboard (admin) finder

犇犇爬虫

🍿爬虫代理IP池(proxy pool) python🍟一个还ok的IP代理池

招聘网数据爬虫

book.zi5.me全站kindle电子书籍爬取，按照作者书籍名分类，每本书有mobi和equb两种格式，采用分布式进行全站爬取

🐧 以“标签”形式对Linux的命令进行的梳理

A Laravel wrapper for CrawlerDetect - the web crawler detection library

💐Marmot | Web Crawler/HTTP protocol Download Package 🐭

裁判文书网爬虫

sync playlist between music platform

My Python Script

A simple distributed crawler for zhihu && data analysis

Web Scraping Framework

一个简单的基于DHT协议的BT磁力链接爬虫

京东口罩库存监控爬虫(非selenium)，扫码登录、查价、加购、下单、秒杀

破解JS反爬虫加密参数，已破解中国裁判文书网（2020-06-30更新），淘宝密码，天安保险登录，b站登录，房天下登录，WPS登录，微博登录，有道翻译，网易登录，微信公众号登录，空中网登录，今目标登录，学生信息管理系统登录，共赢金融登录，重庆科技资源共享平台登录，网易云音乐下载，一键解析视频链接，财联社登录。

疫情数据爬虫，2019新型冠状病毒数据仓库，轨迹数据，同乘数据，报道

Web crawler.

📖 爬取 Stackoverflow 100万 条问答并简单分析

owllook-小说搜索引擎

scala结合actor编写的分布式网络爬虫

爬虫集合

LSpider 一个为被动扫描器定制的前端爬虫

🥄 A package for building specific Proxy Pool for different Sites.

My Python Demo

🕵️‍♂️ LinkedIn profile scraper returning structured profile data in JSON. Works in 2020.

Python爬虫代理IP池(proxy pool)