394 Open source projects that are alternatives of or similar to bangumi_yearly_report

犇犇爬虫

爬虫集合

🕷️ A simple crawler (spider) writen in php just for fun, with zero dependencies

Dynamic configurable crawl (动态可配置化爬虫)

admin ui for scrapy/open source scrapinghub

Text-to-SQL in the Wild: A Naturally-Occurring Dataset Based on Stack Exchange Data

scrapy spider for scraping imdb {movie_id: [recommended, ...]}

Grabs all of the audio files from all of the Blinkist books

web spider built by puppeteer, support task-queue and task-scheduling by decorators，support nedb / mongodb, support data visualization; 基于puppeteer的web爬虫框架，提供灵活的任务队列管理调度方案，提供便捷的数据保存方案（nedb/mongodb），提供数据可视化和用户交互的实现方案

This taobao spider has been archived

Iota is a web scraper which can find all of the images and links/suburls on a webpage

京东口罩库存监控爬虫(非selenium)，扫码登录、查价、加购、下单、秒杀

该项目是一个使用celery作为主体框架的爬虫应用，能够灵活的添加爬虫任务，并且同时运行多站点的爬虫工作，所有组件都能够原生支持规模并发和分布式，加上celery原生的分布式调用，实现大规模并发。

裁判文书网爬虫

Generate an object for testing if a request is sent, request is Mikeal's request.

scala结合actor编写的分布式网络爬虫

A spider on Dcard. Strong and speedy.

零基础学习python爬虫

🚀「Douyin_TikTok_Download_API」是一个开箱即用的高性能异步抖音|TikTok数据爬取工具，支持API调用，在线批量解析及下载。

直接通过链家 API 抓取数据的极速爬虫，宇宙最快~~ 🚀

文章采集工具 Article collection tool

微信公众号爬虫

bet365 bot: bet365的比赛实时比分数据、实时赔率

dynamic crawler for web vulnerability scanner

A spiders' program for weixin which made by Express & cheerio

基于nodejs的网络聊天室、爬虫，vue音乐播放器，及php后台开发的管理系统等项目

Web crawler.

蜘蛛纸牌 for mac

Crawling GitHub Trending Pages every day

图片爬取下载工具，极速爬取下载 站酷https://www.zcool.com.cn/, CNU 视觉 http://www.cnu.cc/ 设计师/用户 上传的 图片/照片/插画。

🕷️用于爬取B站前top100的小视频

Your web font utility belt. It can subset web fonts. It can find unicode-ranges for you automatically. It makes julienne fries.

资讯爬虫App

爬虫管理系统，支持集群，弹性伸缩。支持运行feapder、scrapy、selenium、playwright等各种框架及脚本

项目已经移动至：https://github.com/BaiduSpider/BaiduSpider ！！ 一个爬取百度搜索结果的爬虫，目前支持百度网页搜索，百度图片搜索，百度知道搜索，百度视频搜索，百度资讯搜索，百度文库搜索，百度经验搜索和百度百科搜索。

妹子图

超高速异步协程Python爬虫

python 爬虫(amazon, confluence ...)

A spider tapestry weaver

⭐ 图虫网爬虫

一个简单的基于DHT协议的BT磁力链接爬虫

客户端爬虫安卓端demo

Google search results crawler, get google search results that you need

gathertool是golang脚本化开发库，目的是提高对应场景程序开发的效率；轻量级爬虫库，接口测试&压力测试库，DB操作库等。

🔞 JAVClub - 让你的大姐姐不再走丢

这可能是爬百度文库最全的项目了

A Penetration Testing Framework, Information gathering tool & Website Vulnerability Scanner

基于Electron爬虫程序

招聘网数据爬虫

日常爬虫

A Laravel wrapper for CrawlerDetect - the web crawler detection library

Grapy, a fast high-level web crawling framework for Python 3.3 or later base on asyncio.

sync playlist between music platform

这是一个用Python写的小说爬虫软件

爬虫工程师常用的 Chrome 插件 | Chrome extensions used by crawler developer

利用墨墨背单词的分享功能拿每日20个的单词上限奖励（多线程

some small project and some articles

Golang module to detect bots and crawlers via the user agent

A web crawler for Go

⚡ Light weight Golang spider framework | 轻量的 Golang 爬虫框架