All Projects → Shell32-Natsu → bangumi_yearly_report

Shell32-Natsu / bangumi_yearly_report

Licence: other
No description or website provided.

Programming Languages

HTML
75241 projects
python
139335 projects - #7 most used programming language
go
31211 projects - #10 most used programming language
shell
77523 projects

Labels

Projects that are alternatives of or similar to bangumi yearly report

sede
Text-to-SQL in the Wild: A Naturally-Occurring Dataset Based on Stack Exchange Data
Stars: ✭ 83 (+245.83%)
Mutual labels:  spider
blinkist-m4a-downloader
Grabs all of the audio files from all of the Blinkist books
Stars: ✭ 100 (+316.67%)
Mutual labels:  spider
TikTokDownloader PyWebIO
🚀「Douyin_TikTok_Download_API」是一个开箱即用的高性能异步抖音|TikTok数据爬取工具,支持API调用,在线批量解析及下载。
Stars: ✭ 919 (+3729.17%)
Mutual labels:  spider
DeadPool
该项目是一个使用celery作为主体框架的爬虫应用,能够灵活的添加爬虫任务,并且同时运行多站点的爬虫工作,所有组件都能够原生支持规模并发和分布式,加上celery原生的分布式调用,实现大规模并发。
Stars: ✭ 38 (+58.33%)
Mutual labels:  spider
bet365-websocket-crawler
bet365 bot: bet365的比赛实时比分数据、实时赔率
Stars: ✭ 67 (+179.17%)
Mutual labels:  spider
seenreq
Generate an object for testing if a request is sent, request is Mikeal's request.
Stars: ✭ 42 (+75%)
Mutual labels:  spider
dcard-spider
A spider on Dcard. Strong and speedy.
Stars: ✭ 91 (+279.17%)
Mutual labels:  spider
DSpiderDemo-Android
客户端爬虫安卓端demo
Stars: ✭ 43 (+79.17%)
Mutual labels:  spider
crawlBaiduWenku
这可能是爬百度文库最全的项目了
Stars: ✭ 63 (+162.5%)
Mutual labels:  spider
small-spider-project
日常爬虫
Stars: ✭ 14 (-41.67%)
Mutual labels:  spider
SpiderCard
蜘蛛纸牌 for mac
Stars: ✭ 29 (+20.83%)
Mutual labels:  spider
Novel-crawler
这是一个用Python写的小说爬虫软件
Stars: ✭ 75 (+212.5%)
Mutual labels:  spider
scraper
图片爬取下载工具,极速爬取下载 站酷https://www.zcool.com.cn/, CNU 视觉 http://www.cnu.cc/ 设计师/用户 上传的 图片/照片/插画。
Stars: ✭ 64 (+166.67%)
Mutual labels:  spider
glyphhanger
Your web font utility belt. It can subset web fonts. It can find unicode-ranges for you automatically. It makes julienne fries.
Stars: ✭ 422 (+1658.33%)
Mutual labels:  spider
feaplat
爬虫管理系统,支持集群,弹性伸缩。支持运行feapder、scrapy、selenium、playwright等各种框架及脚本
Stars: ✭ 42 (+75%)
Mutual labels:  spider
spider-mzitu
妹子图
Stars: ✭ 13 (-45.83%)
Mutual labels:  spider
spider
python 爬虫(amazon, confluence ...)
Stars: ✭ 21 (-12.5%)
Mutual labels:  spider
MoMo
利用墨墨背单词的分享功能拿每日20个的单词上限奖励(多线程
Stars: ✭ 45 (+87.5%)
Mutual labels:  spider
goSpider
some small project and some articles
Stars: ✭ 56 (+133.33%)
Mutual labels:  spider
crawlerdetect
Golang module to detect bots and crawlers via the user agent
Stars: ✭ 22 (-8.33%)
Mutual labels:  spider

根据Bangumi的时光机数据生成年鉴。

用法

usage: bangumi_report.py [-h] -u USER_ID [-m MAX_CONN] [-y YEAR] [-t TYPE] [-d] [--version] [-s] [-md]

-u/--user_id:指定要抓取的用户ID
-m/--max_conn:最大下载线程数
-y/--year:要生成的年份,默认为2017年。设为all将会生成所有年份
-t/--type:要抓取的的数据类型,默认为anime
-s/--saveimg: 下载图片至本地
-q/--quiet:不产生任何日志
-o/--stdout:生成的HTML将不会写入文件而是输出到stdout
-md/--markdown:生成Markdown文件,不包含图片

输出文件为HTML或MD文件不会写前端,太丑不用在意。文件名:[user_id]-[year]-[type]-report.[html|md]

Demo (HTML)

2017年

All

Sample (Markdown)

2017年

All

依赖

  • Requests
  • Jinja2 (只生成Markdown自动忽略此依赖)

Go Server

用刚学了两天的Go写了一个简单的HTTP server,这个脚本终于有在线版本了。但是实际上还是运行了Python脚本来生成的。

本来是想用BGM新增加的官方API来用Go把这个脚本重写一遍,结果发现官方API没有获取全部列表的功能,只能继续用原来的脚本了。我在Go server里面都实现好了OAuth Callback和简单的数据库了发现没有卵用,以备后用还是留着吧😂

地址:http://bgm.xiadong.info/report/[username]

Note that the project description data, including the texts, logos, images, and/or trademarks, for each open source project belongs to its rightful owner. If you wish to add or remove any projects, please contact us at [email protected].