chengyumeng / Spider163
Licence: mit
抓取网易云音乐热门评论
Stars: ✭ 569
Programming Languages
python
139335 projects - #7 most used programming language
Labels
Projects that are alternatives of or similar to Spider163
Qzoneexport
QQ空间导出助手，用于备份QQ空间的说说、日志、私密日记、相册、视频、留言板、QQ好友、收藏夹、分享、最近访客为文件，便于迁移与保存
Stars: ✭ 456 (-19.86%)
Mutual labels: spider
Xsrfprobe
The Prime Cross Site Request Forgery (CSRF) Audit and Exploitation Toolkit.
Stars: ✭ 532 (-6.5%)
Mutual labels: spider
Qqzonemood
QQZone mood spider and analysis. QQ空间多线程爬虫和数据挖掘。提供线上服务，扫码登陆即可自动爬取和分析数据，还有网易云年度报告风格的数据展示；使用docker-compose打包程序，方便部署；额外提供QQ空间抽奖小程序。
Stars: ✭ 439 (-22.85%)
Mutual labels: spider
Bdp Dataplatform
大数据生态解决方案数据平台：基于大数据、数据平台、微服务、机器学习、商城、自动化运维、DevOps、容器部署平台、数据平台采集、数据平台存储、数据平台计算、数据平台开发、数据平台应用搭建的大数据解决方案。
Stars: ✭ 456 (-19.86%)
Mutual labels: spider
Awesome Crawler
A collection of awesome web crawler,spider in different languages
Stars: ✭ 4,793 (+742.36%)
Mutual labels: spider
Toplist
今日热榜，一个获取各大热门网站热门头条的聚合网站，使用Go语言编写，多协程异步快速抓取信息，预览:https://mo.fish
Stars: ✭ 4,331 (+661.16%)
Mutual labels: spider
Xxl Crawler
A distributed web crawler framework.（分布式爬虫框架XXL-CRAWLER）
Stars: ✭ 561 (-1.41%)
Mutual labels: spider
Haipproxy
💖 High available distributed ip proxy pool, powerd by Scrapy and Redis
Stars: ✭ 4,993 (+777.5%)
Mutual labels: spider
spider163
GitHub上最易用的网易云音乐爬虫系统
安装模块
- 第一步：指定SPIDER163_PATH环境变量，缺省情况下为$HOME/spider163
- 第二步：把默认配置文件spider163.conf拷贝到SPIDER163_PATH下，并配置数据库
- 第三步：pip install spider163
- spider163 --help
历史文档
- 不重要，2018年spider163发布的5个版本
- Spider163同时支持python2.x和python3.x的演进之路
- Spider163支持下载网易付费歌曲了
- 非重磅 | 网易云音乐爬虫Spider163更新v2.0
- ...
使用指南
$ spider163 initdb
$ # 根据配置文件的数据库信息自动创建数据库表，删除全部数据通过resetdb实现
$ spider163 resetdb
$ # 重建相关数据库
$ spider163 updatedb
$ # 根据时间重置过期数据重新抓取
$ spider163 classify
$ # 获取已知曲风列表
$ spider163 playlist
$ # 默认下载全部推荐歌单（1000+），也可以通过指定页码去下载（-p=1）,以及歌曲风格（--classify=小语种，默认为全部）
$ spider163 mp3 --playlist=2033391777
$ # 默认下载指定歌单列表内的全部包含版权的歌曲
$ spider163 music
$ # 默认下载10个歌单的歌曲数据，也可以通过指定循环大小（-c=2）来下载10 * c 个歌单内歌曲
$ spider163 comment
$ # 默认根据数据库存储的未下载歌曲随机下载一首单曲的评论，也可以通过-c指定需要下载的单曲数量和-s强制指定歌曲id
$ # spider163 comment -c 10 | spider163 comment -s 209115
$ spider163 lyric --count=10
$ # 抓取10首音乐的歌词，可以通过制定歌曲ID抓取特定一首音乐（--song）
$ spider163 search -q="林依晨"
$ # 搜索功能（待完善，暂支持歌曲搜索）
$ spider163 get -s 209115
$ # 阅读歌曲基本信息、歌词、热评
$ spider163 get --playlist 922064582
$ # 获取歌单的基本信息、歌曲等
$ spider163 doc --playlist 922064582
$ # 歌单/歌曲信息汇总成word文档
$ spider163 top50 --playlist 922064582 --username=xxx --password=xxx
$ # 创建TOP 50 歌单
TODO
欢迎关注微信公众账号：程天写代码
Note that the project description data, including the texts, logos, images, and/or trademarks,
for each open source project belongs to its rightful owner.
If you wish to add or remove any projects, please contact us at [email protected].