All Projects → bonfy → Qiandao

bonfy / Qiandao

🌟⏳🌟 各种网站的签到(停止维护)

Programming Languages

python
139335 projects - #7 most used programming language
python3
1442 projects

Labels

Projects that are alternatives of or similar to Qiandao

Decryptlogin
APIs for loginning some websites by using requests.
Stars: ✭ 1,861 (+1219.86%)
Mutual labels:  spider
Yspider
yspider -- 轻量级爬虫系统
Stars: ✭ 125 (-11.35%)
Mutual labels:  spider
Mm131
MM131网站图片爬取 🚨
Stars: ✭ 129 (-8.51%)
Mutual labels:  spider
Wechat article
爬取微信公众号文章
Stars: ✭ 121 (-14.18%)
Mutual labels:  spider
Apiproject
[https://www.sofineday.com], golang项目开发脚手架,集成最佳实践(gin+gorm+go-redis+mongo+cors+jwt+json日志库zap(支持日志收集到kafka或mongo)+消息队列kafka+微信支付宝支付gopay+api加密+api反向代理+go modules依赖管理+headless爬虫chromedp+makefile+二进制压缩+livereload热加载)
Stars: ✭ 124 (-12.06%)
Mutual labels:  spider
Scrapy demo
all kinds of scrapy demo
Stars: ✭ 128 (-9.22%)
Mutual labels:  spider
Examples Of Web Crawlers
一些非常有趣的python爬虫例子,对新手比较友好,主要爬取淘宝、天猫、微信、豆瓣、QQ等网站。(Some interesting examples of python crawlers that are friendly to beginners. )
Stars: ✭ 10,724 (+7505.67%)
Mutual labels:  spider
Go spider
[爬虫框架 (golang)] An awesome Go concurrent Crawler(spider) framework. The crawler is flexible and modular. It can be expanded to an Individualized crawler easily or you can use the default crawl components only.
Stars: ✭ 1,745 (+1137.59%)
Mutual labels:  spider
Douban crawler
备份豆瓣计划
Stars: ✭ 124 (-12.06%)
Mutual labels:  spider
Digger
Digger is a powerful and flexible web crawler implemented by pure golang
Stars: ✭ 130 (-7.8%)
Mutual labels:  spider
Pddspider
拼多多爬虫,爬取所有商品、评论等信息
Stars: ✭ 121 (-14.18%)
Mutual labels:  spider
Crawlab Lite
Lite version of Crawlab. 轻量版 Crawlab 爬虫管理平台
Stars: ✭ 122 (-13.48%)
Mutual labels:  spider
Weibo Topic Spider
微博超级话题爬虫,微博词频统计+情感分析+简单分类,新增肺炎超话爬取数据
Stars: ✭ 128 (-9.22%)
Mutual labels:  spider
Free proxy website
获取免费socks/https/http代理的网站集合
Stars: ✭ 119 (-15.6%)
Mutual labels:  spider
Bilibili User Information Spider
B站3亿用户信息爬虫(mid号,昵称,性别,关注,粉丝,等级)
Stars: ✭ 136 (-3.55%)
Mutual labels:  spider
Copybook
用爬虫爬取小说网站上所有小说,存储到数据库中,并用爬到的数据构建自己的小说网站
Stars: ✭ 117 (-17.02%)
Mutual labels:  spider
Feapder
feapder是一款支持分布式、批次采集、任务防丢、报警丰富的python爬虫框架
Stars: ✭ 110 (-21.99%)
Mutual labels:  spider
Amazonbigspider
😱Full Automatic Amazon Distributed Spider | 亚马逊分布式四国际站采集选款产品|账号admin,密码adminadmin
Stars: ✭ 140 (-0.71%)
Mutual labels:  spider
Ipproxy
爬虫所需要的IP代理,抓取九个网站的代理IP检测/清洗/入库/更新,添加调用接口
Stars: ✭ 136 (-3.55%)
Mutual labels:  spider
Guwen Spider
一个完整的nodeJs 串行爬虫 抓取3万多个页面。
Stars: ✭ 129 (-8.51%)
Mutual labels:  spider

自动签到

Build Status

很多网站都有签到的功能,每天你签到后可以获得一定的收益,用于该网站的一些功能获得。但是要每天去点真的很需要恒心与毅力。大家想获得收益,但是又每天不想去登陆点击,所以很多签到项目应运而生,其中比较著名的是binuxqiandao

其实这些签到项目基本上就是爬虫功能的应用,所以我自己也就在这里写几个练练手。写这些项目的时候还是有好多心得体会的,都整理一下吧。

关于使用

将这些脚本部署到自己的VPS上面,建个自动化任务每天执行就OK了

目前我找到了个办法,部署在 travis-ci 上面(以v2ex为例):

  1. 请先 fork 此项目到你自己的 github

  2. 注册travis-ci, 可以直接用github授权登陆

  3. 左侧菜单 点击 My Repositories + 加入 qiandao

  4. 右上角 More options->settings-> Environment Variables 中加入settings

    name 填 v2ex_username 和 v2ex_password Value 填 你的帐号 和 密码

travis-ci-environment

  1. Cron Jobs 设置成 daily travis-ci-cron-job

大功告成,这样就能每天v2ex签到了

v2ex

一直是v2ex的用户,每天也会去点签到,终于有一天忍不住了,想自动签到了,又不想在其他网站留下自己的帐号密码,故就想自己写一个。

不过说实在的,v2ex的防自动登录还是做的比较到位的

  • Headers 里面的 Refer, Origin
  • username, password(post的key), once 都是每次随机生成的

另外由于2017年之后,v2ex都改成https了,所以好多的自动签到工具都失效了,大家也要注意

多看阅读

最近想看书,下了个多看阅读,上面有个签到的功能,好像可以积分换书,先在这里占个坑,后续完成

Note that the project description data, including the texts, logos, images, and/or trademarks, for each open source project belongs to its rightful owner. If you wish to add or remove any projects, please contact us at [email protected].