GitPlanet

Cheap and reliable Node.js hosting starts at $3/month, and $1/month static HTML hosting

Created with love in Canada, visit hostnodejs.com today

Feel like to post an Ad? Learn Details
All Projects → XNAL → Vue Github Rank

XNAL / Vue Github Rank

Licence: mit
Vue.js+Node.js爬虫，GitHub数据的爬取与展示。

Programming Languages

javascript
184084 projects - #8 most used programming language

Labels

nodejsvuejsmysqlgithub

Projects that are alternatives of or similar to Vue Github Rank

Goods Seckill
高性能电商秒杀解决方案，redis预减库存，消息队列异步下单，订单防重，订单防刷，秒杀接口地址隐藏，数学公式验证码
Stars: ✭ 61 (-8.96%)
Mutual labels:  mysql
Yii2 Async
Provides translucent api & queues for moving large tasks out of request context with SQL, Redis or AMQP.
Stars: ✭ 64 (-4.48%)
Mutual labels:  mysql
Mall Learning
mall学习教程，架构、业务、技术要点全方位解析。mall项目（40k+star）是一套电商系统，使用现阶段主流技术实现。涵盖了SpringBoot 2.3.0、MyBatis 3.4.6、Elasticsearch 7.6.2、RabbitMQ 3.7.15、Redis 5.0、MongoDB 4.2.5、Mysql5.7等技术，采用Docker容器化部署。
Stars: ✭ 10,236 (+15177.61%)
Mutual labels:  mysql
Ascemu
Official AscEmu repo... a never ending place to work. With cutting edge technologies XD
Stars: ✭ 61 (-8.96%)
Mutual labels:  mysql
Swpdo
Swoole Coroutine SQL component like PDO | 0成本迁移PDO到Swoole高性能协程客户端
Stars: ✭ 64 (-4.48%)
Mutual labels:  mysql
Event Management
helps to register an users for on events conducted in college fests with simple logic with secured way
Stars: ✭ 65 (-2.99%)
Mutual labels:  mysql
Geotools
Official GeoTools repository
Stars: ✭ 1,109 (+1555.22%)
Mutual labels:  mysql
Shw server
使用SpringCloud和Spring WebFlux开发的学生作业管理系统服务端，前后端分离项目，微服务架构。支持Docker集群化部署，Redis集群化缓存，文件在线预览 压缩包预览 打包上传下载
Stars: ✭ 66 (-1.49%)
Mutual labels:  mysql
Gin Xorm Admin
使用 gin 和 xorm 搭建权限管理基础框架
Stars: ✭ 64 (-4.48%)
Mutual labels:  mysql
Seckill
高并发秒杀系统
Stars: ✭ 67 (+0%)
Mutual labels:  mysql
Warp
Convert and analyze large data sets at light speed, on Mac and iOS.
Stars: ✭ 62 (-7.46%)
Mutual labels:  mysql
Bookstoreapp Distributed Application
Ecommerce project is being developed using Spring Boot Microservices and Spring Cloud (Backend) and React (Frontend). Splitting the Ecommerce functionality into various individual microservices so that they can be distributed, scale really well and make use of resources efficiently.
Stars: ✭ 63 (-5.97%)
Mutual labels:  mysql
Scalikejdbc
A tidy SQL-based DB access library for Scala developers. This library naturally wraps JDBC APIs and provides you easy-to-use APIs.
Stars: ✭ 1,139 (+1600%)
Mutual labels:  mysql
Mi
迁移改名为MI-S
Stars: ✭ 61 (-8.96%)
Mutual labels:  mysql
Sequelpro
MySQL/MariaDB database management for macOS
Stars: ✭ 8,549 (+12659.7%)
Mutual labels:  mysql
Blogspringboot
一个基于Vue+SpringBoot的个人博客项目。
Stars: ✭ 60 (-10.45%)
Mutual labels:  mysql
Countries States Cities Database
🌍 World countries, states, regions, provinces, cities, towns in JSON, SQL, XML, PLIST, YAML, and CSV. All Countries, States, Cities with ISO2, ISO3, Country Code, Phone Code, Capital, Native Language, Timezones, Latitude, Longitude, Region, Subregion, Flag Emoji, and Currency. #countries #states #cities
Stars: ✭ 1,130 (+1586.57%)
Mutual labels:  mysql
Kotlin Spring Boot Jpa Rest Api Demo
Build a Restful API with Kotlin, Spring Boot, Mysql, Jpa and Hibernate
Stars: ✭ 67 (+0%)
Mutual labels:  mysql
Backup
MySQL Database backup package for Laravel
Stars: ✭ 66 (-1.49%)
Mutual labels:  mysql
Docker Examples
There are many like it, but this one is mine.
Stars: ✭ 66 (-1.49%)
Mutual labels:  mysql
View All Similar Projects ➔

前言

之前使用Node.js开发一个小爬虫，算是初步对爬虫有了一定的了解，但爬取的数据没什么意义。最近使用GitHub的频率比较高，所以准备爬取一些GitHub的数据玩下。目前爬取了中国区followers排名前100的大神，以及各个编程语言stars大于1000的开源项目。

源码

Talk is cheap. Show me the code.

访问地址

二维码

如何使用

git clone https://github.com/XNAL/vue-github-rank

// 需要先安装mysql，并创建数据库，可参考源码中的`github_rank.sql`

cd vue-github-rank
npm install

// 启动node服务
gulp nodemon 

// 本地运行需另开一个终端框口并执行以下命令，然后访问`http://localhost:8080/`
npm run dev

技术栈

  • Vue.js： 前端页面展示。
  • Axios: vue官方推荐HTTP库，请求后端数据。
  • 阿里巴巴的矢量图标库Iconfont: 页面图标，个人项目中使用起来比较方便。
  • Node.js + Koa2： 后台服务器搭架，（Koa2需要node v7.6以上）。
  • ES6/ES7： 后台开发以ES6语法为主，并使用了ES7中的async/await。
  • Gulp： 后台服务器使用，自动化构建工具。
  • Webpack： Vue-cli自带的。需要配置本地代理proxyTable，以及配置SCSS的相关loader。
  • MySQL: 数据保存。
  • superagent: 比Node.js原生http模块更好用的客户端请求代理模块。
  • cheerio：服务端jQuery，分析网页内容。
  • node-schedule: Node.js定时执行模块。

说明

  1. 关于爬虫爬取数据的说明：目前是每2个小时去GitHub官网爬取数据，取到的数据会存入数据库中。在爬取的过程中可能会出现单个页面一直无法取到数据的情况，为避免程序一直卡在此步骤，目前是单个页面数据循环请求50次，如果仍取不到数据则跳过此项数据的爬取，等待下一次再进行爬取。

  2. 数据库字符集需要设置为utf8mb4，因为需要存取emoji表情。

项目截图

关于（首页）

关于（首页）

中国区前100大神

中国区前100大神

目录

目录

项目

项目

Note that the project description data, including the texts, logos, images, and/or trademarks, for each open source project belongs to its rightful owner. If you wish to add or remove any projects, please contact us at [email protected].