All Projects → wlhbdp → Bdp Dataplatform

wlhbdp / Bdp Dataplatform

Licence: gpl-3.0
大数据生态解决方案数据平台:基于大数据、数据平台、微服务、机器学习、商城、自动化运维、DevOps、容器部署平台、数据平台采集、数据平台存储、数据平台计算、数据平台开发、数据平台应用搭建的大数据解决方案。

Programming Languages

java
68154 projects - #9 most used programming language
scala
5932 projects

Projects that are alternatives of or similar to Bdp Dataplatform

Szt Bigdata
深圳地铁大数据客流分析系统🚇🚄🌟
Stars: ✭ 826 (+81.14%)
Mutual labels:  spark, flink, hive, redis, mongodb, elasticsearch, hbase
Spring Boot 2.x Examples
Spring Boot 2.x code examples
Stars: ✭ 104 (-77.19%)
Mutual labels:  storm, redis, mongodb, elasticsearch, hbase
Springboot Templates
springboot和dubbo、netty的集成,redis mongodb的nosql模板, kafka rocketmq rabbit的MQ模板, solr solrcloud elasticsearch查询引擎
Stars: ✭ 100 (-78.07%)
Mutual labels:  hive, redis, mongodb, elasticsearch, hbase
Repository
个人学习知识库涉及到数据仓库建模、实时计算、大数据、Java、算法等。
Stars: ✭ 92 (-79.82%)
Mutual labels:  spark, flink, hive, mapreduce, hbase
Bigdata Notes
大数据入门指南 ⭐
Stars: ✭ 10,991 (+2310.31%)
Mutual labels:  spark, hive, mapreduce, storm, hbase
Flink Learning
flink learning blog. http://www.54tianzhisheng.cn/ 含 Flink 入门、概念、原理、实战、性能调优、源码解析等内容。涉及 Flink Connector、Metrics、Library、DataStream API、Table API & SQL 等内容的学习案例,还有 Flink 落地应用的大型项目案例(PVUV、日志存储、百亿数据实时去重、监控告警)分享。欢迎大家支持我的专栏《大数据实时计算引擎 Flink 实战与性能优化》
Stars: ✭ 11,378 (+2395.18%)
Mutual labels:  spark, flink, redis, elasticsearch, hbase
Mall
mall项目是一套电商系统,包括前台商城系统及后台管理系统,基于SpringBoot+MyBatis实现,采用Docker容器化部署。 前台商城系统包含首页门户、商品推荐、商品搜索、商品展示、购物车、订单流程、会员中心、客户服务、帮助中心等模块。 后台管理系统包含商品管理、订单管理、会员管理、促销管理、运营管理、内容管理、统计报表、财务管理、权限管理、设置等模块。
Stars: ✭ 54,797 (+11916.89%)
Mutual labels:  elk, redis, mongodb, elasticsearch
Stream Reactor
Streaming reference architecture for ETL with Kafka and Kafka-Connect. You can find more on http://lenses.io on how we provide a unified solution to manage your connectors, most advanced SQL engine for Kafka and Kafka Streams, cluster monitoring and alerting, and more.
Stars: ✭ 753 (+65.13%)
Mutual labels:  redis, mongodb, elasticsearch, hbase
Dev Setup
macOS development environment setup: Easy-to-understand instructions with automated setup scripts for developer tools like Vim, Sublime Text, Bash, iTerm, Python data analysis, Spark, Hadoop MapReduce, AWS, Heroku, JavaScript web development, Android development, common data stores, and dev-based OS X defaults.
Stars: ✭ 5,590 (+1125.88%)
Mutual labels:  spark, redis, mongodb, elasticsearch
Haproxy Configs
80+ HAProxy Configs for Hadoop, Big Data, NoSQL, Docker, Elasticsearch, SolrCloud, HBase, MySQL, PostgreSQL, Apache Drill, Hive, Presto, Impala, Hue, ZooKeeper, SSH, RabbitMQ, Redis, Riak, Cloudera, OpenTSDB, InfluxDB, Prometheus, Kibana, Graphite, Rancher etc.
Stars: ✭ 106 (-76.75%)
Mutual labels:  hive, redis, elasticsearch, hbase
Bigdataguide
大数据学习,从零开始学习大数据,包含大数据学习各阶段学习视频、面试资料
Stars: ✭ 817 (+79.17%)
Mutual labels:  spark, flink, hive, hbase
Bigdata Interview
🎯 🌟[大数据面试题]分享自己在网络上收集的大数据相关的面试题以及自己的答案总结.目前包含Hadoop/Hive/Spark/Flink/Hbase/Kafka/Zookeeper框架的面试题知识总结
Stars: ✭ 857 (+87.94%)
Mutual labels:  spark, flink, mapreduce, hbase
God Of Bigdata
专注大数据学习面试,大数据成神之路开启。Flink/Spark/Hadoop/Hbase/Hive...
Stars: ✭ 6,008 (+1217.54%)
Mutual labels:  spark, flink, hive, hbase
Spring Boot Quick
🌿 基于springboot的快速学习示例,整合自己遇到的开源框架,如:rabbitmq(延迟队列)、Kafka、jpa、redies、oauth2、swagger、jsp、docker、spring-batch、异常处理、日志输出、多模块开发、多环境打包、缓存cache、爬虫、jwt、GraphQL、dubbo、zookeeper和Async等等📌
Stars: ✭ 1,819 (+298.9%)
Mutual labels:  spark, redis, elasticsearch, hbase
bigdata-doc
大数据学习笔记,学习路线,技术案例整理。
Stars: ✭ 37 (-91.89%)
Mutual labels:  hive, mapreduce, flink
dpkb
大数据相关内容汇总,包括分布式存储引擎、分布式计算引擎、数仓建设等。关键词:Hadoop、HBase、ES、Kudu、Hive、Presto、Spark、Flink、Kylin、ClickHouse
Stars: ✭ 123 (-73.03%)
Mutual labels:  hive, hbase, flink
dockerfiles
Multi docker container images for main Big Data Tools. (Hadoop, Spark, Kafka, HBase, Cassandra, Zookeeper, Zeppelin, Drill, Flink, Hive, Hue, Mesos, ... )
Stars: ✭ 29 (-93.64%)
Mutual labels:  hive, hbase, flink
Tutorial
Java全栈知识架构体系总结
Stars: ✭ 407 (-10.75%)
Mutual labels:  spark, redis, mongodb
Gimel
Big Data Processing Framework - Unified Data API or SQL on Any Storage
Stars: ✭ 216 (-52.63%)
Mutual labels:  spark, elasticsearch, hbase
xxhadoop
Data Analysis Using Hadoop/Spark/Storm/ElasticSearch/MachineLearning etc. This is My Daily Notes/Code/Demo. Don't fork, Just star !
Stars: ✭ 37 (-91.89%)
Mutual labels:  hive, storm, hbase

总项目 https://github.com/wlhbdp/bdp-ecology

0、大数据生态解决方案数据平台

数据平台:
	bdp-dataplatform:基于大数据、数据平台、微服务、机器学习、商城、自动化运维、DevOps、容器部署平台、数据平台采集、数据平台存储、数据平台计算、数据平台开发、数据平台应用搭建的大数据解决方案。
数据来源:
	商城:使用SpringBoot,Java,Vue,React,Android开发多端商城,包括网站、App、微信小程序;
	日志:使用Java开发服务端日志、客户端日志收集系统,使用DataX实现数据的导入导出系统;
	爬虫:爬虫平台支持可配置的爬取公网数据的任务开发;
数据存储:
	分布式文件系统使用HDFS,分布式数据库使用HBase,Mongodb、Elasticsearch,内存数据库使用redis;
数据计算:
	使用Hive、MR、HiveSQL、ETL开发离线计算系统;
	使用storm、flink、spark streaming开发实时计算系统;
	使用kylin, spark开发多维度分析系统;
数据开发:
	任务管理系统:负责调度、分配、提交任务到数据平台;
	任务运维系统:查看Task运行情况;
数据应用:
	使用python,ml,spark mllib实现个性化推荐系统;
	使用python,scrapy,django,elasticsearch实现搜索引擎;
	使用scala,flink开发反作弊系统;
	使用FineReport,scala,playframework开发报表分析系统;
DevOps:
	使用ELK技术栈搭建日志搜索平台;
	使用skywalking,Phoenix实现监控平台;
	使用scala、playframework,docker,k8s,shell实现云容器平台,包含服务管理(查看docker容器配置,添加容器实例,授权记录,操作记录,历史版本回溯,k8s启停服务,操作记录,对比yaml配置,更新服务)、任务管理、配置管理、镜像构建(包括环境变量和参数配置)、应用日志
	使用自动化运维平台CoDo开发system-devops;
    	使用Kong开发统一网关入口系统system-api-gateway;
    	使用vue、scala、playframework、docker、k8s、Prometheus、grafana开发监控告警平台system-alarm-platform;
    	使用Apollo开发system-config配置中心;

2、数据平台展示

2.1 商城图片展示:

商城App:https://my-macro-oss.oss-cn-shenzhen.aliyuncs.com/mall/images/samples/mall-shopping-03.png

商城小程序:https://my-macro-oss.oss-cn-shenzhen.aliyuncs.com/mall/images/samples/shopping-app-04.png

商城移动端:https://my-macro-oss.oss-cn-shenzhen.aliyuncs.com/mall/images/samples/shopping-app-05.png

商城PC端: https://my-macro-oss.oss-cn-shenzhen.aliyuncs.com/mall/images/samples/shopping-app-06.png

商城后台管理:https://my-macro-oss.oss-cn-shenzhen.aliyuncs.com/mall/images/samples/shopping-app-07.png

2.2 compute-mr

1、mr-website-analyse: 
    1.1 主要做的事情:
	hadoop HA集群搭建部署;
	mapreduce基础掌握;
	使用 oozie进行任务调度;
	使用 hive保存数据到hdfs,以及从hdfs导出到 mysql;
	使用hbase结合mapreduce处理业务,如用户行为分析;
	使用flume,nginx模拟收集日志,从java sdk端和js 网站端收集数据等; 
    1.2 主要模块
	用户基本信息分析
	浏览器分析
	地域分析
	浏览深度分析
	搜索引擎分析
	事件分析
	订单分析

2、mr-website-sdk
    2.1 java服务端sdk采集
    2.2 JS前端页面的数据模拟采集  

3、mr-website-view
    3.1 数据可视化显示
    3.2 主要使用highcharts,html,css, js显示mr-website-analyse数据处理的统计数据,存在mysql

https://my-macro-oss.oss-cn-shenzhen.aliyuncs.com/mall/images/mr/2791587557292_.pic.jpg

https://my-macro-oss.oss-cn-shenzhen.aliyuncs.com/mall/images/mr/2801587557292_.pic.jpg

https://my-macro-oss.oss-cn-shenzhen.aliyuncs.com/mall/images/mr/2811587557292_.pic.jpg

https://my-macro-oss.oss-cn-shenzhen.aliyuncs.com/mall/images/mr/2821587557292_.pic.jpg

https://my-macro-oss.oss-cn-shenzhen.aliyuncs.com/mall/images/mr/2831587557293_.pic.jpg

https://my-macro-oss.oss-cn-shenzhen.aliyuncs.com/mall/images/mr/2841587557293_.pic.jpg

https://my-macro-oss.oss-cn-shenzhen.aliyuncs.com/mall/images/mr/2851587557293_.pic.jpg

2.3 compute-realtime:

1、compute-realtime-spark: 
    1.1 主要做的事情:
	基于Javee平台展示的Spark实时数据分析平台
	hadoop HA集群搭建部署;
	基于zookeeper的kafka HA集群搭建部署;
	HA: 本地搭建时共5个节点,2个namenode,3个datanode;
	spark core, spark sql, spark streaming基础掌握;
	kafka实时模拟生成数据并使用spark streaming实时处理来自kafka的数据;
	实时处理分析结果保存到mysql, 由highcharts动态刷新;
	highcharts实时展示统计分析结果,以及spark sql算子执行结果;
    1.2 主要模块
	广告点击流量分析
	广告点击趋势分析
	各省份top3热门广告分析
	各区域top3热门商品统计
	页面单跳转化率
	用户访问session分析
	Top10热门品类分析
	Top10用户session分析

2、compute-realtime-view
    2.1 数据可视化显示,定时模拟kafka消息队列的数据
    2.2 主要使用highcharts,html,css, js显示compute-realtime-spark数据处理的统计数据,存在mysql

https://my-macro-oss.oss-cn-shenzhen.aliyuncs.com/mall/images/spark/2871587557435_.pic.jpg

https://my-macro-oss.oss-cn-shenzhen.aliyuncs.com/mall/images/spark/2881587557459_.pic.jpg

https://my-macro-oss.oss-cn-shenzhen.aliyuncs.com/mall/images/spark/2891587557479_.pic.jpg

https://my-macro-oss.oss-cn-shenzhen.aliyuncs.com/mall/images/spark/2901587557498_.pic.jpg

https://my-macro-oss.oss-cn-shenzhen.aliyuncs.com/mall/images/spark/2911587557535_.pic.jpg

3、数据来源

商城前台:
	mall-shopping-app: 商城App
	mall-shopping-app-service: 商城App服务
	mall-shopping-wc: 商城小程序
	mall-shopping-mobile: 商城前台
	mall-shopping-pc: 商城pc端
	mall-shopping-pc-service: 商城pc端服务
	mall-shopping-service: 商城前台服务(小程序和前台接入此接口)
商城后台:
	mall-admin-web: 商城后台
	mall-admin-service: 商城后台服务

https://my-macro-oss.oss-cn-shenzhen.aliyuncs.com/mall/images/design/microservice.png
https://my-macro-oss.oss-cn-shenzhen.aliyuncs.com/mall/images/design/system-api-gateway01.png
https://my-macro-oss.oss-cn-shenzhen.aliyuncs.com/mall/images/design/system-api-gateway02.png
https://my-macro-oss.oss-cn-shenzhen.aliyuncs.com/mall/images/design/system-apm.png

4、数据收集

log-collect-server: 
	服务端日志收集系统
log-collect-client: 
	支持各app集成的客户端SDK,负责收集app客户端数据;
data-import-export: 
	基于DataX实现数据集成(导入导出)
data-spider:
	爬虫平台支持可配置的爬取公网数据的任务开发;
https://my-macro-oss.oss-cn-shenzhen.aliyuncs.com/mall/images/design/Prometheus.png

https://my-macro-oss.oss-cn-shenzhen.aliyuncs.com/mall/images/design/apollo.png

https://my-macro-oss.oss-cn-shenzhen.aliyuncs.com/mall/images/design/log-collect.png


5、数据存储

分布式文件系统:hdfs
分布式数据库:hbase、mongodb、elasticsearch
分布式内存存储系统:redis

6、数据计算

compute-mr(离线计算): Hive、MR
compute-realtime(流计算): storm、flink
multi-dimension-analysis(多维度分析): kylin, spark

7、数据开发

task-schedular: 任务调度
task-ops: 任务运维

https://my-macro-oss.oss-cn-shenzhen.aliyuncs.com/mall/images/design/system-deploy.png

https://my-macro-oss.oss-cn-shenzhen.aliyuncs.com/mall/images/design/system-deploy02.png

https://my-macro-oss.oss-cn-shenzhen.aliyuncs.com/mall/images/design/system-devops.png

8、数据产品

data-face: 数据可视化
data-insight: 用户画像分析

9、数据应用

system-recommender: 推荐
system-ad: 广告
system-search: 搜索
system-anti-cheating: 反作弊
system-report-analysis: 报表分析
system-elk: ELK日志系统,实现日志搜索平台 
https://my-macro-oss.oss-cn-shenzhen.aliyuncs.com/mall/images/design/system-elk.png

https://my-macro-oss.oss-cn-shenzhen.aliyuncs.com/mall/images/design/system-elk(2).png
system-apm: skywalking监控平台
system-deploy: k8s,scala,playframework,docker打包平台。
system-tasksubmit: 任务提交平台

10、启动配置教程

10.1 启动前,打包dubbo-servie项目,进入dubbo-service目录,执行mvn clean package -DskipTests=TRUE打包,然后执行mvn install.

10.2 启动dubbo-service项目,配置tomcat端口为8091

https://my-macro-oss.oss-cn-shenzhen.aliyuncs.com/mall/images/61.png

10.3 启动商城项目的多个子系统

后台:访问http://localhost:8090

10.3.1、前端:启动mall-admin-web项目,进入项目目录,执行npm install,然后执行npm run dev;

10.3.2、后端:启动mall-admin-service/mall-admin-search项目,配置tomcat端口为8092,接着启动mall-manage-service项目,tomcat端口配置为8093;

https://my-macro-oss.oss-cn-shenzhen.aliyuncs.com/mall/images/62.png

https://my-macro-oss.oss-cn-shenzhen.aliyuncs.com/mall/images/63.png

前台:小程序手机预览,移动端访问:http://localhost:6255

10.3.3、小程序和移动端

10.3.3.1、前端:商城小程序,启动mall-shopping-wc项目,安装微信开发者工具,配置开发者key和secret,使用微信开发者工具导入即可,然后点击编译,可以手机预览使用。

https://my-macro-oss.oss-cn-shenzhen.aliyuncs.com/mall/images/66.png

10.3.3.2、前端:商城移动端,启动mall-shopping-mobile,进入项目目录,执行npm install和npm run dev;

10.3.3.3、后端:小程序和移动端用的是同一个后台服务,启动mall-shopping-service项目,进入项目目录,配置tomcat端口8094

https://my-macro-oss.oss-cn-shenzhen.aliyuncs.com/mall/images/64.png

10.3.4、商城PC端 访问http://localhost:8099

10.3.4.1、前端:启动mall-shopping-pc项目,进入项目目录,执行npm install和npm run dev;

10.3.4.2、后端:启动mall-shopping-pc-service项目,配置tomcat端口为8095;

https://my-macro-oss.oss-cn-shenzhen.aliyuncs.com/mall/images/65.png

11 开发计划

https://my-macro-oss.oss-cn-shenzhen.aliyuncs.com/mall/images/design/%E5%BC%80%E5%8F%91%E8%AE%A1%E5%88%92v1.0.png

12 架构1.0

 #1、数据平台架构
 
 https://my-macro-oss.oss-cn-shenzhen.aliyuncs.com/mall/images/design/1571898118926.png

 #2、电商
 
 https://my-macro-oss.oss-cn-shenzhen.aliyuncs.com/mall/images/design/%E7%94%B5%E5%95%86.png

 #3、微服务
 
 https://my-macro-oss.oss-cn-shenzhen.aliyuncs.com/mall/images/design/microservice.png
 
 #4、容器化部署system-deploy
 
 https://my-macro-oss.oss-cn-shenzhen.aliyuncs.com/mall/images/design/system-deploy.png
 
 https://my-macro-oss.oss-cn-shenzhen.aliyuncs.com/mall/images/design/system-deploy02.png
 
 #5、自动化运维平台system-devops
 
 https://my-macro-oss.oss-cn-shenzhen.aliyuncs.com/mall/images/design/system-devops.png
 
 #6、使用Kong作为调用中心网关入口system-api-gateway
 
 https://my-macro-oss.oss-cn-shenzhen.aliyuncs.com/mall/images/design/system-api-gateway01.png
 
 https://my-macro-oss.oss-cn-shenzhen.aliyuncs.com/mall/images/design/system-api-gateway02.png
 
 #7、日志中心system-elk
 
 https://my-macro-oss.oss-cn-shenzhen.aliyuncs.com/mall/images/design/system-elk.png
 
 #8、告警平台system-alarm-platform
 
     8.1 监控系统
 
     https://my-macro-oss.oss-cn-shenzhen.aliyuncs.com/mall/images/design/Prometheus.png
 
     8.2 数据采集
 
     https://my-macro-oss.oss-cn-shenzhen.aliyuncs.com/mall/images/design/log-collect.png
 
     8.3 数据展示
 
     https://my-macro-oss.oss-cn-shenzhen.aliyuncs.com/mall/images/design/system-elk%20%282%29.png
 
 #9、监控中心system-apm
 
     https://my-macro-oss.oss-cn-shenzhen.aliyuncs.com/mall/images/design/system-apm.png
 
 #10、使用Apollo作为配置中心system-config
 
     https://my-macro-oss.oss-cn-shenzhen.aliyuncs.com/mall/images/design/apollo.png
 
 #11、数据平台开发规划
 
     https://my-macro-oss.oss-cn-shenzhen.aliyuncs.com/mall/images/design/%E5%BC%80%E5%8F%91%E8%AE%A1%E5%88%92v1.0.png

13 技术交流:

bdp交流群: https://my-macro-oss.oss-cn-shenzhen.aliyuncs.com/mall/images/design/wechat_group/bdp_%E4%BA%A4%E6%B5%81%E7%BE%A4.jpg

作者微信: https://my-macro-oss.oss-cn-shenzhen.aliyuncs.com/mall/images/wechat/%E5%BE%AE%E4%BF%A1.jpg

Note that the project description data, including the texts, logos, images, and/or trademarks, for each open source project belongs to its rightful owner. If you wish to add or remove any projects, please contact us at [email protected].