All Projects → 233zzh → TitanDataOperationSystem

233zzh / TitanDataOperationSystem

Licence: other
最好的大数据项目。《Titan数据运营系统》,本项目是一个全栈闭环系统,我们有用作数据可视化的web系统,然后用flume-kafaka-flume进行日志的读取,在hive设计数仓,编写spark代码进行数仓表之间的转化以及ads层表到mysql的迁移,使用azkaban进行定时任务的调度,使用技术:Java/Scala语言,Hadoop、Spark、Hive、Kafka、Flume、Azkaban、SpringBoot,Bootstrap, Echart等;

Programming Languages

javascript
184084 projects - #8 most used programming language
HTML
75241 projects
CSS
56736 projects
SCSS
7915 projects
java
68154 projects - #9 most used programming language
scala
5932 projects

Projects that are alternatives of or similar to TitanDataOperationSystem

God Of Bigdata
专注大数据学习面试,大数据成神之路开启。Flink/Spark/Hadoop/Hbase/Hive...
Stars: ✭ 6,008 (+9590.32%)
Mutual labels:  hive, hadoop, flume, azkaban
Bigdata Notes
大数据入门指南 ⭐
Stars: ✭ 10,991 (+17627.42%)
Mutual labels:  hive, hadoop, flume, azkaban
aaocp
一个对用户行为日志进行分析的大数据项目
Stars: ✭ 53 (-14.52%)
Mutual labels:  hive, hadoop, flume
litemall-dw
基于开源Litemall电商项目的大数据项目,包含前端埋点(openresty+lua)、后端埋点;数据仓库(五层)、实时计算和用户画像。大数据平台采用CDH6.3.2(已使用vagrant+ansible脚本化),同时也包含了Azkaban的workflow。
Stars: ✭ 36 (-41.94%)
Mutual labels:  hive, flume, azkaban
BigData-News
基于Spark2.2新闻网大数据实时系统项目
Stars: ✭ 36 (-41.94%)
Mutual labels:  hive, hadoop, flume
cloud
云计算之hadoop、hive、hue、oozie、sqoop、hbase、zookeeper环境搭建及配置文件
Stars: ✭ 48 (-22.58%)
Mutual labels:  hive, hadoop, flume
web-click-flow
网站点击流离线日志分析
Stars: ✭ 14 (-77.42%)
Mutual labels:  hive, hadoop, flume
BigInsights-on-Apache-Hadoop
Example projects for 'BigInsights for Apache Hadoop' on IBM Bluemix
Stars: ✭ 21 (-66.13%)
Mutual labels:  hive, hadoop
common-datax
基于DataX的通用数据同步微服务,一个Restful接口搞定所有通用数据同步
Stars: ✭ 51 (-17.74%)
Mutual labels:  hive, azkaban
xxhadoop
Data Analysis Using Hadoop/Spark/Storm/ElasticSearch/MachineLearning etc. This is My Daily Notes/Code/Demo. Don't fork, Just star !
Stars: ✭ 37 (-40.32%)
Mutual labels:  hive, hadoop
ETL-Starter-Kit
📁 Extract, Transform, Load (ETL) 👷 refers to a process in database usage and especially in data warehousing. This repository contains a starter kit featuring ETL related work.
Stars: ✭ 21 (-66.13%)
Mutual labels:  hive, azkaban
dockerfiles
Multi docker container images for main Big Data Tools. (Hadoop, Spark, Kafka, HBase, Cassandra, Zookeeper, Zeppelin, Drill, Flink, Hive, Hue, Mesos, ... )
Stars: ✭ 29 (-53.23%)
Mutual labels:  hive, hadoop
the-apache-ignite-book
All code samples, scripts and more in-depth examples for The Apache Ignite Book. Include Apache Ignite 2.6 or above
Stars: ✭ 65 (+4.84%)
Mutual labels:  hive, hadoop
hive-bigquery-storage-handler
Hive Storage Handler for interoperability between BigQuery and Apache Hive
Stars: ✭ 16 (-74.19%)
Mutual labels:  hive, hadoop
hive to es
同步Hive数据仓库数据到Elasticsearch的小工具
Stars: ✭ 21 (-66.13%)
Mutual labels:  hive, hadoop
hadoopoffice
HadoopOffice - Analyze Office documents using the Hadoop ecosystem (Spark/Flink/Hive)
Stars: ✭ 56 (-9.68%)
Mutual labels:  hive, hadoop
BookRecommenderSystem
基于大数据的图书推荐系统
Stars: ✭ 30 (-51.61%)
Mutual labels:  flume, azkaban
hadoop-etl-udfs
The Hadoop ETL UDFs are the main way to load data from Hadoop into EXASOL
Stars: ✭ 17 (-72.58%)
Mutual labels:  hive, hadoop
hive-jdbc-driver
An alternative to the "hive standalone" jar for connecting Java applications to Apache Hive via JDBC
Stars: ✭ 31 (-50%)
Mutual labels:  hive, hadoop
DaFlow
Apache-Spark based Data Flow(ETL) Framework which supports multiple read, write destinations of different types and also support multiple categories of transformation rules.
Stars: ✭ 24 (-61.29%)
Mutual labels:  hive, hadoop

TitanDataOperationSystem

概览

《Titan数据运营系统》,本项目所适用的行业或业务背景有: 主营业务在线上(app/网站)进行的公司! 这类公司,都需要针对用户的线上访问行为、消费行为、业务操作行为进行统计分析,数据挖掘!以 支撑公司的业务运营、精准画像营销、个性化推荐等,来提高业务转化率,改善公司运营效果! 这些需求,都需要通过构建一个综合数据处理系统来支撑!

本项目是一个全栈闭环系统,我们先用flume-kafaka-flume对埋点日志服务器中日志进行读取,然后将日志放到我们的hdfs,然后在hive设计数仓,编写spark代码进行数仓表之间的转化以及ads层表到mysql的迁移,之后使用azkaban进行定时任务的调度,最后我们将mysql存的报表数据以web的形式展现出来。使用技术:Java/Scala语言,Hadoop、Spark、Hive、Kafka、Flume、Azkaban、SpringBoot,Bootstrap, Echart等。

项目的web展示:http://www.superhao.top:12121/src/material/installation.html 启动很慢,而且因为数据的原因会报错,建议到本文档底部去看web界面的展示

请注意:1. 我们所拥有的数据从2020.5.25-2020.7.20,但是我们网页一进去他默认日期会选择今天前七天的日期---今天的日期(比如8.01-8.08),所以一定会报错,请手动选择日期在5.25-7.20之间

2. 我们的网站部署到阿里云的学生机,所以会很慢,请耐心等待,谢谢

博客地址:https://blog.csdn.net/dreamingzihao/category_11293317.html

功能模块划分

在这里插入图片描述

系统架构设计

在这里插入图片描述

系统业务流程

在这里插入图片描述

数仓分层设计和spark定时任务

在这里插入图片描述

spark任务之间的依赖关系

在这里插入图片描述

azkaban定时任务调度

在这里插入图片描述

web界面展示

一、概况模块

整体趋势页面

在这里插入图片描述 在这里插入图片描述

二、用户分析模块

新增用户页面

在这里插入图片描述

活跃用户页面

在这里插入图片描述

启动次数页面

在这里插入图片描述

版本分布页面

在这里插入图片描述

三、留存分析模块

留存用户页面

在这里插入图片描述

用户新鲜度页面

在这里插入图片描述

用户活跃度页面

在这里插入图片描述

四、渠道分析模块

渠道列表页面

在这里插入图片描述

五、用户参与度模块

使用时长页面

在这里插入图片描述

使用频率页面

在这里插入图片描述

访问页面

在这里插入图片描述

访问间隔

在这里插入图片描述

六、终端属性模块

设备终端页面

在这里插入图片描述

网络页面

在这里插入图片描述

地域页面

在这里插入图片描述

Note that the project description data, including the texts, logos, images, and/or trademarks, for each open source project belongs to its rightful owner. If you wish to add or remove any projects, please contact us at [email protected].