GitPlanet

Cheap and reliable Node.js hosting starts at $3/month, and $1/month static HTML hosting

Created with love in Canada, visit hostnodejs.com today

Feel like to post an Ad? Learn Details
All Projects → heibaiying → Bigdata Notes

heibaiying / Bigdata Notes

大数据入门指南 ⭐

Programming Languages

java
68154 projects - #9 most used programming language
scala
5932 projects

Labels

kafkasparkbig-datayarnhadoopphoenixzookeeperbigdatahivehbasehdfsmapreducestormflumeazkabansqoop

Projects that are alternatives of or similar to Bigdata Notes

God Of Bigdata
专注大数据学习面试，大数据成神之路开启。Flink/Spark/Hadoop/Hbase/Hive...
Stars: ✭ 6,008 (-45.34%)
Mutual labels:  zookeeper, kafka, spark, hadoop, bigdata, hive, hbase, hdfs, flume, azkaban
Repository
个人学习知识库涉及到数据仓库建模、实时计算、大数据、Java、算法等。
Stars: ✭ 92 (-99.16%)
Mutual labels:  zookeeper, kafka, spark, hadoop, hive, mapreduce, hbase, hdfs
Bigdata Interview
🎯 🌟[大数据面试题]分享自己在网络上收集的大数据相关的面试题以及自己的答案总结.目前包含Hadoop/Hive/Spark/Flink/Hbase/Kafka/Zookeeper框架的面试题知识总结
Stars: ✭ 857 (-92.2%)
Mutual labels:  kafka, spark, hadoop, bigdata, mapreduce, hbase, hdfs, yarn
Bigdataguide
大数据学习，从零开始学习大数据，包含大数据学习各阶段学习视频、面试资料
Stars: ✭ 817 (-92.57%)
Mutual labels:  zookeeper, kafka, spark, hadoop, bigdata, hive, hbase
Szt Bigdata
深圳地铁大数据客流分析系统🚇🚄🌟
Stars: ✭ 826 (-92.48%)
Mutual labels:  zookeeper, kafka, spark, hadoop, hive, hbase, phoenix
cloud
云计算之hadoop、hive、hue、oozie、sqoop、hbase、zookeeper环境搭建及配置文件
Stars: ✭ 48 (-99.56%)
Mutual labels:  hive, hadoop, hbase, zookeeper, flume, sqoop
Bigdata
💎🔥大数据学习笔记
Stars: ✭ 488 (-95.56%)
Mutual labels:  zookeeper, hadoop, hive, mapreduce, hbase, hdfs
bigdata-fun
A complete (distributed) BigData stack, running in containers
Stars: ✭ 14 (-99.87%)
Mutual labels:  big-data, spark, hadoop, hbase, hdfs, flume
aaocp
一个对用户行为日志进行分析的大数据项目
Stars: ✭ 53 (-99.52%)
Mutual labels:  hive, hadoop, hbase, zookeeper, hdfs, flume
Bigdata docker
Big Data Ecosystem Docker
Stars: ✭ 161 (-98.54%)
Mutual labels:  zookeeper, spark, hadoop, hive, hbase, hdfs
Dockerfiles
50+ DockerHub public images for Docker & Kubernetes - Hadoop, Kafka, ZooKeeper, HBase, Cassandra, Solr, SolrCloud, Presto, Apache Drill, Nifi, Spark, Consul, Riak, TeamCity and DevOps tools built on the major Linux distros: Alpine, CentOS, Debian, Fedora, Ubuntu
Stars: ✭ 847 (-92.29%)
Mutual labels:  zookeeper, kafka, spark, hadoop, hbase
Bdp Dataplatform
大数据生态解决方案数据平台：基于大数据、数据平台、微服务、机器学习、商城、自动化运维、DevOps、容器部署平台、数据平台采集、数据平台存储、数据平台计算、数据平台开发、数据平台应用搭建的大数据解决方案。
Stars: ✭ 456 (-95.85%)
Mutual labels:  spark, hive, mapreduce, storm, hbase
Hadoop cookbook
Cookbook to install Hadoop 2.0+ using Chef
Stars: ✭ 82 (-99.25%)
Mutual labels:  zookeeper, spark, hadoop, hive, hbase
xxhadoop
Data Analysis Using Hadoop/Spark/Storm/ElasticSearch/MachineLearning etc. This is My Daily Notes/Code/Demo. Don't fork, Just star !
Stars: ✭ 37 (-99.66%)
Mutual labels:  hive, hadoop, storm, hbase, zookeeper
web-click-flow
网站点击流离线日志分析
Stars: ✭ 14 (-99.87%)
Mutual labels:  hive, hadoop, mapreduce, flume, sqoop
yuzhouwan
Code Library for My Blog
Stars: ✭ 39 (-99.65%)
Mutual labels:  spark, hadoop, bigdata, hbase, zookeeper
BigData-News
基于Spark2.2新闻网大数据实时系统项目
Stars: ✭ 36 (-99.67%)
Mutual labels:  spark, hive, hadoop, hbase, flume
Big Data Engineering Coursera Yandex
Big Data for Data Engineers Coursera Specialization from Yandex
Stars: ✭ 71 (-99.35%)
Mutual labels:  spark, big-data, bigdata, mapreduce, hdfs
bigdata-doc
大数据学习笔记，学习路线，技术案例整理。
Stars: ✭ 37 (-99.66%)
Mutual labels:  hive, hadoop, bigdata, hdfs, mapreduce
dockerfiles
Multi docker container images for main Big Data Tools. (Hadoop, Spark, Kafka, HBase, Cassandra, Zookeeper, Zeppelin, Drill, Flink, Hive, Hue, Mesos, ... )
Stars: ✭ 29 (-99.74%)
Mutual labels:  hive, hadoop, bigdata, hbase, zookeeper
View All Similar Projects ➔

BigData-Notes


大数据入门指南

Hadoop Hive Spark Storm Flink HBase Kafka Zookeeper Flume Sqoop Azkaban Scala

如果需要离线阅读，可以在公众号上发送 “bigdata” 获取《大数据入门指南》离线阅读版！

✒️ 前 言

  1. 大数据学习路线
  2. 大数据技术栈思维导图
  3. 大数据常用软件安装指南

一、Hadoop

  1. 分布式文件存储系统 —— HDFS
  2. 分布式计算框架 —— MapReduce
  3. 集群资源管理器 —— YARN
  4. Hadoop 单机伪集群环境搭建
  5. Hadoop 集群环境搭建
  6. HDFS 常用 Shell 命令
  7. HDFS Java API 的使用
  8. 基于 Zookeeper 搭建 Hadoop 高可用集群

二、Hive

  1. Hive 简介及核心概念
  2. Linux 环境下 Hive 的安装部署
  3. Hive CLI 和 Beeline 命令行的基本使用
  4. Hive 常用 DDL 操作
  5. Hive 分区表和分桶表
  6. Hive 视图和索引
  7. Hive 常用 DML 操作
  8. Hive 数据查询详解

三、Spark

Spark Core :

  1. Spark 简介
  2. Spark 开发环境搭建
  3. 弹性式数据集 RDD
  4. RDD 常用算子详解
  5. Spark 运行模式与作业提交
  6. Spark 累加器与广播变量
  7. 基于 Zookeeper 搭建 Spark 高可用集群

Spark SQL :

  1. DateFrame 和 DataSet
  2. Structured API 的基本使用
  3. Spark SQL 外部数据源
  4. Spark SQL 常用聚合函数
  5. Spark SQL JOIN 操作

Spark Streaming ：

  1. Spark Streaming 简介
  2. Spark Streaming 基本操作
  3. Spark Streaming 整合 Flume
  4. Spark Streaming 整合 Kafka

四、Storm

  1. Storm 和流处理简介
  2. Storm 核心概念详解
  3. Storm 单机环境搭建
  4. Storm 集群环境搭建
  5. Storm 编程模型详解
  6. Storm 项目三种打包方式对比分析
  7. Storm 集成 Redis 详解
  8. Storm 集成 HDFS/HBase
  9. Storm 集成 Kafka

五、Flink

  1. Flink 核心概念综述
  2. Flink 开发环境搭建
  3. Flink Data Source
  4. Flink Data Transformation
  5. Flink Data Sink
  6. Flink 窗口模型
  7. Flink 状态管理与检查点机制
  8. Flink Standalone 集群部署

六、HBase

  1. Hbase 简介
  2. HBase 系统架构及数据结构
  3. HBase 基本环境搭建 (Standalone /pseudo-distributed mode)
  4. HBase 集群环境搭建
  5. HBase 常用 Shell 命令
  6. HBase Java API
  7. HBase 过滤器详解
  8. HBase 协处理器详解
  9. HBase 容灾与备份
  10. HBase的 SQL 中间层 —— Phoenix
  11. Spring/Spring Boot 整合 Mybatis + Phoenix

七、Kafka

  1. Kafka 简介
  2. 基于 Zookeeper 搭建 Kafka 高可用集群
  3. Kafka 生产者详解
  4. Kafka 消费者详解
  5. 深入理解 Kafka 副本机制

八、Zookeeper

  1. Zookeeper 简介及核心概念
  2. Zookeeper 单机环境和集群环境搭建
  3. Zookeeper 常用 Shell 命令
  4. Zookeeper Java 客户端 —— Apache Curator
  5. Zookeeper ACL 权限控制

九、Flume

  1. Flume 简介及基本使用
  2. Linux 环境下 Flume 的安装部署
  3. Flume 整合 Kafka

十、Sqoop

  1. Sqoop 简介与安装
  2. Sqoop 的基本使用

十一、Azkaban

  1. Azkaban 简介
  2. Azkaban3.x 编译及部署
  3. Azkaban Flow 1.0 的使用
  4. Azkaban Flow 2.0 的使用

十二、Scala

  1. Scala 简介及开发环境配置
  2. 基本数据类型和运算符
  3. 流程控制语句
  4. 数组 —— Array
  5. 集合类型综述
  6. 常用集合类型之 —— List & Set
  7. 常用集合类型之 —— Map & Tuple
  8. 类和对象
  9. 继承和特质
  10. 函数 & 闭包 & 柯里化
  11. 模式匹配
  12. 类型参数
  13. 隐式转换和隐式参数

十三、公共内容

  1. 大数据应用常用打包方式

📑 后 记

资料分享与开发工具推荐


Note that the project description data, including the texts, logos, images, and/or trademarks, for each open source project belongs to its rightful owner. If you wish to add or remove any projects, please contact us at [email protected].