GitPlanet

Cheap and reliable Node.js hosting starts at $3/month, and $1/month static HTML hosting

Created with love in Canada, visit hostnodejs.com today

Feel like to post an Ad? Learn Details
All Projects → realguoshuai → Hadoop_study

realguoshuai / Hadoop_study

定期更新Hadoop生态圈中常用大数据组件文档 重心依次为: Flink Solr Sparksql ES Scala Kafka Hbase/phoenix Redis Kerberos (项目包含hadoop思维导图 印象笔记 Scala版本简单demo 常用工具类 去敏后的train code 持续更新!!!)

Programming Languages

java
68154 projects - #9 most used programming language

Labels

hadoop

Projects that are alternatives of or similar to Hadoop study

Gather Deployment
Gathers scalable tensorflow and infrastructure deployment
Stars: ✭ 326 (-42.5%)
Mutual labels:  hadoop
Iceberg
Iceberg is a table format for large, slow-moving tabular data
Stars: ✭ 393 (-30.69%)
Mutual labels:  hadoop
Data Science Ipython Notebooks
Data science Python notebooks: Deep learning (TensorFlow, Theano, Caffe, Keras), scikit-learn, Kaggle, big data (Spark, Hadoop MapReduce, HDFS), matplotlib, pandas, NumPy, SciPy, Python essentials, AWS, and various command lines.
Stars: ✭ 22,048 (+3788.54%)
Mutual labels:  hadoop
Ytk Learn
Ytk-learn is a distributed machine learning library which implements most of popular machine learning algorithms(GBDT, GBRT, Mixture Logistic Regression, Gradient Boosting Soft Tree, Factorization Machines, Field-aware Factorization Machines, Logistic Regression, Softmax).
Stars: ✭ 337 (-40.56%)
Mutual labels:  hadoop
Ignite
Apache Ignite
Stars: ✭ 4,027 (+610.23%)
Mutual labels:  hadoop
Kafka Connect Hdfs
Kafka Connect HDFS connector
Stars: ✭ 400 (-29.45%)
Mutual labels:  hadoop
Tez
Apache Tez
Stars: ✭ 313 (-44.8%)
Mutual labels:  hadoop
Gis Tools For Hadoop
The GIS Tools for Hadoop are a collection of GIS tools for spatial analysis of big data.
Stars: ✭ 485 (-14.46%)
Mutual labels:  hadoop
Orc
Apache ORC - the smallest, fastest columnar storage for Hadoop workloads
Stars: ✭ 389 (-31.39%)
Mutual labels:  hadoop
God Of Bigdata
专注大数据学习面试，大数据成神之路开启。Flink/Spark/Hadoop/Hbase/Hive...
Stars: ✭ 6,008 (+959.61%)
Mutual labels:  hadoop
Wedatasphere
WeDataSphere is a financial level one-stop open-source suitcase for big data platforms. Currently the source code of Scriptis and Linkis has already been released to the open-source community. WeDataSphere, Big Data Made Easy!
Stars: ✭ 372 (-34.39%)
Mutual labels:  hadoop
Bigdl
Building Large-Scale AI Applications for Distributed Big Data
Stars: ✭ 3,813 (+572.49%)
Mutual labels:  hadoop
Devops Python Tools
80+ DevOps & Data CLI Tools - AWS, GCP, GCF Python Cloud Function, Log Anonymizer, Spark, Hadoop, HBase, Hive, Impala, Linux, Docker, Spark Data Converters & Validators (Avro/Parquet/JSON/CSV/INI/XML/YAML), Travis CI, AWS CloudFormation, Elasticsearch, Solr etc.
Stars: ✭ 406 (-28.4%)
Mutual labels:  hadoop
Ozone
Scalable, redundant, and distributed object store for Apache Hadoop
Stars: ✭ 330 (-41.8%)
Mutual labels:  hadoop
Pdf
编程电子书，电子书，编程书籍，包括C，C#，Docker，Elasticsearch，Git，Hadoop，HeadFirst，Java，Javascript，jvm，Kafka，Linux，Maven，MongoDB，MyBatis，MySQL，Netty，Nginx，Python，RabbitMQ，Redis，Scala，Solr，Spark，Spring，SpringBoot，SpringCloud，TCPIP，Tomcat，Zookeeper，人工智能，大数据类，并发编程，数据库类，数据挖掘，新面试题，架构设计，算法系列，计算机类，设计模式，软件测试，重构优化，等更多分类
Stars: ✭ 12,009 (+2017.99%)
Mutual labels:  hadoop
Cascading
Cascading is a feature rich API for defining and executing complex and fault tolerant data processing flows locally or on a cluster. See https://github.com/Cascading/cascading for the release repository.
Stars: ✭ 318 (-43.92%)
Mutual labels:  hadoop
Big data architect skills
一个大数据架构师应该掌握的技能
Stars: ✭ 400 (-29.45%)
Mutual labels:  hadoop
Bigdata
💎🔥大数据学习笔记
Stars: ✭ 488 (-13.93%)
Mutual labels:  hadoop
School Of Sre
At LinkedIn, we are using this curriculum for onboarding our entry-level talents into the SRE role.
Stars: ✭ 5,141 (+806.7%)
Mutual labels:  hadoop
Marmaray
Generic Data Ingestion & Dispersal Library for Hadoop
Stars: ✭ 414 (-26.98%)
Mutual labels:  hadoop
View All Similar Projects ➔

image

hadoop

hadoop 导图笔记

hive

Scala

Spark

SparkSQL

Spark Structured Streaming

  • 后台我已经使用flink替代掉

Flink

Flink项目

Flink-1.10

FlinkX

 有计划尝试下袋鼠云开源的FlinkX

HBase(phoenix)

kafka

redis

lucene

solr

Eleasticsearch

ClickHouse

Kylin

  • TODO

kerberos

  • 印象笔记
  • 主要分为人机/机机认证,大数据环境安装kerberos认证后,所有组件互通都需要互相认证,对开发有不小挑战
  • 2019-5-5 更新 Fusioninsigh下的所有组件互通已经调试好

springboot

  • 示例模板
  • 大数据开发,有能力的还是要学一下,数据服务化不求人(个人感觉,关于Solr和Es部分,服务化如果交给应用层开发,查询语句可能没有优化,用户体验会很差)
  • 已经实现了solr和es对上层提供的rest接口,直接跟前端对接
  • 新增接口中调用执行sh脚本服务

jvm

数据服务化

将全文检索,离线或实时统计出来的数据,通过后台接口->dubbo(可省略)->rest服务化.

机器学习

leetcode

面试

持续更新...

  • 会不定期的将在工作中接触大数据组件时做的去敏测试代码上传到对应的文件夹下供初学者参考,少走弯路 包括自己每天更新的大数据印象笔记 更新的进度和规划在issues 中
  • 今年(19)计划重心是在实时计算上Flink,下半年的规划 : sparksql或flinksql flinksql推荐使用1.7.0+
  • 最新工作 : Solr出现问题(从存量50亿查当天数据,晚上查询30-50s,早上2s),50亿数据,查一天的最后一页,内存一下满了导致的(最后一页用户非得留着),参数配置修改为2w条
  • 警情地址匹配经纬度用到了jieba分词,需要自定词库+solr(已实现服务化,代码测试去敏后上传)
  • es+kerberos https证书卡着了(已解决,需要用华为二次开发的jar),先将DSL语法熟悉下上传
  • 这两天调试spark同步hive到es程序,es是kerberos安全认证的,网上的都是http的方式访问,难受,最终使用jdbc的方式在安全模式的集群下从hive读数据到es ok 断断续续优化的flink程序 加入rebalance,解决数据倾斜,导致背压,优化背压 对过车时间进行取余处理进行分流... 最终发现优化需要减操作步骤 而不是增加!! 跑了两天 离线程序白天还在跑导致CPU负载很高 实时计算程序和Solr查询速度受到影响
  • 优化实时计算代码(代码开发很简单,数据量一上来就算不过来) 原因:内存隔离 CPU共享 50亿+solr 查询导致集群CPU负载高
  • solr分库后 高CPU的现象解决 遗留问题:程序定时删除出bug
  • 最近任务 开始 es 服务化 替代现有的solr 一天初步搞定
  • 测试flink table api ok,公司使用Flink DataStream/Process Function API开发 开发稍微有点复杂, 有时间会尝试使用table/sql api进行替换 简化开发难度.
  • 近期 写Flink sink工具类,实现实时ETL秒级入库,现在仍是window+sink有时延 ok完成,Per模式运行,总共占用5G内存 稳定运行一周
  • 实时计算NC市几千条路段的实时拥堵指数,flink程序优化中,更新先停2天.
  • 最近晚上计划学点spark DataFrame,需要熟悉下批处理 在大数据平台的周报表上练手19.11
  • 最近接手这个事故接口一直变,增加到32个了
  • 实时计算-将中间计算结果保存在状态中,之前想的是放到redis里,页面程序可以直接获取,但是job数一多,对redis会造成过大的压力,所以使用状态保存,需要的结 果一起发送到kafka,测试两天 稳定运行(注:flink1.4.0不能设置state的过期时间,程序中逻辑处理(每天清空);1.6.0引入ttl)
  • spark统计全市/路段/区域 流量/拥堵 (完成) 完善Lambda架构,做成新增配置重算历史数据sh
  • 使用springboot + spark + ftp+ sh 实现导入文件统计 导出 脚本
  • springboot实现基础信息同步到大数据平台 6-10基本搞完了
  • flink开发浮动车GPS数据路径推测功能(gps->匹配路网得到相似度高的多个网格范围->计算点距离每条路段距离->确定车辆在哪条路段) ok
  • 开始日常化开发离线Job 主要是使用DF统计
Note that the project description data, including the texts, logos, images, and/or trademarks, for each open source project belongs to its rightful owner. If you wish to add or remove any projects, please contact us at [email protected].