All Projects → LinMingQiang → Sparkstreaming

LinMingQiang / Sparkstreaming

💥 🚀 封装sparkstreaming动态调节batch time(有数据就执行计算);🚀 支持运行过程中增删topic;🚀 封装sparkstreaming 1.6 - kafka 010 用以支持 SSL。

Programming Languages

scala
5932 projects

Projects that are alternatives of or similar to Sparkstreaming

Szt Bigdata
深圳地铁大数据客流分析系统🚇🚄🌟
Stars: ✭ 826 (+361.45%)
Mutual labels:  kafka, spark, flink, hbase
God Of Bigdata
专注大数据学习面试,大数据成神之路开启。Flink/Spark/Hadoop/Hbase/Hive...
Stars: ✭ 6,008 (+3256.42%)
Mutual labels:  kafka, spark, flink, hbase
Bigdataguide
大数据学习,从零开始学习大数据,包含大数据学习各阶段学习视频、面试资料
Stars: ✭ 817 (+356.42%)
Mutual labels:  kafka, spark, flink, hbase
Flink Learning
flink learning blog. http://www.54tianzhisheng.cn/ 含 Flink 入门、概念、原理、实战、性能调优、源码解析等内容。涉及 Flink Connector、Metrics、Library、DataStream API、Table API & SQL 等内容的学习案例,还有 Flink 落地应用的大型项目案例(PVUV、日志存储、百亿数据实时去重、监控告警)分享。欢迎大家支持我的专栏《大数据实时计算引擎 Flink 实战与性能优化》
Stars: ✭ 11,378 (+6256.42%)
Mutual labels:  kafka, spark, flink, hbase
Repository
个人学习知识库涉及到数据仓库建模、实时计算、大数据、Java、算法等。
Stars: ✭ 92 (-48.6%)
Mutual labels:  kafka, spark, flink, hbase
Bigdata Interview
🎯 🌟[大数据面试题]分享自己在网络上收集的大数据相关的面试题以及自己的答案总结.目前包含Hadoop/Hive/Spark/Flink/Hbase/Kafka/Zookeeper框架的面试题知识总结
Stars: ✭ 857 (+378.77%)
Mutual labels:  kafka, spark, flink, hbase
Gimel
Big Data Processing Framework - Unified Data API or SQL on Any Storage
Stars: ✭ 216 (+20.67%)
Mutual labels:  kafka, spark, hbase
Wedatasphere
WeDataSphere is a financial level one-stop open-source suitcase for big data platforms. Currently the source code of Scriptis and Linkis has already been released to the open-source community. WeDataSphere, Big Data Made Easy!
Stars: ✭ 372 (+107.82%)
Mutual labels:  kafka, spark, hbase
Bdp Dataplatform
大数据生态解决方案数据平台:基于大数据、数据平台、微服务、机器学习、商城、自动化运维、DevOps、容器部署平台、数据平台采集、数据平台存储、数据平台计算、数据平台开发、数据平台应用搭建的大数据解决方案。
Stars: ✭ 456 (+154.75%)
Mutual labels:  spark, flink, hbase
Dockerfiles
50+ DockerHub public images for Docker & Kubernetes - Hadoop, Kafka, ZooKeeper, HBase, Cassandra, Solr, SolrCloud, Presto, Apache Drill, Nifi, Spark, Consul, Riak, TeamCity and DevOps tools built on the major Linux distros: Alpine, CentOS, Debian, Fedora, Ubuntu
Stars: ✭ 847 (+373.18%)
Mutual labels:  kafka, spark, hbase
Model Serving Tutorial
Code and presentation for Strata Model Serving tutorial
Stars: ✭ 57 (-68.16%)
Mutual labels:  kafka, spark, flink
Technology Talk
汇总java生态圈常用技术框架、开源中间件,系统架构、数据库、大公司架构案例、常用三方类库、项目管理、线上问题排查、个人成长、思考等知识
Stars: ✭ 12,136 (+6679.89%)
Mutual labels:  kafka, spark, hbase
Bigdata Notes
大数据入门指南 ⭐
Stars: ✭ 10,991 (+6040.22%)
Mutual labels:  kafka, spark, hbase
Bigdata Notebook
Stars: ✭ 100 (-44.13%)
Mutual labels:  kafka, spark, flink
Hadoopcryptoledger
Hadoop Crypto Ledger - Analyzing CryptoLedgers, such as Bitcoin Blockchain, on Big Data platforms, such as Hadoop/Spark/Flink/Hive
Stars: ✭ 126 (-29.61%)
Mutual labels:  spark, flink
Example Spark Kafka
Apache Spark and Apache Kafka integration example
Stars: ✭ 120 (-32.96%)
Mutual labels:  kafka, spark
Spring Boot Quick
🌿 基于springboot的快速学习示例,整合自己遇到的开源框架,如:rabbitmq(延迟队列)、Kafka、jpa、redies、oauth2、swagger、jsp、docker、spring-batch、异常处理、日志输出、多模块开发、多环境打包、缓存cache、爬虫、jwt、GraphQL、dubbo、zookeeper和Async等等📌
Stars: ✭ 1,819 (+916.2%)
Mutual labels:  spark, hbase
Abris
Avro SerDe for Apache Spark structured APIs.
Stars: ✭ 130 (-27.37%)
Mutual labels:  kafka, spark
Python Bigdata
Data science and Big Data with Python
Stars: ✭ 112 (-37.43%)
Mutual labels:  spark, hbase
Gaffer
A large-scale entity and relation database supporting aggregation of properties
Stars: ✭ 1,642 (+817.32%)
Mutual labels:  spark, hbase

🎉branch-1.6.0-0.10


  • 支持动态调节 streaming 的 批次间隔时间 (不同于sparkstreaming 的 定长的批次间隔,StructuredStreaming中使用trigger实现了。)
  • 支持在streaming过程中 重设 topics,用于生产中动态地增加删减数据源
  • 添加了速率控制,KafkaRateController。用来控制读取速率,由于不是用的sparkstreaming,所有速率控制的一些参数拿不到,得自己去计算。
  • 提供spark-streaming-kafka-0-10_2.10 spark 1.6 来支持 kafka的ssl
  • 支持rdd.updateOffset 来管理偏移量。

🎉 branch-sparkstreaming-1.6.0-0.10


  • 只是结合了 sparkstreaming 1.6 和 kafka 010 。 使低版本的spark能够使用kafka的ssl验证
  • 支持 SSL
  • 支持spark 1.6 和 kafka 0.10 的结合
  • 支持管理offset

🎉branch-2.0.1-0.10


  • 支持动态调节 streaming 的 批次间隔时间 (不同于sparkstreaming 的 定长的批次间隔,StructuredStreaming中使用trigger实现了。)
  • 支持在streaming过程中 重设 topics,用于生产中动态地增加删减数据源
  • 提供spark-streaming-kafka-0-10_2.10 spark 1.6 来支持 kafka的ssl
  • 支持rdd.updateOffset 来管理偏移量。
  • 由于kakfa-010 的api的变化,之前的 kafka-08 版本的 spark-kafka 虽然能用,但是他依赖于spark-streaming-kafka-0-8_2.10
    .(可能会导致一些版本问题);所以这次重新写了一个 kafka010 & spark-2.x 版本 ;但是使用方法还是跟之前的差不多,
  • kafka010有两种来管理offset的方式,一种是旧版的用zookeeper来管理,一种是本身自带的。现只提供zookeeper的管理方式
  • 要确保编译的kafka-client的版本和服务器端的版本一致,否则会报 Error reading string of length 27489, only 475 bytes available 等错误
  • 添加了速率控制,KafkaRateController。用来控制读取速率,由于不是用的sparkstreaming,所有速率控制的一些参数拿不到,得自己去计算。

Note that the project description data, including the texts, logos, images, and/or trademarks, for each open source project belongs to its rightful owner. If you wish to add or remove any projects, please contact us at [email protected].