GitPlanet

Cheap and reliable Node.js hosting starts at $3/month, and $1/month static HTML hosting

Created with love in Canada, visit hostnodejs.com today

Feel like to post an Ad? Learn Details
All Projects → JoeyBling → Webkettle

JoeyBling / Webkettle

Licence: apache-2.0
基于web版kettle开发的一套分布式综合调度,管理,ETL开发的用户专业版B/S架构工具

Programming Languages

javascript
184084 projects - #8 most used programming language

Labels

mysqlspring-mvcetlquartz

Projects that are alternatives of or similar to Webkettle

Luigi Warehouse
A luigi powered analytics / warehouse stack
Stars: ✭ 72 (-78.44%)
Mutual labels:  etl, mysql
Transformalize
Configurable Extract, Transform, and Load
Stars: ✭ 125 (-62.57%)
Mutual labels:  etl, mysql
Csv2db
The CSV to database command line loader
Stars: ✭ 102 (-69.46%)
Mutual labels:  etl, mysql
Pyetl
python ETL framework
Stars: ✭ 33 (-90.12%)
Mutual labels:  etl, mysql
Spring Boot Enterprise Application Development
Spring Boot Enterprise Application Development.《Spring Boot 企业级应用开发实战》
Stars: ✭ 261 (-21.86%)
Mutual labels:  mysql, spring-mvc
Kiba Plus
Kiba enhancement for Ruby ETL.
Stars: ✭ 47 (-85.93%)
Mutual labels:  etl, mysql
Aws Data Wrangler
Pandas on AWS - Easy integration with Athena, Glue, Redshift, Timestream, QuickSight, Chime, CloudWatchLogs, DynamoDB, EMR, SecretManager, PostgreSQL, MySQL, SQLServer and S3 (Parquet, CSV, JSON and EXCEL).
Stars: ✭ 2,385 (+614.07%)
Mutual labels:  etl, mysql
Shopping Mmall
聚焦高并发、分布式集群、微服务架构迭代的互联网电商项目（Java技术栈）
Stars: ✭ 194 (-41.92%)
Mutual labels:  mysql, spring-mvc
Spring Boot Demo
Spring Boot & Spring Cloud & Spring Security Demo Case（Spring学习示例实战项目）
Stars: ✭ 255 (-23.65%)
Mutual labels:  mysql, spring-mvc
Storagetapper
StorageTapper is a scalable realtime MySQL change data streaming, logical backup and logical replication service
Stars: ✭ 232 (-30.54%)
Mutual labels:  etl, mysql
Spring Framework Petclinic
A Spring Framework application based on JSP, Spring MVC, Spring Data JPA, Hibernate and JDBC
Stars: ✭ 251 (-24.85%)
Mutual labels:  mysql, spring-mvc
Xboot
基于Spring Boot 2.x的一站式前后端分离快速开发平台XBoot 微信小程序+Uniapp 前端：Vue+iView Admin 后端：Spring Boot 2.x/Spring Security/JWT/JPA+Mybatis-Plus/Redis/Elasticsearch/Activiti 分布式限流/同步锁/验证码/SnowFlake雪花算法ID 动态权限 数据权限 工作流 代码生成 定时任务 社交账号 短信登录 单点登录 OAuth2开放平台 客服机器人 数据大屏 暗黑模式
Stars: ✭ 3,432 (+927.54%)
Mutual labels:  mysql, quartz
Wms
一个基于Spring MVC、Spring、MyBatis、Shiro框架的仓库管理系统Demo。A warehouse management system implement with Spring MVC, Spring Framework,MyBstis,Shiro and MySQL
Stars: ✭ 248 (-25.75%)
Mutual labels:  mysql, spring-mvc
Etl with python
ETL with Python - Taught at DWH course 2017 (TAU)
Stars: ✭ 68 (-79.64%)
Mutual labels:  etl, mysql
Ssm
Spring + Spring MVC + Mybatis 构建的简易论坛
Stars: ✭ 209 (-37.43%)
Mutual labels:  mysql, spring-mvc
Datax
DataX is an open source universal ETL tool that support Cassandra, ClickHouse, DBF, Hive, InfluxDB, Kudu, MySQL, Oracle, Presto(Trino), PostgreSQL, SQL Server
Stars: ✭ 116 (-65.27%)
Mutual labels:  etl, mysql
Meetingfilm
基于微服务架构的在线电影购票平台
Stars: ✭ 149 (-55.39%)
Mutual labels:  mysql, spring-mvc
Lyonblog
基于Java8的SSM+Elasticsearch全文检索的个人博客系统
Stars: ✭ 169 (-49.4%)
Mutual labels:  mysql, spring-mvc
Linq2db
Linq to database provider.
Stars: ✭ 2,211 (+561.98%)
Mutual labels:  etl, mysql
Spring Boot Mysql Rest Api Tutorial
Building a Restful CRUD API using Spring Boot, Mysql, JPA and Hibernate
Stars: ✭ 279 (-16.47%)
Mutual labels:  mysql, spring-mvc
View All Similar Projects ➔

star fork webkettle交流群 LICENSE

欢迎相同爱好者加入一起维护此项目

webKettleETL产品介绍

  • webkettle平台，创造性的将平台构建为B/S架构的ETL模型设计以及集成用户专业调度管理的分布式ETL建模运维系统。
  • 系统分为七大模块:模型、平台、任务、定时调度、日志、节点、用户.
  • 模型模块进行ETL模型开发，在B/S系统中用拖拽的方式设计数据流逻辑。
  • 其他六个模块为用户专业调度管理系统,更多是面向业务运维人员，关注于整个流程的执行情况和数据的导入导出细节信息,以及对任务的综合调度。完全支持集群和单机两种运行模式。并通过用户权限的管控让平台的资源分配变得更加专业。

模块展示

  • 平台（展示平台概况）

  • 模型设计（进行ETL模型设计调试）

  • 任务管理（对ETL任务进行综合的调度管理以及监控）

  • 日志（ETL任务的执行日志模块）

  • 节点管理（ETL任务的执行引擎节点管理）

  • 定时调度（定时ETL任务管理）

  • 用户管理（平台的用户权限管理系统）

webKettleETL技术实现

  • ETL是基于流行的ETL工具kettle开发的B/S架构版本的ETL产品,所使用的底层引擎是调用kettle的api
  • ETL任务以元数据的方式储存在资源库里面,通过读取资源库元数据,对元数据进行解析后可将ETL任务通过MXGraph展现至B/S架构的系统中,实现了在B/S架构上面开发ETL任务的功能,属于系统的模型开发模块功能.
  • 通过对元数据的操作可以对ETL任务进行综合性的管理以及监控,通过Quartz定时框架可以实现对任务的定时调度
  • 根据kettle执行引擎可以部署多台服务器节点的特性,再通过系统跟远程的节点发送HTTP请求,可以实现在多节点上分布式的执行ETL任务,并可以实现实时监控ETL的任务运行情况
  • 基于高度自由化的B/S框架,可以嵌入多元化的需求,于是我们在中添加了用户管理模块,通过用户权限的概念对所有的ETL任务进行人性化的运维管理
  • 整个项目使用Maven进行构建管理,多模块之间低耦合,高拓展性

webKettleETL整体功能流程

技术选型

  • 核心框架：Spring Framework
  • 任务调度：Spring + Quartz
  • 持久层框架：MyBatis
  • 会话管理：Spring-Session
  • 日志管理：Log4j
  • 前端框架：EXTJS3.4+MXGraph2.3
  • 项目管理: Maven3.2.3
  • ETL底层引擎:kettle7.0

项目结构

项目结构图

启动说明

附加说明：启动Tomcat或其他服务器时，请设置路径为 /

  1. 本系统采用单资源库模式，数据源连接在dispatch-servlet.xml中配置，系统启动后就会读取该资源库
  2. 数据库脚本在项目的sql目录下
  3. 数据库暂时只支持MySQL，本系统在MySQL5.5.20版本上测试，其他版本尚未测试
  4. 本例使用Maven3.2.3构建，启动服务器后访问http://localhost:8080/
  5. 支持IE9及以上、FireFox等浏览器，IE6-IE8需要做特殊化处理，其他浏览器未测试
  6. jdk版本需要1.8以上
  7. 管理员账号密码：admin/admin

本地预览

mvn install
cd ./kettle-webapp
mvn clean tomcat7:run

编译部署

cd ./kettle-webapp
mvn clean tomcat7:deploy

许可证

LICENSE

Note that the project description data, including the texts, logos, images, and/or trademarks, for each open source project belongs to its rightful owner. If you wish to add or remove any projects, please contact us at [email protected].