数据工作流调度系统（Kettle-Scheduler）部署与操作手册

数据工作流调度系统（Kettle-Scheduler）部署与操作手册

【免费下载链接】kettle-scheduler一款简单易用的Kettle调度监控平台，专门用来调度和监控由kettle客户端创建的job和transformation。整体的框架是由spring+sprin gmvc +beetlsql整合而成，通过调用kettle的API来执行转换和作业，并且使用quartz框架完成调度工作。项目地址: https://gitcode.com/gh_mirrors/ke/kettle-scheduler

项目概览

数据工作流调度系统（简称KS）是一款基于Java技术栈构建的Web应用程序，专注于调度和监控由Kettle客户端创建的数据处理任务。该系统整合了Spring框架、Spring MVC和BeetlSQL数据层，通过调用Kettle核心API执行数据处理流程，并借助Quartz调度器实现任务自动化管理。

核心功能：基于Kettle 8.0.0.0-28版本API开发，全面支持大数据生态组件（HBase、Hive、HDFS等）。

运行环境需求

• 操作系统：Windows或Linux
• Java环境：JDK 1.8
• 数据库：MySQL或Oracle
• Web服务器：Tomcat
• Kettle版本：8.0

快速安装指南

1. 数据库初始化

创建数据库并执行初始化脚本：

-- 导入项目SQL文件 source kettle-scheduler.sql

2. 项目构建打包

使用Maven完成项目编译：

mvn clean package -DskipTests

构建完成后，将target目录生成的war包解压至Tomcat的webapps目录。

3. 配置文件调整

数据库连接配置

修改WEB-INF/classes/resource/db.properties文件：

jdbc.driver=com.mysql.jdbc.Driver jdbc.url=jdbc:mysql://localhost:3306/kettle-master?serverTimezone=UTC&characterEncoding=utf8 jdbc.username=root jdbc.password=your_password

Kettle环境配置

编辑WEB-INF/classes/resource/kettle.properties文件：

kettle.home=WEB-INF\\lib kettle.plugin=/path/to/plugins kettle.loglevel=detail kettle.log.file.path=/path/to/logs

4. 环境文件部署

将Kettle 8.0安装目录中的simple-jndi和system文件夹复制到Tomcat的bin目录。

5. Tomcat服务配置

调整Tomcat的server.xml文件，配置应用上下文路径：

<Context path="/km" docBase="km" reloadable="true" debug="0" privileged="true"> </Context>

6. 系统启动运行

启动Tomcat服务器：

# Windows环境 startup.bat # Linux环境 ./startup.sh

访问地址：http://localhost:8080/km

主要功能模块

用户登录系统

默认管理账号：

• 用户名：admin
• 密码：admin

监控概览面板

首页展示关键监控指标：

• 总监控任务数量
• 作业监控统计
• 转换监控统计
• 最近执行记录
• 7天内任务执行趋势

数据资源库管理

管理Kettle数据库资源库，支持功能：

• 新增数据库资源库
• 修改资源配置
• 删除资源库

任务调度管理

作业任务管理

管理定时作业任务，支持作业的创建、编辑、删除和启动操作。

转换任务管理

管理定时转换任务，支持转换的创建、编辑、删除和启动操作。

执行策略配置

管理定时执行策略，支持策略的新增、修改和删除。

实时监控管理

作业执行监控

显示运行中作业的监控信息：

• 作业任务总数
• 执行成功次数
• 执行失败次数
• 各作业执行统计

转换执行监控

显示运行中转换的监控信息：

• 转换任务总数
• 执行成功次数
• 执行失败次数
• 各转换执行统计

用户权限管理

管理员可管理系统用户，支持用户的创建、编辑和删除操作。

项目目录结构

src/ ├── main/ │ ├── java/ # Java业务逻辑代码 │ │ └── com/zhaxd/ # 核心业务模块 │ ├── resources/ # 配置文件目录 │ └── webapp/ # Web应用资源文件 └── test/ # 测试代码目录

技术架构体系

• 前端界面：Bootstrap响应式设计
• 后端框架：Spring + Spring MVC
• 数据持久层：BeetlSQL
• 调度框架：Quartz
• Kettle集成：Kettle 8.0 API

常见问题解决方案

1. 文件不存在错误：'./system/karaf'

   • 解决方案：将Kettle的system文件夹复制到Tomcat的bin目录

2. 数据库驱动异常

   • 解决方案：将对应版本的数据库驱动jar包放置到data-integration/lib目录

3. 资源库连接失败

   • 解决方案：使用Kettle客户端预先创建资源库

4. Oracle数据库兼容

   • 项目已适配Oracle数据库，配置对应JDBC连接即可

重要注意事项

确保Kettle环境变量配置准确 数据库连接参数按实际环境调整 日志路径需具备写入权限 插件目录包含必要的Kettle插件

通过以上步骤，您能够顺利完成数据工作流调度系统的部署与配置，实现对Kettle作业和转换任务的集中调度与实时监控。

【免费下载链接】kettle-scheduler一款简单易用的Kettle调度监控平台，专门用来调度和监控由kettle客户端创建的job和transformation。整体的框架是由spring+sprin gmvc +beetlsql整合而成，通过调用kettle的API来执行转换和作业，并且使用quartz框架完成调度工作。项目地址: https://gitcode.com/gh_mirrors/ke/kettle-scheduler