kettle工具的作用和使用「建议收藏」

kettle工具的作用和使用「建议收藏」最近公司一个同事离职,由我来接手他手上的一个项目,我负责开发后台,因为设计到脚本统计数据,需要做定时任务将日表数据统计到月表或者年表。于是该项目用到了Kettle,用了之后才发现,这是个好东西啊。一.了解Kettle工具Kettle最早是一个开源的ETL工具,以Java开发,支持跨平台运行,其特性包括:支持100%无编码、拖拽方式开发ETL数据管道;可对接包括传统数据库、文件、大数据平台、接口、流数据等数据源;支持ETL数据管道加入机器学习算法。二.Kettle下载和安装1.官网下载地址:https

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE稳定放心使用

最近公司一个同事离职,由我来接手他手上的一个项目,我负责开发后台,因为设计到脚本统计数据,需要做定时任务将日表数据统计到月表或者年表。于是该项目用到了Kettle,用了之后才发现,这是个好东西啊。

一.了解Kettle工具

Kettle最早是一个开源的ETL工具,以Java开发,支持跨平台运行,其特性包括:支持100%无编码、拖拽方式开发ETL数据管道;可对接包括传统数据库、文件、大数据平台、接口、流数据等数据源;支持ETL数据管道加入机器学习算法。

二.Kettle下载和安装

1.官网下载地址:https://sourceforge.net/projects/pentaho/files/Data%20Integration/
2.Kettle是纯JAVA编程的开源软件,本地环境配置JDK1.7以上即可运行,解压后直接使用无需安装。
3.准备连接数据库的驱动
数据库驱动,驱动一般放在kettle根目录的bin或者lib下面,然后到服务中启动mysql,重启kettle。

三.Kettle使用

1.运行Spoon.bat,打开spoon图形工具

在这里插入图片描述
在这里插入图片描述

2.创建连接资源库

这里测试,用我本地两个不同的数据库(mysql,oracle)做一个数据的转换

a.新建–转换

在这里插入图片描述

b.添加db数据源

在这里插入图片描述

c.添加一个表输入和表输出

在这里插入图片描述

d.表输入 编辑

在这里插入图片描述

e.表输出 编辑

在这里插入图片描述

f.运行这个转换

在这里插入图片描述

g.查看表数据是否已经成功转换过来

在这里插入图片描述

h.最后将这个文件保存的时候,生成一个ktr文件。

在这里插入图片描述

再我的日常开发中,将这个ktr脚本文件放在主机目录上,通过的命令定时每月一号零点运行,就可以将日表统计的数据,导入到月表中。

后续还有很多值得研究和学习的地方,可以慢慢挖掘,这里只是做个简单的测试。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/181223.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)
blank

相关推荐

  • ssh 报Connection closed by 127.0.0.1 port 的解决办法

    ssh 报Connection closed by 127.0.0.1 port 的解决办法起了一个虚拟机,想要通过ssh从host连接。起虚拟机时加上如下命令行:-netdevuser,id=net0,hostfwd=tcp::2222-:22\-devicevirtio-net-pci,netdev=net0\这样就将host的2222端口转发给虚拟机的22端口。sshroot@localhost-p2222得到Connection……

  • CentOS安装MySQL8.0「建议收藏」

    CentOS安装MySQL8.0「建议收藏」目录配置yum源wget下载源安装包安装源安装MySQL启动相关启动服务查看启动状态设置开机自启重启服务配置修改密码卸载卸载MySQL删除文件配置yum源wget下载源安装包如果没有安装wget,先安装yum-yinstallwget进入mysql官网下载:https://dev.mysql.com/downloads/repo/yum/复制下载链接:https://dev.mysql.com/get/mysql80-community-release-el7-4.noarch.rp

  • Android开发之模板模式初探

    Android开发之模板模式初探

    2021年12月13日
  • raid5什么意思?怎样做raid5?raid5 几块硬盘?

    raid5什么意思?怎样做raid5?raid5 几块硬盘?

    2021年11月15日
  • Java内存映射原理与实现

    Java内存映射原理与实现Java虚拟机规范中定义了Java内存模型(JavaMemoryModel,JMM),用于屏蔽掉各种硬件和操作系统的内存访问差异,以实现让Java程序在各种平台下都能达到一致的并发效果,JMM规范了Java虚拟机与计算机内存是如何协同工作的:规定了一个线程如何和何时可以看到由其他线程修改过后的共享变量的值,以及在必须时如何同步的访问共享变量。

  • 基于Web的仓库管理系统的设计与实现

    基于Web的仓库管理系统的设计与实现摘 要仓库物品的管理是与我们的日常生活息息相关的一个重大问题。随着我国经济飞速的发展,改革开放的不断深入,企业要想在激烈的市场竞争中立于不败之地,要想继续的发展与生存,没有现代化的管理方式与方法是万万不行的,仓库管理的全面信息化、自动化则是在其中占有极其重要的地位。仓库管理信息系统则是在此需求背景下开始研制并开发的。在此篇文章中严格按照软件工程思想,设计并实现了一个仓库信息管理系统。介绍了系统从…

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号