kettle工具使用及集成[通俗易懂]

kettle工具使用及集成[通俗易懂]kettle简介Kettle是一款免费开源的基于Java的企业级ETL工具,功能强大简单易用,无可抗拒。

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE稳定放心使用

kettle简介

Kettle是一款免费开源的基于Java的企业级ETL工具,功能强大简单易用,无可抗拒。

kettle工具使用及集成[通俗易懂]

kettle有两个比较重要且常用的脚本文件:1)转换(Transformation)和作业(Job),其中转换是对数据处理的容器,包含对数据的各种处理,有多个步骤(Step)组成;作业相对于转换可以配置出更多高级的操作,可以将多个转换组合成一块进行数据处理

kettle的使用方式

1.图形化界面工具(spoon)

kettle工具使用及集成[通俗易懂]

上图截取了数据处理的转换脚本,可以看出基于图形化界面操作kettle进行数据处理,只需按照数据处理的流程配置相应的步骤即可,简单易用,但不适合在程序中集成

2.依赖jar包的方式

应用程序集成kettle更多采用的是maven依赖jar包的方式,在jar包依赖之后可以通过两种方式对数据进行处理:

1)通过调用kettle脚本的方式

在kettle图像化界面配置好脚本(工作或转换),然后通过应用程序加载执行脚本即可完成对数据的处理操作,程序实例如下:

// 转换脚本路径
 String filename = "C:/Desktop/person_import_data.ktr";
 // 初始化kettle环境
 KettleEnvironment.init();
 // new tran的源数据对象
 TransMeta transMeta = new TransMeta(filename);
 // 创建tran对象
 Trans trans = new Trans(transMeta);
 // 异常处理
 trans.prepareExecution(null);
 // 开始执行
 trans.startThreads();
 // 记录最后一个步骤的数据
 final List<RowMetaAndData> rows = new ArrayList<RowMetaAndData>();
 RowListener rowListner = new RowListener() {
     public void rowWrittenEvent(RowMetaInterface rowMeta, Object[] row)
             throws KettleStepException {
         rows.add(new RowMetaAndData(rowMeta, row));
     }
     public void rowReadEvent(RowMetaInterface arg0, Object[] arg1)
             throws KettleStepException {
     }
     public void errorRowWrittenEvent(RowMetaInterface arg0,Object[] arg1)         throws KettleStepException {
     }
 };
 List<StepMetaDataCombi> steps = trans.getSteps();
 String stepname = steps.get(steps.size() - 1).stepname;
 StepInterface stepInterface = trans.findRunThread(stepname);
 stepInterface.addRowListener(rowListner);
 // 等待执行完毕
 trans.waitUntilFinished();
 if (trans.getErrors() > 0) {
     log.error(LogFormatter.toLog(CommonErrorCode.ERR_ERROR, "message"), "transformation of kettle occurred error while extracting data");
    throw new BaseRuntimeException(CommonErrorCode.ERR_ERROR);
 }
 for (int i = 0; i < rows.size(); i++) {
     RowMetaAndData rmad = rows.get(i);
  String[] fields = rmad.getRowMeta().getFieldNames();
  Map<String, Object> map = new HashMap<>();
  for (String field : fields) {
         map.put(field, rmad.getString(field, null));
  }
     list.add(map);
 }

2)调用kettle的api:通过kettle的api可以模拟步骤(step),脱离图形化界面,下面通过kettle的api模拟了一个表输入步骤,但是通过kettle的api模型步骤,适用常用的步骤,很多步骤在api中是没有的

//添加数据连接
 DatabaseMeta dataBaseInput = new DatabaseMeta("DbInput", dbInfo.getDbType(), "Native", dbInfo.getIp(), dbInfo.getDbName(),dbInfo.getPort(), dbInfo.getUser(), dbInfo.getPassWord());
 transMeta.addDatabase(dataBaseInput);
 //表输入
 TableInputMeta tableInputMeta = new TableInputMeta();
 tableInputMeta.setDatabaseMeta(transMeta.findDatabase("DbInput"));
 tableInputMeta.setSQL(dbInfo.getSql());
 StepMeta inputStep = new StepMeta("table",tableInputMeta);
 //inputStep.setLocation(50,50);
 inputStep.setDraw(true);
 transMeta.addStep(inputStep);

kettle性能分析

在对数据进行同步时,测试了分别在数据库中生成10万、100万、1000万和1亿数据,通过kettle处理入库,观察其性能。性能如下表所示:

数据量(万条) 同步时间(s)
10 3.8
100 37.5
1000 620
10000 5987

常见问题

  • Kettle连接mysql并不支持目前springboot规定的mysql-connector-java版本(8.0.19),可以用5.1.47版本的驱动解决这个问题
  • Oracle可以根据数据库服务名(service_name)和数据库实例名(instance_name,SID)连接数据库,jdbc连接oracle时,可以根据不同的url形式,决定采用service_name还是instance_name进行连接;kettle默认是采用instance_name连接oracle数据库的,如果想要采用service_name连接oracle,则需要在service_name前加上“/”。

 

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/184288.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • html自动增加vbs代码,vbs烟花代码

    比如关机代码.和一些常用代码首先在电脑鼠标右键新建一个文本文档。然后点开文本文档进行编辑,最重要的一个代码就是msgbox,然后在后面添加想要说的话,但是要使用英文标点符号,换行时候都需要在前面加上代码,最后保存。我不要整人什么的,我要的是类似翻译的,还有句型哈哈,LS的比较搞笑先说VBS:我是学VB的,据说VB和VBS差不了多少,只是VBS没有主界面而已,VB对网络的支持堪称完美,所以不…

  • mysql官网下载详细教程图文

    mysql官网下载详细教程图文2019年的mysql官网下载教程■打开地址https://www.mysql.com/downloads/点击打开■进入首页点击MySQLCommunity(GPL)Downloads»■再点击MySQLCommunityServer这里选择的是linux版本。如果是Windows或者其他版本请另请选择即可■点击下载后…

  • npm设置淘宝镜像源「建议收藏」

    npmconfigsetregistryhttps://registry.npm.taobao.org/

  • 数据库和数据仓库的区别与联系_大数据的四个特点

    数据库和数据仓库的区别与联系_大数据的四个特点1.概念方面.数据库:是一种逻辑概念,用来存放数据的仓库。通过数据库软件来实现。数据库由很多表组成,表是二维的,一张表里可以有很多字段。字段一字排开,对应的数据就一行一行写入表中。数据库的表,在于能够

  • 编码器原理_编码器使用方法

    编码器原理_编码器使用方法引用LQ的编码器原理1/概述  旋转编码器是用来测量转速的装置。它分为单路输出和双路输出两种。技术参数主要有每转脉冲数(几十个到几千个都有),和供电电压等。单路输出是指旋转编码器的输出是一组脉冲,而双路输出的旋转编码器输出两组相位差90度的脉冲,通过这两组脉冲不仅可以测量转速,还可以判断旋转的方向。编码器如以信号原理来分,有增量型编码器,绝对型编码器。 2/原理 增量型编码

  • spawn ssh「建议收藏」

    spawn ssh「建议收藏」#!/usr/bin/expectsetip[lindex$argv0];setusername[lindex$argv1];setpassword[lindex$argv2];setkey_init”*yes/no*”setkey_password”[Pp]assword:”settimeout30setprompt”(#|%|\\$)

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号