Kettle工具的基本使用[通俗易懂]

大家好，又见面了，我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE稳定放心使用

2.1 Kettle简介

  2.1.1 Kettle概述

 Kettle是国外免费的开源轻量级ETL工具，是基于Java语言开发的，可以在Windows.Linux,UNIX系统上运行，且绿色不需安装，可用于各种数据库之间的连接。

Kettle工具主要有四个组件组成，分别是Spoon，Pan，Kitchen以及Carte组件，具体功能如下：      *Spoon为集成开发软件，用于构建作业和转换，执行或调试作业和转换，还可以用于监控ETL操作性能。

  *Pan以命令行形式执行Spoon生成的转换程序。

  *Kitchen以命令行的方式执行Spoon生成的作业程序

  *Carte是一个重要组件，是基于Jetty的轻量级HTTP服务器，主要用于监控HTTP执行作业和转换的进度。

 2.1.2Kettle设计原则：易于开发，避免自定义开发，所有用户都可以通过用户界面完成，无命名限制，透明，灵活的数据通道，只映射需要映射的字段。

2.2 Kettle的下载安装

1、Kettle官网的下载地址为：http://sourceforge.net/projects/pentaho/files/Data%20Integration/，在官网下载安装包。

  2、解压文件，执行spoon.bat。

  3、配置Kettle（在网上搜索即有详细的引导步骤）。

  4、启动Kettle。

2.3 Kettle的基本概念

Kettle工具的执行分为两个层次，即转换和作业，这两个层次的主要区别在于数据传递和执行方式。具体如下图：

  2.3.1转换

转换是ETL方法解决中重要部分之一，主要用于数据抽取，转换和加载等等，其本质是一组图形化的数据转换配置逻辑结构。包括读取文件，过滤输出行，数据清洗或将数据加载到数据库中等步骤，转换中的步骤是通过跳连接的。下图为Kettle转换示例：

 以上转换示例是实现从数据库中读取数据，并把数据写到文本文件中，该转换包含了步骤，跳，注释以及数据行，具体介绍如下;

 1.步骤：转换中的基本组成部分，也可称之为控件，以图标的方式呈现。

       特性：每个步骤必须要有一个名字且这个名字在转换范围内唯一；

                 每个步骤都可以读，写数据行，生成步骤除外，该步骤只用于写数据；

                 步骤通过输入跳接收数据；

                 大多数步骤都有多个输出跳，一个步骤的数据发送可以设置为轮流发送和复制发送；

                在运行转换时，一个线程运行一个步骤和步骤的多个副本，所有步骤的线程几乎同时运          行，数据行就会连续流过步骤之间的跳。

2.跳：数据的通道，应用于连接两个步骤，实现将元数据从一个步骤传递到另一个步骤，支持分发和复制等方式。

    注：由于每个步骤都是单独的线程，当启动转换时，每个步骤都会创建各自的线程并接收和推送数据（这样并发程序最高），所以数据处理的顺序并不是按照节点连接箭头的顺序执行的。由于转换里的步骤都依赖于前一个步骤获取字段值，因此当创建新跳时，在转换里不能循环进行。

3.注释：以文本描述的方式呈现在作业中，只为增强流程的可读性，可放在任何一个位置。（注释并不参与程序的处理）

4.数据行：数据是以数据行形式沿着步骤流动。一个数据行是从零到多个字段的集合。Kettle中字段的数据类型一共有10种，具体见下图：

2.3.2 作业

一个作业包含一个或多个作业项，且都是按照某种顺序进行执行的。下图为一个作业示例：

 该作业中包含了作业项，作业跳以及多路径和回溯，具体介绍如下：

1.作业项：作业的基本构成部分，也可称之为控件。

    注：作业项可以进行复制；作业项可以传递一个结果对象；作业项目是以串行方式执行的。

2.作业跳作业项之间的连接线，定义了作业的执行路径。

3.多路径和回溯：Kettle使用一种回溯算法执行作业里的所有作业项，且作业项的执行结果（真/假）决定执行的路径。

4.作业项结果

2.4 Kettle的基本功能

  2.4.1转换管理

   主要包括输入，输出，转换，应用，流程，脚本，查询，连接，检验，作业，映射，批量加载等功能。转换功能常用控件如下图所示：

 2.4.2 作业管理

主要包括通用，邮件，文件管理，条件，脚本，批量加载等。下图描述Kettle作业常用功能的控件：

2.4.3 数据库连接

数据库种类多，因此Kettle工具的数据库连接窗口包含多种数据库类型，具体如下图所示： 

                                              一般标签界面

高级标签界面

选项页面

连接池页面

 集群页面

注：本文为学习《数据清洗》——黑马程序员   后的学习笔记。