一个简单的ETL开发的过程(informatica)

一个简单的ETL开发的过程(informatica)大致的了解过程,中间不涉及组件部分。 正文PowerCenter的开发过程大致可以分为几步:1.在客户端PowerCenterDesigner中导入源表和目标表的结构定义。(只是表结构)2.在PowerCenterDesigner中执行的事件为:   1>.创建Mapping。   2>.拖动源和目标进入Mapping。(类似于定义变量)   …

大家好,又见面了,我是你们的朋友全栈君。

大致的了解过程,中间不涉及组件部分。

 

正文

PowerCenter的开发过程大致可以分为几步:

1.在客户端PowerCenter Designer中导入源表和目标表的结构定义。(只是表结构)

2.在PowerCenter Designer中执行的事件为:

    1>.创建Mapping。

    2>.拖动源和目标进入Mapping。(类似于定义变量)

    3>.建立源和目标的映射。(对变量进行赋值)

3.运行Workflow,提供相对应的配置信息以及参数。在PowerCenter中的载体是Workflow和Session。

4.通过Workflow Monitor客户端进行监控。

 

前提

在进行开发PowerCenter之前,一般需要完成两件事。(后续不再需要,第一次新环境才需要)

1.使用PowerCenter客户端连接域(Domain)和Repository Service。

2.建立一个Folder文件夹。(用于开发学习)

前提过程:

1.1.打开Repository Manager客户端,选择菜单Repository -> Configure Domains。Add a new domain,填写信息。

这里有几点需要注意:

    1).Domain Name:打开Admin Console。Admin Console是一个基于Web的管理控制台,一般通过类似于URL”http://host1:6005″进行访问。host1就是安装了PowerCenter服务器的机器名,6005是端口号。在Domain Navigator树的最顶层就是Domain Name。

    2).Gateway Host,这里填写服务器的主机名。在安装了PowerCenter的Windows客户端,还需要配置hosts文件,目录位于C:\WINDOWS\System32\drivers\etc,在hosts文件中增加类似条目:192.168.75.129host1.

    3).Gateway Port,默认端口6005,这是在安装过程中确定的,如果在安装的过程中有更改,这边也需要更改,保持一致性。

1.2.信息输入完之后,确认。下一界面,勾选Repository Service名字,这个也可以在Admin Console中找到相对应的信息。再确认之后双击你的Repository Service,输入用户名以及密码。默认用户名是Administrator,密码是在安装的时候确认的。点击Connect可以确认是否客户端连接服务器成功。

2.在Repository Manager,选择菜单Folder -> Create,弹出Create Folder菜单,输入Folder Name信息确认即可。

 

 

定义源表

打开客户端PowerCenter Designer,点击Source Analyzer图标。源表来源多样,这边只举一例子。So 选择菜单Sources,选择Import From Database命令,在弹出的Improt Tables对话框输入信息。

如果是第一次使用,需要创建一个ODBC DSN。单击”…”图标,选择”系统DSN”,单击”添加”,选择驱动程序,以Oracle数据库为例子,选择”DataDirect 7.1 Oracle Wire Protocol”。填写数据库信息,这时候就新建完了。到ODBC Oracle Wire Protocol Driver Setup中,输入Data Source Name,用户名,密码,可以测试连接,没有问题的话回到Import Tables,选择要的表做完源表的结构。

 

定义目标表

打开客户端PowerCenter Designer,点击Target Designer图标,剩下的步骤类似于定义源表,都是Import From Database等等。

 

好了,这时候我们已经把源表,目标表的结构定义好了。

下面需要进行一个关键的步骤,Mapping。(类似于C Main程序)

 

Mapping

点击Mapping Designer图标,选择菜单Mappings -> Create,在弹出的菜单中输入Mapping的名称,相关的命名规则参照PowerCenter内部建议的命名规范,这对大规模的Mapping开发的时候很有帮助。

在之前创建的Folder文件夹下面选择到所创建的源表,按住鼠标,拖动到Mapping Designer工作区。

同样的把Target表拖动到Mapping Designer工作区。这时候在Mapping Designer中会出现三个框,一个Source,一个SQ,一个Target。这时候需要为变量赋值,选择SQ表中的内容,拖动到Target上面,至此,一个简单的Mapping完成了。

这时候,需要保存(ctrl+s)

如果在Folder中的mappings中看到我们的Mapping是带有感叹号的,是无效的,需要更正。

 

Workflow

打开PowerCenter Workflow Manager,选择Workflow Designer,菜单栏中选择Workflows ->Wizard,在弹出来的对话框中输入Workflow的名字,命名规则参考Velocity Methodology。选择PowerCenter Integration Service,点击下一步进入Create Sessions界面。在左边可以看到Mapping,点击 Add session for the selected mapping。可以看到右边出现了一个session。然后下一步,完成即可。

在Workflow Designer中可以看到生成的过程。然后点击我们的session,选择Mapping Tab,选择Source,这里为源表创建一个数据库连接。方法:选择菜单,选择Connections -> Relational。单击NEW,输入连接的name,数据库的用户名,密码,连接串。

完成后ctrl + s保存。

同理:选择Target,设置WRITERS,在output type中设置信息可以设置为目标表导出。

 

监控运行

启动Workflow之后,打开Workflow Monitor,双击Session,可以查看Session运行的详细信息,包括运行状态,开始,结束时间,读取,写入行数,吞吐量以及运行的时候的错误等信息。

 

至此,一个简单的过程结束。

 

 

 

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/139569.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • 775针最好的cpu有哪些_1156针cpu是几代

    775针最好的cpu有哪些_1156针cpu是几代针脚也就是cpu的接口,是cpu和主板的连接件,不同的针脚代表不同cpu的类型,现在775针cpu已经成为Intel桌面CPU的标准接口。今天就为大家简单介绍775针cpu以及它们同系列性能排行最好的一款吧。一、775针的cpu的有哪些?主要有奔腾4、赛扬D,奔腾D8、D9系列,奔腾E2、奔腾E5、E6,酷睿E4、E6、E7、E8,酷睿Q6、Q8、Q9。奔腾4采用LGA775接口的有5和6系列,经…

  • js中find的用法_js中find函数

    js中find的用法_js中find函数首先简单的介绍一下ES6是什么,可能很多人还是第一次听说,我们都知道H5是html的新一代的标准,同样,ES6是javascript的新一代标准,全称是ECMAScript6.0,简称ES6,其实不是什么神秘的东西。15年6月发布的。今天我们要说的是结合ES6新特性谈一下js里面的一个很好用的方法-find()现在的前端和过去的不一样,过去的前端只要会画页面就行了,但是现在仅仅会画页面已…

    2022年10月14日
  • RapidXml使用方法

    RapidXml使用方法一、写xml文件#include#include”rapidxml/rapidxml.hpp”#include”rapidxml/rapidxml_utils.hpp”#include”rapidxml/rapidxml_print.hpp”usingnamespacerapidxml;intmain(){ xml_document<>doc;

  • 普通交换机可以poe供电吗_poe供电交换机和普通交换机区别

    普通交换机可以poe供电吗_poe供电交换机和普通交换机区别交换机相信大家都比较熟悉,一般说的交换机指的普通交换机,也就是最常见的那种。普通交换机可以传输交换数据,或者局域网内的多个电脑可以相互通信。PoE交换机指可以供电的交换机,跟普通交换机的区别是,它不仅而已传输交换数据,还可以同时给与它连接的设备供电,这样的目的是可以免去额外的电源布线,不用刻意请电工师傅。可能有朋友会问,普通交换机能否改成PoE供电的,如何将普通交换机变成PoE交换机?接下来我们就跟随飞畅科技的小编一起来详细看看吧!普通交换机和poe交换机虽都是交换机,在内部结构有区别的,PoE交换机里

  • 什么是信息熵?香农利用信息熵回答了什么问题_香农定律

    什么是信息熵?香农利用信息熵回答了什么问题_香农定律第九个知识点:香农(Shannon)定义的熵和信息是什么这是计算机理论的最后一篇.我们讨论信息理论的基础概念,什么是香农定义的熵和信息.信息论在1948年被ClaudeE.Shannon建立.信

  • RTP协议–图文解释

    RTP协议–图文解释一、什么是RTP数据传输协议RTP,用于实时传输数据。RTP报文由两部分组成:报头和有效载荷。二、RTP的会话过程当应用程序建立一个RTP会话时,应用程序将确定一对目的传输地址。目的传输地址由一个网络地址和一对端口组成,有两个端口:一个给RTP包,一个给RTCP包,使得RTP/RTCP数据能够正确发送。RTP数据发向偶数的UDP端口,而对应的控制信号RTCP数据发向相邻的奇数…

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号