Informatica ETL开发入门实例

Informatica ETL开发入门实例Informatica客户端工具:5个Designer——定义源及目标结构设计转换规则,生成ETL映射RepositoryManager——元数据资料库,依赖性分析,安全性管理等RepositoryServerAdministratorConsole——Repository的建立与维护WorkflowManager——合理的实现复杂的ETL工作流基于时间或事件的作业高度WorkflowMonitor——监控workflow和session,生成工作日志及报告…

大家好,又见面了,我是你们的朋友全栈君。

一、ETL开发前准备工作

注:Informatica的存储服务和集成服务必须已经启动,客户端才能连接并进行ETL实例开发

客户端工具:

  • PowerCenter Designer:D客户端
  • PowerCenter Repository Manager:R客户端
  • PowerCenter Workflow Manager:W客户端
  • PowerCenter Workflow Monitor:M客户端

1、配置域
打开R客户端(Repository Manager),点击【存储库】,选择【配置域】
在这里插入图片描述
配置域(参考下图):

域名:domain_notebook8(domain_:域名前缀,必须写)
网关主机:notebook8
网关端口:6005

在这里插入图片描述
在这里插入图片描述
连接成功:
在这里插入图片描述
2、创建文件夹
点击【文件夹】,选择【创建】,创建文件夹
关于mapping、任务、工作流,都是在相应的文件夹里面操作的,因此首要就是:打开R客户端(Repository Manager),创建一个文件夹,为后面的ETL实例开发做好准备。
在这里插入图片描述
三、准备源数据
1、准备ODS层、EDW层、DM层

OLTP —> ODS —> EDW —> DM

2、准备BI_ODS用户、BI_EDW用户、BI_DM用户

scott —> BI_ODS —> BI_EDW —> BI_DM

(1)创建 BI_ODS 用户并授权

--Create User BI_ODS
create user bi_ods				--用户名
	identified by bi_ods		--密码
	default tablespace USERS	--默认表空间
	temporary tablespace TEMP;	--临时表空间

--Grant/Revoke role privileges
grant connect to bi_ods;
grant dba to bi_ods;
grant resource to bi_ods;

--Grant/Revoke system privileges
grant unlimited tablespace to bi_ods;

(2)创建 BI_EDW 用户并授权

--Create User BI_EDW
create user bi_edw
	identified by bi_edw
	default tablespace USERS
	temporary tablespace TEMP;

--Grant/Revoke role privileges
grant connect to bi_edw;
grant dba to bi_edw;
grant resource to bi_edw;

--Grant/Revoke system privileges
grant unlimited tablespace to bi_edw;

(3)创建 BI_DM 用户并授权

--Create User BI_DM
create user bi_dm
	identified by bi_dm
	default tablespace USERS
	temporary tablespace TEMP;

--Grant/Revoke role privileges
grant connect to bi_dm;
grant dba to bi_dm;
grant resource to bi_dm;

--Grant/Revoke system privileges
grant unlimited tablespace to bi_dm;

四、ETL开发入门实例
将【scott用户的emp表】的数据抽取到【bi_ods用户的ods_emp表】

期望结果如下:

scott用户:源表(EMP)
在这里插入图片描述
bi_ods用户:目标表(ODS_EMP)
在这里插入图片描述
1、创建目标用户(bi_ods)并授权

(scott)					目标(bi_ods层)
用户名:scott				用户名:bi_ods
密码:tiger					密码:bi_ods
数据库服务实例:orcl			数据库服务实例:orcl

注:scott用户和scott用户下的源表(EMP)本身就有,无需另行创建。

2、导入源表
打开D客户端(Designer),从数据库导入

注意:这里的BI_ODS这个文件夹要双击选中(会看到字体变粗),上面的菜单栏才会显示出源(S)这个可选项,否则可能会找不到!

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
3、构建目标表
把源表复制到目标表,并重命名ODS_EMP:
在这里插入图片描述
在这里插入图片描述
点击【目标】,选择【生成/执行SQL】,生成目标表
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
连接PL/SQL,登录bi_ods用户,查看是否生成目标表ODS_EMP:
在这里插入图片描述
4、创建映射
在这里插入图片描述
在这里插入图片描述
5、定义任务
打开W客户端(Workflow Manager)
在这里插入图片描述
在这里插入图片描述
scott用户:
在这里插入图片描述
bi_ods用户:
在这里插入图片描述
结果:
在这里插入图片描述
6、创建任务会话
在这里插入图片描述
在这里插入图片描述
源:ora_source_scott
在这里插入图片描述
目标:ora_source_scott
在这里插入图片描述
默认是Bulk(桶)加载,这里改成Normal(正常)加载:
在这里插入图片描述
7、创建工作流
在这里插入图片描述
在这里插入图片描述
8、启动任务/通过任务启动工作流
在这里插入图片描述
【启动任务】或【通过任务启动工作流】 ,然后会自动弹出M客户端(Workflow Monitor):
在这里插入图片描述
通过M客户端可以看到任务的执行情况!

9、检查数据
打开PL/SQL工具,查看数据是否从scott用户的源表(EMP)加载到bi_ods用户的目标表(ODS_EMP):
在这里插入图片描述
至此,一个简单ETL开发入门实例完成 ~ ~ ~

通过D客户端打开组件
右击映射,选择“打开”:
在这里插入图片描述

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/132141.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)
blank

相关推荐

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号