大家好,又见面了,我是你们的朋友全栈君。
一、ETL开发前准备工作
注:Informatica的存储服务和集成服务必须已经启动,客户端才能连接并进行ETL实例开发
客户端工具:
- PowerCenter Designer:D客户端
- PowerCenter Repository Manager:R客户端
- PowerCenter Workflow Manager:W客户端
- PowerCenter Workflow Monitor:M客户端
1、配置域
打开R客户端(Repository Manager),点击【存储库】,选择【配置域】
配置域(参考下图):
域名:domain_notebook8(domain_:域名前缀,必须写)
网关主机:notebook8
网关端口:6005
连接成功:
2、创建文件夹
点击【文件夹】,选择【创建】,创建文件夹
关于mapping、任务、工作流,都是在相应的文件夹里面操作的,因此首要就是:打开R客户端(Repository Manager),创建一个文件夹,为后面的ETL实例开发做好准备。
三、准备源数据
1、准备ODS层、EDW层、DM层
OLTP —> ODS —> EDW —> DM
2、准备BI_ODS用户、BI_EDW用户、BI_DM用户
scott —> BI_ODS —> BI_EDW —> BI_DM
(1)创建 BI_ODS 用户并授权
--Create User BI_ODS
create user bi_ods --用户名
identified by bi_ods --密码
default tablespace USERS --默认表空间
temporary tablespace TEMP; --临时表空间
--Grant/Revoke role privileges
grant connect to bi_ods;
grant dba to bi_ods;
grant resource to bi_ods;
--Grant/Revoke system privileges
grant unlimited tablespace to bi_ods;
(2)创建 BI_EDW 用户并授权
--Create User BI_EDW
create user bi_edw
identified by bi_edw
default tablespace USERS
temporary tablespace TEMP;
--Grant/Revoke role privileges
grant connect to bi_edw;
grant dba to bi_edw;
grant resource to bi_edw;
--Grant/Revoke system privileges
grant unlimited tablespace to bi_edw;
(3)创建 BI_DM 用户并授权
--Create User BI_DM
create user bi_dm
identified by bi_dm
default tablespace USERS
temporary tablespace TEMP;
--Grant/Revoke role privileges
grant connect to bi_dm;
grant dba to bi_dm;
grant resource to bi_dm;
--Grant/Revoke system privileges
grant unlimited tablespace to bi_dm;
四、ETL开发入门实例
将【scott用户的emp表】的数据抽取到【bi_ods用户的ods_emp表】
期望结果如下:
scott用户:源表(EMP)
bi_ods用户:目标表(ODS_EMP)
1、创建目标用户(bi_ods)并授权
源(scott) 目标(bi_ods层)
用户名:scott 用户名:bi_ods
密码:tiger 密码:bi_ods
数据库服务实例:orcl 数据库服务实例:orcl
注:scott用户和scott用户下的源表(EMP)本身就有,无需另行创建。
2、导入源表
打开D客户端(Designer),从数据库导入
注意:这里的BI_ODS这个文件夹要双击选中(会看到字体变粗),上面的菜单栏才会显示出源(S)这个可选项,否则可能会找不到!
3、构建目标表
把源表复制到目标表,并重命名ODS_EMP:
点击【目标】,选择【生成/执行SQL】,生成目标表
连接PL/SQL,登录bi_ods用户,查看是否生成目标表ODS_EMP:
4、创建映射
5、定义任务
打开W客户端(Workflow Manager)
scott用户:
bi_ods用户:
结果:
6、创建任务会话
源:ora_source_scott
目标:ora_source_scott
默认是Bulk(桶)加载,这里改成Normal(正常)加载:
7、创建工作流
8、启动任务/通过任务启动工作流
【启动任务】或【通过任务启动工作流】 ,然后会自动弹出M客户端(Workflow Monitor):
通过M客户端可以看到任务的执行情况!
9、检查数据
打开PL/SQL工具,查看数据是否从scott用户的源表(EMP)加载到bi_ods用户的目标表(ODS_EMP):
至此,一个简单ETL开发入门实例完成 ~ ~ ~
通过D客户端打开组件
右击映射,选择“打开”:
发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/132141.html原文链接:https://javaforall.cn
【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛
【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...