阿里开源数据同步工具–DataX

阿里开源数据同步工具–DataX下载地址:QuickStartDataX是异构数据源离线同步工具。能够将MySQLsqlServerOracleHiveHBaseFTP之间进行稳定高效的数据同步。设计思路:网状连接-》星型连接目前支持哪些数据同步?:核心架构:推荐使用python2.67不要使用python3,0使用方法和案例:1.准备一个job….

大家好,又见面了,我是你们的朋友全栈君。

下载 地址:QuickStart
DataX是异构数据源离线同步工具。能够将MySQL sqlServer Oracle Hive HBase  FTP 之间进行稳定高效的数据同步。

设计思路:

   网状连接-》 星型连接

 

阿里开源数据同步工具--DataX

目前支持哪些数据同步?:

阿里开源数据同步工具--DataX

核心架构:

 推荐使用python 2.6 7 不要使用python 3,0 

使用方法和案例:

1. 准备一个job.json  或者job.xml

执行命令:

python datax.py job.json                         

提供几个json :
1: oracle 到本地文件

{  
    “job”: {  
        “content”: [  
            {  
                 “reader”: {

                    “name”: “oraclereader”,
                    “parameter”: {

                        “username”: “xxxxx”,
                        “password”: “xxxxxx”,
                        “where”: “”,
                        “connection”: [
                            {

                                “querySql”: [
                                    “select * from table1”
                                ],
                                “jdbcUrl”: [
                                    “jdbc:oracle:thin:@192.168.121.30:1521:tcenter”
                                ]
                            }
                        ]
                    }
                },  
                “writer”: {  
                    “name”: “txtfilewriter”,
                    “parameter”: {

                        “path”: “D:/data/”,
                        “fileName”: “oracledata”,
                        “writeMode”: “truncate”,
                        “format”: “yyyy-MM-dd”
                       }
                   }  
                } 
        ],  
        “setting”: {  
            “speed”: {  
                “channel”: 1  
            }  
        }  
    }  
}  
 
2.oracle ->oracle

{  
    “job”: {  
        “content”: [  
            {  
                 “reader”: {

                    “name”: “oraclereader”,
                    “parameter”: {

                        “username”: “xxxx”,
                        “password”: “xxxx”,
                        “column”: [“*”],
                        “where”: “”,
                        “connection”: [
                            {

                                “querySql”: [
                                    “select * from table1”
                                ],
                                “jdbcUrl”: [
                                    “jdbc:oracle:thin:@192.168.121.30:1521:tcenter”
                                ]
                            }
                        ]
                    }
                },  
                “writer”: { 
                    “name”: “oraclewriter”, 
                    “parameter”: {

                        “username”: “xxxx”,
                        “password”: “xxxx”,
                        “truncate”: “true”,
                        “column”: [“SYSTEMNO”,
                                “SYSTEMTIME”,
                                “xxx”,
                                “x”,
                                “x”,
                                “x”,
                                “x”,
                                “x”,
                                “x”,
                                “x”,
                                “x”,
                                “x”,
                                “STATUS”,
                                “x”,
                                “x”,
                                “x”
                                ],
                        “connection”: [
                            {

                                
                                “jdbcUrl”: “jdbc:oracle:thin:@192.168.121.30:1521:tcexxnter”,
                                “table”: [
                                    “table1”
                                ]
                            }
                        ]
                      }
                }  
            } 
        ],  
        “setting”: {  
            “speed”: {  
                “channel”: 6 
            }  
        }  
    }  
}  

关联查询入库demo:

建表SQL:

CREATE TABLE ZF_PaytDemo(
       SystemNo          VARCHAR2(32)  NOT NULL,
       MainOrderSystemNo        VARCHAR2(32)    NOT NULL,
       TxAmount          NUMBER(16)    NOT NULL,
       AccountAmount       NUMBER(16)    NOT NULL,
       FinanceChannelCode        VARCHAR2(64)      NOT NULL
);
Json:
{  
    “job”: {  
        “content”: [  
            {  
                 “reader”: {

                    “name”: “oraclereader”,
                    “parameter”: {

                        “username”: “xxx”,
                        “password”: “xxx”,
                        “where”: “”,
                        “connection”: [
                            {

                                “querySql”: [
                                    “select B.SYSTEMNO, A.SYSTEMNO AS MainOrderSystemNo, B.txamount, B.AccountAmount,  B.Financechannelcode from zf_fundinordermain A left join zf_fundinorderpayt B on A.Systemno = B.MAINORDERSYSTEMNO where  A.Systemno =’35112016091411580603700000′ “
                                ],
                                “jdbcUrl”: [
                                    “jdbc:oracle:thin:@192.168.121.30:1521:tcenter”
                                ]
                            }
                        ]
                    }
                },  
                “writer”: { 
                    “name”: “oraclewriter”, 
                    “parameter”: {

                        “username”: “xxx”,
                        “password”: “xxx”,
                        “truncate”: “false”,
                        “column”: [
                            “SystemNo”,
                            “MainOrderSystemNo”,
                            “TxAmount”,
                            “AccountAmount”,
                            “FinanceChannelCode”
                        ],
                        “connection”: [
                            {

                                
                                “jdbcUrl”: “jdbc:oracle:thin:@192.168.121.30:1521:tcenter”,
                                “table”: [
                                    “ZF_PaytDemo”
                                ]
                            }
                        ]
                      }
                }  
           }
        ],  
        “setting”: {  
            “speed”: {  
                “channel”: 1  
            }  
        }  
    }  
}  

file->oracle JSON:

{  
    “job”: {  
        “content”: [  
            {  
                 “reader”: {

                    “name”: “txtfilereader”,
                    “parameter”: {

                        “path”: [“D:/datax.txt”],
                        “encoding”: “UTF-8”,
                        “column”: [
                            {

                                “index”: 0,
                                “type”: “string”
                            },
                            {

                                “index”: 1,
                                “type”: “string”
                            },
                            {

                                “index”: 2,
                                “type”: “long”
                            },
                            {

                                “index”: 3,
                                “type”: “long”
                            },
                            {

                                “index”: 4,
                                “type”: “string”
                            }
                        ],
                        “fieldDelimiter”: “\t”
                    }
                },  
                “writer”: { 
                    “name”: “oraclewriter”, 
                    “parameter”: {

                        “username”: “xxxx”,
                        “password”: “xxxx”,
                        “truncate”: “true”,
                        “column”: [  
                            “SystemNo”,
                            “MainOrderSystemNo”,
                            “TxAmount”,
                            “AccountAmount”,
                            “FinanceChannelCode”
                        ],
                        “connection”: [
                            {

                                
                                “jdbcUrl”: “jdbc:oracle:thin:@192.168.121.30:1521:tcenter”,
                                “table”: [
                                    “ZF_PaytDemo”
                                ]
                            }
                        ]
                      }
                }  
            } 
        ],  
        “setting”: {  
            “speed”: {  
                “channel”: 6 
            }  
        }  
    }  
}  

原文:https://blog.csdn.net/wangming520liwei/article/details/70159537 
 

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/154036.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)
blank

相关推荐

  • python3变量命名规则_python 变量命名规则

    python3变量命名规则_python 变量命名规则原博文2020-05-1410:53−python标识符命名规则:1,标识符只能包含大、小写字母、数字、下划线“_”,并且不能以数字开头2,标识符不能与python关键字相同,但可以包含3,标识符不能包含空格tips:a,python的标识符区分大小写,如变量number与变量Number表示不同的变量…相关推荐2019-09-2821:13−Pythonpython是一种跨平台的计…

  • 申请软件著作权步骤[通俗易懂]

    申请软件著作权步骤[通俗易懂]前言:申请软件著作权对格式要求很严格,材料一定要保证格式正确,一般来说需要参考模板。另外,邮寄材料到版权中心的方式比较慢,而且万一材料格式或者内容不合适的话补正的话很麻烦,最好还是到现场办理成功率高。就我的经验来说,材料出现的错误率最高的是:1>要求签章的地方未按要求进行签章;2>材料提供的不全;3>材料内容不恰当,需要更改,比如浏览器需要加上安装卸载过程、微信小程序需要体现是在…

  • MySQL两地三中心方案初步设计

    MySQL两地三中心方案初步设计这是学习笔记的第2057篇文章今天梳理了下两地三中心的一些方案设计,算是抛砖引玉吧。整体内容会按照如下的方式来进行设计:首先说下方案的背景,我参考了一些资料(参见…

  • 关于大数据,云计算,物联网的概述正确的是_物联网应用领域

    关于大数据,云计算,物联网的概述正确的是_物联网应用领域1、大数据时代  以大数据、物联网和云计算为标志的第三次信息化浪潮开始,大数据时代全面开启。大数据发展主要经历了三个历程。2、大数据的概念  关于什么是大数据”这个问题,大家比较认可关于大数据的“4V”说法。大数据的4个“V”,或者说是大数据的4个特点,包含4个层面:数据量大(Volume).数据类型繁多(Variety).处理速度快(Velocity)和价值密度低(Value)。3、…

  • C# 中几种换行符

    C# 中几种换行符

  • C/C++指针参数赋值问题

    C/C++指针参数赋值问题

    2021年11月20日

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号