datax(27):不太常见配置项querySql、preSql、postSql、splitPk[通俗易懂]

datax(27):不太常见配置项querySql、preSql、postSql、splitPk[通俗易懂]每个datax的json都有自己的json配置文档,基本大同小异,有几个配置较为少用,但是用了之后,真香~一、querySql1、使用教程描述:在有些业务场景下,where这一配置项不足以描述所筛选的条件,用户可以通过该配置型来自定义筛选SQL。当用户配置了这一项之后,DataX系统就会忽略table,column这些配置型,直接使用这个配置项的内容对数据进行筛选,例如需要进行多表join后同步数据,使用selecta,bfromtable_ajointable_bontabl.

大家好,又见面了,我是你们的朋友全栈君。

每个datax的json都有自己的json配置文档,基本大同小异,有几个配置较为少用,但是用了之后,真香~


一、querySql

1、使用教程

  • 描述:在有些业务场景下,where这一配置项不足以描述所筛选的条件,用户可以通过该配置型来自定义筛选SQL。当用户配置了这一项之后,DataX系统就会忽略table,column这些配置型,直接使用这个配置项的内容对数据进行筛选,例如需要进行多表join后同步数据,使用select a,b from table_a join table_b on table_a.id = table_b.id

    当用户配置querySql时,xxxReader直接忽略table、column、where条件的配置。如果配置了querySql又配置了table,column、where等,在log中会有警告日志,具体代码在
    OriginalConfPretreatmentUtil.dealColumnConf()

……
if (null != userConfiguredColumns && userConfiguredColumns.size() > 0) { 
   
        LOG.warn(
            "您的配置有误. 由于您读取数据库表采用了querySql的方式, 所以您不需要再配置 column. 如果您不想看到这条提醒,请移除您源头表中配置中的 column.");
        originalConfig.remove(Key.COLUMN);
      }

      // querySql模式,不希望配制 where,那样是混淆不清晰的
      String where = originalConfig.getString(Key.WHERE, null);
      if (StringUtils.isNotBlank(where)) { 
   
        LOG.warn(
            "您的配置有误. 由于您读取数据库表采用了querySql的方式, 所以您不需要再配置 where. 如果您不想看到这条提醒,请移除您源头表中配置中的 where.");
        originalConfig.remove(Key.WHERE);
      }

      // querySql模式,不希望配制 splitPk,那样是混淆不清晰的
      String splitPk = originalConfig.getString(Key.SPLIT_PK, null);
      if (StringUtils.isNotBlank(splitPk)) { 
   
        LOG.warn(
            "您的配置有误. 由于您读取数据库表采用了querySql的方式, 所以您不需要再配置 splitPk. 如果您不想看到这条提醒,请移除您源头表中配置中的 splitPk.");
        originalConfig.remove(Key.SPLIT_PK);
      }

……
  • 必选:否

  • 默认值:无

2、目前可以使用该配置的插件

目前主要是reader插件,主要有rdbmsReader(sqlServer、mysql、postgresql、oracle等)、hbase20xsqlreader、DrdsReader和KingbaseesReader。

3、源码解读

目前主要的代码都在CommonRdbmsReader的startRead()中
1. 获取 String querySql = readerSliceConfig.getString(Key.QUERY_SQL);
2. 调用  rs = DBUtil.query(conn, querySql, fetchSize);

DBUtil.query方法中最终实现是如下:
  public static ResultSet query(Statement stmt, String sql)
      throws SQLException { 
   
    return stmt.executeQuery(sql);
  }


二、preSql

1、使用教程

  • 描述:写入数据到目的表前,会先执行这里的标准语句。如果 Sql 中有你需要操作到的表名称,请使用 @table 表示,这样在实际执行 Sql 语句时,会对变量按照实际表名称进行替换。比如你的任务是要写入到目的端的100个同构分表(表名称为:datax_00,datax01, … datax_98,datax_99),并且你希望导入数据前,先对表中数据进行删除操作,那么你可以这样配置:"preSql":["delete from 表名"],效果是:在执行到每个表写入数据前,会先执行对应的 delete from 对应表名称

  • 必选:否

  • 默认值:无

2、目前可以使用该配置的插件

目前主要是writer插件,主要有rdbmsWriter、mongoDBWriter、AdsWriter等。

3、源码解读

一般在writer的prepare阶段,例如CommonRdbmsWriter.prepare()方法
1.获取所有preSqls 
        List<String> preSqls = originalConfig.getList(Key.PRE_SQL, String.class);
        List<String> renderedPreSqls = WriterUtil.renderPreOrPostSqls(preSqls, table);
2.执行preSqls
WriterUtil.executeSqls(conn, renderedPreSqls, jdbcUrl, dataBaseType);

三、postSql

1、使用教程

  • 描述:写入数据到目的表后,会执行这里的标准语句。(原理同 preSql )

  • 必选:否

  • 默认值:无

2、目前可以使用该配置的插件

大部分的writer插件

3、源码解读

同preSql,不在赘述;


四、splitPk

1、使用教程

  • 描述:进行数据抽取时,如果指定splitPk,表示用户希望使用splitPk代表的字段进行数据分片,DataX因此会启动并发任务进行数据同步,这样可以大大提升数据同步的效能。

    推荐splitPk用户使用表主键,因为表主键通常情况下比较均匀,因此切分出来的分片也不容易出现数据热点。

    目前splitPk仅支持整形数据切分,不支持浮点、字符串、日期等其他类型。如果用户指定其他非支持类型,MysqlReader将报错!

    如果splitPk不填写,包括不提供splitPk或者splitPk值为空,DataX视作使用单通道同步该表数据。

  • 必选:否

  • 默认值:空

2、目前可以使用该配置的插件

目前主要是reader插件,主要有rdbmsReader(sqlServer、mysql、postgresql、oracle等)、hbase20xsqlreader、DrdsReader和KingbaseesReader。

3、源码解读

主要在各类reader插件中,以CommonRdbmsReader为例,在CommonRdbmsReader.preCheck()1、从配置获取splitPK 
	String splitPK = queryConf.getString(Key.SPLIT_PK);
2、构造出PreCheckTask 对象
	PreCheckTask t = new PreCheckTask(username, password, connConf, dataBaseType, splitPK);
3、进行表切分,在PreCheckTask的call方法中
	@Override
  public Boolean call() throws DataXException { 
   
   ……
    List<Object> splitPkSqls = this.connection.getList(Key.SPLIT_PK_SQL, Object.class);
    ……
    try { 
   
      for (int i = 0; i < querySqls.size(); i++) { 
   
        String splitPkSql = null;
        String querySql = querySqls.get(i).toString();
       ……
        
        /*verify splitPK*/
        try { 
   
          if (splitPkSqls != null && !splitPkSqls.isEmpty()) { 
   
            splitPkSql = splitPkSqls.get(i).toString();
            DBUtil.sqlValid(splitPkSql, dataBaseType);
            if (i == 0) { 
   
              SingleTableSplitUtil.preCheckSplitPk(conn, splitPkSql, fetchSize, table, userName);
            }
          }
        } catch (ParserException e) { 
   
        ……
        }
      }
    } finally { 
   
      DBUtil.closeDBResources(null, conn);
    }
    return true;
  }

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/145802.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(6)


相关推荐

  • WebSocket 详解教程

    WebSocket 详解教程概述WebSocket是什么?WebSocket是一种网络通信协议。RFC6455定义了它的通信标准。WebSocket是HTML5开始提供的一种在单个TCP连接上进行全双工通讯

  • acwing-246. 区间最大公约数(线段树+gcd)[通俗易懂]

    acwing-246. 区间最大公约数(线段树+gcd)[通俗易懂]给定一个长度为 N 的数列 A,以及 M 条指令,每条指令可能是以下两种之一:C l r d,表示把 A[l],A[l+1],…,A[r] 都加上 d。Q l r,表示询问 A[l],A[l+1],…,A[r] 的最大公约数(GCD)。对于每个询问,输出一个整数表示答案。输入格式第一行两个整数 N,M。第二行 N 个整数 A[i]。接下来 M 行表示 M 条指令,每条指令的格式如题目描述所示。输出格式对于每个询问,输出一个整数表示答案。每个答案占一行。数据范围N≤500000,M≤1

  • fileinput的使用

    fileinput的使用BootstrapFileInput中文API整理这段时间做项目用到bootstrapfileinput插件上传文件,在用的过程中,网上能查到的api都不是很全,所以想着整理一份比较详细的文档,方便自己今后使用,也希望能给大家带来帮助,如有错误,希望大家积极指正。一、    引入文件二、    初始化设置:$(“#uplo

  • 2022跨年代码(有烟花)「建议收藏」

    马上就要到春节了,于是写了一个跨年倒计时代码,祝大家在新的一年里:所念的人平安喜乐,所想的事顺心如意。代码:<!doctypehtml><html><head><metacharset=”utf-8″><title>新年快乐</title><!–这是网页标题–><style>body{overflow:hidden;margin:0;}h1{position:

  • 安卓app十大开发框架_web应用开发学什么

    安卓app十大开发框架_web应用开发学什么国内第一本基于Android2.0的经典著作,5大专业社区联袂推荐,权威性毋庸置疑!·Android开发与传统的J2ME开发有何相似与不同?·如何通过SharedPreferences、Files、Network和SQLite等方式高效实现Android数据的存储?又如何通过ContentProviders轻松地实现Android数据的共享?·如何使用OpenCore、MediaPlayer、MediaRecorder方便快速地开发出包含音频和视频等流媒体的丰富多媒体应用?·如何

  • ubuntu安装完pycharm找不到了怎么办_pycharm安装numpy失败

    ubuntu安装完pycharm找不到了怎么办_pycharm安装numpy失败按常用方法(下载安装包再./pycharm.sh)安装失败,报warn:keymap“visualstudio”notfound,keymap“eclipse”notfound想不通为什么和这些ide有关,查了也没解决最后直接到Ubuntu自带的Ubuntusoftware下搜索pycharm下载,一次成功,不知道为什么这么简单有效的方法大家都不优先推荐。。。…

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号