hive中数据类型转换_csv文件导入sqlserver数据库中

hive中数据类型转换_csv文件导入sqlserver数据库中1.类型映射关系mysql和hive中的数据类型存在差异,在mysql集成数据到hive中这样的场景下,我们希望在hive中的数据是贴源的,所以在hive中希望创建和mysql结构一致的表。mysql到hive数据类型映射参考如下:mysql数据类型hive数据类型整型bigintBIGINT整型intBIGINT整型smallintBIGINT整型tinyintBIGINT浮点型decimaldecimal浮点型double

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE使用 1年只要46元 售后保障 童叟无欺

1.类型映射关系

mysql和hive中的数据类型存在差异,在mysql集成数据到hive中这样的场景下,我们希望在hive中的数据是贴源的,所以在hive中希望创建和mysql结构一致的表。

mysql到hive数据类型映射参考如下:

mysql数据类型 hive数据类型
整型 bigint BIGINT
整型 int BIGINT
整型 smallint BIGINT
整型 tinyint BIGINT
浮点型 decimal decimal
浮点型 double DOUBLE
浮点型 float DOUBLE
二进制 binary BINARY
二进制 varbinary BINARY
字符 char STRING
字符 varchar STRING
字符 mediumtext STRING
字符 text STRING
时间 datetime STRING
时间 time STRING
时间 timestamp STRING
时间 date date
json json MAP<STRING,STRING>

2.问题注意:

1.问题:

用公司的大数据平台(DataX)导数,已经开发上线一个多月的一批报表,突然有同事说有个报表数据不准。出在时间字段上。
分析:
1、先看了原数据MySQL字段类型为datetime,目标字段为timestamp类型;
2、经发现所有时间的差距都是8小时,怀疑是因为时区转换的原因;
3、对比其他表,看看是大范围现象还是特殊情况,发现其他的同样情况字段的一样没有问题,也有改变为string字段类型的也没有问题;

2.解决办法

经过对比:发现DATAX(sqoop也类似)在转换MySQL datatime字段类型为hive的timestamp时会出现问题:默认先转为零食去对应时间戳,再转换为北京市区时间,就会使时间多8小时。
解决办法有两个:
1、转换为string类型;
2、继续用timestamp类型,但是需要行存储(即text存储)。

遇见时间类型转换问题时要小心,保守最好是string,简单的比较大小不会影响后续计算。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/191079.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • CGlib 入门

    CGlib 入门CGlib入门cglibgithub地址链接。项目maven构建:cglibcglib3.1项目gradle构建:dependencies{compile’cglib:cgl

  • 抓包工具charles下载安装(破解版)

    抓包工具charles下载安装(破解版)1.下载:下载地址:https://www.charlesproxy.com/latest-release/download.do我的电脑是64位的,所以选择红框中的。2.下载之后安装按照默认next即可,然后选择路径。3.Charles破解破解地址:https://www.zzzmode.com/mytools/charles/按照下方文字填好,点击生成,会生成一个jar包,这个…

  • 用JS获取地址栏url参数的方法_js的url是啥

    用JS获取地址栏url参数的方法_js的url是啥有个url如下:http://passport.csdn.net/account/login?from=http%3a%2f%2fwrite.blog.csdn.net%2fpostedit我们该如何获取from这个参数的值呢?在网上搜了下方法很简单,如下,第一种是通过正则,第二种通过切串放进数组的方式:方法一:functiongetQueryString(name){

    2022年10月28日
  • 记Git报错-refusing to merge unrelated histories

    记Git报错-refusing to merge unrelated histories

  • Java调用第三方接口示范

    Java调用第三方接口示范人工智能,零基础入门!http://www.captainbed.net/inner在项目开发中经常会遇到调用第三方接口的情况,比如说调用第三方的天气预报接口。使用流程【1】准备工作:在项目的工具包下导入HttpClientUtil这个工具类,或者也可以使用Spring框架的restTemplate来调用,上面有调用接口的方法【分为Get和Post方式的有参和无参调用】:pa…

  • Win下使用CMD查看端口占用

    Win下使用CMD查看端口占用为什么80%的码农都做不了架构师?>>>…

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号