五个步骤教你数据清洗_数据仓库ods层

五个步骤教你数据清洗_数据仓库ods层关于ODS层是否做数据清洗一直是存在争议的,但有一点是可以确定的,对于比较重的清洗工作是要留到后面数仓的ETL过程中进行处理。但是,有这么一种情况:我们在长期的生产实际过程中,发现部分已知的数据问题的处理可以通过自动化的方式来处理,这种方式通常在数据入库之前,做额外的加工处理后再做入库操作。数据清洗的主要工作是处理那些不符合要求的数据,从而提升数据质量,比如一些常见的问题:错误的数据、重复的数据错误的数据这种错误通常是业务系统处理不够健全造成的,比如字符串数据后面有回车空格、日期格式不正确、日期

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE稳定放心使用

关于ODS层是否做数据清洗一直是存在争议的,但有一点是可以确定的,对于比较重的清洗工作是要留到后面数仓的ETL过程中进行处理。

但是,有这么一种情况:我们在长期的生产实际过程中,发现部分已知的数据问题的处理可以通过自动化的方式来处理,这种方式通常在数据入库之前,做额外的加工处理后再做入库操作。

数据清洗的主要工作是处理那些不符合要求的数据,从而提升数据质量,比如一些常见的问题:错误的数据、重复的数据

  • 错误的数据

这种错误通常是业务系统处理不够健全造成的,比如字符串数据后面有回车空格、日期格式不正确、日期越界等等,这些问题如果不在ODS层做处理,后续的解析处理过程中也是要留意处理的

  • 重复的数据

例如,一些前端系统迁移过后的新老表融合可能会存在大量的重复历史数据,这也可以在数据清洗这一步骤中完成消除重复数据的操作。需要注意的是,在数据清洗后还需要对ODS的数据做稽核,还需要对脏数据做稽核校验,脏数据的校验主要集中在数据量上,如果数据量波动特别大则需要人工介入处理。

其实,在大多数的情况下,是不需要做数据清洗处理的,可以把这个清洗环节放到后面的明细层ETL中进行处理。

我的建议是尽可能少作清洗,若是在这一层作清洗,建议只在几种状况下作清洗:

  • 简单的数据标准化,好比表和字段命名
  • 默认值填充,好比性别为空的都补0
  • 清洗规则十分明确,好比说说字段拆解:接收到的json数据拆成多个明确字段
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/185654.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(1)


相关推荐

  • 如何解决Windows10系统空闲时间CPU占用高,风扇很响的问题?

    如何解决Windows10系统空闲时间CPU占用高,风扇很响的问题?说句心里话,对用惯了win7系统的我来说,Windows10系统是非常难用的,因为现如今的电脑几乎都不再有光驱,想要重装系统,必须网上下载或者拷贝进U盘里。但是,系统一般都很大,下载需要消耗很长时间,还不一定能用。所以,我一直强迫自己习惯使用Windows10系统,如今倒是渐渐习惯了,但其中有几个非常烦人的地方:一个是系统更新。我刚拿到电脑的时候,客服就跟我说,Windows10系统更新会导致电脑总是蓝屏。我问能不能阻止更新,但客服表示没办法,已经来不及了,现在就算禁止了也没用。果不其然,在..

    2022年10月20日
  • php array_map与array_walk使用对比

    php array_map与array_walk使用对比

    2021年10月31日
  • 2021十大国际黄金交易APP平台排名一览

    2021十大国际黄金交易APP平台排名一览国际黄金交易作为一个国际投资产品在投资市场中成功接棒。作为当下热门的投资,经常有投资者询问小编国际黄金交易盈利技巧在于哪里,其实国际黄金交易比较简单,找到一个正规合适的平台就是盈利的关键。如今已是移动互联网时代,各类APP层出不穷,也有不少浑水摸鱼之辈。国际黄金市场波动大,需要一个稳定的平台来承受变化莫测的黄金市场,才方便投资者做出相对应的操作,那么国际黄金交易APP怎么选呢?下面让小编给大家介绍“2021十大国际黄金交易APP平台排名一览”,仅供大家参考。1、金荣中国APP金荣中国属金银业贸易场A

  • 怎么查看线程的状态及interrupt优雅的关闭线程和interrupt()、interrupted()、isInterrupted()的作用以及区别在哪?

    怎么查看线程的状态及interrupt优雅的关闭线程和interrupt()、interrupted()、isInterrupted()的作用以及区别在哪?示例:查看状态:刚才我们讲过,一个线程里面任务正常执行完毕,状态就是TERMINATED,就是终止状态。但是,如果我线程里面的任务一直没有执行完成,我想去终止这个线程,或者我给点信息给到线程里,告诉线程我想终止结束呢!所以我可以强制去关闭线程:线程提供一个stop方法,该方法不建议使用,已经过时了!!因为stop是强行关闭线程,线程里面的任务都不在执行,不管线程的任务是否执行成功与否,就算执行到一半也会强制关闭!导致很多不可控制的结果,比如支付付一半等等!!所以我们要需要去优雅的关闭。什么叫做优雅关

    2022年10月25日
  • DNS服务器列表

    DNS服务器列表PublicDNS+IPv4地址首选:119.29.29.29AliDNS 阿里公共DNSIPv4地址首选:223.5.5.5备用:223.6.6.6114DNS常规公共DNS(干净无劫持)首选:114.114.114.114、备选:114.114.115.115拦截钓鱼病毒木马网站(保护上网安全)首选:114.114.114.119、备用:114.11…

  • 如何黑掉礼品卡

    如何黑掉礼品卡

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号