ODS层设计规范_环境类别二类的保护层厚度是多少

ODS层设计规范_环境类别二类的保护层厚度是多少ODS层设计规范更新时间:2021-06-0814:37我的收藏本页目录数据同步及处理规范 命名规范 数据存储及生命周期管理规范 数据质量规范本文为您介绍ODS层设计规范。数据同步及处理规范数据同步方式的选择 基本规范通过需求形式落地到DataWorks的数据集成,规范落地情况依赖工具的推进节奏。一个系统的源表只允许同步一次到MaxCompute。 数据加载与处理 通过一键实时同步至MaxCompute方案实现,请参见配置查看数据同步任务。 命名规范表命名

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE稳定放心使用

ODS层设计规范

更新时间:2021-06-08 14:37

我的收藏

本页目录

本文为您介绍ODS层设计规范。

数据同步及处理规范

  • 数据同步方式的选择

    基本规范通过需求形式落地到DataWorks的数据集成,规范落地情况依赖工具的推进节奏。一个系统的源表只允许同步一次到MaxCompute。

  • 数据加载与处理

    通过一键实时同步至MaxCompute方案实现,请参见配置查看数据同步任务

命名规范

  • 表命名规范表命名规则: {层次}{源系统表名}{保留位/delta与否}。
    • 增量数据:{project_name}.s{源系统表名}delta。
    • 全量数据:{project_name}.s{源系统表名}。
    • ODS ETL过程的临时表:{project_name}.tmp{临时表所在过程的输出表}{从0开始的序号}。
    • 按小时同步的增量表:{project_name}.s{源系统表名}{delta}_{hh}
    • 按小时同步的全量表:{project_name}.s{源系统表名}{hh}。
    • 当不同源系统同步到同一个Project下的表命名冲突时,您需要给同步较晚的表名加上源系统的dbname以解决冲突。
  • 字段命名规范
    • 字段默认使用源系统的字段名。
    • 字段名与MaxCompute关键字冲突时,在源字段名后加上col,即源字段名col。MaxCompute关键字详情请参见保留字与关键字
  • 同步任务命名规范
    • 任务名:{源系统表名}[delta]。

      说明 同一Project下异库同名表的任务名为 {源系统表名}{tddl的appname}[_delta]。

    • 任务的输出名称,即输出表的名称,需要与数据存储及生命周期管理规范保持一致。详情请参见数据存储及生命周期管理规范

数据存储及生命周期管理规范

数据表类型 存储方式 最长存储保留策略
ODS流水型全量表 按天分区
  • 不可再生情况下,永久保存。
  • 日志(数据量非常大,例如一天数据量大于100 GB)数据保留24个月。
  • 自主设置是否保留历史月初数据。
  • 自主设置是否保留特殊日期数据。
ODS镜像型全量表 按天分区
  • 重要的业务表及需要保留历史的表视情况保存。
  • ODS全量表的默认生命周期为2天,支持通过ds=max_pt(tablename)方式访问数据
ODS增量表 按天分区
  • 有对应全量表,最多保留最近14天分区数据。
  • 无对应全量表,需要永久保留数据。
ODS ETL过程临时表 按天分区 最多保留最近7天分区。
DBSync非去重数据 按天分区 由应用通过中间层保留历史数据,默认ODS层不保留历史数据。

数据质量规范

  • 每个ODS全量表必须配置唯一性字段标识。
  • 每个ODS全量表必须有注释。
  • 每个ODS全量表必须监控分区空数据。
  • 仅有监控要求的ODS表才需要创建数据质量监控规则。您可以通过DataWorks配置数据质量监控规则,详情请参见配置数据质量监控
  • 建议对重要表的重要枚举类型字段进行枚举值变化及枚举值分布监控。
  • 建议对ODS表的数据量及数据记录数设置周同环比监控,如果周同环比无变化,表示源系统已迁移或下线。

       全量表不是做了全覆盖即可  –delete directory 而是每天一个最新的分区,这样可以查看历史变化情况

       增量表是表名后面带时间。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/185455.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • intellij idea2022 激活码【2022免费激活】2022.02.07

    (intellij idea2022 激活码)JetBrains旗下有多款编译器工具(如:IntelliJ、WebStorm、PyCharm等)在各编程领域几乎都占据了垄断地位。建立在开源IntelliJ平台之上,过去15年以来,JetBrains一直在不断发展和完善这个平台。这个平台可以针对您的开发工作流进行微调并且能够提供…

  • mybatis oracle 分页查询_oracle分页查询出现重复的问题

    mybatis oracle 分页查询_oracle分页查询出现重复的问题Oracle中分页查询因为存在伪列rownum,sql语句写起来较为复杂,现在介绍一种通过使用MyBatis中的RowBounds进行分页查询,非常方便。使用MyBatis中的RowBounds进行分页查询时,不需要在sql语句中写offset,limit,mybatis会自动拼接分页sql,添加offset,limit,实现自动分页。需要前台传递参数currentPage和page…

  • 几个Python小案例,爱上Python编程!「建议收藏」

    Python是一种面向对象的解释型编程语言,源代码与解释器CPython遵守GPL协议,Python语法简洁清晰。语法简洁清晰,那么我们用少量的Python代码能做哪些有趣的东西?一、画爱心表白1、图形都是由一系列的点(X,Y)构成的曲线,由于X,Y满足一定的关系,所以我们就可以建立模型,建立表达式expression,当满足时,两个for循环(forXinrange;f…

  • pycharm安装tensorflow等各种三方库失败,解决方案[通俗易懂]

    pycharm安装tensorflow等各种三方库失败,解决方案[通俗易懂]参考以下三个回答:https://blog.csdn.net/xiao_xian_/article/details/88181845解决pycharm导入三方库得方法https://blog.csdn.net/weixin_41923961/article/details/86584683解决pycharm+anaconda环境导入方法https://blog.csdn.ne…

  • dz搬家 config_global.php 不可写入,傻瓜式Discuz论坛搬家教程

    dz搬家 config_global.php 不可写入,傻瓜式Discuz论坛搬家教程1.首先,数据的备份是很重要的,要明确这一点2.论坛搬家,备份恢复一点也不难,真的,首先不要在心里上被它吓到,dz程序为我们提供了非常便捷的几种方案大致上,搬家的方法有几种:1.第一种方法是通过phpmyadmin导出导入数据,这种方法比较鸡肋,因为超过2M的就上传不上去了,在此不多解释,不推荐2.第二种方法是通过ucenter后台自带备份恢复,这个容易遇到“无法访问该应用的备份接口,请拷贝uce…

  • 手机解锁侧面好用还是屏下指纹好用_侧边指纹怎么锁屏

    手机解锁侧面好用还是屏下指纹好用_侧边指纹怎么锁屏说起手机解锁方式,目前智能手机市场上基本上都采用的是屏下指纹、后置指纹和侧面指纹。不少人觉得在一些表现上侧面指纹不如其他两种解锁方式,其实你低估了侧面指纹,它远远比你想象中的还强大!一、外观一体化相比那些搭载后置指纹解锁技术的手机,手机搭载侧面指纹会更加的美观。它既不破坏手机正面屏幕,也不破坏背面机身的完整性,保证了机身的一体化。二、增大用户的解锁姿势相比后置指纹和屏下指纹解锁,侧面指纹简直…

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号