ODS层设计规范_环境类别二类的保护层厚度是多少

ODS层设计规范_环境类别二类的保护层厚度是多少ODS层设计规范更新时间:2021-06-0814:37我的收藏本页目录数据同步及处理规范 命名规范 数据存储及生命周期管理规范 数据质量规范本文为您介绍ODS层设计规范。数据同步及处理规范数据同步方式的选择 基本规范通过需求形式落地到DataWorks的数据集成,规范落地情况依赖工具的推进节奏。一个系统的源表只允许同步一次到MaxCompute。 数据加载与处理 通过一键实时同步至MaxCompute方案实现,请参见配置查看数据同步任务。 命名规范表命名

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE稳定放心使用

ODS层设计规范

更新时间:2021-06-08 14:37

我的收藏

本页目录

本文为您介绍ODS层设计规范。

数据同步及处理规范

  • 数据同步方式的选择

    基本规范通过需求形式落地到DataWorks的数据集成,规范落地情况依赖工具的推进节奏。一个系统的源表只允许同步一次到MaxCompute。

  • 数据加载与处理

    通过一键实时同步至MaxCompute方案实现,请参见配置查看数据同步任务

命名规范

  • 表命名规范表命名规则: {层次}{源系统表名}{保留位/delta与否}。
    • 增量数据:{project_name}.s{源系统表名}delta。
    • 全量数据:{project_name}.s{源系统表名}。
    • ODS ETL过程的临时表:{project_name}.tmp{临时表所在过程的输出表}{从0开始的序号}。
    • 按小时同步的增量表:{project_name}.s{源系统表名}{delta}_{hh}
    • 按小时同步的全量表:{project_name}.s{源系统表名}{hh}。
    • 当不同源系统同步到同一个Project下的表命名冲突时,您需要给同步较晚的表名加上源系统的dbname以解决冲突。
  • 字段命名规范
    • 字段默认使用源系统的字段名。
    • 字段名与MaxCompute关键字冲突时,在源字段名后加上col,即源字段名col。MaxCompute关键字详情请参见保留字与关键字
  • 同步任务命名规范
    • 任务名:{源系统表名}[delta]。

      说明 同一Project下异库同名表的任务名为 {源系统表名}{tddl的appname}[_delta]。

    • 任务的输出名称,即输出表的名称,需要与数据存储及生命周期管理规范保持一致。详情请参见数据存储及生命周期管理规范

数据存储及生命周期管理规范

数据表类型 存储方式 最长存储保留策略
ODS流水型全量表 按天分区
  • 不可再生情况下,永久保存。
  • 日志(数据量非常大,例如一天数据量大于100 GB)数据保留24个月。
  • 自主设置是否保留历史月初数据。
  • 自主设置是否保留特殊日期数据。
ODS镜像型全量表 按天分区
  • 重要的业务表及需要保留历史的表视情况保存。
  • ODS全量表的默认生命周期为2天,支持通过ds=max_pt(tablename)方式访问数据
ODS增量表 按天分区
  • 有对应全量表,最多保留最近14天分区数据。
  • 无对应全量表,需要永久保留数据。
ODS ETL过程临时表 按天分区 最多保留最近7天分区。
DBSync非去重数据 按天分区 由应用通过中间层保留历史数据,默认ODS层不保留历史数据。

数据质量规范

  • 每个ODS全量表必须配置唯一性字段标识。
  • 每个ODS全量表必须有注释。
  • 每个ODS全量表必须监控分区空数据。
  • 仅有监控要求的ODS表才需要创建数据质量监控规则。您可以通过DataWorks配置数据质量监控规则,详情请参见配置数据质量监控
  • 建议对重要表的重要枚举类型字段进行枚举值变化及枚举值分布监控。
  • 建议对ODS表的数据量及数据记录数设置周同环比监控,如果周同环比无变化,表示源系统已迁移或下线。

       全量表不是做了全覆盖即可  –delete directory 而是每天一个最新的分区,这样可以查看历史变化情况

       增量表是表名后面带时间。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/185455.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • linux 压缩成bz2,linux 将文件压缩成bz2格式 命令:bzip2

    linux 压缩成bz2,linux 将文件压缩成bz2格式 命令:bzip2bzip2命令用于创建和管理(包括解压缩)“.bz2”格式的压缩包。我们遇见Linux压缩打包方法有很多种,以下讲解了Linux压缩打包方法中的Linuxbzip2命令的多种范例供大家查看,相信大家看完后会有很多收获。语法bzip2(选项)(参数)选项-c或——stdout:将压缩与解压缩的结果送到标准输出;-d或——decompress:执行解压缩;-f或-force:bzip2在…

  • 异步fifo简介_异步fifo时序

    异步fifo简介_异步fifo时序一、概述在大规模ASIC或FPGA设计中,多时钟系统往往是不可避免的,这样就产生了不同时钟域数据传输的问题,其中一个比较好的解决方案就是使用异步FIFO来作不同时钟域数据传输的缓冲区,这样既可以使相异时钟域数据传输的时序要求变得宽松,也提高了它们之间的传输效率。此文内容就是阐述异步FIFO的设计。二、设计原理2.1结构框图如上图所示的同步模块synchronizetowr…

  • 最全阿里面试题:已拿offer,阿里P8岗位完整阿里技术面试题目,这些面试题你能答出多少

    我们在操作数据库的时候,可能会由于并发问题而引起的数据的不一致性(数据冲突)。如何保证数据并发访问的一致性、有效性,是所有数据库必须解决的一个问题,锁的冲突也是影响数据库并发访问性能的一个重要因素,从这一角度来说,锁对于数据库而言就显得尤为重要。MySQL锁概述相对其他数据库而言,MySQL的锁机制比较简单,其最显著的特点是不同的存储引擎支持不同的锁机制。比如:MyISAM和MEMORY存储引擎采用的是表级锁(table-levellocking);InnoD

  • 双向 LSTM

    双向 LSTM本文结构:为什么用双向LSTM什么是双向LSTM例子为什么用双向LSTM?单向的RNN,是根据前面的信息推出后面的,但有时候只看前面的词是不够的,例如,我今天不舒服,我打算__一天。只根据‘不舒服‘,可能推出我打算‘去医院‘,‘睡觉‘,‘请假‘等等,但如果加上后面的‘一天‘,能选择的范围就变小了,‘去医院‘这种就不能选了,而‘请假‘‘休息‘之类的被选择概率就会更大。什么是双向L

  • Vb.net/VB 声明API功能父窗口功能[亲测有效]

    Vb.net/VB 声明API功能父窗口功能

    2021年12月17日
  • Elasticsearch数据库下载

    Elasticsearch数据库下载地址:https://www.elastic.co/downloads/past-releases转载于:https://www.cnblogs.com/xueershewang/p/9792788.html

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号