数据建模之ODS层命名规范及质量规范

数据建模之ODS层命名规范及质量规范命名规范表命名规范表命名规则:{层次}{源系统表名}{保留位/delta与否}。 增量数据:ods_{库名}_{表名}_{id}。 全量数据:ods_{库名}_{表名}。 ODSETL过程的临时表:tmp_{临时表所在过程的输出表}_{从0开始的序号}。 按小时同步的增量表:ods_{库名}_{表名}_{ih}。 按小时同步的全量表:ods_{库名}_{表名}_{hh}。 ps:如果库名可能重复,可使用编码来代替库名字段命名规范 字段默认使用源系统的字段名。 字段名与.

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE使用 1年只要46元 售后保障 童叟无欺

命名规范

  • 表命名规范表命名规则: {层次}{源系统表名}{保留位/delta与否}。
    • 增量数据:ods_{库名}_{表名}_{id}。
    • 全量数据:ods_{库名}_{表名}。
    • ODS ETL过程的临时表:tmp_{临时表所在过程的输出表}_{从0开始的序号}。
    • 按小时同步的增量表:ods_{库名}_{表名}_{ih}。
    • 按小时同步的全量表:ods_{库名}_{表名}_{hh}。

ps:如果库名可能重复,可使用编码来代替库名

  • 字段命名规范
    • 字段默认使用源系统的字段名。
    • 字段名与关键字冲突时,在源字段名后加上col,即源字段名col。
  • 同步任务命名规范
    • 任务名:和表名保持一致。

数据存储及生命周期管理规范

数据存储及生命周期管理规范
数据表类型 存储方式 最长存储保留策略
ODS流水型全量表 按天分区
  • 不可再生情况下,永久保存。
  • 日志(数据量非常大,例如一天数据量大于100 GB)数据保留24个月。
  • 自主设置是否保留历史月初数据。
  • 自主设置是否保留特殊日期数据。
ODS镜像型全量表 按天分区
  • 重要的业务表及需要保留历史的表视情况保存。
  • ODS全量表的默认生命周期为2天,支持通过ds=max_pt(tablename)方式访问数据。
ODS增量表 按天分区
  • 有对应全量表,最多保留最近14天分区数据。
  • 无对应全量表,需要永久保留数据。
ODS ETL过程临时表 按天分区 最多保留最近7天分区。
DBSync非去重数据 按天分区 由应用通过中间层保留历史数据,默认ODS层不保留历史数据。

数据质量规范

  • 每个ODS全量表必须配置唯一性字段标识。
  • 每个ODS全量表必须有注释。
  • 每个ODS全量表必须监控分区空数据。
  • 仅有监控要求的ODS表才需要创建数据质量监控规则。
  • 建议对重要表的重要枚举类型字段进行枚举值变化及枚举值分布监控。
  • 建议对ODS表的数据量及数据记录数设置周同环比监控,如果周同环比无变化,表示源系统已迁移或下线。

欢迎评论

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/189160.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号