数据建模之ODS层命名规范及质量规范

数据建模之ODS层命名规范及质量规范命名规范表命名规范表命名规则:{层次}{源系统表名}{保留位/delta与否}。 增量数据:ods_{库名}_{表名}_{id}。 全量数据:ods_{库名}_{表名}。 ODSETL过程的临时表:tmp_{临时表所在过程的输出表}_{从0开始的序号}。 按小时同步的增量表:ods_{库名}_{表名}_{ih}。 按小时同步的全量表:ods_{库名}_{表名}_{hh}。 ps:如果库名可能重复,可使用编码来代替库名字段命名规范 字段默认使用源系统的字段名。 字段名与.

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE使用 1年只要46元 售后保障 童叟无欺

命名规范

  • 表命名规范表命名规则: {层次}{源系统表名}{保留位/delta与否}。
    • 增量数据:ods_{库名}_{表名}_{id}。
    • 全量数据:ods_{库名}_{表名}。
    • ODS ETL过程的临时表:tmp_{临时表所在过程的输出表}_{从0开始的序号}。
    • 按小时同步的增量表:ods_{库名}_{表名}_{ih}。
    • 按小时同步的全量表:ods_{库名}_{表名}_{hh}。

ps:如果库名可能重复,可使用编码来代替库名

  • 字段命名规范
    • 字段默认使用源系统的字段名。
    • 字段名与关键字冲突时,在源字段名后加上col,即源字段名col。
  • 同步任务命名规范
    • 任务名:和表名保持一致。

数据存储及生命周期管理规范

数据存储及生命周期管理规范
数据表类型 存储方式 最长存储保留策略
ODS流水型全量表 按天分区
  • 不可再生情况下,永久保存。
  • 日志(数据量非常大,例如一天数据量大于100 GB)数据保留24个月。
  • 自主设置是否保留历史月初数据。
  • 自主设置是否保留特殊日期数据。
ODS镜像型全量表 按天分区
  • 重要的业务表及需要保留历史的表视情况保存。
  • ODS全量表的默认生命周期为2天,支持通过ds=max_pt(tablename)方式访问数据。
ODS增量表 按天分区
  • 有对应全量表,最多保留最近14天分区数据。
  • 无对应全量表,需要永久保留数据。
ODS ETL过程临时表 按天分区 最多保留最近7天分区。
DBSync非去重数据 按天分区 由应用通过中间层保留历史数据,默认ODS层不保留历史数据。

数据质量规范

  • 每个ODS全量表必须配置唯一性字段标识。
  • 每个ODS全量表必须有注释。
  • 每个ODS全量表必须监控分区空数据。
  • 仅有监控要求的ODS表才需要创建数据质量监控规则。
  • 建议对重要表的重要枚举类型字段进行枚举值变化及枚举值分布监控。
  • 建议对ODS表的数据量及数据记录数设置周同环比监控,如果周同环比无变化,表示源系统已迁移或下线。

欢迎评论

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/189160.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • c cshtml html,c# – CSHTML / Razor Views的文档

    c cshtml html,c# – CSHTML / Razor Views的文档我正在努力记录我们的显示和编辑模板(作为扩展,记录我们所有的CSHTML都是有益的).话虽如此,我从未见过任何记录CSHTMLRazorViews的方法.例如,我有这个CSHTMLEditorTemplate:MoneyPicker.cshtml@modelDecimal?@{Layout=null;}@Html.TextBox(“”,ViewData.TemplateInfo.For…

  • 检索com类工厂中的组件失败_检索com类工厂的组件失败

    检索com类工厂中的组件失败_检索com类工厂的组件失败出现以下错误:检索COM类工厂中CLSID为{000209FF-0000-0000-C000-000000000046}的组件失败,原因是出现以下错误:8000401a因为配置标识不正确,系统无法开始服务器进程。请检查用户名和密码。(异常来自HRESULT:0x8000401A)。解决方案:1.开始-dcomcnfg,启动组件服务。2.找到Micro

  • navcat 202115 激活码-激活码分享

    (navcat 202115 激活码)2021最新分享一个能用的的激活码出来,希望能帮到需要激活的朋友。目前这个是能用的,但是用的人多了之后也会失效,会不定时更新的,大家持续关注此网站~https://javaforall.cn/100143.htmlIntelliJ2021最新激活注册码,破解教程可免费永久激活,亲测有效,上面是详细链接哦~ML…

  • Python用subprocess的Popen来调用系统命令

    Python用subprocess的Popen来调用系统命令

  • jaxen.jar下载地址

    jaxen.jar下载地址最近在写XML文件的时候需要用到这个jar包,但是在网上下载的时候贼慢,于是在csdn上找但是都要收费,最后终于找到了,现在分享给你们。不要谢,请叫我雷锋!《jaxen》jar包下载地址…

  • 2019 Python接口自动化测试框架实战开发(一)

    2019 Python接口自动化测试框架实战开发(一)说明:该篇博客是博主一字一码编写的,实属不易,请尊重原创,谢谢大家!目录一丶叙述二丶接口基础知识三丶接口测试工具四丶Fiddler的使用五丶unittest使用六丶mock服务入门到实战七丶接口自动化框架设计到开发一丶叙述1.项目介绍整个项目分为四个部分:接口基础丶接口开发丶Unittest与接口测试结合以及接口自动化框架从设计到开发接口基础包括:H…

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号