数仓分层理论_多元分层理论

数仓分层理论_多元分层理论​数仓分层、元数据管理、数据质量管理

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全家桶1年46,售后保障稳定

数据仓库

​ 在实际工作中,数仓分层、元数据管理、数据质量管理一直是一个持续优化的过程,我们公司业务也是在持续的做数仓的优化工作,在数据治理这方面还是欠缺很多的经验的。下面先简单整理了一下第一个理论部分的相关笔记。

数仓分层理论_多元分层理论

数据仓库理论

数据仓库四大特征

  • 面向主题:较高层次上企业信息系统中的数据综合、归类并进行分析利用的抽象概念。

  • 集成的:从不同数据库、数据文件和不同日志中抽取的,既有内部数据,又有外部数据

  • 稳定的:主要是针对应用而言,数据一旦进入数仓之后,一般情况下保留较长时间,极少更新。

  • 反映历史变化的:数仓包含各粒度的历史数据。数仓的数据也会做定期的更新,以适应决策需要。

数据仓库作用

  • 整合业务数据,建立统一的数据中心;

  • 生成业务报表,了解企业的经营状况;

  • 辅助决策管理提供数据支持

  • 可以作为各个业务的数据源,形成业务数据互相反馈的良性循环;

  • 分析用户行为数据,通过数据挖掘来降低投入成本,提高投入效果;

  • 开发数据产品,直接或间接地为企业盈利

数据仓库与数据库的比较

  • 事务–是数据库操作的最小工作单元,是作为单个逻辑工作单元执行的一系列操作;这些操作作为一个整体一起向系统提交,要么都执行、要么都不执行;

  • 事务的四大特性:

  • 1 、原子性:事务是数据库的逻辑工作单位,事务中包含的各操作要么都做,要么都不做

  • 2 、一致性:事务执行的结果必须是使数据库从一个一致性状态变到另一个一致性状态。

  • 3 、隔离性:一个事务的执行不能其它事务干扰。

  • 4 、持续性:也称永久性,指一个事务一旦提交,它对数据库中的数据的改变就应该是永久性的。

  • 数据库–OLTP(On-Line Transaction Processing 联机事务处理)

  • 对少数记录查询、修改;

  • 用户关心操作响应时间、数据安全性、完整性和并发性

  • 主要用于操作型处理

  • 数据仓库–OLAP(On-Line Analytical Processing 联机分析处理)

  • 对某些主题的历史数据分析、支持管理决策。

数据仓库和数据库对比:

  • 数仓用于解决企业级数据分析问题、管理和决策。

  • 数仓为分析数据而设计;数据库为捕获和存储数据设计

  • 数仓面向分析,面向主题设计的;数据库是面向事务设计的,属于操作型。

  • 数仓采用反范式设计(引入数据冗余来提高查询效率);数据库设计尽量避免冗余,一般采用符合范式规则设计。

  • 数仓较大,且数据来源于多个异构数据源,保留历史数据;数据库存储有限期限,单一领域业务数据。

  • 数仓面向主题设计;数据库面向事务设计;

数仓分层理论_多元分层理论

数据集市

  • 数据仓库的某一部分,是按照部门或业务分部建立的反映各个子主题的局部性数据组织,也可以称为部门数据仓库。

  • eg商品销售中的数据仓库建立不同主题的数据集市:

  • 商品采购数据集市

  • 商品库存数据集市

  • 商品销售数据集市

数据仓库建模方法

ER模型(Entity Relationship)–在范式理论上符合3NF模型

  • 建立ER模型需要全面了解整个企业业务和数据

  • 实施周期非常长

  • 对建模人员的能力要求非常高

  • ER模型建设数仓是为整合数据,将各系统中数据以企业角度主题进行相似性组合和合并,并进行一致性处理,不能用于分析决策。建模步骤:

  • 高层模型

  • 中层模型

  • 物理模型

维度模型

  • 为分析需求服务,快速完成分析,并具有较好的大规模复杂查询的响应性能

  • 星型模型

  • 雪花模型

  • 维度模型设计步骤:

  • 1.选择需进行分析决策的业务过程

  • 2.选择数据的粒度

  • 3.识别维度表,包括维度属性,用于分析时进行分组和筛选。

  • 4.选择事实,确定分析需要衡量的指标

数据仓库分层

数据仓库是指一整套的数据建模、ETL(数据抽取、转换、加载)、作业调度等在内的完整理论体系流程。

数仓分层原因:

  • 清晰的数据结构

  • 将复杂的问题简单化

  • 减少重复开发

  • 屏蔽原始数据的异常

  • 数据血缘关系追踪

常见数据分层为3层:数据操作层、数据仓库层、数据应用层(数据集市层),正常情况下会根据业务或者开发人员经验划分为不同的层。

数仓分层理论_多元分层理论

ODS(Operation Data Store 数据准备区):最原始的数据,即是最处接收的业务日志数据或者异构数据。

  • ODS来源包括:1.业务数据库,使用DataX,Sqoop等工具抽取;实时应用中,使用Canal监听Mysql的Binlog,实时接入变更的数据。

  • 埋点日志:key使用Flume定时抽取。

  • 其他数据源:第三方购买数据或网络爬虫数据。

DW(Data Warehouse 数据仓库层):包括DWD,DWS,DIM层;由ODS层数据加工而成。

  • DWD(Data Warehouse Detail 细节数据层):是业务层与数据仓库的隔离层。构建细粒度的明细层事实表。也可将明细事实表的某些重要维度属性字段做适当冗余,也即宽表化处理;

  • DWS (Data Warehouse Service 服务数据层):基于DWD的基础数据,整合汇总成分析某一个主题域的服务数据。

  • 公共维度层(DIM):基于维度建模理念思想,建立一致性维度;

  • TMP层 :临时层,存放计算过程中临时产生的数据;

ADS (Application Data Store 应用数据层):基于DW数据,整合汇总成主题域的服务数据,用于业务查询等。

数据仓库模型

事实表与维度表

  • 事实表:包含数字数据,并且数字信息可以汇总。事实表的粒度决定了数仓中数据的详细程度。

  • 常见事实表:订单事实表

  • 事实表特点:表多;数据量大

  • 事实表根据数据粒度分为:事务事实表、周期快照事实表、累计快照事实表。

  • 维度表:用来分析数据的角度。(个人理解是如何进行分组的维度信息)

  • 常见维度表:时间维度表、地域维度表、商品维度表

  • 小结:

  • 事实表关注内容:eg:销售额、销售量

  • 维度表是观察事务的角度。

事实表分类

  • 事务事实表:事务事实表记录的事务层面的事实,保存的是最原子的数据,也称“原子事实表;eg:订单表

  • 周期性快照事实表:以具有规律性的、可预见的时间间隔来记录事实,时间间隔如每天、每月、每年等等。eg:日销售表,

  • 累积快照事实表:累积快照事实表记录的不确定的周期的数据。eg:订货日期,实际发货日期

星型模型

数仓分层理论_多元分层理论

星型模型

  • 是一种多维的数据关系,由一个事实表和一组维表组成,

  • 事实表在中心,周围围绕的连接着维表;

  • 事实表中包含了大量数据,没有数据冗余;

  • 维表是逆规范化的,包含一定的数据冗余;

雪花模型

数仓分层理论_多元分层理论

雪花模型

  • 是星型模型的变异,维表是规范化的,

  • 特点:雪花模型结构去除了数据冗余。

事实星座

数仓分层理论_多元分层理论

事实星座

  • 共享维表的模式,也可以看做是星型模式的汇集,因而称为星系模型或事实星座模式。

  • 特点:公用维表

数仓模型小结:

  • 星型模型存在数据冗余,所以在查询统计时只需要做少量的表连接,查询效率高;

  • 星型模型不考虑维表正规化的因素,设计、实现容易;

  • 在数据冗余可接受的情况下,实际上使用星型模型比较多;

元数据:关于数据的数据

元数据相当于所有数据的地图,元数据方便查看数据仓库中的以下几个方面:

  • 有哪些数据

  • 数据分布情况

  • 数据类型

  • 数据之间的相关性

  • 数据的访问频次

元数据贯穿大数据平台数据流动的全程,主要包括数据源元数据、数据加工处理过程元数据、数据主题库专题课元数据、服务层元数据、应用层元数据等。

业内通常把元数据分为以下类型:

  • 技术元数据:库表结构、数据模型、ETL程序、SQL程序等

  • 业务元数据:业务指标、业务代码、业务术语等

  • 管理元数据:数据所有者、数据质量、数据安全等

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/234262.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)
blank

相关推荐

  • PL/SQL中declare、begin关键字解释

    PL/SQL中declare、begin关键字解释使用declare或begin关键字开头的bai叫匿名块,每次使用均需要进行编译,不能存储在数据库中且不能被其他PL/SQL调用。而存储过程,存储函数,触发器等叫命名块,一经编译后面就可直接调用,且可以存储在数据库中,被其他PL/SQL调用;declareagenumber(4);–声明一个参数baia类型du为number类型长度为4beginselectteaAgeintoagefromteacherwhereteaid=122;–查询teaid为12

  • Word在试图打开文件时遇到错误。解决办法!

    Word在试图打开文件时遇到错误。解决办法!下载Word文档,看看“软考网络工程师”的试题!但是文档打不开,显示如图二图一图二解决步骤:看到这报错,第一感觉,是不是OFFICE本身的问题?除了这个下载的文档不能打开,其它的WORD文档一般都能用WORD打开!晕死。。。先在微软官方网站下载Office2003SP3-KB923618-FullFile-CHS.exe,修复一下O…

  • easyui,layui和 vue.js的区别

    easyui,layui和 vue.js的区别easyui,layui和 vue.js的区别

  • ubuntu安装goland_ubuntu安装kali工具集

    ubuntu安装goland_ubuntu安装kali工具集1下载地址可以从go语言中文网下载最新的Linux包,地址如下:https://studygolang.com/dl/golang/go1.17.3.linux-amd64.tar.gzhttps://studygolang.com/dl/golang/go1.17.3.linux-amd64.tar.gz2安装进入home目录,使用wget下载子并解压,修改名字,然后创建链接(这个目的是方便后续切换golang版本的时候,只需要修改链接即可),脚本如下:cd~wgethttps

    2022年10月10日
  • keil(MDK) 5官方下载教程

    keil(MDK) 5官方下载教程一、KEILKeil公司是一家业界领先的微控制器(MCU)软件开发工具的独立供应商。Keil公司由两家私人公司联合运营,分别是德国慕尼黑的KeilElektronikGmbH和美国德克萨斯的KeilSoftwareInc。Keil公司制造和销售种类广泛的开发工具,包括ANSIC编译器、宏汇编程序、调试器、连接器、库管理器、固件和实时操作系统核心(real-timekernel)。有…

  • Python 解决 :NameError: name ‘reload’ is not defined 问题

    Python 解决 :NameError: name ‘reload’ is not defined 问题

    2021年10月21日

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号