各大公司的大数据质量监控平台

大家好，又见面了，我是你们的朋友全栈君。

转自：https://zhuanlan.zhihu.com/p/41679658

在这个信息化时代，你用手机打开微信聊天、打开京东app浏览商品、访问百度搜索、甚至某些app给你推送的信息流等等，数据无时无刻不在产生。

数据，已经成为互联网企业非常依赖的新型重要资产。数据质量的好坏直接关系到信息的精准度，也影响到企业的生存和竞争力。Michael Hammer（《Reengineering the Corporation》一书的作者）曾说过，看起来不起眼的数据质量问题，实际上是拆散业务流程的重要标志。数据质量管理是测度、提高和验证质量，以及整合组织数据的方法等一套处理准则，而体量大、速度快和多样性的特点，决定了大数据质量所需的处理，有别于传统信息治理计划的质量管理方式。

本文主要探讨了一二线互联网公司数据质量监控平台。

一、Data Quality Center(DQC阿里巴巴数据质量监控平台)

1.系统架构图

各大公司的大数据质量监控平台

(1)基于线上业务数据，进行数据采集

(2)基于监控规则库，执行SQL任务，进行计算处理

(3)基于用户规则，发送数据报警(短信、邮件)

2.系统流程图

(1)用户进行规则配置

(2)通过定时的调度任务触发检查任务执行

(3)基于任务配置，获取样本数据

(4)基于计算返回检验结果

(5)调度根据检验结果，决定是否阻断干预(强依赖、弱依赖)

二、 Apache Griffin(Ebay开源数据质量监控平台)

1.系统架构

(1)从准确性、完整性、时效性、唯一性等多个维度进行监控

(2)计算结果存储至ES、HDFS

(3)计算结果metrics展示

(4)支持实时和离线

(5)优势：开源

2.系统技术路线

3.metrics展示

三、 DataMan(美团点评数据质量监控平台)

1.系统架构

DataMan系统建设总体方案基于美团的大数据技术平台。自底向上包括：检测数据采集、质量集市处理层；质量规则引擎模型存储层；系统功能层及系统应用展示层等。整个数据质量检核点基于技术性、业务性检测，形成完整的数据质量报告与问题跟踪机制，创建质量知识库，确保数据质量的完整性（Completeness）、正确性（Correctness）、当前性（Currency）、一致性（Consistency）。

2.metric展示

四、 BDP(京东大数据质量监控平台)

京东数据质量监控系统（简称：数据质量系统）是数据仓库、数据集市中表的数据变化进行监控。数据质量系统根据用户设定采集项配置、规则项配置、预警规则设置（枚举值），对用户指定的表进行每日定时数据采集、计算，并与历史数据或维表进行比对验证。最终将触发预警规则的异常数据以短信、邮件、App 等方式及时通知给用户。

1.系统架构图