大家好,又见面了,我是你们的朋友全栈君。
一、环境
生产环境
数据质量监控griffin:
地址:http://XXXXXXXXX:4200/#/health
账号:admin
密码:123456
二、Griffin是干什么的?
官方介绍
大数据模块是大数据平台中数据方案的一个功能组件,Griffin(以下简称Griffin)是一个开源的大数据数据解决质量模式,它支持所有数据和流数据方式检测质量模式,可以从不同维度(不同标准执行完毕后检查源端和目标端的数据数量是否一致、源表的数据空值数量等)收集数据资产,从而提高数据的准确度、可信度。
在格里芬的架构中,主要分为定义、测量和分析三个部分,如下图所示:
各部分的职责如下:
-
Define:主要负责定义数据质量统计的维度,比如数据质量统计的时间跨度、统计的目标(源端和目标端的数据数量是否一致,数据源里某一字段的非空的数量、不重复值的数量、最大值、最小值、top5的值数量等)
发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/142891.html原文链接:https://javaforall.cn
【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛
【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...