CDH秘籍(两):cloudera Manager存储监控数据

CDH秘籍(两):cloudera Manager存储监控数据

大家好,又见面了,我是全栈君,今天给大家准备了Idea注册码。

概述

上一篇文章分析了cloudera manager中监控数据、中心数据的存储方式,如何配置外部表等。这一篇文章进一步分析监控数据的存储,配置,调优等。

Service Monitor  Host Monitor 角色在cloudera manager中存储了时间序列、健康数据、Impla查询和Yarn应用的元数据。经过查看对应的Cloudera Manager的存储连接,发现Service MonitorHost Monitor的存储使用的是levelDB的解析类,由此能够判断出本地存储使用的是levelDBLevelDB能够说是key-value的数据库的鼻祖。读写效率特别高,并发也非常大。而Cloudera Manager的监控的读写数据特别多、频繁。这也可能是Cloudera Manager5选择使用levelDB替换关系数据库的原因。

 

监控数据在Cloudera Manager升级中的迁移

Cloudera Manager 5 存储Host Monitor  Service Monitor数据到本地数据库。假设使用自己主动化升级配置从Cloudera Manager 4 升级到 5。数据会从Cloudera manager 4 中的内嵌数据库或者外部数据库中自己主动迁移到Cloudera Manger5中的本地数据库中。

这是一个自己主动化运行的过程中,中间能够查看迁移过程的日志等。

 

Service Monitor 数据存储的配置

Service Monitor存储了时间序列和健康数据。Impla查询的元数据,Yarn应用的元数据。默认情况下,数据时存储在/var/lib/cloudera-service-monitor/文件夹下,你也能够改动Service Monitor Storage Directory 配置firehose.storage.base.directory

You can control how much disk space to reserve for the different classes of data the Service Monitor stores by changing the following configuration options:

Time-series metrics and health data – Time-Series Storage (firehose_time_series_storage_bytes – 10 GB default)

Impala query metadata – Impala Storage (firehose_impala_storage_bytes – 1 GB default)

YARN application metadata – YARN Storage (firehose_yarn_storage_bytes – 1 GB default)

 

Host Monitor 数据存储的配置

Host Monitor存储了时间序列和健康数据。默认情况下,数据存储在/var/lib/cloudera-host-monitor/文件夹下。你也能够改动Host Monitor Storage Directory 配置。

You can control how much disk space to reserve for Host Monitor data by changing the following configuration option:

Time-series metrics and health data: Time Series Storage (firehose_time_series_storage_bytes – 10 GB default)

 

数据粒度和时间序列指标数据

Service Monitor  Host Monitor使用非常多方式存储时间序列指标数据。数据会不断的被汇总成不同的粒度。比方每个小时,会把数据的平均值,最小值。最大值汇总成一个小时为粒度的数据,每6个小时。会汇总成6个小时的数据。每天、每个星期等。这样的方式仅仅会汇总指标数据。Impla的查询和Yarn应用的监控数据当接近限制时,会删除旧的数据。

当存储快达到限制时。会先删除粒度最细的数据。保证存储空间的释放。比方会先删除小时为粒度的数据,其次是以天微粒度的数据。

Moving Monitoring Data on an Active Cluster

Host Monitor and Service Monitor Memory Configuration


原创文章,欢迎转载。转载请标明出处  http://blog.csdn.net/shifenglov/article/details/41281399

版权声明:本文博客原创文章,博客,未经同意,不得转载。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/117372.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • Microsoft Platform SDK Febrary 2003下载(更新VC6的SDK)

    Microsoft Platform SDK Febrary 2003下载(更新VC6的SDK)http://www.x86pro.com/article/sdk-update-for-vc6VC6自带的SDK实在太旧了, 因此很多人抱怨,有很多网上下载的代码在VC6中无法编译. 所以我们需要更新一下SDK,但是不能太新,因为太新可能不支持VC6. 支持VC++6.0的SDK,就只有2003年2月的那版了. 更新SDK后,你的VC6会重新焕发生机. 另外,如果再安装个VisualAs

  • DVD基础知识

    DVD基础知识感谢‘高人’提供信息本贴的源由是‘hardjoy’碟友的一个提意,说是要弄一个基础知识简介,然后由‘杜比环绕声’版主支持列出了一些基础知识的问题,本人不才,愿就所学逐一介绍,但现在没有时间查书寻求标准答案了,只能想到哪说到哪了,不见得完全准确,大家就对付着看吧。问:有个叫什么磨码什么的是啥意思,好像是说盘基的答:你说的对,通常‘磨码’和‘盘基’是连起来说的,即‘磨码盘基’,同义词还有‘烫码盘基’和

  • ElasticSearch搜索引擎常见面试题总结

    ElasticSearch搜索引擎常见面试题总结

  • 神经网络的若干关键基础理论研究_DLA深度神经网络

    神经网络的若干关键基础理论研究_DLA深度神经网络这是一篇关于神经网络算法设计的几个基本问题的理论分析的专题文章,涉及到比较多的原理推导。文章的主体来自IanGoodfellow的《DeepLearning》;AndrewNg在Coursera的《MachineLearning》课程;周志华老师的《机器学习》MichaelNielson的线上书籍:曹振华老师的《随机数学基础》。本文涉及到的概念和理论,尽可能参考自维基百科,保证所有观点的严密和权威。

  • VB学习之路 ——基本语句

    VB学习之路 ——基本语句一:选择结构问题总结1.一个很简单的If(表达式)……..Then的问题,在VB的程序编写时候,如果在if….Then后面只有一条需要执行的语句,并且将执行的一条语句直接放在了Then的后面,则不需要后面加上EndIf,加上就报错。即使要执行的语句有多条如果非要放在Then后面不加EndIf就必须每条语句之间用冒号间隔。如果将执行的语句放在了Then的后面,即…

  • java.lang.Integer

    java.lang.IntegerpublicstaticintbitCount(intarg0)//二进制中出现1的数量publicbytebyteValue()//转化为bytepublicstaticintco

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号