关于kafka集群搭建前后

关于kafka集群搭建前后近期搭建了kafka集群服务器,遇到了问题进行记录1.遇到某台服务器网卡出现问题,导致无效,因为网卡是集成的,即是zookeeper组中一个,也是kafka的brokers之一解决办法:重新更换服务器,重装系统,进行安全配置,在配置好zookeeper和kafka,和损坏的服务器一样的配置2.替换服务器后,遇到过了数据量太大,其中替换的服务器磁盘利用率不断增加,达到最大值,导致服务启动

大家好,又见面了,我是你们的朋友全栈君。

近期搭建了kafka集群服务器,遇到了问题进行记录

1.遇到某台服务器网卡出现问题,导致无效,因为网卡是集成的,即是zookeeper组中一个,也是kafka的brokers之一

解决办法:重新更换服务器,重装系统,进行安全配置,在配置好zookeeper和kafka,和损坏的服务器一样的配置

2.替换服务器后,遇到过了数据量太大,其中替换的服务器磁盘利用率不断增加,达到最大值,导致服务启动不了,而其他集群却60%左右

解决办法:将替换服务器的部分历史数据删除,重启zookeeper和kafka服务器,将所有服务器的kafka配置项中的数据保留时间为2小时,(由于下游节点有消费者在不停的消费),并在配置项设置了数据动态平衡,观察结果,发现ok

3.由于数据量比较大,需要扩容两台服务器,有个小失误就是,应该先分区为broker总数量(包括新增的)倍数,再进行扩容

kafka集群调优可参照网址 https://www.iteblog.com/archives/1879.html   今天看完后,发现集群还有更大的优化空间,

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/131285.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • beanutils用法_beanutils.populate报错

    beanutils用法_beanutils.populate报错什么是BeanUtils工具BeanUtils工具是一种方便我们对JavaBean进行操作的工具,是Apache组织下的产品。 BeanUtils工具一般可以方便javaBean的哪些操作?1)beanUtils 可以便于对javaBean的属性进行赋值。2)beanUtils 可以便于对javaBean的对象进行赋值。3)beanUtils可以将一个MAP集合的数据拷贝到…

  • 一个喜欢研究车的80后开车人,自己的经验和感受英语_开老车的年轻人

    一个喜欢研究车的80后开车人,自己的经验和感受英语_开老车的年轻人1. 白色车,安全系数最高。       澳大利亚研究者新近发布调查报告,黑色汽车在白天与黑夜的事故率均高居榜首。在白天,黑色汽车比白色汽车事故率高12%,在黎明前和黄昏后则高47%。       特别是傍晚的时候,远处跑来一辆黑色轿车,总感觉像穿了隐形衣,我还是比较喜欢白色车,总是很显眼。在民间还有一种说法,白色汽车油耗低,原因是车…

  • windows下MongoDB的安装与配置

    windows下MongoDB的安装与配置

  • Mysql授予权限

    Mysql授予权限授予权限需要使用实例级账户登录后操作,以root为例主要操作包括:查看所有用户 修改密码 删除用户1.查看所有用户所有用户及权限信息存储在mysql数据库的user表中 查看user表的结构descuser;主要字段说明: Host表示允许访问的主机 User表示用户名 authentication_string表示密码,为加密后的值 查看所有…

  • Android【File文件存储工具类】

    Android【File文件存储工具类】

  • 怎么生成pkl文件_python unzip

    怎么生成pkl文件_python unzip我在训练UCF101数据集的时候,遇到一个大高玩使用pkl文件,一开始使用它们的数据炮的好好的。后来开始跑自己的数据时,就出问题了。不知道这个pkl到底是个什么东西。原始的那个大高玩的ucf101的标签数据读取出来是这个样的:[‘PommelHorse’,’Surfing’,’HammerThrow’,’PlayingViolin’,’WallPushups’,’PullUps’,’PizzaTossing’,’SalsaSpin’,’Shotput’,’CricketShot’,

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号