大家好,又见面了,我是你们的朋友全栈君。
近期搭建了kafka集群服务器,遇到了问题进行记录
1.遇到某台服务器网卡出现问题,导致无效,因为网卡是集成的,即是zookeeper组中一个,也是kafka的brokers之一
解决办法:重新更换服务器,重装系统,进行安全配置,在配置好zookeeper和kafka,和损坏的服务器一样的配置
2.替换服务器后,遇到过了数据量太大,其中替换的服务器磁盘利用率不断增加,达到最大值,导致服务启动不了,而其他集群却60%左右
解决办法:将替换服务器的部分历史数据删除,重启zookeeper和kafka服务器,将所有服务器的kafka配置项中的数据保留时间为2小时,(由于下游节点有消费者在不停的消费),并在配置项设置了数据动态平衡,观察结果,发现ok
3.由于数据量比较大,需要扩容两台服务器,有个小失误就是,应该先分区为broker总数量(包括新增的)倍数,再进行扩容
kafka集群调优可参照网址 https://www.iteblog.com/archives/1879.html 今天看完后,发现集群还有更大的优化空间,
发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/131285.html原文链接:https://javaforall.cn
【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛
【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...