关于kafka集群搭建前后

关于kafka集群搭建前后近期搭建了kafka集群服务器,遇到了问题进行记录1.遇到某台服务器网卡出现问题,导致无效,因为网卡是集成的,即是zookeeper组中一个,也是kafka的brokers之一解决办法:重新更换服务器,重装系统,进行安全配置,在配置好zookeeper和kafka,和损坏的服务器一样的配置2.替换服务器后,遇到过了数据量太大,其中替换的服务器磁盘利用率不断增加,达到最大值,导致服务启动

大家好,又见面了,我是你们的朋友全栈君。

近期搭建了kafka集群服务器,遇到了问题进行记录

1.遇到某台服务器网卡出现问题,导致无效,因为网卡是集成的,即是zookeeper组中一个,也是kafka的brokers之一

解决办法:重新更换服务器,重装系统,进行安全配置,在配置好zookeeper和kafka,和损坏的服务器一样的配置

2.替换服务器后,遇到过了数据量太大,其中替换的服务器磁盘利用率不断增加,达到最大值,导致服务启动不了,而其他集群却60%左右

解决办法:将替换服务器的部分历史数据删除,重启zookeeper和kafka服务器,将所有服务器的kafka配置项中的数据保留时间为2小时,(由于下游节点有消费者在不停的消费),并在配置项设置了数据动态平衡,观察结果,发现ok

3.由于数据量比较大,需要扩容两台服务器,有个小失误就是,应该先分区为broker总数量(包括新增的)倍数,再进行扩容

kafka集群调优可参照网址 https://www.iteblog.com/archives/1879.html   今天看完后,发现集群还有更大的优化空间,

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/131285.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • c语言背包问题(动态规划解法)

    c语言背包问题(动态规划解法)题目描述:有若干个物品要装进背包,并且每个物品有各自的价值,物品的数量、价值以及背包的容量由用户输入,求背包内能够存入的最大价值为多少,并且求出此时放入了哪些物品输入格式:第一行输入物品的容量r和物品个数n第二行输入每个物品的重量第三行输入每个物品的价值输出格式:第一行输出背包中能够存储的最大价值第二行输出此时背包中的物品编号思路分析:可以把这个问题看成是一个二维数组,行是物品编号,列是背包容量,若物品编号为2,背包容量为4,代表的则是当背包容量为..

  • 从数据库、代码和服务器对PHP网站Mysql做性能优化

    从数据库、代码和服务器对PHP网站Mysql做性能优化

  • 且用计算机语言怎么表示,如何学习SCL语言?SCL语言编程入门

    且用计算机语言怎么表示,如何学习SCL语言?SCL语言编程入门原标题:如何学习SCL语言?SCL语言编程入门随着现代工控技术的不断发展,可能很多使用过PLC的技术人员都有这么一个感受:传统的‘梯形图’编程方式在面对越来越复杂的控制要求时,已显得力不从心。其实,现在很多大品牌的中高级PLC都支持国际电工委员会IEC61131标准中规范的五种编程语言的混合编程,即梯形图(LD)、结构化文本(ST)、流程图(SFC)、指令表(IL)和功能块(FB…

  • vue中显示静态图片怎么引用

    vue中显示静态图片怎么引用

  • VUE打包图片加载失败问题

    VUE打包图片加载失败问题昨天的搬运工,今天的小雷锋。 问题描述,使用VUE-CLI打包后,出现图片无法显示情况。这里可能存在两种情况:静态资源CSS中使用图片作为背景图片使用时。 在JS中生成图片标签后,再设置图片路径时。 当你吃着火锅唱着歌,一路npm-run-dev都相安无事的时候,打包完事后,发现突然图片显示异常了!如果你观察后,你会发现组件中使用的img标签都没任何问题,我们css中的背景图片…

  • 3D点云综述[通俗易懂]

    3D点云综述[通俗易懂]24页3D点云综述,共计214篇参考文献,涵盖3D形状分类,3D目标检测和跟踪,3D点云分割方向和大数据集。

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号