kafka 查看topic offset_kafka重置offset

kafka 查看topic offset_kafka重置offset版本信息Kafka0.8.2,JDK1.7问题现象最近我们在生产环境执行删除无用的kafkatopic的操作时,因为错误的按照8.2版本之前的删除方式操作8.2.2版本的kafka,导致删除过程异常,删除后出现consumer正在消费的其他正常topic的partition的offset值偏移的情况,导致大量消息重复消费,并且产生连锁反应,给我们的系统稳定性产生明显影响。如下日志所示,正常情况…

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE稳定放心使用

版本信息

Kafka 0.8.2,JDK1.7

问题现象

最近我们在生产环境执行删除无用的kafka topic的操作时,因为错误的按照8.2版本之前的删除方式操作8.2.2版本的kafka,导致删除过程异常,删除后出现consumer正在消费的其他正常topic的partition的offset值偏移的情况,导致大量消息重复消费,并且产生连锁反应,给我们的系统稳定性产生明显影响。

如下日志所示,正常情况下,producer将消息发送到broker后,consumer会迅速消费,并将offset值更新到zookeeper中,所以offset值基本和broker中保存log的数量一致,lag的数量(lag的值表示的是consumer还未消费、积压在broker中的消息数量)应该很小,并且最好为零。

Group Topic Pid Offset logSize Lag Owner

jd-group prod_INSERT_PRAISE_TOPIC 0 38329811 38329816 5 jd-group_CNSZ044119-1488476503274-fc7c1093-0

jd-group prod_INSERT_PRAISE_TOPIC 1 38277005 38277009 4 jd-group_CNSZ044120-1488476511246-82fa3f97-0

jd-group prod_INSERT_PRAISE_TOPIC 2 38260119 38260129 10 jd-group_CNSZ044121-1488476514708-d6c398fd-0

jd-group prod_INSERT_PRAISE_TOPIC 3 38295398 38295406 8 jd-group_CNSZ044122-1488476519807-56a61327-0

jd-group prod_INSERT_PRAISE_TOPIC 4 38296566 38296572 6 jd-group_CNSZ044213-1488476524985-b502939d-0

jd-group prod_INSERT_PRAISE_TOPIC 5 38326045 38326049 4 jd-group_CNSZ044214-1488476532025-dd1639a0-0

jd-group prod_INSERT_PRAISE_TOPIC 6 38368348 38368356 8 jd-group_CNSZ044215-1488476538362-14ba2724-0

jd-group prod_INSERT_PRAISE_TOPIC 7 38251390 38251404 14 jd-group_CNSZ044216-1488476539837-e12b2a19-0

但是由于我们删除无用topic时操作错误,导致正常topic的partition的offset值发生偏移,即offset值变小(如下日志所示),引起大量消息重复消费。

Group Topic Pid Offset logSize Lag Owner

jd-group prod_INSERT_PRAISE_TOPIC 0 31420318 32928394 1508076 jd-group_CNSZ044119-1484935128585-91da0bb8-0

jd-group prod_INSERT_PRAISE_TOPIC 1 31385094 32886670 1501576 jd-group_CNSZ044120-1484935745537-76bc983a-0

jd-group prod_INSERT_PRAISE_TOPIC 2 31341677 32860353 1518676 jd-group_CNSZ044121-1484935410811-1e5fc79e-0

jd-group prod_INSERT_PRAISE_TOPIC 3 31368494 32885584 1517090 jd-group_CNSZ044122-1484934836225-2bed5d25-0

jd-group prod_INSERT_PRAISE_TOPIC 4 31372038 32891129 1519091 jd-group_CNSZ044213-1485046918860-311fa6e2-0

jd-group prod_INSERT_PRAISE_TOPIC 5 31403402 32921221 1517819 jd-group_CNSZ044214-1484935779973-d081f8df-0

jd-group prod_INSERT_PRAISE_TOPIC 6 31455690 32963013 1507323 jd-group_CNSZ044215-1484935065864-3a0cd250-0

jd-group prod_INSERT_PRAISE_TOPIC 7 31357985 32860016 1502031 jd-group_CNSZ044216-1484935015571-66703764-0

原因分析

在kafka 0.8.2版本之前,kafka删除topic的功能存在bug,即无法通过kafka-topics –delete一条命令就彻底删除topic数据,这个命令只会在zookeeper中注销topic信息,并标记为“Topic topic_name is marked for deletion.”,如果需要彻底删除topic数据,需要以下几步操作:

1、前提要保证kafka启动时,在server.properties配置文件中配置delete.topic.enable=true

2、执行删除命令:./bin/kafka-topics –delete –zookeeper 【zookeeper server】 –topic 【topic name】

3、进入到kafka的log.dirs目录,删除掉对应topic的所有日志文件

4、登录zookeeper客户端,删除/brokers/topics目录下对应的topic节点数据,至此所有删除操作全部完成。

但是在0.8.2版本中,删除topic的操作经过优化,只需要两步就可以彻底删除topic所有数据,即配置并生效delete.topic.enable=true,然后执行kafka-topics –delete命令即可。这个命令不仅会删除zookeeper中的topic数据,也会删除掉log.dirs目录下对应topic的所有日志数据,并且不影响新建同名的topic。在0.8.2版本中,对于删除topic的操作,topic工具会将该topic名字存于zookeeper的/admin/delete_topics中,如果delete.topic.enable=true,则controller注册在/admin/delete_topics上的watch会被fire,controller就会通过回调的方式向对应的broker发送StopReplicaRequest的请求,然后删除该topic的所有数据。

所以,当我们在生产环境按照0.8.1版本的操作方式去删除0.8.2版本的topic时就会出现异常,因为在执行完kafka-topics –delete命令后,topic的状态已经被改变,同时broker和zookeeper都会执行删除、同步操作,而在此时,我们又手动进入到kafka的log.dirs目录,删除掉对应topic的所有日志文件,并且又进入到zookeeper服务器,删除/brokers/topics目录下对应的topic节点数据,导致本可以正常进行的删除、同步操作出现异常,进而导致存储在zookeeper中的consumer消费其他正常topic 的offset信息发生丢失,并且我们在consumer端又配置了auto.offset.reset=smallest[^offset.reset],所以当offset信息丢失、没有初始化或者出现异常时,consumer会自动从最小的offset处开始消费,引起已经消费过的数据重复消费。

总结反思

出现这种问题一是因为我们缺少kafka运维经验,之前并没有操作过删除kafka topic的经历;二是测试不充分。我们测试环境和生产环境的kafka版本都是0.8.2,但是在测试环境测试删除操作时,只删除了一个topic,产生的影响较小,所以错误操作的影响并没有表现出来。而我们在生产环境操作时,一次就批量处理了600多个topic,并且生产环境的数据量要比测试环境大很多,所以问题就显而易见的暴露了出来。

所以在生产环境对不熟悉的组件进行任何操作时,务必要在测试环境充分测试,最好熟悉操作流程和原理,避免这种处理结果和预期不符,并造成生产问题的情况再次出现。

反馈建议

参考资料

[^offset.reset]: auto.offset.reset定义了consumer在zooKeeper中发现没有初始的offset时或者发现offset非法时定义comsumer的行为,常见的配置有smallest:自动把offset设为最小的offset;largest:自动把offset设为最大的offset;anything else:抛出异常。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/183497.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • 猴子摘香蕉_猴子香蕉游戏下载

    猴子摘香蕉_猴子香蕉游戏下载注意:不是严格按照一阶谓词逻辑写法,仅供参考题目:房内有一个猴子,一个箱子,天花板挂了一串香蕉,其位置如图所示。猴子为了拿到香蕉,它必须把箱子搬到香蕉下面,然后再爬到箱子上。请定义必要的谓词,列出问题的初始化状态(即下图所示状态),目标状态(猴子拿到了香蕉,站在箱子上,箱子位于位置b)步骤:1、定义描述环境状态的谓词AT(x,y)x在y处x={monke…

  • Android定时器Timer简单使用「建议收藏」

    Android定时器Timer简单使用「建议收藏」Android定时器Timer简单使用Timer简介Timer使用总结Timer简介Timer(计时器)位于java.util包下,可用于创建定时任务,任务可以安排为一次性执行,也可以定期重复执行。每个计时器对象对应一个后台线程(TimerThread)。简单理解为创建Timer对象,对应TimerThread线程循环开始从TaskQueue队列中执行一个TimerTask任务。Timer使用创建Timer对象vartimer=Timer()添加需要执行的任务//创建计

  • a4文档打印成a3双面_a4文档如何打印成a3

    a4文档打印成a3双面_a4文档如何打印成a3
    打印设置选择纸张为A3,页面设置时,选择拼页,然后按照4,1;2,3;顺序对文档进行拼页打印即可!不错的方法!要记住哦!

  • layui弹出层使用方法总结

    layui弹出层使用方法总结layui的模态窗口很强大,但是使用的时候要声明很多东西,并且对于窗口之间的参数传递也没有做具体的说明,所以基于layui弹出层的api进行了一些简单的封装,使用起来更加顺手,先上代码functionOpenDialog(id,title,url,width,height,callback,params){layui.use(‘layer’,function(){…

  • 使用memcached加速web应用实例

    使用memcached加速web应用实例

  • 嵌入式Linux–menuconfig详解

    嵌入式Linux–menuconfig详解menuconfig工作原理menuconfig是一套图像化配置工具,由ncurses库提供软件支持。ncurses库提供了一系列的函数以便使用者调用它们去生成基于文本的用户界面。menuconfig本身的软件只负责提供menuconfig工作的这一套逻辑,比如说通过上下左右调整光标,Enter选中等,并不负责提供内容。menuconfig运行之后会读取Kconfig、读取/写入….

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号