Linux下kafka集群安装配置

Linux下kafka集群安装配置下载kafkahttps://kafka.apache.org/downloads#2.3.1解压tar-zxvfkafka_2.12-2.3.1.tgz配置server.xmlcd/usr/local/kafka/kafka_2.12-2.3.1/configviserver.xml本次设置三个节点,配置内容如下192.168.0.1broker.id…

大家好,又见面了,我是你们的朋友全栈君。

下载kafka

https://kafka.apache.org/downloads#2.3.1

解压

tar -zxvf kafka_2.12-2.3.1.tgz

置server.xml

cd /usr/local/kafka/kafka_2.12-2.3.1/config

vi server.xml

本次设置三个节点,配置内容如下

192.168.0.1

broker.id=0

listeners=PLAINTEXT://192.168.0.1:9092

host.name=192.168.0.1

zookeeper.connect=192.168.0.1:2181,192.168.0.2:2181,192.168.0.3:2181

log.dirs=/tmp/kafka-logs1

 

192.168.0.2

broker.id=1

listeners=PLAINTEXT://192.168.0.2:9092

host.name=192.168.0.2

zookeeper.connect=192.168.0.1:2181,192.168.0.2:2181,192.168.0.3:2181

log.dirs=/tmp/kafka-logs1

 

192.168.0.3

broker.id=2

listeners=PLAINTEXT://192.168.0.3:9092

host.name=192.168.0.3

zookeeper.connect=192.168.0.1:2181,192.168.0.2:2181,192.168.0.3:2181

log.dirs=/tmp/kafka-logs1

 

配置myid文件

kafka目录下新建zookeeper文件夹,用于放myid文件

cd /usr/local/kafka/kafka_2.12-2.3.1/

mkdir zookeeper

touch myid

vi myid

 

在新创建的zookeeper目录下新建myid文件,每个节点对应的myid内容见下。注意myid不能为0

192.168.0.1

1

192.168.0.2

2

192.168.0.3

3

 

配置zookeeper.properties文件

dataDir=/usr/local/kafka/kafka_2.12-2.3.1/zookeeper

tickTime=2000

initLimit=10

syncLimit=5

server.1=192.168.0.1:2888:3888

server.2=192.168.0.2:2888:3888

server.3=192.168.0.3:2888:3888

 

启动zookeeper

cd /usr/local/kafka/kafka_2.12-2.3.1/\rbin/zookeeper-server-start.sh -daemon config/zookeeper.properties &\r

启动kafka

cd /usr/local/kafka/kafka_2.12-2.3.1/bin\r ./kafka-server-start.sh -daemon ../config/server.properties &\r

 

常用报错处理:

启动报错

nohup: failed to run command `/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.101-3.b13.el6_8.x86_64/bin/java’: No such file or directory

配置jdk/jre路径

vi kafka-run-class.sh

# Which java to use

if [ -z “$JAVA_HOME” ]; then

  JAVA=”java”

else

  JAVA=”/usr/local/java/jdk1.8.0_161/bin/java”

fi

myid如果设值为0则报下面的错误

java.lang.RuntimeException: My id 0 not in the peer list

broke.id冲突

改了节点的broke.id或同一个节点部了两个kafka,可能会报这个错,可以将server.xml中的log.dirs重新指定一下即可,如改成:

log.dirs=/tmp/kafka-logs2

meta.properties的位置示例见

/tmp/kafka-logs/meta.properties

腾讯云节点配置集群需将各个节点加到安全组里面

Linux下kafka集群安装配置

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/141907.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • 大数据平台建设

    大数据平台建设分布式系统基础架构Hadoopauthor:time:2018-12-12分布式系统基础架构HadoopHadoop详细介绍Hadoop是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统(HadoopDistributedFileSystem…

  • oracle insert优化「建议收藏」

    oracle insert优化「建议收藏」author:skatetime:2010/10/19insert优化要想提高insert的速度,首先要知道什么影响insert慢,在执行insert的过程中产生redo和undo,要想提高insert的速度,在充分利用系统资源的条件下就要尽量减少insert

  • django 视图_django admin视图

    django 视图_django admin视图视图家族drf的视图总共分为以下4个,对应4个源码文件views:视图类generics:工具视图mixins:视图工具集viewsets:视图集学习曲线我们学习视图,可以按照以下的曲线

  • 数据挖掘应用研究案例精选合集[通俗易懂]

    数据挖掘应用研究案例精选合集[通俗易懂]数据挖掘应用研究案例精选合集数据挖掘(英语:Datamining),掌握数据挖掘技能,金矿就在您的脚下。基于数据挖掘技术的精确智能营销随着大数据、移动应用等的快速发展,已经越来越重要,企业对这方面人才需求缺口也越来越大。本文集主要从数据挖掘应用演讲案例方向介绍了数据挖掘的实际应用,从宏观角度帮助你了解什么是数据挖掘。阅读全文和小伙伴们一起来吐槽

  • navicat15 激活码(破解版激活)

    navicat15 激活码(破解版激活),https://javaforall.cn/100143.html。详细ieda激活码不妨到全栈程序员必看教程网一起来了解一下吧!

  • STM32看门狗总结

    STM32看门狗总结转自:http://www.openedv.com/thread-56260-1-1.htmlSTM32看门狗总结调原子哥的开发板一年多,基本上能用,但是对于STM32某些基本外设的工作机理还不甚明了。借此暑假的机会对各个外设的功能做一个简短的总结,在提高自己基础知识的同时,也给其他同学提供一些参考。先来看门狗部分的内容。看门狗部分内容当中较难理解的是窗口看门狗

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号