Kafka集群搭建详细步骤

Kafka集群搭建详细步骤Kafka集群搭建1、Kafka的安装需要java环境,centos7自带java1.6版本,可以不用重新安装,直接使用自带的jdk即可;如果觉得jdk版本太旧,也可以自己重新安装;2、准备好kafka安装包,官网下载地址:http://kafka.apache.org/downloads.html3、下

大家好,又见面了,我是你们的朋友全栈君。

Kafka集群搭建

1、 Kafka的安装需要java环境,cent os 7自带java1.6版本,可以不用重新安装,直接使用自带的jdk 即可;如果觉得jdk版本太旧,也可以自己重新安装;

2、 准备好kafka安装包,官网下载地址:
http://kafka.apache.org/downloads.html

3、 下载好kafka安装包后,将其解压到/usr/local目录下,删除压缩包

4、 目前搭建了三个节点的kafka集群,分别在10.10.67.102,10.10.67.104和10.10.67.106服务器上;

5、 查看配置文件
进入kafka的config的目录:

这里写图片描述

6、 先建立zk集群,直接使用kafka自带的zookeeper建立zk集群,修改zookeeper.properties文件:

这里写图片描述

三个机器上的zookeeper.properties文件配置相同,需要注意的是日志保存的路径,不会自动生成,需要自己手动建立相关的路径, dataLogDir是我自己加的,日志文件太多,把日志文件区分开;

7、 创建myid文件,进入/usr/local/kafka/zookeeper,创建myid文件,将三个服务器上的myid文件分别写入1,2,3,如图:

这里写图片描述
—-myid是zk集群用来发现彼此的标识,必须创建,且不能相同;

8、 进入kafka目录 执行启动zookeeper命令:
./bin/zookeeper-server-start.sh config/zookeeper.properties &
三台机器都执行启动命令,查看zookeeper的日志文件,没有报错就说明zookeeper集群启动成功了。

9、 搭建kafka集群,修改server.properties配置文件:
这里写图片描述

这里写图片描述

server.properties配置文件的修改主要在开头和结尾,中间保持默认配置即可;需要注意的点是broker.id的值三个节点要配置不同的值,分别配置为0,1,2;log.dirs必须保证目录存在,不会根据配置文件自动生成;

10、 启动kafka集群,进入kafka目录,执行如下命令 :
./bin/kafka-server-start.sh –daemon config/server.properties &
三个节点均要启动;启动无报错,即搭建成功,可以生产和消费消息,来检测是否搭建成功。

11、 如何生产和消费消息,请见下一篇博客:
http://blog.csdn.net/zxy987872674/article/details/72493128

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/129986.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • Linux安装tomcat(超详细步骤)

    Linux安装tomcat(超详细步骤)1,安装前置条件安装Tomcat需要先安装jdk,没有安装jdk的,先移步到这里安装jdk,详见参考文章2,下载所需压缩包,上传到服务器官网下载地址:https://tomcat.apache.org/访问官网下载我这里选择Tomcat9,直接下载最新的发行版,这里下载二进制的核心板就行,不需要下载源码版本,选择tar.gz直接下载上传(上传位置随意,自己方便管理就行)3,对资源进行解压tar-zxvf压缩包名 //对压缩包进行解压4,给防火墙添加访问端口(

  • 度量学习系列(2):有监督度量学习

    度量学习系列(2):有监督度量学习有监督度量学习算法利用输入点xxx与目标标签yyy作为来学习一个距离矩阵,这个距离矩阵拉近同类别的点(分类问题)或者目标值邻近的点(回归问题)的距离,并使不同类别或目标值相差大的点的互相远离。1.通用API有监督的度量学习算法实质上利用了与scikit-learn相同的应用程序接口(API)。1.1输入数据为了训练一个模型,我们需要两个array-like对象:XXX与yyy。XX…

  • VUE学习笔记——es6对象合并 数组转对象

    VUE学习笔记——es6对象合并 数组转对象constarr=[{date:”2018-11-18″,name:”demo1″},{date:”2018-11-19″,name:”demo2″}];consttarget={};arr.forEach(a=>{constsource=JSON.parse(`{“${a.date}”:”${a.na…

  • string转为long类型(long类型的取值范围)

    StringuserSexs=request.getParameter(“userSex”); LonguserSex=Long.parseLong(userSexs);

  • java编译报错提示编码GBK的不可映射字符啥意思_java字符串编码转换

    java编译报错提示编码GBK的不可映射字符啥意思_java字符串编码转换在我想要在println输出一些中文的时候,发现编码出现错误原因:java程序在编译的时候,需要使用JDK开发工具包中的JAVAC.EXE命令,而JDK开发工具包是国际版的,默认格式为UNICODE的编码格式。因此在默认情况下,javac.exe会采用默认的编码格式,什么是默认的编码格式呢?也就是我们在编译JAVA程序时,在未指定源程序文件的编码格式的情况下,JDK会优先获取操作系统的file.encoding参数,然后JDK就把我们的JAVA源程序从file.encoding编码格式转化为JAVA

  • Ubuntu 16.04 更新源失败问题

    Ubuntu 16.04 更新源失败问题转载请注明出处转载请注明出处转载请注明出处在输入sudoapt-getupdate出现暂时不能解析域名“us.archive.ubuntu.com”折腾了一周,终于解决了解决办法:有用的点个赞先要吧源备份一个哦:sudocp/etc/apt/sources.list.d/ubuntukylin.list/etc/apt/sources.list.d/ubuntukylin.list

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号