linux下搭建kafka集群,linux系统zk+Kafka集群搭建

linux下搭建kafka集群,linux系统zk+Kafka集群搭建Kafka集群搭建与配置准备工作安装java环境搭建zookeeper集群搭建kafka集群1.准备工作1.1安装包1.2准备至少3台主机(ubuntu系统)如果没有物理机,也可以弄3台虚拟机。ubuntu系统不会安装的话可以自己百度哦,这里就不细说了。作者用的是虚拟机,下面是3台电脑的配置主机名IP地址硬件配置kafka-1192.168.1.424CPU、4G内存、128G存储kafka…

大家好,又见面了,我是你们的朋友全栈君。

Kafka集群搭建与配置

准备工作

安装java环境

搭建zookeeper集群

搭建kafka集群

1. 准备工作

1.1 安装包

1.2 准备至少3台主机(ubuntu系统)

如果没有物理机,也可以弄3台虚拟机。ubuntu系统不会安装的话可以自己百度哦,这里就不细说了。

作者用的是虚拟机,下面是3台电脑的配置

主机名

IP地址

硬件配置

kafka-1

192.168.1.42

4CPU、4G内存、128G存储

kafka-2

192.168.1.41

4CPU、4G内存、128G存储

kafka-3

192.168.1.47

4CPU、4G内存、128G存储

2. 安装JAVA环境

在每台主机下执行下面步骤:

将安装包移到/usr/local目录下

mv jdk-8u162-linux-x64.tar.gz /usr/local

解压文件

tar -zxvf jdk-8u162-linux-x64.tar.gz

重命名文件夹为java

mv jdk-8u162-linux-x64 java

用vim打开/etc/profile文件(Linux下配置系统环境变量的文件)

vim /etc/profile

按i进入编辑模式,在文件末尾添加如下JAVA环境变量

export JAVA_HOME=/usr/local/java

export JRE_HOME=/usr/local/java/jre

export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib

export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

添加环境变量后,结果如下图所示,按 esc 退出编辑模式,然后输入:+wq ,按回车保存(也可以按shift + zz 进行保存)。

c014b979f76caa26d2a9e67d3aad2aa5.png

配置环境变量

最后,需要让该环境变量生效,执行如下代码:

source /etc/profile

检验JAVA是否安装成功

>echo $JAVA_HOME ; # 检验变量值

>java -version;

>java;

>javac;

如果设置正确的话,java -version 会输出 java 的版本信息,java 和 javac 会输出命令的使用指导。

3. 搭建zookeeper集群

在每台主机上执行下面步骤:

将安装包移到/usr/local目录下

mv zookeeper-3.4.12.tar /usr/local

解压文件

tar -zxvf zookeeper-3.4.12.tar

重命名文件夹为zookeeper

mv zookeeper-3.4.12 zookeeper

配置zookeeper环境变量,首先打开profile文件

vim /etc/profile

按i进入编辑模式,在文件末尾添加zookeeper环境变量

#set zookeeper environment

export ZK_HOME=/usr/local/zookeeper

export PATH=$ZK_HOME/bin:$PATH

保存文件后,让该环境变量生效

source /etc/profile

打开zookeeper配置文件

cp /usr/local/zookeeper/conf/zoo_sample.cfg /usr/local/zookeeper/conf/zoo.cfg

vim /usr/local/zookeeper/conf/zoo.cfg

修改zookeeper配置文件

#修改数据文件夹路径

dataDir=/usr/local/zookeeper/data

#在文件末尾添加

server.1=192.168.1.42:2888:3888

server.2=192.168.1.41:2888:3888

server.3=192.168.1.47:2888:3888

#其它不变

创建数据文件夹(dataDir指定的路径)

mkdir /usr/local/zookeeper/data

在此文件夹中创建myid文件,在myid文件中添加本机的 server ID,在本例中对应关系如下

主机名

IP地址

zookeeper

myid

kafka-1

192.168.1.42

server.1

1

kafka-2

192.168.1.41

server.2

2

kafka-3

192.168.1.47

server.3

3

所以,在kafka-1中执行下面命令

echo “1” > /usr/local/zookeeper/data/myid #kafka-1主机myid

在kafka-2中执行下面命令

echo “2” > /usr/local/zookeeper/data/myid #kafka-2主机myid

在kafka-3中执行下面命令

echo “3” > /usr/local/zookeeper/data/myid #kafka-3主机myid

在每台电脑上启动zookeeper

/usr/local/zookeeper/bin/zkServer.sh start

全部启动后,查看启动结果

/usr/local/zookeeper/bin/zkServer.sh status

kafka-1启动结果

0e462f50269429994ef2263fbd0817e2.png

cbe5726223784643cf8aaef7f511d351.png

kafka-2启动结果

7111f5ed0a3e2de707a8f098550b2d1b.png

kafka-3启动结果

c3be20121fc165e9df7cb317314ecd4f.png

如果启动失败就关闭防火墙再启动

4. 搭建kafka集群

在每台主机上执行下面步骤:

将安装包移到/usr/local目录下

mv kafka_2.11-2.0.0 .tgz /usr/local

解压文件

tar -zxvf kafka_2.11-2.0.0 .tgz

重命名文件夹为kafka

mv kafka_2.11-2.0.0 kafka

配置kafka环境变量,首先打开profile文件

vim /etc/profile

按i进入编辑模式,在文件末尾添加kafka环境变量

#set kafka environment

export KAFKA_HOME=/usr/local/kafka

PATH=${KAFKA_HOME}/bin:$PATH

保存文件后,让该环境变量生效

source /etc/profile

在kafka-1主机中修改server.properties配置文件

打开配置文件

vim /usr/local/kafka/config/server.properties

修改配置如下(IP地址应该根据实际情况填写)

broker.id=1

listeners=PLAINTEXT://192.168.1.42:9092 # 新增

zookeeper.connect=192.168.1.41:2181,192.168.1.42:2181,192.168.1.47:2181 # 新增

在kafka-2主机中修改server.properties配置文件

打开配置文件

vim /usr/local/kafka/config/server.properties

修改配置如下(IP地址应该根据实际情况填写)

broker.id=2

listeners=PLAINTEXT://192.168.1.41:9092 #新增

zookeeper.connect=192.168.1.41:2181,192.168.1.42:2181,192.168.1.47:2181 #新增

在kafka-3主机中修改server.properties配置文件

打开配置文件

vim /usr/local/kafka/config/server.properties

修改配置如下(IP地址应该根据实际情况填写)

broker.id=3

listeners=PLAINTEXT://192.168.1.47:9092 #新增

zookeeper.connect=192.168.1.41:2181,192.168.1.42:2181,192.168.1.47:2181 #新增

启动kafka(要确保zookeeper已启动)

在每台主机上分别启动kafka

/usr/local/kafka/bin/kafka-server-start.sh -daemon config/server.properties

4.测试kafka集群:

在其中一台虚拟机(192.168.1.47)创建topic

/usr/local/kafka/bin/kafka-topics.sh –create –zookeeper 192.168.1.47:2181 –replication-factor 3 –partitions 1 –topic test-topic

查看创建的topic信息

/usr/local/kafka/bin/kafka-topics.sh –describe –zookeeper 192.168.1.47:2181 –topic test-topic

结果如下图所示:

3ed582269acc411df0a83dfd1f6c5405.png

topic信息

搭建成功啦

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/131601.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • 睿智的目标检测23——Pytorch搭建SSD目标检测平台

    睿智的目标检测23——Pytorch搭建SSD目标检测平台睿智的目标检测23——Pytorch搭建SSD目标检测平台学习前言什么是SSD目标检测算法源码下载SSD实现思路一、预测部分1、主干网络介绍2、从特征获取预测结果3、预测结果的解码4、在原图上进行绘制二、训练部分1、真实框的处理2、利用处理完的真实框与对应图片的预测结果计算loss训练自己的ssd模型学习前言一起来看看SSD的Pytorch实现吧,顺便训练一下自己的数据。什么是SSD目标检…

  • java中的compareto方法的详细介绍

    java中的compareto方法的详细介绍java中的compareto方法的详细介绍JavaComparator接口实例讲解(抽象方法、常用静态/默认方法)一.java中的compareto方法1.返回参与比较的前后两个字符串的as

  • js 字符串转数组,js 字符串截取

    js 字符串转数组,js 字符串截取js字符串转数组:varstring="20170524191718-173910&135562983280&1";varstr=string.split("&");console.log(str);结果显示:console.log(str[2]);//1js字符串截取:varfilename=$("#"+fileid).v…

  • Oracle的表空间quota详解[通俗易懂]

    转载至:http://czmmiao.iteye.com/blog/1291984表空间quota概述Oracle官网对quota的定义如下:Alimitonaresource,suchasalimitontheamountofdatabasestorageusedbyadatabaseuser.Adatabaseadministra

  • 大数据经典案例有哪些?

    大数据经典案例有哪些?“互联网还没搞清楚的时候,移动互联就来了移动互联还没搞清楚的时候,大数据就来了”。近两年,“大数据”这个词越来越为大众所熟悉,“大数据”一直是以高冷的形象出现在大众面前,面对大数据,相信许多人都一头雾水。下面我们通过几个经典案例,让大家实打实触摸一把“大数据”。你会发现它其实就在身边而且也是很有趣的。1.啤酒与尿布全球零售业巨头沃尔玛在对消费者购物行为分析时发现,男性顾客在购买婴儿尿片时,常常会顺便搭配几瓶啤酒来犒劳自己,于是尝试推出了将啤酒和尿布摆在一起的促销手段。没想到这个举措居然使尿布

  • Byte数组转byte数组_java object对象转数组

    Byte数组转byte数组_java object对象转数组这里用到了java对象的序列化,即要求要转换成Byte数组的对象必须是可序列化的。java代码如下:/***对象转Byte数组**@paramobj*@return*@throwsException*/publicstaticbyte[]objectToBytes(Objectobj)throwsException{logger.debug(“object

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号